大数据技术之在Spark中使用log4j2-职坐标

大数据技术之在Spark中使用log4j2

沉沙 2018-12-29 来源：阅读 2559 评论 0

摘要：本篇教程探讨了大数据技术之在Spark中使用log4j2，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术之在Spark中使用log4j2，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

大数据技术之在Spark中使用log4j2

Spark默认使用的log4j 1.2,它的配置文件就在Spark conf文件下，比如说/etc/spark/conf/log4j.properties.

如果我们想要在spark中使用log4j2，则情况比较复杂了。首先需要事先将log4j2的jar包复制到master节点和全部slave节点上，将它的路径加入到Spark的classpath中，然后将log4j2.xml文件加入到Spark conf中。
把log42.xml放到resources文件夹中，将log4j2的jar事先复制到各个节点的log4j2文件夹中，那么运行spark程序的command就是：
spark-submit --files "/home/hadoop/resources/log4j2.xml"
--driver-java-options=-Dlog4j.configurationFile=resources/log4j2.xml
--conf "spark.executor.extraJavaOptions=-Dlog4j.configurationFile=resources/log4j2.xml"
--conf "spark.driver.extraClassPath=:/home/hadoop/log4j2/*"
--conf "spark.executor.extraClassPath=:/home/hadoop/log4j2/*"
  –files 会将log4j2.xml文件复制到yarn每个executor工作目录下面。注意Spark会为复制的文件创建相应的文件夹，所以在executor中读取文件的路径是 resources/log4j2.xml 而不是 ./log4j2.xml .

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！

java大数据处理技术云计算技术什么是云计算技术

本文由 @沉沙发布于职坐标。未经许可，禁止转载。