如何打印Spark作业的GC详情

问题描述

有时候在Spark故障排除的时，我们需要查看gc回收的的各项统计指标。那么如何打印Spark作业的GC详情呢？

常见GC详情收集方法

• 收集executor端的GC详情
  在提交作业，可以加入如下参数

    --conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps”
  

• 收集driver端的GC详情
  在提交作业，可以加入如下参数

    --conf "spark.driver.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps”
  

• 收集NodeManager端的GC详情
  要为NodeManager收集GC，请修改yarn-env.sh中显示的参数的选项。

  export YARN_NODEMANAGER_OPTS="${YARN_NODEMANAGER_OPTS} ${MAPR_LOGIN_OPTS} -XX:+PrintGCDetails -XX:+PrintGC -XX:+PrintGCTimeStamps "