本文旨在解决从Java应用程序向Bash脚本传递包含Spark配置的长字符串参数时可能遇到的问题，并提供一种有效的解决方案。通过使用cat
在将Spark配置作为单个字符串参数从Java传递到Bash脚本时，可能会遇到问题，尤其是在配置包含空格、特殊字符或需要多行显示时。以下提供一种更可靠的方法来处理这种情况。
问题分析
直接将包含大量配置项的字符串作为参数传递给spark-submit命令时，Bash脚本可能会因为参数解析问题而导致配置错误，最终导致Spark作业启动失败。常见的错误包括类加载失败，配置项未生效等。
立即学习“Java免费学习笔记（深入）”；
解决方案：使用 cat
cat
具体步骤
-
在Bash脚本中定义配置字符串：
使用 cat
CONF=$(cat << EOF --class com.at.es_parent_child.SegmentIcebergEsV2 \ --master yarn \ --deploy-mode client \ --queue llap \ --num-executors 3 \ --driver-memory 1024m \ --executor-memory 1024m \ --executor-cores 4 \ --name '[564889711]es_parent_child.[0].1668574353481' \ --conf spark.executor.extraClassPath=/etc/hbase/conf \ --conf spark.driver.extraClassPath=/etc/hbase/conf \ --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \ --conf spark.max.executor.failures=100 \ --conf spark.rdd.compress=true \ --conf spark.sql.debug.maxToStringFields=2000 \ --conf spark.sql.hive.convertMetastoreParquet=false \ --conf spark.default.parallelism=50 \ --conf spark.debug.maxToStringFields=2000 \ --conf hbase.defaults.for.version.skip=true \ --conf spark.yarn.executor.memoryOverhead=1024 \ --conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \ --conf spark.sql.catalog.spark_catalog.type=hive \ --conf spark.sql.catalog.iceberg=org.apache.iceberg.spark.SparkCatalog \ --conf spark.sql.catalog.iceberg.type=hive \ --conf spark.sql.adaptive.coalescePartitions.enabled=true \ --files /etc/hbase/conf/hbase-site.xml,/usr/hdp/current/hive-client/conf/hive-site.xml EOF )
注意:
- EOF 是一个自定义的结束标记，可以选择任何不出现在配置字符串中的字符串。
- 每一行配置项后面添加反斜杠 \，表示该行未结束，下一行是该行的延续。这对于阅读长配置非常有用。
- 配置项中的空格需要用引号括起来，例如 '[564889711]es_parent_child.[0].1668574353481'，特别是当字符串包含特殊字符时。
-
在spark-submit命令中使用配置字符串：
使用双引号将 $CONF 变量括起来，以确保 Bash 脚本正确解析配置字符串。
sudo -u cdpcore /bin/sh /build/iceberg/spark-3.0.1-bin-hadoop2.7/bin/spark-submit "$CONF" --jars $(echo $JAR_LIB/*.jar | tr ' ' ',') $JAR_MAIN "$2" $3 $4 $5 &
注意:
- 务必使用双引号 "$CONF"，以防止单词分割和通配符扩展。
-
Java 代码：
Java 代码部分基本保持不变，将配置字符串作为参数传递给 Bash 脚本。
String[] cmd = {"/bin/sh", System.getProperty("user.dir") + "/spark_job.sh", CONF, zKUrl,""+ task.getPortalId(), task.getJobId(),""+ task.getIndexCode()};
完整示例
-
Java 代码 (简化示例):
public class SparkSubmitExample { public static void main(String[] args) throws Exception { String conf = "--class com.example.MySparkApp --master local[*] --executor-memory 1g"; String scriptPath = "/path/to/your/spark_job.sh"; // 替换为你的脚本路径 String[] cmd = {"/bin/sh", scriptPath, conf, "arg1", "arg2"}; Process process = Runtime.getRuntime().exec(cmd); // 处理进程的输入输出流和错误流... } } -
Bash 脚本 (spark_job.sh):
#!/bin/bash CONF=$(cat << EOF --class com.example.MySparkApp \ --master local[*] \ --executor-memory 1g EOF ) # 其他参数 ARG1=$2 ARG2=$3 /path/to/spark/bin/spark-submit "$CONF" --jars $(echo $JAR_LIB/*.jar | tr ' ' ',') $ARG1 $ARG2
注意:
- 请替换 /path/to/your/spark_job.sh 和 /path/to/spark/bin/spark-submit 为实际的路径。
- 确保 Bash 脚本具有执行权限 (chmod +x spark_job.sh)。
- com.example.MySparkApp 仅为示例，请替换成你的实际 Spark 应用的类名。
注意事项
- 转义特殊字符: 在配置字符串中，某些特殊字符（例如 $、\、"）可能需要转义，以防止 Bash 脚本错误解析。
- 引号的使用: 正确使用单引号和双引号，以确保变量扩展和字符串字面量被正确处理。
- 日志记录: 在 Bash 脚本中添加适当的日志记录，以便在出现问题时进行调试。
- 权限问题: 确保执行 spark-submit 命令的用户具有足够的权限。
- 类路径问题: 仔细检查类路径配置，确保 Spark 能够找到所需的类。 错误信息 "Error: Failed to load class" 通常指示类路径配置不正确。
总结
通过使用 cat
