本文介绍在 apache spark java api 中，如何使用 `lit()` 函数向 `dataset
在 Spark Java 开发中，经常需要在数据导出前为结果集追加一个标识性常量列（例如报告版本号、数据来源标记、环境标签等）。这类需求不能通过修改 CSV 文件实现——必须在 Dataset 的逻辑执行阶段完成列注入，以保证数据一致性与可复现性。
Spark 提供了 org.apache.spark.sql.functions.lit() 函数，用于创建一个包含指定常量值的列（即字面量列），配合 .as("columnName") 可为其指定别名。该列可无缝嵌入 select() 链式调用中，与其他列（如 col("AGREEMENT_ID")）并列处理。
以下是在您原有代码中插入常量列的推荐写法：
import static org.apache.spark.sql.functions.*;
private static void buildReport(FileSystem fileSystem, Dataset<Row> joinedDs, String reportName) throws IOException {
Path report = new Path(reportName);
joinedDs.filter(aFilter)
.select(
joinedDs.col("AGREEMENT_ID"),
lit("PROD_REPORT_V2").as("REPORT_VERSION"), // ✅ 常量列：值固定，别名为 REPORT_VERSION
joinedDs.col("ERROR_MESSAGE")
)
.write()
.format("csv")
.option("header", "true")
.option("sep", ",")
.csv(reportName);
fileSystem.copyToLocalFile(report, new Path(reportName + ".csv"));
}⚠️ 注意事项：
立即学习“Java免费学习笔记（深入）”；
- lit() 接收任意 Java 基本类型或字符串（如 lit(1), lit(true), lit("2024-Q3")），Spark 会自动推断其 SQL 数据类型；
- 列名必须通过 .as("xxx") 显式指定，否则默认列为 lit(...) 表达式，CSV 头部将显示为无意义名称（如 lit(1)）；
- lit() 创建的是 不可变列，不依赖于任何输入行数据，因此对性能无额外开销；
- 若需根据条件动态生成不同常量（如按环境切换值），建议提前在 Java 层计算好变量，再传入 lit(value)，避免在 SQL 表达式中做复杂逻辑。
总结：lit() 是 Spark Java API 中最简洁、高效且语义清晰的常量列注入方式。它完全符合函数式数据处理范式，无需 UDF、无需临时视图，一行代码即可完成列扩展，是构建标准化报表流水线的关键实践之一。
