本文旨在解决 Spark 在本地模式下读取 CSV 文件并写入 Iceberg 表时，读取阶段能够充分利用多核并行处理，而写入阶段却退化为单核处理的问题。通过分析可能的原因，并结合配置调整和 AWS CLI 优化，提供了一套提升 Spark 写入性能的解决方案，帮助用户充分发挥计算资源的潜力。
在 Spark 中，并行读取和写入的底层机制存在差异，导致在特定场景下出现读取并行而写入串行的情况。尤其是在本地模式下，资源配置不当更容易放大这个问题。以下是一些可能的解决方案和优化方向：
1. 调整 Spark 执行器配置
避免过度依赖动态资源分配。虽然 spark.dynamicAllocation.enabled 在某些情况下可以提升资源利用率，但在本地模式下，它可能反而会将所有任务分配给单个执行器，导致写入性能下降。因此，建议显式配置执行器的数量、内存和核心数。
--master yarn \ --deploy-mode cluster \ --num-executors 4 \ --executor-memory 1G \ --executor-cores 1 \ --driver-memory 2G \ --driver-cores 1 \
使用 yarn 作为 master，并使用 cluster 部署模式。通过 --num-executors 设置执行器数量，--executor-memory 设置每个执行器的内存大小，--executor-cores 设置每个执行器的核心数。 请注意，这些值需要根据实际的集群资源和数据规模进行调整。
2. 监控 Spark 任务执行情况
使用 Spark History Server UI 监控写入操作开始时的执行器数量和任务数量。如果发现执行器数量不足或任务分配不均，需要进一步调整执行器配置。
3. 优化 AWS CLI 配置
如果数据写入的目标是 Amazon S3，可以通过调整 AWS CLI 的配置来提升写入性能。以下是一些关键的配置参数：
- max_concurrent_requests: 最大并发请求数。增加此值可以提高写入 S3 的并发度。
- max_queue_size: 任务队列的最大长度。增加此值可以容纳更多的写入任务。
- multipart_threshold: 触发分段上传的文件大小阈值。对于大文件，分段上传可以提高上传速度和稳定性。
- multipart_chunksize: 分段上传的块大小。合理设置块大小可以优化上传性能。
- max_bandwidth: 最大带宽限制。如果网络带宽充足，可以适当提高此值。
可以通过以下方式配置 AWS CLI：
aws configure set s3.max_concurrent_requests 20 aws configure set s3.max_queue_size 1000 aws configure set s3.multipart_threshold 64MB aws configure set s3.multipart_chunksize 16MB aws configure set s3.max_bandwidth 100MB/s
注意事项：
- 在调整 Spark 和 AWS CLI 配置时，需要充分考虑集群资源、网络带宽和数据规模等因素。
- 建议逐步调整配置参数，并结合监控数据进行评估，找到最佳的配置组合。
- 如果问题仍然存在，可以考虑升级 Spark 版本或更换底层存储系统。
总结：
Spark 写入性能受多种因素影响，包括 Spark 配置、存储系统配置和网络带宽等。通过合理配置 Spark 执行器、优化 AWS CLI 参数，并结合监控数据进行评估，可以有效提升 Spark 写入性能，充分利用计算资源。
