0

0

C# 操作ETL数据文件 C#在SSIS或自定义ETL流程中如何处理源文件

畫卷琴夢

畫卷琴夢

发布时间:2026-02-26 11:11:16

|

461人浏览过

|

来源于php中文网

原创

内存爆掉时应改用流式读取:csv用streamreader手动分割或sqlbulkcopy,excel用exceldatareader分页加载;ssis调低缓冲区并禁用优化模式。

c# 操作etl数据文件 c#在ssis或自定义etl流程中如何处理源文件

读取大体积CSV/Excel源文件时内存爆掉怎么办

直接用 File.ReadAllLinesDataTable.Load 读几百MB的CSV,大概率触发 OutOfMemoryException。SSIS默认缓冲区也扛不住单行超长或列数动态变化的文件。

  • 改用流式读取:对CSV用 StreamReader + 手动分割(注意引号嵌套),或上 Microsoft.Data.SqlClientSqlBulkCopy 配合格式文件
  • Excel别碰 EPPlus 全加载——改用 ExcelDataReaderAsDataSet(false) 禁用缓存,或分页调用 LoadNextRow()
  • SSIS里把 DefaultBufferMaxRows 调低(比如5000),同时开 AutoAdjustBufferSize,但得关掉 RunInOptimizedMode,否则它会偷偷绕过你的设置

SSIS脚本组件里怎么安全传入动态文件路径

硬编码路径在部署后必然报 System.IO.FileNotFoundException;用变量又容易在设计期和运行期值不一致。

  • 在脚本组件的 Input0_ProcessInputRow 之前,先检查 this.Variables.SourceFilePath != null,空就抛 InvalidOperationException,别等读到一半才崩
  • 路径拼接必须用 Path.Combine,别用字符串+,Windows下反斜杠转义会吃掉一个 \
  • 如果路径来自配置表,记得在 PreExecute 里刷新变量值——SSIS变量不会自动重载,尤其跨包调用时

C#自定义ETL中解析带BOM的UTF-8 CSV乱码

StreamReader 默认构造函数读含BOM的文件,第一行字段名常出现 ID 这种前缀,后续所有字段映射全错。

Descript
Descript

一个多功能的音频和视频编辑引擎

下载
  • 显式指定编码:new StreamReader(path, new UTF8Encoding(encoderShouldEmitUTF8Identifier: false))
  • 或者更稳:先用 File.ReadAllBytes 检查头三个字节是否为 0xEF, 0xBB, 0xBF,是的话跳过前3字节再构造 MemoryStream
  • SSIS里对应要关掉 Unicode 选项(哪怕文件是UTF-8),选 65001 编码并勾选 Text qualifier —— 否则BOM会被当作文本定界符吃掉

处理日期字段时CultureInfo踩坑导致数据错位

“2023-03-04”在 en-US 是3月4日,在 de-DE 是4月3日;SSIS默认用服务器区域设置,C#代码若没显式指定,上线后可能批量写反月份和日期。

  • 统一用 DateTime.ParseExact(line[2], "yyyy-MM-dd", CultureInfo.InvariantCulture),绝不用 Parse
  • SSIS的Flat File Connection Manager里,日期列的数据类型必须设为 database timestamp [DT_DBTIMESTAMP],不是 string [DT_STR],否则隐式转换按系统locale走
  • 导出时也一样:dt.ToString("yyyy-MM-dd HH:mm:ss", CultureInfo.InvariantCulture),别信 ToString() 默认格式

真正麻烦的是混合格式源文件——比如有的行是“2023/03/04”,有的是“04-MAR-2023”。这种没法靠单个 ParseExact 解决,得先用正则识别模式再分支处理,漏一条规则就会静默丢数据。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

311

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

223

2025.10.31

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

97

2026.02.12

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

850

2023.08.02

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

246

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

886

2024.03.01

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

638

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

218

2023.09.04

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

331

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.2万人学习

C 教程
C 教程

共75课时 | 5万人学习

C++教程
C++教程

共115课时 | 19.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号