数据清洗是Python API开发中保障接口健壮性的第一道防线,需在接收参数前用Pydantic校验类型与格式,清理字符串杂项,强约束数值与时间,并对嵌套结构执行“拆—验—合”三步清洗。

Python做API接口开发时,数据清洗不是附加项,而是保障接口健壮性的第一道防线。脏数据进,错误响应出;清洗到位,接口才稳。
接收参数前先做基础校验
- 用Pydantic定义请求模型,自动完成类型转换+非空/范围/格式校验(比如邮箱、手机号、日期字符串)
- 对query参数和JSON body分别建模,避免混用导致逻辑混乱
- 遇到缺失字段,别直接报500——返回明确的422 + 字段名+错误原因,方便前端快速定位
字符串类数据要“去杂留真”
用户输入最爱带空格、换行、零宽字符、HTML标签、多余符号——这些不清理,后续匹配、存储、展示全可能翻车。
- strip() + replace('\u200b', '')干掉首尾空格和常见不可见字符
- 用re.sub(r']+>', '', text)简单过滤HTML标签(复杂场景建议用bleach)
- 中文昵称/地址等字段,可加re.sub(r'[^\w\u4e00-\u9fa5\s\-_]', '', s)剔除非预期符号,保留汉字、字母、数字、空格和常用连接符
数值与时间字段必须强约束
看似是数字的字符串(如"12.000"、" 8 "、"NaN"),或格式混乱的时间("2024/03/01"、"01-03-2024"、"2024-03-01T12:00"),不统一就容易引发计算错误或数据库写入失败。
立即学习“Python免费学习笔记(深入)”;
- 用int(float(x))或Decimal(x)安全转数字,捕获ValueError并提示
- 时间统一用dateutil.parser.parse()解析,再转为datetime.utcnow().replace(tzinfo=timezone.utc)存标准时区
- 对金额类字段,强制限定小数位(如round(amount, 2)),避免浮点误差入库
结构化数据清洗靠“拆—验—合”三步法
比如接收一个用户提交的多地址列表,或嵌套的订单+商品+规格JSON,不能整块塞进去处理。
- 拆:用Pydantic逐层定义子模型(AddressSchema、ItemSchema),让嵌套自动解构
- 验:每个子项独立校验(如地址必填字段、商品ID是否存在、规格组合是否合法)
- 合:校验通过后再组装成业务对象,避免“一半干净一半脏”的中间态参与逻辑
基本上就这些。不复杂但容易忽略——API的稳定性,往往藏在清洗那几行代码里。










