pd.StringDtype('pyarrow')更快更省内存，因其采用PyArrow列式布局替代Python object数组，减少对象分配、指针跳转和GC压力；含重复值或长文本时内存降30%–70%，字符串操作快2–5倍。
为什么 pd.StringDtype('pyarrow') 比默认 string 更快更省内存
因为底层用 PyArrow 的列式内存布局替代了 Python object 数组，避免每个字符串单独分配对象、减少指针跳转和 GC 压力。尤其在含大量重复值、长文本或需频繁切片/过滤的场景下，内存占用可降 30%–70%，str.contains、str.split 等操作也常快 2–5 倍。
如何安全地把现有 DataFrame 字符串列转成 pd.StringDtype('pyarrow')
不能直接 astype("string[pyarrow]") —— 若列含 None、np.nan 或混合类型（比如数字混入），会报 TypeError: object of type 'float' has no len() 或静默转成 object dtype。
- 先用
df[col].apply(type).unique()检查是否真为纯字符串（允许None，但不允许float、int） - 清理非字符串值：用
df[col] = df[col].astype("string").replace({"统一为 pandas 缺失语义，再转：": None}) df[col] = df[col].astype(pd.StringDtype("pyarrow")) - 若列含数字混入，必须显式转字符串：
df[col] = df[col].astype(str).replace("nan", "").astype(pd.StringDtype("pyarrow"))
哪些字符串操作在 'pyarrow' 下不支持或行为不同
PyArrow backend 不支持所有 pandas 字符串方法，调用失败时会自动回退到 object array（悄悄变慢且内存上涨），而不是报错。
- 不支持：
str.wrap、str.translate、str.encode、str.isnumeric（部分 locale 下）、str.cat（多列拼接） -
str.extract和str.replace支持，但正则 flag（如flags=re.IGNORECASE）可能被忽略 -
str.len()返回Int64Dtype，不是int64；若后续参与 numpy 运算，需先.to_numpy(dtype="int64", na_value=-1)
读取 CSV 时直接用 pyarrow string 避免中间 object 开销
别先 pd.read_csv() 再转 dtype —— 那样已生成 object 列，浪费内存和时间。应让 pyarrow 在解析阶段就构建 Arrow 数组：
df = pd.read_csv("data.csv", dtype={"col1": "string[pyarrow]", "col2": "string[pyarrow]"})
注意：dtype=... 参数只在 pandas ≥ 1.5 + pyarrow ≥ 8.0 下生效；旧版本需配合 engine="pyarrow" 并手动指定 dtype_backend="pyarrow"（但该参数仅影响数值列推断，对 string 无效）。
真正省事又稳妥的做法是：升级到 pandas 2.0+，然后统一设 pd.options.mode.string_storage = "pyarrow" —— 后续所有新 string 列（包括 .astype("string")）默认走 pyarrow，但已有列不会自动转换，这点容易被忽略。
