本文测试了PaddleNLP等多个分词工具在疑难案例和垂类领域的表现。对“我没有上上上上海的火车”等趣味句子，各工具分词结果有差异；在垂类领域，PaddleNLP精确模式对专有名词识别更优，通用领域也表现出色，其他工具各有优劣，测试仅供娱乐，官方测试更权威。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
听说，PaddleNLP新发多个任务的一键预测能力，
突发奇想，用疑难case玩玩TA。上最简单的任务吧 ———分词。
嗯...谁说分词简单，真的吗？
安装了几个分词工具：
In [1]
# 首次更新完以后，重启后方能生效!pip install --upgrade paddlenlp !pip install jieba !pip install snownlp !pip install thulac !pip install pkuseg
In [2]
import paddlenlpimport jiebaimport snownlpimport thulac import pkusegassert(paddlenlp.__version__ == '2.2.5') # check下PaddleNLP是不是最新版
In [3]
# 这几个分词工具的使用方式都非常简单，把PaddleNLP三种分词模式测了个遍seg_paddlenlp_accurate = paddlenlp.Taskflow("word_segmentation", mode="accurate") # 精准模式，基于百度-解语，实体粒度分词最精准！seg_paddlenlp_fast = paddlenlp.Taskflow("word_segmentation", mode="fast") # 快速模式，基于NLPer都知道的jieba，快！seg_paddlenlp_default = paddlenlp.Taskflow("word_segmentation") # 默认模式，基于百度LAC，精度和速度的完美权衡！seg_jieba = jieba.cut
seg_snownlp = snownlp.SnowNLP
seg_thulac = thulac.thulac(seg_only=True).cut #只进行分词，不进行词性标注seg_pku = pkuseg.pkuseg().cut # 以默认配置加载模型In [4]
# 就是玩，哈哈，好奇他们搞得定这些疑难case吗test_list = [ '我没有上上上上海的火车', '骑车出门差点摔跤，还好我一把把把把住了', '我爸是我爸，我是我爸儿', '灭霸爸爸叭叭叭叭儿的在那叭叭啥呢', '姑姑你估估我鼓鼓的口袋里有多少谷和菇', '胖胖的胖胖不想再胖胖', '你知不知道我不知道你知道我是谁', '我想梦梦梦梦梦过的梦', '我也想过过过儿过过的生活', ]
In [5]
for input in test_list: print('input: ', input) print('PaddleNLP 精确模式: ', ' '.join(seg_paddlenlp_accurate(input))) print('PaddleNLP 快速模式: ', ' '.join(seg_paddlenlp_fast(input))) print('PaddleNLP 默认模式: ', ' '.join(seg_paddlenlp_default(input))) print('Jieba 默认模式: ', ' '.join(seg_jieba(input))) print("SnowNLP: ", ' '.join(seg_snownlp(input).words))
text = seg_thulac(input)
lb = [i[0] for i in text] print("THULAC: ",' '.join(lb))
text = seg_pku(input) print("PkuSeg: ", ' '.join(text))
print('\r\n')input: 我没有上上上上海的火车 PaddleNLP 精确模式: 我 没有 上上 上 上海 的 火车
Building prefix dict from the default dictionary ... Dumping model to file cache /tmp/jieba.cache Loading model cost 0.776 seconds. Prefix dict has been built successfully.
PaddleNLP 快速模式: 我 没有 上 上 上 上海 的 火车 PaddleNLP 默认模式: 我 没有 上上 上 上海 的 火车 Jieba 默认模式: 我 没有 上 上 上 上海 的 火车 SnowNLP: 我 没有 上上 上 上海 的 火车 THULAC: 我 没有 上 上 上 上海 的 火车 PkuSeg: 我 没有 上上 上 上海 的 火车 input: 骑车出门差点摔跤，还好我一把把把把住了 PaddleNLP 精确模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把把 把住 了 PaddleNLP 快速模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了 PaddleNLP 默认模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把 住 了 Jieba 默认模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了 SnowNLP: 骑车 出门 差点 摔跤 ， 还 好 我 一把把 把 把 住 了 THULAC: 骑车 出门 差点 摔跤 ， 还 好 我 一把把 把 把 住 了 PkuSeg: 骑车 出门 差点 摔跤 ， 还好 我 一把把 把 把 住 了 input: 我爸是我爸，我是我爸儿 PaddleNLP 精确模式: 我爸 是 我爸 ， 我 是 我爸 儿 PaddleNLP 快速模式: 我爸 是 我 爸 ， 我 是 我 爸儿 PaddleNLP 默认模式: 我 爸 是 我 爸 ， 我 是 我 爸儿 Jieba 默认模式: 我爸 是 我 爸 ， 我 是 我 爸儿 SnowNLP: 我 爸 是 我 爸 ， 我 是 我 爸儿 THULAC: 我 爸 是 我 爸 ， 我 是 我 爸儿 PkuSeg: 我 爸 是 我 爸 ， 我 是 我 爸儿 input: 灭霸爸爸叭叭叭叭儿的在那叭叭啥呢 PaddleNLP 精确模式: 灭霸 爸爸 叭叭叭叭 儿 的 在 那 叭叭 啥 呢 PaddleNLP 快速模式: 灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢 PaddleNLP 默认模式: 灭霸 爸爸 叭 叭叭叭儿 的 在 那 叭 叭 啥 呢 Jieba 默认模式: 灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢 SnowNLP: 灭 霸 爸爸 叭叭 叭叭 儿 的 在 那叭叭 啥 呢 THULAC: 灭霸 爸爸 叭叭 叭叭儿 的 在 那 叭叭 啥 呢 PkuSeg: 灭霸 爸爸 叭叭 叭叭儿 的 在 那 叭叭 啥 呢 input: 姑姑你估估我鼓鼓的口袋里有多少谷和菇 PaddleNLP 精确模式: 姑姑 你 估估 我 鼓鼓 的 口袋 里 有多少 谷 和 菇 PaddleNLP 快速模式: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇 PaddleNLP 默认模式: 姑姑你 估估 我 鼓鼓 的 口袋 里 有 多少 谷 和 菇 Jieba 默认模式: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇 SnowNLP: 姑姑 你 估 估 我 鼓鼓 的 口袋 里 有 多少 谷 和菇 THULAC: 姑姑 你 估估 我 鼓鼓 的 口袋 里 有 多少 谷 和 菇 PkuSeg: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷 和 菇 input: 胖胖的胖胖不想再胖胖 PaddleNLP 精确模式: 胖胖 的 胖胖 不想 再 胖胖 PaddleNLP 快速模式: 胖胖的 胖胖 不想 再 胖胖 PaddleNLP 默认模式: 胖胖 的 胖胖 不 想 再 胖胖 Jieba 默认模式: 胖胖的 胖胖 不想 再 胖胖 SnowNLP: 胖胖 的 胖胖 不 想 再 胖胖 THULAC: 胖 胖 的 胖 胖 不 想 再 胖 胖 PkuSeg: 胖胖 的 胖胖 不 想 再 胖胖 input: 你知不知道我不知道你知道我是谁 PaddleNLP 精确模式: 你 知不知道 我 不知道 你 知道 我 是谁 PaddleNLP 快速模式: 你 知不知道 我 不 知道 你 知道 我 是 谁 PaddleNLP 默认模式: 你 知不知道 我 不知道 你 知道 我 是 谁 Jieba 默认模式: 你 知不知道 我 不 知道 你 知道 我 是 谁 SnowNLP: 你 知 不 知道 我 不 知道 你 知道 我 是 谁 THULAC: 你 知 不 知道 我 不 知道 你 知道 我 是 谁 PkuSeg: 你 知 不 知道 我 不 知道 你 知道 我 是 谁 input: 我想梦梦梦梦梦过的梦 PaddleNLP 精确模式: 我 想 梦梦梦梦梦 过 的 梦 PaddleNLP 快速模式: 我 想 梦梦 梦 梦梦 过 的 梦 PaddleNLP 默认模式: 我 想 梦梦梦梦 梦过 的 梦 Jieba 默认模式: 我 想 梦梦 梦 梦梦 过 的 梦 SnowNLP: 我 想 梦 梦 梦 梦 梦 过 的 梦 THULAC: 我 想 梦 梦 梦 梦 梦 过 的 梦 PkuSeg: 我 想 梦 梦 梦 梦 梦 过 的 梦 input: 我也想过过过儿过过的生活 PaddleNLP 精确模式: 我 也 想过 过 过 儿 过 过 的 生活 PaddleNLP 快速模式: 我 也 想 过 过 过儿 过过 的 生活 PaddleNLP 默认模式: 我 也 想过 过 过儿 过 过 的 生活 Jieba 默认模式: 我 也 想 过 过 过儿 过过 的 生活 SnowNLP: 我 也 想 过过 过 儿 过 过 的 生活 THULAC: 我 也 想 过 过 过儿 过 过 的 生活 PkuSeg: 我 也 想 过过 过儿 过过 的 生活
以上测试，仅供娱乐。正经测试，可以看下官方给的测试结果。
MSR和Weibo数据集偏通用领域，在通用领域上PaddleNLP的切词效果最优。根据官方文档，PaddleNLP的精确模式对垂类领域的实体粒度切词优势更加明显。
In [6]
# 测试下PaddleNLP能否识别出垂类领域的专有名词test_list = [ '近日国家卫健委发布第九版新型冠状病毒肺炎诊疗方案',
'谷爱凌拿下北京冬奥会自由式滑雪决赛冠军', '美国金融危机另一重要原因是CDS（信用违约掉期）市场过于分散', '以对冲基金为代表的机构投资者可能出现流动性风险，复杂环节下定价模型失灵造成的操作风险也需要给予一定的重视', '房利美和房地美两家公司发行了15亿美元的债券融资。']for input in test_list: print('input: ', input) print('PaddleNLP 精确模式: ', ' '.join(seg_paddlenlp_accurate(input))) print('PaddleNLP 快速模式: ', ' '.join(seg_paddlenlp_fast(input))) print('PaddleNLP 默认模式: ', ' '.join(seg_paddlenlp_default(input))) print('Jieba 默认模式: ', ' '.join(seg_jieba(input))) print("SnowNLP: ", ' '.join(seg_snownlp(input).words))
text = seg_thulac(input)
lb = [i[0] for i in text] print("THULAC: ",' '.join(lb))
text = seg_pku(input) print("PkuSeg: ", ' '.join(text))
print('\r\n')input: 近日国家卫健委发布第九版新型冠状病毒肺炎诊疗方案 PaddleNLP 精确模式: 近日 国家卫健委 发布 第九版 新型冠状病毒肺炎 诊疗 方案 PaddleNLP 快速模式: 近日 国家 卫健委 发布 第九版 新型 冠状病毒 肺炎 诊疗 方案 PaddleNLP 默认模式: 近日 国家卫健委 发布 第九版 新型 冠状病毒肺炎 诊疗 方案 Jieba 默认模式: 近日 国家 卫健委 发布 第九版 新型 冠状病毒 肺炎 诊疗 方案 SnowNLP: 近日 国家 卫 健委 发布 第九 版 新型 冠 状 病毒 肺炎 诊疗 方案 THULAC: 近日 国 家 卫健委 发布 第九 版 新型 冠状 病毒 肺炎 诊疗 方案 PkuSeg: 近日 国家 卫健委 发布 第九 版 新型 冠状 病毒 肺炎 诊疗 方案 input: 谷爱凌拿下北京冬奥会自由式滑雪决赛冠军 PaddleNLP 精确模式: 谷爱凌 拿下 北京冬奥会 自由式滑雪 决赛 冠军 PaddleNLP 快速模式: 谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军 PaddleNLP 默认模式: 谷爱凌 拿下 北京冬奥会 自由式 滑雪 决赛 冠军 Jieba 默认模式: 谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军 SnowNLP: 谷 爱 凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军 THULAC: 谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军 PkuSeg: 谷爱 凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军 input: 美国金融危机另一重要原因是CDS（信用违约掉期）市场过于分散 PaddleNLP 精确模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用违约掉期 ） 市场 过于 分散 PaddleNLP 快速模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散 PaddleNLP 默认模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用违约掉期 ） 市场 过于 分散 Jieba 默认模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散 SnowNLP: 美国 金融 危机 另 一 重要 原因 是 CDS（ 信用 违约 掉期 ） 市场 过于 分散 THULAC: 美国 金融 危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散 PkuSeg: 美国 金融 危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散 input: 以对冲基金为代表的机构投资者可能出现流动性风险，复杂环节下定价模型失灵造成的操作风险也需要给予一定的重视 PaddleNLP 精确模式: 以 对冲基金 为 代表 的 机构投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价模型 失灵 造成 的 操作 风险 也需要 给予 一定 的 重视 PaddleNLP 快速模式: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视 PaddleNLP 默认模式: 以 对冲 基金 为 代表 的 机构投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视 Jieba 默认模式: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视 SnowNLP: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视 THULAC: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定 价 模型 失灵 造成 的 操作 风险 也 需要 给 予 一定 的 重视 PkuSeg: 以 对冲基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视 input: 房利美和房地美两家公司发行了15亿美元的债券融资。 PaddleNLP 精确模式: 房利美 和 房地美 两家 公司 发行 了 15亿美元 的 债券 融资 。 PaddleNLP 快速模式: 房利美 和 房地 美 两家 公司 发行 了 15 亿美元 的 债券 融资 。 PaddleNLP 默认模式: 房利美 和 房地美 两家 公司 发行 了 15亿美元 的 债券 融资 。 Jieba 默认模式: 房利美 和 房地 美 两家 公司 发行 了 15 亿美元 的 债券 融资 。 SnowNLP: 房 利 美 和 房地 美 两 家 公司 发行 了 15 亿 美元 的 债券 融资 。 THULAC: 房利美 和 房地美 两 家 公司 发行 了 15亿 美元 的 债券 融资 。 PkuSeg: 房利美 和 房地美 两 家 公司 发行 了 15亿 美元 的 债券 融资 。
