本文将使用 php 和 linux sort 命令两种方法，分别实现文件内容去重及排序，并提供完成演示代码。
1.创建测试文件
写入1000000个数字，每行一个数字
0 && $i%1000==0 || $i==$num-1){
file_put_contents($file, $tmp, FILE_APPEND); $tmp = '';
}
}?>查看文件行数
wc -l user_id.txt 1000000 user_id.txt
2.php实现去重及排序
因要处理1000000行数据，因此将php可使用的内存设置为256m，防止执行过程中内存不足。
查看去重及排序后的文件
wc -l php_sort_user_id.txt 632042 php_sort_user_id.txt head php_sort_user_id.txt 012357891112...
3.linux sort命令实现去重及排序
linux sort命令用于文本文件按行排序
格式：
sort [OPTION]... [FILE]...
参数说明：
-u 去重
-n 数字排序类型
-r 降序
-o 输出文件的路径
使用sort执行去重及排序
sort -uno linux_sort_user_id.txt user_id.txt
查看去重及排序后的文件
网胜B2B电子商务系统红色风格 2008 SP6.2 普及版
下载
网胜B2B电子商务系统SP6.2红色风格普及版本升级功能说明：1、邮件群发功能：可以选择某一级别的会员，并放入支持html编辑器的文本内容，进行有选择的对会员进行信息群发。2、网站整站访问统计：可以通过后台进行网站前台访问量的常规统计以及流量查看。3、对注册的会员进行ip记录，可以跟踪客户的所在位置。4、得新对前台的所有信息排序进行重新调整。5、对会员注册页面进行防批注加强，加入更多的ajax技术
wc -l linux_sort_user_id.txt 632042 linux_sort_user_id.txt head linux_sort_user_id.txt 012357891112...
总结：使用php或linux sort命令都可以实现文件去重及排序，执行时间上相差不大，但建议对于文件类的操作，直接使用系统命令实现更为简单。
本文将使用 php 和 linux sort 命令两种方法，分别实现文件内容去重及排序，并提供完成演示代码。
本篇讲解了文件内容去重及排序 的相关内容，更多内容请关注php中文网。
相关推荐：
