|
本节内容： shell与php排序大数据的方法 大数据的问题，比如有个4G的文件，如何用只有1G内存的机器去计算文件中出现次数做多的数字(假设1行是1个数组，例如QQ号码)。 如果这个文件只有4B或者几十兆，那么最简单的办法就是直接读取这个文件后进行分析统计。但是这个是4G的文件，当然也可能是几十G甚至几百G的文件，这就不是直接读取能解决了的。 同样对于如此大的文件，单纯用php做是肯定行不通的，我的思路是不管多大文件，首先要切割为多个应用可以承受的小文件，然后批量或者依次分析统计小文件后再把总的结果汇总后统计出符合要求的最终结果。类似于比较流行的mapreduce模型，其核心思想就是“map（映射）”和“reduce（化简）”，加上分布式的文件处理，当然我能理解和使用到的只有reduce后去处理。 假设有1个10亿行的文件，每行一个6位-10位不等的QQ号码，那么我需要解决的就是计算在这10亿个QQ号码中，重复最多的前10个号码，使用下面的PHP脚本生成这个文件，很可能这个随机数中不会出现重复，但是假设这里面会有重复的数字出现。 
塑料卡板销售统计管理系统
下载
塑料卡板销售统计管理系统是一款对商品销售情况进行统一管理的系统。 程序特点1，简单,方便,网络操作,不受单台电脑文件保存限制2，纸质与数据库客户数据保存,查询变得更为方便3，免去久远的历史单据与数据查询烦恼4，方便的数据统计与自动核算功能5，丰富的销售数据录入与管理6, 销售清单(送货单)打印功能,支持条型码.7, 销售业绩提成统计功能8, 收款与未收款分开统计功能 后台地址：admin/logi 例如，
生成文件的世界比较长，Linux下直接使用php-client运行PHP文件会比较节省时间，当然也可以使用其他方式生成文件。生成的文件大约11G。 然后使用Linux Split切割文件，切割标准为每100万行数据1个文件。 split -l 1000000 -a 3 qq.txt qqfile qq.txt被分割为名字是qqfileaaa到qqfilebml的1000个文件，每个文件11mb大小，这时再使用任何处理方法都会比较简单了。 用PHP进行分析统计：
这样每个样本取前10个，最后放到一起分析统计，不排除有个数在每个样本中都排名第11位但是总数绝对在前10的可能性，所以后面统计计算算法还需要改进。 也许有人说使用Linux中的awk和sort命令可以完成排序，但是我试了下如果是小文件还可以实现，但是11G的文件，不管是内存还是时间都无法承受。 1个awk+sort的脚本： awk -F '\@' '{name[$1]++ } END {for (count in name) print name[count],count}' qq.txt |sort -n > 123.txt 不管是大文件处理还是可能存在的大数据都存在很大的需求空间。 |
0
0
php与shell大文件数据统计与排序方法
php中文网
发布时间：2016-07-25 09:12:56
|1233人浏览过
|来源于php中文网
原创
相关文章
数据库条目在浏览器刷新后意外丢失：Ajax提交后数据未持久化问题解析与修复
PHP文件名替换怎么弄_跨目录替换文件名怎么实现【方案】
宝塔PHP8.4输出乱码咋整_修复PHP8.4编码乱码故障指南【解答】
php源码怎么修改_用编辑器改PHP源码逻辑教程【技巧】
php怎么偷源码_php偷源码风险与合法替代建议
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
本专题系统整理pixiv网页版官网入口及登录访问方式，涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明，帮助用户高效找到pixiv官方网站，实现便捷、安全的网页端浏览与账号登录体验。
928
2026.02.13
本专题系统整理微博网页版官方入口及网页端登录方式，涵盖首页直达地址、账号登录流程与常见访问问题说明，帮助用户快速找到微博官网主页，实现便捷、安全的网页端登录与内容浏览体验。
307
2026.02.13
本专题围绕Flutter框架展开，系统讲解跨平台UI构建原理与状态管理方案。内容涵盖Widget生命周期、路由管理、Provider与Bloc状态管理模式、网络请求封装及性能优化技巧。通过实战项目演示，帮助开发者构建流畅、可维护的跨平台移动应用。
183
2026.02.13
本专题面向前端开发者，深入讲解 TypeScript 类型系统与大型项目结构设计方法，并结合 Vite 构建工具优化前端工程化流程。内容包括模块化设计、类型声明管理、代码分割、热更新原理以及构建性能调优。通过完整项目示例，帮助开发者提升代码可维护性与开发效率。
29
2026.02.13
本专题围绕 Redis 在高并发系统中的应用展开，系统讲解主从复制、哨兵机制、Cluster 集群模式及数据分片原理。内容涵盖缓存穿透与雪崩解决方案、分布式锁实现、热点数据优化及持久化策略。通过真实业务场景演示，帮助开发者构建高可用、可扩展的分布式缓存系统。
103
2026.02.13
本专题系统整理雨课堂网页版官方入口及在线登录方式，涵盖账号登录流程、官方直连入口及平台访问方法说明，帮助师生用户快速进入雨课堂在线教学平台，实现便捷、高效的课程学习与教学管理体验。
17
2026.02.12
本专题汇总豆包AI官方网页版入口及在线使用方式，涵盖智能写作工具、图片生成体验入口和官网登录方法，帮助用户快速直达豆包AI平台，高效完成文本创作与AI生图任务，实现便捷智能创作体验。
764
2026.02.12
本专题面向后端开发与数据库工程师，深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析，帮助开发者提升数据库响应速度与系统稳定性。
92
2026.02.12
热门下载
精品课程
共23课时 | 17万人学习
共116课时 | 26.9万人学习
最新文章
