0
0
黄舟
发布时间：2017-02-07 16:16:56
|2840人浏览过
|来源于php中文网
原创
抓取单个网站网页内容时通常采用正则匹配的方式，但不同网站之间结构千奇百怪，很难用统一的正则表达式进行匹配。《基于行块分布函数的通用网页正文抽取算法》的作者总结了一般从网页中提取文章正文的方法，提出基于行块分布的正文抽取算法，并给出了 php 、java 等实现。这一算法的主要原理基于两点：1、正文区密度：在去除html中所有tag之后，正文区字符密度更高，较少出现多行空白；2、行块长度：非正文区域的内容一般单独标签（行块）中较短。算法步骤如下：
1、去除所有tag，包括样式、Js脚本内容等，但保留原有的换行符\n
2、将网页内容按行分割，定义行块 $block_i$ 为第 $[i, i + blockSize]$ 行文本之和并给出行块长度基于行号的分布函数：
立即学习“Python免费学习笔记（深入）”；
3、正文出现在最长的行块，截取两边至行块长度为 0 的范围：
4、如果需要提取正文区域出现的图片，只需要在第一步去除tag时保留标签的内容：
以上就是【python教程】网页正文及内容图片提取算法的内容，更多相关内容请关注PHP中文网（www.php.cn）！
相关文章
Firestore 中如何高效分页处理文档内大型数组字段
如何在Python中正确获取Windows可执行文件的版本号
如何在猜单词游戏（Hangman）中一次性替换所有匹配字母的下划线
Python中使用win32api获取Windows可执行文件版本号的正确方法
如何修复 Python 中多个 elif 语句仅第一个生效的问题
python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
相关标签:
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
本专题系统讲解 Golang 应用的性能分析与调优方法，重点覆盖 pprof 的使用方式，包括 CPU、内存、阻塞与 goroutine 分析，火焰图解读，常见性能瓶颈定位思路，以及在真实项目中进行针对性优化的实践技巧。通过案例讲解，帮助开发者掌握 用数据驱动的方式持续提升 Go 程序性能与稳定性。
9
2026.01.22
无人机驾驶证（CAAC执照）报考需年满16周岁，初中以上学历，身体健康（矫正视力1.0以上，无严重疾病），且无犯罪记录。个人需通过民航局授权的训练机构报名，经理论（法规、原理）、模拟飞行、实操（GPS/姿态模式）及地面站训练后考试合格，通常15-25天拿证。
47
2026.01.21
热门下载
相关下载
精品课程
最新文章
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
