火车头采集器多页抓取需正确配置翻页规则:一、普通翻页(静态链接);二、URL参数替换(如page=1);三、JS动态加载(启用浏览器内核+执行脚本);四、手动导入URL列表;五、内容页内部分页采集(匹配分页导航)。

如果您在使用火车头采集器时需要持续抓取多页内容,但页面未自动跳转或仅采集首页,则可能是翻页规则未正确配置。以下是设置翻页采集的具体步骤:
一、配置普通翻页规则
该方法适用于“下一页”按钮为静态HTML链接、结构稳定的目标网站,通过识别并提取该链接实现自动翻页。
1、进入采集任务的“链接抽取”模块,点击“普通翻页”选项卡。
2、在目标网页底部找到“下一页”文字或按钮,按住Ctrl键并左键单击其所在区域,完成选区定位。
3、在弹出的配置窗口中,勾选“标题过滤”,选择“包含”,并在输入框中填入下一页。
4、点击“保存”,随后进入“采集预览”,在左侧列表中选择“普通翻页”,确认能成功提取出下一页URL。
二、设置分页URL参数自动替换
该方法适用于分页URL具有明显数字规律(如page=1、p=2)的网站,通过参数占位符驱动连续请求。
1、在新建任务时,于起始地址栏填写完整栏目URL,并附加固定格式标识:##page=[地址参数]#。
2、例如:https://example.com/list.html##page=[地址参数]#。
3、在“分页”设置中选择“地址参数替换”模式,指定参数名为page,起始值为1,步长为1,结束值根据实际页数设定。
4、启用“自动翻页”开关,确保每页采集完毕后立即构造新URL发起请求。
三、处理JavaScript动态加载的分页
该方法用于分页由Ajax或Vue/React等框架异步渲染的站点,需模拟真实浏览器行为以触发翻页逻辑。
1、在任务设置中启用使用内置浏览器内核(如EdgeChromium或Puppeteer)。
2、设置“页面加载等待时间”不低于3000毫秒,确保JavaScript执行完成。
老版本已经不能使用 新版本集成了jssdk 可以正常使用了 2012、5、19修复部分已知BUG 增加TXT文章管理系统,测试火车头等采集器可以 成功发布文章 修改模板调用函数,让模板打造更简单 新增单页推广模块: 目前整站模板1套,单页模板2个 建立文章分类 》 建立单页模块 填写文章ID 》添加广告语 》 添加分类商品(原添加商品位置 新增了下拉框,选择分类,设置关键词或分类 一键获取
3、在“下一页提取方式”中选择“JavaScript执行”,填入语句:document.querySelector(".pagination .next a").href(需按实际DOM结构调整)。
4、运行采集预览,观察是否能逐页加载并提取到有效链接。
四、手动导入分页URL列表
当目标网站分页结构混乱、无规律或反爬机制强,无法通过自动方式识别时,可采用预先整理URL再批量导入的方式。
1、使用Python脚本或在线工具批量生成全部分页地址,保存为纯文本文件,每行一个URL。
2、在火车头中新建任务,选择“从URL列表开始采集”模式。
3、点击“导入URL”,选择已准备好的文本文件,确认编码格式为UTF-8。
4、在URL列表配置中,勾选启用分页采集流程,使后续内容抽取规则对每个URL独立生效。
五、启用内容页内部分页采集
该方法针对单篇文章跨多页展示(如“第1页/共5页”)的场景,确保整篇文章所有分页内容被完整抓取并合并。
1、进入“模板抽取配置”,选中需跨页提取的内容标签(如正文容器div)。
2、在右侧属性栏中,勾选该标签在分页中匹配。
3、切换至“数据来源”设置,点击三角图标,选择默认页和内容分页源码。
4、在“内容分页规则”中填写分页导航元素的选择器,例如CSS:.article-page-nav a。









