php能做爬虫吗-PHP问题-PHP中文网

phpspider一款优秀的php开发蜘蛛爬虫

php能做爬虫吗

编写PHP网络爬虫，需要具备以下技能:

爬虫采用PHP编写（推荐学习：PHP视频教程）

从网页中抽取数据需要用XPath ( XPath选择器教程 )

立即学习“PHP免费学习笔记（深入）”；

当然我们还可以使用CSS选择器 ( CSS选择器教程 )

UNeshop个人网店系统

操作简单，功能上比较实用，特别对爬虫类搜索引擎，如google,yahoo 等做了URL，title等优化控制

下载

很多情况下都会用到正则表达式 ( 正则表达式教程 )

Chrome的开发者工具是神器, 很多AJAX请求需要用它来分析

注意：本框架只能在命令行下运行，命令行、命令行、命令行，重要的事情说三遍 ^_^

本篇写的demo是爬取军事教育网站

 '军事', // 给你的爬虫起一个名字
    'log_show' => false, // 是否显示日志
    'tasknum' => 1, // 开启多少个进程爬取
    // 数据库配置
    'db_config' => array(
        'host'  => '127.0.0.1',
        'port'  => 3306,
        'user'  => 'root',
        'pass'  => 'root',
        'name'  => 'collection',
    ),
    // 数据库表，表需要已存在，collection库，test表
    'export' => array(
        'type' => 'db',
        'table' => 'test',
    ),
    // 爬取的域名列表
    'domains' => array(
        'war.163.com'
    ),
    // 抓取的起点
    'scan_urls' => array(
        'http://war.163.com'
    ),
    // 列表页实例，你要爬取的列表，也就是分页
    'list_url_regexes' => array(
        "http://war.163.com"
    ),
    // 内容页实例，文章的内容页
    // \d+ 指的是变量，就是可变的参数
    'content_url_regexes' => array(
        "http://war.163.com/photoview/4T8E0001/\d+",
    ),
    // 失败重新爬取次数
    'max_try' => 5,
    // 爬取规则配置
    'fields' => array(
        array(
            'name' => "title", // 数据库字段名
            'selector' => "//div[@class='headline']/h1", // 规则，表示：headline类里的h1标签
            'required' => true, // 如果为空，整条数据丢弃
        ),
        array(
            'name' => "content",
            'selector' => "//div[@class='overview']/p",
            'required' => true,
        ),
        array(
            'name' => "img",
            'selector' => "//img[@class='firstPreload']",
            'required' => true,
        ),
    ),
);

$spider = new phpspider($configs);
$spider->start();