0

0

手把手教你如何新建scrapy爬虫框架的第一个项目(上)

雪夜

雪夜

发布时间:2025-10-02 09:11:13

|

784人浏览过

|

来源于php中文网

原创

在前几天的文章中,我们详细介绍了在windows系统下如何创建网络爬虫虚拟环境以及如何安装scrapy,包括scrapy安装过程中可能会遇到的常见问题及其解决方案。如果你对这些内容感兴趣,可以通过链接查看详细信息。今天,小编将带领大家深入了解scrapy爬虫框架,并指导如何创建第一个scrapy项目,具体步骤如下。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)首先,进入虚拟环境。如果你不清楚如何进入虚拟环境,可以参考之前的文章:如何在Windows下创建指定的虚拟环境和如何创建默认的虚拟环境。进入环境后,使用“pip list”命令检查Scrapy是否已成功安装,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)可以看到,Scrapy已经成功安装。

接下来,小编计划将Scrapy项目放置在demo文件夹中,因此需要先返回到上级目录,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)然后,开始创建新的Scrapy项目。输入命令“scrapy startproject article”,其中“article”是项目名称,可以根据需要更改。输入命令后,系统会根据模板创建项目,模板位于“D:\pythonDemo\2018\September\demo\scrapy_demo\Lib\site-packages\scrapy\templates\project”目录,与你的爬虫环境相关,如下图所示,等待项目创建完成。当然,我们也可以自定义爬虫模板,但目前Scrapy提供的模板已经足够使用,我们只要能理解Scrapy的运作原理即可。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)根据上图提示,首先进入article文件夹,输入命令“cd article”,然后通过“dir”查看目录,也可以使用“tree /f”生成文件目录的树形结构,如下图所示,可以清晰地看到Scrapy创建命令生成的文件。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)顶层的article文件夹是项目名称。

第二层包含一个与项目同名的文件夹article和一个scrapy.cfg文件。这个同名的article文件夹是一个模块,所有项目代码都在这个模块内添加,而scrapy.cfg文件是整个Scrapy项目的配置文件

TP5实战_教学管理系统整站源码
TP5实战_教学管理系统整站源码

本套教程,以一个真实的学校教学管理系统为案例,手把手教会您如何在一张白纸上,从零开始,一步一步的用ThinkPHP5框架快速开发出一个商业项目,让您快速入门TP5项目开发。

下载

第三层中有五个文件和一个文件夹,其中__init__.py是一个空文件,用于将其上级目录变成一个模块;items.py用于定义存储对象,决定爬取哪些项目;middlewares.py是中间件文件,通常不需要修改,主要负责相关组件之间的请求与响应;pipelines.py是管道文件,决定爬取后的数据如何处理和存储;settings.py是项目设置文件,用于设置项目管道数据的处理方法、爬虫频率、表名等;spiders文件夹中放置的是爬虫主体文件(用于实现爬虫逻辑)和一个__init__.py空文件。

在Windows文件夹中,也可以清晰地看到新建的Scrapy文件,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)当然,也可以通过Pycharm导入项目来查看项目文件,这样会更加清晰,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)点击各个项目文件,可以查看其中的内容。settings.py文件的内容如下图所示,其他文件的内容在此不再赘述。

手把手教你如何新建scrapy爬虫框架的第一个项目(上)至此,第一个Scrapy爬虫项目的创建及其文件解析介绍就到这里了。下一步将继续介绍Scrapy爬虫项目的进阶内容,敬请期待。

--------------------- End ---------------------

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

178

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

212

2025.12.18

免费爬虫工具有哪些
免费爬虫工具有哪些

免费爬虫工具有Scrapy、Beautiful Soup、ParseHub、Octoparse、Webocton Scriptly、RoboBrowser和Goutte。更多关于免费爬虫工具的问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

764

2023.11.10

pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

338

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

409

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

754

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

341

2025.07.23

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

578

2023.07.26

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

43

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号