需先安装Python项目管理器,再创建项目并上传爬虫代码,接着在虚拟环境中安装依赖,配置正确启动命令,最后启动项目并查看日志验证运行状态。

如果您希望在宝塔面板中快速搭建并运行Python爬虫项目,需借助其内置的项目管理器与Python环境支持功能。以下是具体部署步骤:
一、安装Python项目管理器
宝塔面板默认不预装Python项目管理器,需手动添加以支持爬虫脚本的托管与守护运行。该管理器可自动处理依赖安装、进程守护及日志查看,避免脚本因终端关闭或异常退出而中断。
1、登录宝塔面板后台,进入【软件商店】页面。
2、在搜索框中输入Python项目管理器,找到对应插件(图标为蛇形图案,名称含“Python”和“项目管理”)。
立即学习“Python免费学习笔记(深入)”;
3、点击【安装】按钮,等待状态变为“已安装”,期间面板会自动配置基础运行时环境。
二、创建Python项目并上传爬虫代码
项目创建是隔离运行环境的关键步骤,确保爬虫依赖与系统其他Python应用互不干扰。每个项目独享虚拟环境、端口及工作目录。
1、在左侧菜单栏点击【Python项目管理器】,进入主界面后点击【创建项目】。
2、填写项目名称(如news_spider),选择Python版本(建议3.8及以上,兼容主流爬虫库)。
3、设置项目路径(如/www/wwwroot/spider_news),勾选【自动创建虚拟环境】。
4、点击【提交】完成创建,随后通过【文件】菜单进入该路径,上传您的.py爬虫脚本及requirements.txt文件。
三、安装爬虫依赖包
依赖安装必须在项目专属虚拟环境中执行,否则可能导致模块缺失或版本冲突。项目管理器提供图形化安装入口,避免手动激活venv和pip命令出错。
1、返回【Python项目管理器】列表页,找到刚创建的项目,点击右侧【依赖管理】。
2、在文本框中粘贴所需包名,例如:requests beautifulsoup4 lxml scrapy selenium(根据实际脚本需求调整)。
3、点击【安装】按钮,观察右上角提示“安装成功”,若报错则检查requirements.txt格式是否为每行一个包名且无空格。
四、配置启动命令与运行参数
启动命令决定了脚本如何被调用,包括解释器路径、参数传递及工作目录设定。错误的命令会导致“ModuleNotFoundError”或“找不到主模块”。
1、在项目操作栏点击【设置】,进入【运行设置】选项卡。
2、在【启动命令】栏填写完整路径调用方式,例如:/www/wwwroot/spider_news/venv/bin/python /www/wwwroot/spider_news/main.py。
3、如需定时运行,可在【运行参数】中添加--interval 3600(表示每小时执行一次,适配脚本内逻辑);若为常驻服务(如Flask API),则保留为空。
五、启动项目并验证运行状态
启动后项目将以守护进程形式持续运行,面板实时监控其CPU、内存占用及标准输出。日志是排查爬虫无法抓取或解析失败的核心依据。
1、回到项目列表页,点击【启动】按钮,状态由灰色变为绿色即表示进程已就绪。
2、点击【日志】按钮,查看【标准输出】流中是否出现Spider started、Crawled 50 pages等预期日志片段。
3、若日志显示ImportError: No module named 'requests',说明依赖未正确安装,需返回步骤三重新执行。










