抓取搜狐视频中所有用户的专辑名

php中文网

发布时间：2016-07-25 08:47:03

1253人浏览过

来源于php中文网

原创

抓取搜狐视频中所有用户的专辑名。如果记录全部获取过来以后，可以方便的检索出相关关键词的视频专辑。但是由于用户数目太多，一个线程跑的话不知道要跑多少年。可以通过设置多表、ID分段来实现多通道的同时抓取。

可通过修改$user_id的开始和结束，来分段同时多通道。

sleep(1)仅为个人测试，可以修改

header("Content-Type:text/html; Charset=UTF-8");
set_time_limit(0);
$col_title = ''; //标题
$col_url = ''; //URL编号
$user_id = 26; //起始抓取用户编号
//MySQL预操作
$mysqli = new mysqli("p:localhost", 'root', '', 'sohutv');
if ($mysqli->connect_errno) {
printf("Connect failed: %s\n", $mysqli->connect_error);
exit();
}
$mysqli->set_charset("utf8");
$sql = "INSERT INTO album (userid,title,url) VALUES(?,?,?)";
$stmt = $mysqli->prepare($sql);
$stmt->bind_param("sss",$user_id ,$col_title ,$col_url);
//循环抓取
while (true) {
$url = "http://my.tv.sohu.com/user/a/playlist/ta/list.do?userId=".$user_id;
$temp_html = file_get_contents($url);
$temp_json = json_decode($temp_html);
$column_no = $temp_json->{'data'}->{'count'};
if ($column_no) {
//var_dump($temp_json->{'data'});
$temp_array = $temp_json->{'data'}->{'list'};
for($i=0; $i
{
$temp_obj = $temp_array[$i];
//var_dump($temp_obj);
$col_title = $temp_obj->{'title'};
$col_url = substr($temp_obj->{'url'}, 25, -6);
$stmt->execute();
}
}
//休眠1秒
sleep(1);
$user_id++;
}
/*
访问方式
http://my.tv.sohu.com/pl/URL编号.shtml
*/
?>

复制代码

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：最快方法计算文件大小，输出' B', ' KB', ' MB& 下一篇：程序员编程生涯中会犯的7个错误

热门AI工具

DeepSeek

幻方量化公司旗下的开源大模型平台

AI编程开发 AI聊天问答

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI编程开发 AI大模型

通义千问

阿里巴巴推出的全能AI助手

AI编程开发 Agent智能体

腾讯元宝

腾讯混元平台推出的AI助手

文档处理 Excel 表格

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI编程开发 AI文本写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

AI文本写作中文写作

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接图画生成

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI编程开发 AI文本写作

智谱清言 - 免费全能的AI助手

AI编程开发 Agent智能体

相关专题

batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口，涵盖最新官网地址、网页版登录页面及防走失访问方式说明，帮助用户快速找到batoto漫画官方平台，稳定在线阅读各类漫画内容。

127

2026.02.25

Steam官网正版入口与注册登录指南_新手快速进入游戏平台方法

本专题系统整理Steam官网最新可用入口，涵盖网页版登录地址、新用户注册流程、账号登录方法及官方游戏商店访问说明，帮助新手玩家快速进入Steam平台，完成注册登录并管理个人游戏库。

2026.02.25

TypeScript全栈项目架构与接口规范设计

本专题面向全栈开发者，系统讲解基于 TypeScript 构建前后端统一技术栈的工程化实践。内容涵盖项目分层设计、接口协议规范、类型共享机制、错误码体系设计、接口自动化生成与文档维护方案。通过完整项目示例，帮助开发者构建结构清晰、类型安全、易维护的现代全栈应用架构。

2026.02.25

Python数据处理流水线与ETL工程实战

本专题聚焦 Python 在数据工程场景下的实际应用，系统讲解 ETL 流程设计、数据抽取与清洗、批处理与增量处理方案，以及数据质量校验与异常处理机制。通过构建完整的数据处理流水线案例，帮助开发者掌握数据工程中的性能优化思路与工程化规范，为后续数据分析与机器学习提供稳定可靠的数据基础。

2026.02.25

Java领域驱动设计（DDD）与复杂业务建模实战

本专题围绕 Java 在复杂业务系统中的建模与架构设计展开，深入讲解领域驱动设计（DDD）的核心思想与落地实践。内容涵盖领域划分、聚合根设计、限界上下文、领域事件、贫血模型与充血模型对比，并结合实际业务案例，讲解如何在 Spring 体系中实现可演进的领域模型架构，帮助开发者应对复杂业务带来的系统演化挑战。

2026.02.25

Golang 生态工具与框架：扩展开发能力

《Golang 生态工具与框架》系统梳理 Go 语言在实际工程中的主流工具链与框架选型思路，涵盖 Web 框架、RPC 通信、依赖管理、测试工具、代码生成与项目结构设计等内容。通过真实项目场景解析不同工具的适用边界与组合方式，帮助开发者构建高效、可维护的 Go 工程体系，并提升团队协作与交付效率。

2026.02.24

Golang 性能优化专题：提升应用效率

《Golang 性能优化专题》聚焦 Go 应用在高并发与大规模服务中的性能问题，从 profiling、内存分配、Goroutine 调度、GC 机制到 I/O 与锁竞争逐层分析。结合真实案例讲解定位瓶颈的方法与优化策略，帮助开发者建立系统化性能调优思维，在保证代码可维护性的同时显著提升服务吞吐与稳定性。

2026.02.24