七牛远程抓取图片
公司网站之前的用户头像是存储在自己的服务器，后来管理不便，新增用户头像上传到七牛，为了方便管理，数据统一，领导说把本地服务器的头像全部迁移到七牛。
1.梳理下思路
先判断用户的头像是否在七牛，若不存在，本地如果有则抓取到七牛，然后进行批量抓取
2.七牛判断图片是否存在
1 /** 2 * 查看七牛url是否存在 3 * @param string $url 4 */ 5 function url_exists($url) { 6 require_once(COMMON_PATH."qiniu/rs.php"); 7 require_once(COMMON_PATH."qiniu/http.php"); 8 $parts=parse_url($url); 9 $bucket ；//桶10 $key=substr($parts['path'], 1);//七牛文件名11 //密钥12 $accessKey ; 13 $secretKey ;14 Qiniu_SetKeys($accessKey, $secretKey);15 $client = new Qiniu_MacHttpClient(null);16 list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看单个文件信息17 if ($err !== null) {18 return false;19 } else {20 return true;21 }22 }
3.移动单个文件到七牛
![PHP房产程序[BBWPS]](https://img.php.cn/upload/webcode/000/000/017/176518440895337.jpg)
PHP房产程序[BBWPS]
下载
[PHP房产程序|BBWPS]功能介绍 1、5种信息类别发布：出租、求租、出售、求购、楼盘信息,支持会员发布信息审核； 2、灵活的信息参数设置； 3、充足的信息字段； 4、简单易用的发布/编辑功能，支持配图上传； 5、灵活的信息管理功能； 6、信息输出伪静态，方便搜索引擎抓取数据； 7、支持RSS输出； 8、内置数据高速缓冲技术，可灵活设置缓冲功能是否启动及过期时间； 9、支持 Google 地图
1 /** 2 * 移动单个头像到七牛 3 * @param string $remotePath 远程文件在服务器上的物理地址 4 * @param string $qiniuPath 七牛文件地址 5 */ 6 function oneFetch($remotePath,$qiniuPath){ 7 if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){ 8 require_once(COMMON_PATH."qiniu/rs.php"); 9 require_once(COMMON_PATH."qiniu/http.php");10 require_once(COMMON_PATH."qiniu/conf.php");11 12 $client = new Qiniu_MacHttpClient(NULL);13 /*$accessUrl 远程文件访问地址14 *$bucket桶15 *$key 存储在七牛的文件名16 */17 $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);18 19 if($ret != NULL)20 {21 $errlog = 'fail.log';//写错误日志22 file_put_contents($errlog, "{$key}\n", FILE_APPEND);23 }24 else25 {26 var_dump($ret);27 }28 }else{29 var_dump('已有头像');30 }31 32 }
4.批量抓取
function t(){ header("Content-type: text/html; charset=utf-8"); set_time_limit(0); $start = intval($_GET['num']);//开始位置 $str = ''; /*从数据库查询记录*/ $link = mysql_connect("localhost", "root", "root") or die("error"); $db_selected = mysql_select_db("test", $link); mysql_query ("SET NAMES UTF8"); $limit = 10;//每次查询数 $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}"; $result = mysql_query($sql) or die(mysql_error()); if(mysql_num_rows($result)) { while($row=mysql_fetch_assoc($result)){ oneFetch($row['remotePath'], $row['qiniuPath']); } $start += 10; $url = "/t?num={$start}"; $str = '已经更新'.$start.'条
'; $str .= '';//更新$limit条，跳转防止脚本无响应 } else { echo '结束'; } echo $str; ob_flush(); flush(); sleep(2); unset($sql,$result,$row); }
