雅荷心语
心之所向便是光

首页
前端之旅
后端之路
软件工具
心灵鸡汤
心路历程
视频资料
关于我们
- 关于我
- 关于我
微信平台
- 业务合作

首页
前端之旅
后端之路
软件工具
心灵鸡汤
心路历程
视频资料
关于我们
- 关于我
- 关于我
微信平台
- 业务合作
关注本站
- 微信
- 微博
- 腾讯微博
- Twitter
- Facebook
- RSS订阅

Hi, 请登录我要注册找回密码

使用PHP的QueryList来写一个小爬虫玩玩~

2016-05-24 分类：后端之路阅读(5414) 评论(0)

00:00/00:00

今天早上比较无聊,就玩了玩这个东西,简单爬了一下公司的房源列表,
Qlist的使用文档: http://doc.querylist.cc/site/index/doc/3
先看看代码:

public function actionIndex(){
        header("Content-type:text/html;charset=utf-8");
        Includes('Query/QueryList.php');Includes('Query/phpQuery.php');
        $option = array(
            "title"=>array('.liebiao h1','text'),
            'money'=>array('.liebiao .zm_money span','text'),
            'xiaoqu'=>array('.liebiao ul li.info p:nth-child(2)','text'),
            'dizhi'=>array('.liebiao ul li.info p:nth-child(3)','text'),
            'huxin'=>array('.liebiao ul li.info p:nth-child(4)','text'),
            'uodateTime'=>array('.liebiao ul li.info p:nth-child(5)','text'),
        );
        $page = isset($_GET['page'])?$_GET['page']:'1';
        $hj = QueryList::Query('http://www.kuaiyoujia.com/zufangs/house/quyu-i'.$page,$option);
        $result = $hj->data;
        $TempArr = [];
        foreach($result as $key=>$value){
            $SetArr = [];
            foreach($value as $k=>$v){
                $SetArr[$k] = trimall($v);
            }
            $TempArr[$key] = $SetArr;
        }
        $ArrTemp = [];
        for ($i = 0; $i <10 ; $i++) {
            $ArrTemp[$i] = $TempArr[$i];
        }
        file_put_contents($_SERVER['DOCUMENT_ROOT'].'/uploads/HouseInfo_'.$page.'.json',json_encode($ArrTemp).PHP_EOL, FILE_APPEND);
        if($page <= 10){
            p('第'.$page.'次');
            $page = $page+1;
            Header('Location:http://127.0.0.1/index.php/wechat?page='.$page);
        }else{
            p('爬完了...');
        }
    }

public function actionIndex(){

header("Content-type:text/html;charset=utf-8");

Includes('Query/QueryList.php');Includes('Query/phpQuery.php');

$option = array(

"title"=>array('.liebiao h1','text'),

'money'=>array('.liebiao .zm_money span','text'),

'xiaoqu'=>array('.liebiao ul li.info p:nth-child(2)','text'),

'dizhi'=>array('.liebiao ul li.info p:nth-child(3)','text'),

'huxin'=>array('.liebiao ul li.info p:nth-child(4)','text'),

'uodateTime'=>array('.liebiao ul li.info p:nth-child(5)','text'),

);

$page = isset($_GET['page'])?$_GET['page']:'1';

$hj = QueryList::Query('http://www.kuaiyoujia.com/zufangs/house/quyu-i'.$page,$option);

$result = $hj->data;

$TempArr = [];

foreach($result as $key=>$value){

$SetArr = [];

foreach($value as $k=>$v){

$SetArr[$k] = trimall($v);

}

$TempArr[$key] = $SetArr;

}

$ArrTemp = [];

for ($i = 0; $i <10 ; $i++) {

$ArrTemp[$i] = $TempArr[$i];

}

file_put_contents($_SERVER['DOCUMENT_ROOT'].'/uploads/HouseInfo_'.$page.'.json',json_encode($ArrTemp).PHP_EOL, FILE_APPEND);

if($page <= 10){

p('第'.$page.'次');

$page = $page+1;

Header('Location:http://127.0.0.1/index.php/wechat?page='.$page);

}else{

p('爬完了...');

}

刚开始想的是,每次走一遍,就给page+1,然后让浏览器跳转一下,结果~~~
爬完了也并没有出现我想要的跳转…..
只看到本地目录蹭蹭蹭的出现一堆数据文件,

刚开始,page+1是写在Header的地址里,结果每次只走一次就不走了,后来改成这样:
$page = $page+1;
Header(‘Location:http://127.0.0.1/index.php/wechat?page=’.$page);
就顺利的跑起来~
中间用到的删除空格方法:

//删除空格
function trimall($str){
    $qian=array(" ","　","\t","\n","\r");
    $hou=array("","","","","");
    return str_replace($qian,$hou,$str);
}

//删除空格

function trimall($str){

$qian=array(" ","　","\t","\n","\r");

$hou=array("","","","","");

return str_replace($qian,$hou,$str);

}

/*载入指定的扩展文件*/
function Includes($name){
    require_once $_SERVER['DOCUMENT_ROOT'].'/common/extend/'.$name;
}

/*载入指定的扩展文件*/

function Includes($name){

require_once $_SERVER['DOCUMENT_ROOT'].'/common/extend/'.$name;

}

喜欢 (1) 赏讨厌 (0)

分享到：更多 ()

标签：数据处理

碎碎念):(来自公众号)

左邻右舍

Brian's Blog
易水寒
楼教主
贤心
阿米龙

雅荷心语博客 -心之所向便是光

联系我们关于我们

一	二	三	四	五	六	日
« 十
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30

相关推荐

雅荷心语博客 -心之所向便是光