php网页采集功能

我要获取这里的所有列表名称和列表url地址。

phpquery有多种初始化的方法，这里我用：

下载：http://code.google.com/p/phpquery/downloads/list

<?php

//初始化phpquery对象

$file = file_get_contents(" http://lmzj26.blog.51cto.com/index.html");

$dom = phpQuery::newDocument($file);

//这样可以得到网页标题

$title = pq("head > title")->text();

//获取网页标题

$title = $dom['head > title']->text();

//开始获取列表

//可以看到样式为.con这个div

$div = pq('.con')->find('a'); //把这个div里面的所有a标签作为对象存入$div

foreach($div as $d){ //循环，这里的$d即表示的是一个a对象了

$url = pq($d)->attr('href'); //获取href属性

$t = pq($d)->text(); //获取a标签里面的文本

$al[$url] = $t; //存入数组，循环，采集，存入数据库

}

例二。guoxue.baidu.com/page/caabbead/0.html

/**

这里我们要做的是获取这里的文章作者和内容，即关关雎鸠.....

分析得出作者是在 <div class="con"> 里面的p标签里面的。而内容则是被包含

在这个div里面的第二个子div，第一与第三个div是上下页。

*/

//创建对象

$file2 = file_get_contents(" http://lmzj26.blog.51cto.com/index.html ");

$dom = phpQuery::newDocument($file2);

//获取了作者那一块信息。

$writer = pq('.con')->find('p')->text();

//echo $writer;

//$writer = getWriter($writer); //这是我写的获取作者的一个函数，很简单按:分割就得到了

$cont = pq('.con')->find('div'); //得到样式.con的div里面所有div对象

$content = array();

$content['writer'] = $writer;

$i =0;

foreach($cont as $arch){ //循环得到单个的div对象

if($i ==1){ //文章div是第二个

$content['txt'] = pq($arch)->html(); //这里就得到文章了

}

$i++;

}

//print_r($content);

?>

这样就完成了。不过采集需要注意的是编码问题。如不注意则有些生僻字则获取不到。

如上网页的编码是gb2312，而我的是utf-8则需要转码一下。

$content['txt'] = iconv('gb2312','utf-8',$content['txt'] ); //但是这样还是有很多字符丢失了。。搞了半天才明白。。这有关字符大小的关系。gb2312<gbk<gb18030

把gb2312改为gbk就好了。。

$content['txt'] = iconv('gbk','utf-8',$content['txt'] );

做采集功能，原来这么简单