采集程序的一点思路--PHP/apache/Perl--编程设计网

=波波日志 > PHP/apache/Perl > 采集程序的一点思路=

[转]采集程序的一点思路

其实，采集程序最简单的思路就是：获取页面代码——分析代码——获取需要的部分——写入数据库

对于采集程序来说，使用PHP来写的话，其实不算太好的，因为PHP并不支持多线程，对于采集来说，若没有多线程，将会是非常痛苦的一件事

不过可以使用frame等来设置同时几个页面一起采集，这样就能增加速度了，在这里我不讨论怎么多线程，我只说怎么用PHP来进行简单的采集

先确定采集目标：http://cn.jokes.yahoo.com/jok/index.html

这是雅虎的笑话栏目，我就以这个来进行讲解吧

首先分析一下网页，可以知道连接形式为：

XML/HTML代码

-HTML

<img src="http://cn.yimg.com/i/cn/px_ar.gif" width=5 height=12 border=0 hspace=5><a href="http://cn.jokes.yahoo.com/07-07-/55/27lot.html" class=list target=_blank><big>头发与智慧</big></a>   

使用正则表达式将它表示出来为：

XML/HTML代码
/hspace=5><a href="http://cn.jokes.yahoo.com/(.*).html" class=list target=_blank>/isU

书写PHP代码：

PHP代码

-PHP

// 采集首页地址    
$url = "<a href=\"http://cn.jokes.yahoo.com/jok/index.html\">http://cn.jokes.yahoo.com/jok/index.html</a>";    
// 获取页面代码    
$r = file_get_contents($url);    
// 设置匹配正则    
$preg = '/hspace=5><a href="http://cn.jokes.yahoo.com/(.*).html" class=list target=_blank>/isU';    
// 进行正则搜索    
preg_match_all($preg, $r, $title);   

通过上面的代码，$title[1][num]就是连接的地址了，接着分析内容页，得到内容匹配正则为：

XML/HTML代码
/<div id="newscontent">(.*)</div>/isU

继续写代码：

PHP代码

-PHP

// 计算标题数量    
$count = count($title[1]);    
// 通过标题数量进行内容采集    
for($i=0;$i<$count;$i++) {    
   // 设置内容页地址    
  $jurl = "<a href=\"http://cn.jokes.yahoo.com/\">http://cn.jokes.yahoo.com/</a>" . $title[1][$i] . ".html";    
  // 获取内容页代码    
  $c = file_get_contents($jurl);    
  // 设置内容页匹配正则    
  $p = '/<div id="newscontent">(.*)</div>/isU';    
  // 进行正则匹配搜索    
   preg_match($p, $c, $content);    
  // 输出标题    
  echo $title[1][$i] . "<br>";    
  // 输出内容    
  echo $content[$i];    
}   

这样，一个简单的采集工具就写出来了，其他的功能只需要再进一步的完善就可以了

完整代码：

PHP代码

-HTML

<?php    
// 采集首页地址    
$url = "<a href=\"http://cn.jokes.yahoo.com/jok/index.html\">http://cn.jokes.yahoo.com/jok/index.html</a>";    
// 获取页面代码    
$r = file_get_contents($url);    
// 设置匹配正则    
$preg = '/hspace=5><a href="http://cn.jokes.yahoo.com/(.*).html" class=list target=_blank>/isU';    
// 进行正则搜索    
preg_match_all($preg, $r, $title);    
// 计算标题数量    
$count = count($title[1]);    
// 通过标题数量进行内容采集    
for($i=0;$i<$count;$i++) {    
   // 设置内容页地址    
  $jurl = "<a href=\"http://cn.jokes.yahoo.com/\">http://cn.jokes.yahoo.com/</a>" . $title[1][$i] . ".html";    
  // 获取内容页代码    
  $c = file_get_contents($jurl);    
  // 设置内容页匹配正则    
  $p = '/<div id="newscontent">(.*)</div>/isU';    
  // 进行正则匹配搜索    
   preg_match($p, $c, $content);    
  // 输出标题    
  echo $title[1][$i] . "<br>";    
  // 输出内容    
  echo $content[$i];    
}    
?>   

http://hi.baidu.com/isbx/blog/item/b3333ac7cf964fdad00060ca.html

类别：PHP/apache/Perl　作者：转载　日期：2009-09-02　【评论：0】　

上一篇：PHP程序定时执行　
下一篇：php 安全设置

暂时没有评论！

发表留言

百度赞助