先采集第一层页面的链接,然后往下层采集内容
在南浔等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、网站设计 网站设计制作按需求定制开发,公司网站建设,企业网站建设,成都品牌网站建设,全网整合营销推广,外贸营销网站建设,南浔网站建设费用合理。
至于代码，就是获取页面内容加正则收集链接
可以用以下4个方法来抓取网站 的数据：
1. 用 file_get_contents 以 get 方式获取内容：
?
$url = '';
$html = file_get_contents($url);
echo $html;
2. 用fopen打开url，以get方式获取内容
?
$url = '';
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
$result = '';
while(!feof($fp))
{
$result .= fgets($fp, 1024);
}
echo "url body: $result";
fclose($fp);
3. 用file_get_contents函数,以post方式获取url
?
$data = array(
'foo'='bar',
'baz'='boom',
'site'='',
'name'='nowa magic');
$data = http_build_query($data);
//$postdata = http_build_query($data);
$options = array(
'http' = array(
'method' = 'POST',
'header' = 'Content-type:application/x-www-form-urlencoded',
'content' = $data
//'timeout' = 60 * 60 // 超时时间（单位:s）
)
);
$url = "";
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
echo $result;
4、使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展
$url = '';
$ch = curl_init();
$timeout = 5;
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$file_contents = curl_exec($ch);
curl_close($ch);
echo $file_contents;
1、使用网络嗅探工具，也就是俗称sniffer的工具，这类工具有很多，有专业的sniffer pro，也有iris的抓包工具，还有许多简单点的。这种是通过抓取低层数据包，并根据上层HTTP、FTP、MAIL等协议解码，功能强弱跟软件有关。
2、原理就是将我们的网卡设置为混杂模式。我们知道网卡在链路层通信时的地址是MAC，网卡根据目标的MAC地址来确认是不是发给自己的包。在混杂模式下，网卡会接收所有网络中的数据包，不管是不是发给自己的。这样就可以得到网络中的所有数据了。
3、问题是在交换机环境下，交换机会首先分析MAC地址，然后只把数据包转发到对应的端口去。这样一来，除了广播包和多播包，我们的网卡只能接收到发给自己的数据包了，混杂模式下也无效了。
4、为了解决3这种问题，就分别针对交换机的工作原理和链路层通信的原理提出了不同的解决办法。比如通过发送大量的广播包，造成广播风暴，造成交换机没有更多能力来处理上层数据的分析工作，迫使交换机工作在物理层，相当于成了一个HUB，就会在所有端口中转发所有的数据包。另一种是中间人攻击，即伪造通信双方的MAC同时向双方发信，使双方都把我们误以为是对方，从而将要发到对方的数据包发送给我们，我们在收到的同时再给过处理转发给真正的接受方，这样就得到数据了。如果能够把自己伪装成网关，所有的对外通信就都能拿到了。
5、在无线传输的情况下，电波总是在公共区域传播的，所以必须要对数据进行加密才能保证安全，根据等级和需要可以使用不同的加密方式。这时候也有专门针对无线的sniffer工具，至于能不能解密破解，就需要一点运气了。
6、这是低层的，还可以根据各层协议原理，有针对性的把自己伪装成需要的角色，从而获取到相关信息。比如可以伪装成DNS、邮件服务器等等。
7、道高一尺、魔高一丈，有漏洞就有解决办法。比如对交换机进行专门的设置，在风暴时使用保守的丢包处理方式，或者绑定到IP地址，或者应用层的HTTPS、DNS扩展协议。总是在攻守当中向前发展。
PHP Simple HTML DOM或者phpQuery可以直接取得某些div中的内容，里面有几个例子专门针对于网页抓取，调整好抓取频次，舍去已经存在的数据，你可以参考下
;id=57class=2