php curl采集站外内容示例代码

2. // 初始化一个 cURL 对象
3. $curl = curl_init();
4. // 设置你需要抓取的URL
5. curl_setopt($curl, CURLOPT_URL, 'http://bbs.it-home.org');
6. // 设置header
7. curl_setopt($curl, CURLOPT_HEADER, 1);
8. // 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
9. curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
10. // 运行cURL，请求网页
11. $data = curl_exec($curl);
12. // 关闭URL请求
13. curl_close($curl);

复制代码

3、通过正则匹配找到关键数据

2. //$data是curl_exec返回的的值，即采集的目标内容
3. preg_match_all("/
4. (.*?)/",$data, $out, PREG_SET_ORDER);
5. foreach($out as $key => $value){
6. //此处$value是数组，同时记录找到带匹配字符的整句和单独匹配的字符
7. echo '匹配到的整句：'.$value[0].'
8. ';
9. echo '单独匹配到的：'.$value[1].'
10. ';
11. }

复制代码

PHP curl的技巧 1、超时的相关设置 通过curl_setopt($ch, opt) 可以设置一些超时的设置，主要包括： CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数。 CURLOPT_TIMEOUT_MS 设置cURL允许执行的最长毫秒数。 (在cURL 7.16.2中被加入。从PHP 5.2.3起可使用。 ) CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间，如果设置为0，则无限等待。 CURLOPT_CONNECTTIMEOUT_MS 尝试连接等待的时间，以毫秒为单位。如果设置为0，则无限等待。 在cURL 7.16.2中被加入。从PHP 5.2.3开始可用。 CURLOPT_DNS_CACHE_TIMEOUT 设置在内存中保存DNS信息的时间，默认为120秒。

2、通过post提交数据，保留cookie

3. //Curl 模拟登录 discuz 程序,适合DZ7.0

4. !extension_loaded('curl') && die('The curl extension is not loaded.');

5. $discuz_url = 'http://bbs.it-home.org';//论坛地址

6. $login_url = $discuz_url .'/logging.php?action=login';//登录页地址
7. $get_url = $discuz_url .'/my.php?item=threads'; //我的帖子

8. $post_fields = array();

9. //以下两项不需要修改
10. $post_fields['loginfield'] = 'username';
11. $post_fields['loginsubmit'] = 'true';
12. //用户名和密码，必须填写
13. $post_fields['username'] = 'jbxue';
14. $post_fields['password'] = '88888888';
15. //安全提问
16. $post_fields['questionid'] = 0;
17. $post_fields['answer'] = '';
18. //@todo验证码
19. $post_fields['seccodeverify'] = '';

20. //获取表单FORMHASH

21. $ch = curl_init($login_url);
22. curl_setopt($ch, CURLOPT_HEADER, 0);
23. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
24. $contents = curl_exec($ch);
25. curl_close($ch);
26. preg_match('//i', $contents, $matches);
27. if(!empty($matches)) {
28. $formhash = $matches[1];
29. } else {
30. die('Not found the forumhash.');
31. }

32. //POST数据，获取COOKIE

33. $cookie_file = dirname(__FILE__) . '/cookie.txt';
34. //$cookie_file = tempnam('/tmp');
35. $ch = curl_init($login_url);
36. curl_setopt($ch, CURLOPT_HEADER, 0);
37. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
38. curl_setopt($ch, CURLOPT_POST, 1);
39. curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);
40. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
41. curl_exec($ch);
42. curl_close($ch);

43. //带着上面得到的COOKIE获取需要登录后才能查看的页面内容

44. $ch = curl_init($get_url);
45. curl_setopt($ch, CURLOPT_HEADER, 0);
46. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
47. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
48. $contents = curl_exec($ch);
49. curl_close($ch);

50. var_dump($contents);

复制代码