欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法

程序员文章站 2023-08-22 14:10:54
 php的curl可以用来实现抓取网页,分析网页数据用, 简洁易用, 这里介绍其函数等就不详细描述, 放上代码看看: 只保留了其中几个主要的函数。 实现模拟登陆...

 php的curl可以用来实现抓取网页,分析网页数据用, 简洁易用, 这里介绍其函数等就不详细描述, 放上代码看看:

只保留了其中几个主要的函数。 实现模拟登陆, 其中可能涉及到session捕获, 然后前后页面涉及参数提供形式。

  libcurl主要功能就是用不同的协议连接和沟通不同的服务器~也就是相当封装了的sock

  php 支持libcurl(允许你用不同的协议连接和沟通不同的服务器)。, libcurl当前支持http, https, ftp, gopher, telnet, dict, file, 和ldap 协议。libcurl同样支持https证书授权,http post, http put, ftp 上传(当然你也可以使用php的ftp扩展), http基本表单上传,代理,cookies,和用户认证。

  为了使用curl函数你需要安装curl包。php 需要你使用curl 7.0.2-beta或更高版。如果curl的版本低于7.0.2-beta,php将不工作。

  要使用php的curl支持,你必须用带有--with-curl[=dir]参数重新编译php(dir是包含库和头文件的目录)。

  这些函数是在php 4.0.2中新增得。

  一旦你编译了带有curl支持的php,你可以使用curl函数。基本思路是:你使用curl_init()函数初始化 curl会话,而后你可以设置你的所有选项,通过curl_exec()函数执行,最后你可以作用curl_close()函数来结束你的会话。以下是一个例子:是把php的主页取回放到一个文件中。

  例 1. 使用php的curl模块取回php主页

$ch = curl_init ("http://www.php.net/");
  $fp = fopen ("php_homepage.txt", "w");
  curl_setopt ($ch, curlopt_file, $fp);
  curl_setopt ($ch, curlopt_header, 0);
  curl_exec ($ch);
  curl_close ($ch);
  fclose ($fp);
  ?>

  目录列表

  curl_init — 初始化一个curl会话

  curl_setopt — 为curl调用设置一个选项

  curl_exec — 执行一个curl会话

  curl_close — 关闭一个curl会话

  curl_version — 返回当前curl版本

  * curl扩展的安装

  php已经内置有php_curl.dll,在ext目录下,此dll用于支持ssl和zlib.

  在php.ini中找到有extension=php_curl.dll, 去掉前面的注释.

  设置extension_dir=你的php的ext目录(例如c:/php/ext)

  把ext目录下的libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll 都拷贝到system32目录下,重启apache即可。

  curl_init

  curl_init -- 初始化一个curl会话

  描述

int curl_init ([string url])

  curl_init()函数将初始化一个新的会话,返回一个curl句柄供curl_setopt(), curl_exec(),和 curl_close() 函数使用。如果可选参数被提供,那么curlopt_url选项将被设置成这个参数的值。你可以使用curl_setopt()函数人工设置。

  例 1. 初始化一个新的curl会话,且取回一个网页

$ch = curl_init();
  curl_setopt ($ch, curlopt_url, "http://www.zend.com/");
  curl_setopt ($ch, curlopt_header, 0);
  curl_exec ($ch);
  curl_close ($ch);
  ?>

  参见:curl_close(), curl_setopt()

  * curl_setopt

  curl_setopt -- 为curl调用设置一个选项

  描述 

 bool curl_setopt (int ch, string option, mixed value)

  curl_setopt()函数将为一个curl会话设置选项。option参数是你想要的设置,value是这个选项给定的值。

  下列选项的值将被作为长整形使用(在option参数中指定):

  curlopt_infilesize: 当你上传一个文件到远程站点,这个选项告诉php你上传文件的大小。

  curlopt_verbose: 如果你想curl报告每一件意外的事情,设置这个选项为一个非零值。

  curlopt_header: 如果你想把一个头包含在输出中,设置这个选项为一个非零值。

  curlopt_noprogress: 如果你不会php为curl传输显示一个进程条,设置这个选项为一个非零值。

  注意:php自动设置这个选项为非零值,你应该仅仅为了调试的目的来改变这个选项。

  curlopt_nobody: 如果你不想在输出中包含body部分,设置这个选项为一个非零值。

  curlopt_failonerror: 如果你想让php在发生错误(http代码返回大于等于300)时,不显示,设置这个选项为一人非零值。默认行为是返回一个正常页,忽略代码。

  curlopt_upload: 如果你想让php为上传做准备,设置这个选项为一个非零值。

  curlopt_post: 如果你想php去做一个正规的http post,设置这个选项为一个非零值。这个post是普通的 application/x-www-from-urlencoded 类型,多数被html表单使用。

  curlopt_ftplistonly: 设置这个选项为非零值,php将列出ftp的目录名列表。

  curlopt_ftpappend: 设置这个选项为一个非零值,php将应用远程文件代替覆盖它。

  curlopt_netrc: 设置这个选项为一个非零值,php将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。

  curlopt_followlocation: 设置这个选项为一个非零值(象 "location: ")的头,服务器会把它当做http头的一部分发送(注意这是递归的,php将发送形如 "location: "的头)。

  curlopt_put: 设置这个选项为一个非零值去用http上传一个文件。要上传这个文件必须设置curlopt_infile和curlopt_infilesize选项.

  curlopt_mute: 设置这个选项为一个非零值,php对于curl函数将完全沉默。

  curlopt_timeout: 设置一个长整形数,作为最大延续多少秒。

  curlopt_low_speed_limit: 设置一个长整形数,控制传送多少字节。

  curlopt_low_speed_time: 设置一个长整形数,控制多少秒传送curlopt_low_speed_limit规定的字节数。

  curlopt_resume_from: 传递一个包含字节偏移地址的长整形参数,(你想转移到的开始表单)。

  curlopt_sslversion: 传递一个包含ssl版本的长参数。默认php将被它自己努力的确定,在更多的安全中你必须手工设置。

  curlopt_timecondition: 传递一个长参数,指定怎么处理curlopt_timevalue参数。你可以设置这个参数为timecond_ifmodsince 或 timecond_isunmodsince。这仅用于http。

  curlopt_timevalue: 传递一个从1970-1-1开始到现在的秒数。这个时间将被curlopt_timevalue选项作为指定值使用,或被默认timecond_ifmodsince使用。

  下列选项的值将被作为字符串:

  curlopt_url: 这是你想用php取回的url地址。你也可以在用curl_init()函数初始化时设置这个选项。

  curlopt_userpwd: 传递一个形如[username]:[password]风格的字符串,作用php去连接。

  curlopt_proxyuserpwd: 传递一个形如[username]:[password] 格式的字符串去连接http代理。

  curlopt_range: 传递一个你想指定的范围。它应该是"x-y"格式,x或y是被除外的。http传送同样支持几个间隔,用逗句来分隔(x-y,n-m)。

  curlopt_postfields: 传递一个作为http “post”操作的所有数据的字符串。

  curlopt_referer: 在http请求中包含一个"referer"头的字符串。

  curlopt_useragent: 在http请求中包含一个"user-agent"头的字符串。

  curlopt_ftpport: 传递一个包含被ftp "post"指令使用的ip地址。这个post指令告诉远程服务器去连接我们指定的ip地址。 这个字符串可以是一个ip地址,一个主机名,一个网络界面名(在unix下),或是'-'(使用系统默认ip地址)。

  curlopt_cookie: 传递一个包含http cookie的头连接。

  curlopt_sslcert: 传递一个包含pem格式证书的字符串。

  curlopt_sslcertpasswd: 传递一个包含使用curlopt_sslcert证书必需的密码。

  curlopt_cookiefile: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是netscape格式,或是堆存在文件中的http风格的头。

  curlopt_customrequest: 当进行http请求时,传递一个字符被get或head使用。为进行delete或其它操作是有益的,更pass a string to be used instead of get or head when doing an http request. this is useful for doing or another, more obscure, http request.

  注意: 在确认你的服务器支持命令先不要去这样做。

  下列的选项要求一个文件描述(通过使用fopen()函数获得):

  curlopt_file: 这个文件将是你放置传送的输出文件,默认是stdout.

  curlopt_infile: 这个文件是你传送过来的输入文件。

  curlopt_writeheader: 这个文件写有你输出的头部分。

  curlopt_stderr: 这个文件写有错误而不是stderr。

  * curl_exec

  curl_exec -- 执行一个curl会话

  描述

  bool curl_exec (int ch)

  在你初始化一个curl会话,及为这个会话设置了所有的选项后,这个函数将被调用。它的目的仅仅是执行预先确定的curl会话(通过给定的ch参数)。

  * curl_close

  curl_close -- 关闭一个curl会话

  描述

  void curl_close (int ch)

  这个函数关闭一个curl会话,并且释放所有的资源。curl句柄(ch参数)也被删除。

  * curl_version

  curl_version -- 返回当前curl版本

  描述

  string curl_version (void)

curl_version()函数返回一个包含curl版本的字符串。

<?php 
class multihttprequest{ 
  public $urls = array(); 
  public $curlopt_header = 0; 
  public $cookie_file = ''; 
  public $collect_save_file = ''; 
  public $start_timestamp = ''; 
  public $end_timestamp = ''; 
  private $log_handle = ''; 
  private $collect_save_handle = ''; 
  private $db_conn = false; 
  private $pre_break_goods_id = ''; //上一次强制退出的id 
  private $per_break_brand_id = ''; //上一次更新到的brand_id 
  private $main_log_id = '';    //本次更新的主表日志id 
  private $start_time = ''; 
  public $login_session = ''; 
  public $date_char = ''; 
  private $mode = ''; 
  private $sql_log_handle = ''; 
  function __construct($upgrade_date='', $force_upt=false) 
  { 
     $this->mysql_init();   
     } 
    private function mysql_init(){ 
    $db_name = 'dbname'; 
    $db_user = 'name'; 
    $db_pass = 'pass'; 
    $db_host = 'localhost'; 
    $db_conn = mysql_connect($db_host, $db_user, $db_pass) ; 
    if(!$db_conn){ 
      echo '数据库连接失败!'; 
      exit; 
    } 
    $this->db_conn = $db_conn; 
    mysql_select_db($db_name); 
  } 
  public function init_login(){ 
    //第一步模拟登陆 
    $target_url = 'http://www.test.com/login.jsp'; 
    //post 提交的数据 
    $post_fields = array( 
    'username'  => '卓雅秀淘宝', 
    'password'  => 'joarshow.taobao.com', 
    't_url'    => '', 
    'submit2'  => ' 登 录 ' 
    ); 
    //保存登陆的cookie 
    $cookie_file = dirname(__file__).'/cookie_'.time().'.txt'; 
    $this->cookie_file = $cookie_file; 
    //存cookie 
    $ch = curl_init($target_url); 
    curl_setopt($ch, curlopt_header, 1); 
    //   curl_setopt($ch, curlopt_cookiesession, 1); 
    curl_setopt($ch, curlopt_returntransfer, 1); 
    curl_setopt($ch, curlopt_post, 1); 
    curl_setopt($ch, curlopt_postfields, $post_fields); 
    curl_setopt($ch, curlopt_cookiejar, $cookie_file); 
    $login_contents = curl_exec($ch); 
    curl_close($ch); 
  } 
  /** 
   * 测试 
   * 
   * @param unknown_type $test_url 
   */ 
  public function get_one_file($test_url){ 
    $ch = curl_init($test_url); 
    curl_setopt($ch, curlopt_header, 0); 
    curl_setopt($ch, curlopt_returntransfer, 1); 
    curl_setopt($ch,curlopt_cookie, $this->login_session); 
    curl_setopt($ch, curlopt_referer, 'http://www.test.com/welcome.shtml'); 
    curl_setopt($ch, curlopt_useragent, 'mozilla/4.0 (compatible; msie 6.0; windows nt 5.2; sv1; .net clr 1.1.4322; .net clr 2.0.50727; .net clr 3.0.4506.2152; .net clr 3.5.30729)'); 
    $contents = curl_exec($ch); 
    curl_close($ch); 
    return $contents; 
  } 
  public function point_url_brand($url){ 
    $ch = curl_init($url); 
    curl_setopt($ch, curlopt_header, 0); 
    curl_setopt($ch, curlopt_returntransfer, 1); 
    curl_setopt($ch,curlopt_cookie, $this->login_session); 
    curl_setopt($ch, curlopt_referer, 'http://www.test.com/product.shtml'); 
    curl_setopt($ch, curlopt_useragent, 'mozilla/4.0 (compatible; msie 6.0; windows nt 5.2; sv1; .net clr 1.1.4322; .net clr 2.0.50727; .net clr 3.0.4506.2152; .net clr 3.5.30729)'); 
    $contents = curl_exec($ch); 
    //   echo htmlspecialchars($contents);exit; 
    curl_close($ch); 
    return $contents; 
  } 
} 

使用curl抓取淘宝页面集成方法

代码如下:

 /**
   * 根据地址抓取淘宝页面html代码
   * @param type $url 地址
   * @return boolean
   */
  public function gettaobaohtml($url) {
    if (empty($url)) {
      return false;
    }
    $ch = curl_init();
    // 设置 url
    curl_setopt($ch, curlopt_url, $url);
    // 设置浏览器的特定header
    curl_setopt($ch, curlopt_httpheader, array(
      "user-agent: {mozilla/5.0 (windows nt 6.1; wow64; rv:26.0) gecko/20100101 firefox/26.0}",
      "accept: {text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8}",
      "accept-language: {zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3}",
      "cookie:{cq=ccp%3d1; cna=a7suczomstecaxgg9icf4atx; t=671b2069c7e8ac444da66d664a397a5f; tracknick=%5cu4f0d%5cu6653%5cu8f8901;
 _tb_token_=ndiu1vcuzfd0; cookie2=c54709ffbe04a5ccb80283c34d6b00fa; 
pnm_cku822=128wsmpac%2ffs4kgnn%2byfhzduo4u2nc0zh9cas4%3d%
7cwucljkhqr873boifqcmecsw%3d%7cwmekrlv%
2b3d9a6xwaidnwnqoswxwaxugvqhzhxalh%7cx0
ylbx78nur2b2dhoxniqzenqqr35tbzbfq5vooi0b6ghza3u1kr%7cxkdilog
cr878zk9i%2b%2fe3qjad3lfjjaazra%3d%3d%7cxuemwmr2s%
2btuqk8ipp5tngwfujqwonccmcxihta0frygtjgfa4j6%7cxmy
k7f8liovh3hmupzxkiau%2fjw%3d%3d}",
    ));
    // 页面内容我们并不需要
    curl_setopt($ch, curlopt_nobody, 0);
    // 只需返回http header
    curl_setopt($ch, curlopt_header, 0);
    // 返回结果,而不是输出它
    //curl_setopt($ch, curlopt_returntransfer, 1);
    curl_setopt($ch, curlopt_followlocation, 1);
    ob_start();
    curl_exec($ch);
    $html = ob_get_contents();
    ob_end_clean();
    curl_close($ch);
    return $html;
  }