欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

聽說內地神人很多,求解curl 抓網頁數據問題~

程序员文章站 2022-03-26 18:33:22
...
不管是另存新档的网页或是curl抓出来的结果为
  • CurrentSituation
  • HittingCharts
    PitchingCharts
    因工作需求,需要抓取别人网站的数据,使用php+ curl 但是遇到问题无解
    听说内地的神人很多,请各位神人帮帮小弟,来自*的小弟已经爬文爬文三天了。
    网址如下:
    先进入:
    http://www.cbssports.com/mlb/scoreboard
    然后,选择下方正在比赛中的赛事,点选GAMETRACKER 就可以看到直播
    问题来了
    以这个网址为例:(当各位大大看到时,也许赛事已经结束了)
    ttp://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR

    小弟写的程序如下:
    $game=array();
    $ch = curl_init();
    $search1=$_GET['searcharg'];
    $url="http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR";
    $cookie_jar =dirname(__FILE__)."/pic.cookie";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_USERAGENT,"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko)Chrome/20.0.1132.57 Safari/536.11");
    $data = curl_exec($ch);
    curl_close($ch);
    preg_match_all('/(.*?)/is',$data,$teamCity);
    ….(进行字符串解析)
    目前已知问题:
    不管是 「另存新檔」save as ,还是 检视原始档 ,一些该出现的html都没有出现,例如:
    原网站为:
    聽說內地神人很多,求解curl 抓網頁數據問題~http://sports.cbsimg.net/images/baseball/mlb/players/60x80/1961062.jpg"border="0"> Pitcher:M. Mariot | # 48 RP

    0.1IP
    0-0, 5.73 ERA, 11.0 IP,9 K's, 6 BB
    聽說內地神人很多,求解curl 抓網頁數據問題~"http://sports.cbsimg.net/images/baseball/mlb/players/60x80/no-photo-available.jpg"border="0"> Pitcher:

    上面蓝色代表没有显示出来的,
    目前我试过的方式,送cookie!模拟浏览器 ,还是没效,
    不知道各位内地的神人有没有解?请给小弟一个方向吧(跪求)

    聽說內地神人很多,求解curl 抓網頁數據問題~

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。

    相关文章

    相关视频


    网友评论

    文明上网理性发言,请遵守 新闻评论服务协议

    我要评论
  • 聽說內地神人很多,求解curl 抓網頁數據問題~
  • 专题推荐

    作者信息
    聽說內地神人很多,求解curl 抓網頁數據問題~

    认证0级讲师

    推荐视频教程
  • 聽說內地神人很多,求解curl 抓網頁數據問題~javascript初级视频教程
  • 聽說內地神人很多,求解curl 抓網頁數據問題~jquery 基础视频教程
  • 视频教程分类
    相关标签: 聽說內地神人很多,求解curl 抓網頁數據問題~

    上一篇: iframe url 出现 does not permit cross-origin framing.

    下一篇: PHP+mysql如何实现屏蔽用户的功能?

    推荐阅读