php利用wget远程抓取数据 https 豆瓣图片

来源: WordPress导航主题    日期: 2022-9-6    标签:,     作者: WordPress导航主题   

很多时候需要从目标网站抓取一些数据回来,就php而言比较常用的抓取方法有file_get_contents、curl、fopen和fsockopen。
但有一些网站为了防止别人抓取想尽了办法来限制别人抓取,上述4种方法有的是使你的请求超时,有的是直接给你一个错误的信息。
近日在采集豆瓣时就无法获取图片,所以我们这里使用wget来获取文件。
如果你的服务器或主机是liunx系统(需要开启system函数),还可以使用下面这个方法获取数据。liunx系统在shell脚本中下载用的最多的是wget命令,利用wget命令可避免受到服务器的限制,还可以做一些远程图片的抓取。

/**    * 用shell获取远程文件    *    * $url    string  文件或网页地址    * $dir    string  文件存放地址 默认是/tmp/    */   function getFileByWget($url, $dir='/tmp/') {      if(empty($url)) {          return null;      }      $file_name = $dir.md5(time().rand());      $commod = "wget -q {$url} -O {$file_name}";      system($commod);      return ;  }  getFileByWget('http://laoji.org/','./'); //使用方法

 

腾讯云限时秒杀【点击购买】

搬瓦工,CN2高速线路,1GB带宽,电信联通优化KVM,延迟低,速度快,建站稳定,搬瓦工BandwagonHost VPS优惠码BWH26FXH3HIQ,支持<支付宝> 【点击购买】!

Vultr$3.5日本节点,512M内存/500G流量/1G带宽,电信联通优化,延迟低,速度快【点击购买】!

阿里云香港、新加坡VPS/1核/1G/25G SSD/1T流量/30M带宽/年付¥288【点击购买】

php利用wget远程抓取数据 https 豆瓣图片

`微信`扫码 加好友

链接到文章: https://gkxyz.com/phpliyongwgetyuanchengzhuaqushuju-https-doubantupian.html

推荐站点

  • RAKsmart

    主机商介绍:RAKsmart是知名的美国服务器租用商,包括美国站群服务器、美国cn2服务器、香港服务器等热门产 […]

  • 腾讯云 – 产业智变 云启未来

    腾讯云为数百万的企业和开发者提供安全稳定的云计算服务,涵盖云服务器、云数据库、云存储、视频与CDN、域名注册等 […]

  • DigitalOcean – The developer cloud

    Helping millions of developers easily build, test, mana […]

  • 芒果TV-天生青春

    芒果TV-大家都在看的在线视频网站-热门综艺最新电影电视剧在线观看

  • 优酷 – 你的热爱 正在热播

    视频服务平台,提供视频播放,视频发布,视频搜索,视频分享

  • 观察者网

    观察者网,致力于荟萃中外思想者精华,鼓励青年学人探索,建中西文化交流平台,为崛起中的精英提供决策参考。

评论已关闭