Fate

python爬取图片出现(403 Forbidden)的解决方法

Markdown

前言:今天做了一个图片爬虫,遇到了一个很奇怪的问题,但是最终找到了解决方法.

  • 今天做了个图片爬虫,但是当我从图片链接去下载图片时,总是报出403 Forbidden,而且当我用别的浏览器打开这个图片链接时,也报这个错误.当时感觉玄学了..
    Markdown

  • 解决方法:在headers里面需要一个Referer,告诉了服务器我是从这个页面跳转过去的。(这当然不是真的)然后骗过服务器.

    1
    2
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36',
    'Referer':'跳转之前的网页'}
  • 禁爬虫的手段多种多样,但是总是会有破解方法,经常的解决方法是模拟headers,但是我在google的network里并没有找到Referer,网络世界非常神秘,还有很多的秘密可以探索.

参考博客:
python 3.4 爬虫,伪装浏览器(403 Forbidden)

热评文章