python爬取网页学习(带参数请求数据)

在爬取网页时,并不是所有的网页都允许爬虫的爬取。比如知乎,猫眼。当请求爬取时会失败,那怎么做呢?
我的另一篇文章传送门
当请求时带上参数header时就成功了。headers可以有的数据有:

headers = {
    'origin':'https://xxx.com',
    # 请求来源,不一定要有
    'referer':'https://xxx.com/xxx/xxx.html',
    # 请求来源,携带的信息比“origin”更丰富,也不一定要有
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    # 标记了请求从什么设备,什么浏览器上发出,就如以上win10系统,64位操作系统,在类似谷歌的浏览器访问
    }

通过学习知道那是在表明自己的身份,headers参数内是用户的属性,并不是一定要那段代码才可以。
告诉网页你是通过网页浏览的就可以通过

全部评论

相关推荐

但听说转正率很低,我现在有在实习了,好纠结要不要去
熬夜脱发码农:转正率低归低,但是实习的经历你可以拿着,又不是说秋招不准备了
点赞 评论 收藏
分享
06-23 11:43
门头沟学院 Java
allin校招的烤冷...:我靠,今天中午我也是这个hr隔一个星期发消息给我。问的问题还是一模一样的😅
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务