python爬取网页学习(带参数请求数据)

在爬取网页时，并不是所有的网页都允许爬虫的爬取。比如知乎，猫眼。当请求爬取时会失败，那怎么做呢？
我的另一篇文章传送门
当请求时带上参数header时就成功了。headers可以有的数据有：

headers = {
    'origin':'https://xxx.com',
    # 请求来源，不一定要有
    'referer':'https://xxx.com/xxx/xxx.html',
    # 请求来源，携带的信息比“origin”更丰富，也不一定要有
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    # 标记了请求从什么设备，什么浏览器上发出，就如以上win10系统,64位操作系统，在类似谷歌的浏览器访问
    }

通过学习知道那是在表明自己的身份，headers参数内是用户的属性，并不是一定要那段代码才可以。
告诉网页你是通过网页浏览的就可以通过