python学习(爬取网页network上的内容)

本文只是本人在学习途中记录与复习梳理用,大佬们酌情观看哈~
当用requests的get得到一个对象后,发现用find显示的是None,但打开网页检查的时候却存在,为什么?
除了平时直接显示的元素(elements)之外,还有许多内容在检查栏内:
学习之后我知道了,其中的network里的内容在请求之后才会与元素结合显示,Network中能够看到浏览器的请求。
怎么获取network中的内容?我用python解决的(刚学XD)
先上代码:

import requests
from bs4 import BeautifulSoup
# 引用requests库
res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0')
# 调用get方法,下载这个字典
json_music = res_music.json()
# 使用json()方法,将response对象,转为列表/字典
list_music=json_music['data']['song']['list']
for music in list_music:
    print(music['name'])

这是爬取了QQ音乐中周董的歌名的代码,运用了json的技术,有问题请联系我~

全部评论

相关推荐

10-09 22:05
666 C++
找到工作就狠狠玩CSGO:报联合国演讲,报电子烟设计与制造
点赞 评论 收藏
分享
评论
点赞
收藏
分享
牛客网
牛客企业服务