爬虫第7节

Beautiful Soup库

安装

如果只有IDLE,应该是需要安装的,打开CMD,输入以下命令

pip install beautifulsoup4

如果使用的其他的,会自带,不用安装。

简单运用

import requests
from bs4 import BeautifulSoup #从beautifulsoup4(bs4)库中导入BeautifulSoup对象

url = "http://www.baidu.com"

try:
    kv = {'user-agent' :'Mozilla/5.0'}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    demo = r.text
    soup = BeautifulSoup(demo,'html.parser')
    print(soup.prettify()) #按照html的dom树结构进行显示
except:
    print("爬取失败")
全部评论

相关推荐

05-19 19:57
蚌埠学院 Python
2237:Gpa70不算高,建议只写排名,个人技能不在多而在精,缩到8条以内。项目留一个含金量高的,减少间距弄到一页,硕士简历也就一页,本科不要写很多
实习,投递多份简历没人回...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务