让代码更简单

Python自动化爬虫神器DrissionPage 

重要:本文最后更新于2024-04-11 20:46:48,某些文章具有时效性,若有错误或已失效,请在下方留言或联系代码狗

DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器,也能收发数据包,还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大,内置无数人性化设计和便捷功能。它的语法简洁而优雅,代码量少,对新手友好。

GitHub开源地址:https://github.com/g1879/DrissionPage

支持环境

操作系统:Windows、Linux 或 Mac。

python 版本:3.6 及以上

支持浏览器:Chromium 内核(如 Chrome 和 Edge)

安装

复制
pip install DrissionPage

监听抖音数据

复制
from DrissionPage import ChromiumPage, ChromiumOptions

# 创建配置对象
co = ChromiumOptions().use_system_user_path()
# 设置不加载图片、静音
co.no_imgs(True).mute(True)
co.headless() # 无头模式
#co.set_argument('--headless=new')#无界面系统
co.set_argument('--no-sandbox') # 无沙盒模式
page=ChromiumPage(co)
page.listen.start('https://www.douyin.com/aweme/v1/web/aweme/detail', method='GET')
page.get(url)
r = page.listen.wait()
page.listen.stop()
if r==False:
return {'error': 1,'msg': '超时!获取抖音视频数据失败!'}
else:
#数据处理

此代码将会打开浏览器,并访问你需要的抖音url地址。然后监听url是https://www.douyin.com/aweme/v1/web/aweme/detail的get请求数据。

效果非常不错,完全不用考虑js加密参数的问题,完全交给浏览器,然后从浏览器中读取内容,适合快速开发项目。唯一的缺点就是响应慢,毕竟需要等待浏览器响应数据,而且该工具的api还不够完善。

感觉很棒!可以赞赏支持我哟~

0 打赏

评论 (0)

登录后评论
QQ咨询 邮件咨询 狗哥推荐