全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

千锋Python培训班教你利用爬虫获取虎牙直播美女主播图片

发布时间:2021-08-06 08:56:00
发布人:小千

      当你学会了Python爬虫技术之后看到什么都想去爬一下,今天小千就来教大家如何去获取虎牙直播中的美女主播照片,带好小本本记好重点!

      Python爬虫获取直播封面图

      首先我们需要知道整体的流程:

      1.获取请求链接,并判断响应结果的类型。2.使用requests发出请求,获取响应结果。3.解析响应结果。4.将响应的结果做持久化保存。

      按照上面的步骤,第一步我们打开虎牙直播的网站,找到想要获取数据的专区,然后按下F11开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片将页面拉到底部,进行翻页。发现地址栏没有变化。

      如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。

千锋Python培训爬虫教程1

千锋Python培训爬虫教程2

      点开上图中圈起来的链接,发现在response处是一个json返回结果

千锋Python培训爬虫教程3

      链接其他的没有发生变化,唯独在最后位置page发生了改变。分别跟页码数对应上了。于是我们就有了下面的代码:

千锋Python培训爬虫教程4

      现在我们就来到了步骤二,使用requests发出请求了。

千锋Python培训爬虫教程5

      我们发现成功获取了3条json结果,接下来就是分析和解析数据了。因为json内容很长,我们不便分析它们,所以我们使用json的格式化工具完成

千锋Python培训爬虫教程6

      通过分析我们发现所有的数据都在data-->datas中,而图片在screenshot对应的值上。所以我们开始解析,先将json字符串使用json.loads()进行转换,得到的是一个字典,然后层层的获取数据。

      我们虽然提取出来了图片的url,但是还没有保存到本地。所以接下来要做第四步持久化保存了。因为我们下载的仅仅是图片,所以直接使用request.urlretrieve实现就可以

      因此最后的完整代码是:

千锋Python培训爬虫教程7

      以上就是利用Python获取美女直播图片的教程了,其他直播网站的图片也可以同样方式操作,如果你对Python爬虫感兴趣的话不妨来千锋Python培训班了解一下我们的Python培训课程,包含全套Python爬虫教程,权威名师全程面授学不会继续学直到学会为止,现在咨询还有免费的学习资料可以领取,赶紧来了解一下吧。

相关文章

数据库服务器和web服务器有什么区别?

数据库服务器和web服务器有什么区别?

2023-10-14
mysql-devel具体是做什么的?

mysql-devel具体是做什么的?

2023-10-14
几千张表的SQL数据库怎么设计持久层?

几千张表的SQL数据库怎么设计持久层?

2023-10-14
Mysql一次读取数据的最小单位是什么?

Mysql一次读取数据的最小单位是什么?

2023-10-14

最新文章

常见网络安全面试题:Windows常用的命令有哪些?

常见网络安全面试题:Windows常用的命令有哪些?

2023-10-09
常见网络安全面试题:根据设备告警如何展开排查?

常见网络安全面试题:根据设备告警如何展开排查?

2023-10-09
常见网络安全面试题:mysql加固呢?(数据库加固)

常见网络安全面试题:mysql加固呢?(数据库加固)

2023-10-09
常见网络安全面试题:windows和linux加固?(操作系统加固)

常见网络安全面试题:windows和linux加固?(操作系统加固)

2023-10-09
在线咨询 免费试学 教程领取