【S.F.X】用Python爬取某乎手机APP数据(第二期)

玩机讨论   © 文章版权由 admin 解释,禁止匿名转载

#楼主# 2021-6-15

三、抓取数据
1.打开某乎app

2.查看数据包列表

打开app之后,Fiddler就已经抓取到数据了

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件



这样我们获取的数据包列表就都是过滤条件内的目标网址


3.查找数据包

比如点击热榜


对应的https加密数据包如下:

数据包中的数据如下:


提取出url链接


本帖含有隐藏内容,请您 回复 后查看
(注意:此链接只是供参考)
拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序

# -*- coding: utf-8 -*-

ok这样就可以将数据获取下来!

四、总结
1.配置抓包工具Fiddler(重点)。

2.ios苹果手机配置证书和设置代理(安卓手机也类似)。

3.简单使用Fiddler(过滤数据包、查看数据包等)。

4.本文以某乎为实战,实现了python爬取手机app数据

到此这篇关于用Python爬取某乎手机APP数据的文章就介绍到这了。

成为第一个回答人

评论

登录后才可发表内容
  • 主题

    13

  • 帖子

    33

  • 关注者

    0

Copyright © 2019 凯特网.   Powered by HYBBS 2.3.4  

Runtime:0.0942s Mem:2061Kb