目錄
- 一、配置抓包工具
- 二、配置手機代理
- 三、抓取數(shù)據(jù)
- 四、總結
一、配置抓包工具
1.安裝軟件
本文選擇的抓包工具:Fiddler
具體的下載安裝這里不詳細贅述?。ňW(wǎng)上搜Fiddler安裝,一大堆教程),本文以實戰(zhàn)為例,就不再這里浪費時間了!
2.配置Fiddler
安裝好之后,接下來就開始配置Fiddler工具(這里是關鍵,仔細閱讀!)
配置Connections
打開Fiddler后,點擊Tools->Options
![](/d/20211017/5e7e6cda3db9dcd1ccb0f53530ce5f46.gif)
點擊Connections
![](/d/20211017/8204eef8a6810018ccdfd3ff8991518d.gif)
勾選上對應的選項
配置HTTPS
由于目前大部分APP都是https加密,包括本文實戰(zhàn)『某乎』案例也是https加密,因此配置HTTPS,來抓取https數(shù)據(jù)包!
![](/d/20211017/4bbb9b9783caea58ef82f41af5adef32.gif)
勾選上對應的選項
最后抓包工具Fiddler就配置好了
記得重啟Fiddler!重啟Fiddler!重啟Fiddler!不然可能不生效
二、配置手機代理
1.設置代理
準備工作
首先看一下安裝Fiddler主機ip(電腦和手機必須處于同一局域網(wǎng))
查看ip命令
![](/d/20211017/9f6c4d19986d19c805fd37bbbea9472b.gif)
開始配置
目標代理主機信息
ip:192.168.31.195
端口:8888
在wifi無線網(wǎng)處進去,點擊配置代理
填寫好相關代理信息
![](/d/20211017/3f792ad0da429c24ac5377d0f580df4e.gif)
2.安裝證書
在瀏覽器輸入:
http://192.168.31.195:8888
![](/d/20211017/d064dad8fcf2dde6aa1706819b077f68.gif)
點擊下載證書后,下面就開始安裝(看圖操作)
![](/d/20211017/aa5823182d5f51515fce4782294c80c7.gif)
![](/d/20211017/b43a7ca4e40e00f9ceaa1f13f1d5e2ad.gif)
![](/d/20211017/a43888974ccc4007b07b50a31936176a.gif)
![](/d/20211017/5ee10731dff3ccc3036d7fabc6640058.gif)
ok,這樣手機端就配置完成,下面開始抓取數(shù)據(jù)?。。?/p>
三、抓取數(shù)據(jù)
1.打開某乎app
![](/d/20211017/eb2fee6f6e16884fa10ed133e78791fc.gif)
2.查看數(shù)據(jù)包列表
打開app之后,F(xiàn)iddler就已經(jīng)抓取到數(shù)據(jù)了
![](/d/20211017/01c2c65e024e18961c848b09918b91fd.gif)
這里可以看到app發(fā)送和接收了哪些數(shù)據(jù)包
為了更加精準定位到某乎(只看目標的數(shù)據(jù)包),添加一個過濾條件
![](/d/20211017/f0348aaac3333beb9686eb0d748937e9.gif)
這樣我們獲取的數(shù)據(jù)包列表就都是過濾條件內(nèi)的目標網(wǎng)址
![](/d/20211017/3830d54a66da4e047e3a346860a5544e.gif)
3.查找數(shù)據(jù)包
比如點擊熱榜
![](/d/20211017/917ba860f0066f469731756d27882086.gif)
對應的https加密數(shù)據(jù)包如下:
![](/d/20211017/7720398781f7b8e71b2c8cd3ef18afa1.gif)
數(shù)據(jù)包中的數(shù)據(jù)如下:
![](/d/20211017/26149eacc524b2dc62ef8de847c02223.gif)
提取出url鏈接
![](/d/20211017/03b168ba5dd7168f3466e9402b3d0c4b.gif)
https://api.zhihu.com/topstory/hot-list?limit=10reverse_order=0
拿到url之后,接著開始編程爬取保存數(shù)據(jù)。
4.編寫爬蟲程序
![](/d/20211017/b66fe51ab119f6e6ed4bc9a7badd14a9.gif)
ok這樣就可以將數(shù)據(jù)獲取下來!
四、總結
1.配置抓包工具Fiddler(重點)。
2.ios蘋果手機配置證書和設置代理(安卓手機也類似)。
3.簡單使用Fiddler(過濾數(shù)據(jù)包、查看數(shù)據(jù)包等)。
4.本文以某乎為實戰(zhàn),實現(xiàn)了python爬取手機app數(shù)據(jù)
到此這篇關于用Python爬取某乎手機APP數(shù)據(jù)的文章就介紹到這了,更多相關Python爬取APP數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- Python自動化爬取天眼查數(shù)據(jù)的實現(xiàn)
- Python爬蟲實戰(zhàn)之爬取京東商品數(shù)據(jù)并實實現(xiàn)數(shù)據(jù)可視化
- Python爬蟲之自動爬取某車之家各車銷售數(shù)據(jù)
- 教你如何使用Python快速爬取需要的數(shù)據(jù)
- Python爬蟲之爬取我愛我家二手房數(shù)據(jù)
- python使用XPath解析數(shù)據(jù)爬取起點小說網(wǎng)數(shù)據(jù)