濮阳杆衣贸易有限公司

主頁 > 知識庫 > 用Python爬取某乎手機APP數(shù)據(jù)

用Python爬取某乎手機APP數(shù)據(jù)

熱門標簽:地圖標注自己和別人標注區(qū)別 海外網(wǎng)吧地圖標注注冊 打電話機器人營銷 ai電銷機器人的優(yōu)勢 騰訊地圖標注沒法顯示 商家地圖標注海報 孝感營銷電話機器人效果怎么樣 南陽打電話機器人 聊城語音外呼系統(tǒng)

一、配置抓包工具

1.安裝軟件

本文選擇的抓包工具:Fiddler  

具體的下載安裝這里不詳細贅述?。ňW(wǎng)上搜Fiddler安裝,一大堆教程),本文以實戰(zhàn)為例,就不再這里浪費時間了!

2.配置Fiddler

安裝好之后,接下來就開始配置Fiddler工具(這里是關鍵,仔細閱讀!

配置Connections

打開Fiddler后,點擊Tools->Options

點擊Connections

勾選上對應的選項

配置HTTPS

由于目前大部分APP都是https加密,包括本文實戰(zhàn)『某乎』案例也是https加密,因此配置HTTPS,來抓取https數(shù)據(jù)包!

勾選上對應的選項

最后抓包工具Fiddler就配置好了

記得重啟Fiddler!重啟Fiddler!重啟Fiddler!不然可能不生效

二、配置手機代理

 1.設置代理

準備工作

首先看一下安裝Fiddler主機ip(電腦和手機必須處于同一局域網(wǎng)

查看ip命令

window:ipconfig

開始配置

目標代理主機信息
ip:192.168.31.195

端口:8888

在wifi無線網(wǎng)處進去,點擊配置代理

填寫好相關代理信息

2.安裝證書

在瀏覽器輸入:

http://192.168.31.195:8888

點擊下載證書后,下面就開始安裝(看圖操作

ok,這樣手機端就配置完成,下面開始抓取數(shù)據(jù)?。。?/p>

三、抓取數(shù)據(jù)

1.打開某乎app

2.查看數(shù)據(jù)包列表

打開app之后,F(xiàn)iddler就已經(jīng)抓取到數(shù)據(jù)了

這里可以看到app發(fā)送和接收了哪些數(shù)據(jù)包

為了更加精準定位到某乎(只看目標的數(shù)據(jù)包),添加一個過濾條件

這樣我們獲取的數(shù)據(jù)包列表就都是過濾條件內(nèi)的目標網(wǎng)址

3.查找數(shù)據(jù)包

比如點擊熱榜

對應的https加密數(shù)據(jù)包如下:

數(shù)據(jù)包中的數(shù)據(jù)如下:

提取出url鏈接

https://api.zhihu.com/topstory/hot-list?limit=10reverse_order=0

拿到url之后,接著開始編程爬取保存數(shù)據(jù)。

4.編寫爬蟲程序

# -*- coding: utf-8 -*-

ok這樣就可以將數(shù)據(jù)獲取下來!

四、總結

1.配置抓包工具Fiddler(重點)。

2.ios蘋果手機配置證書和設置代理(安卓手機也類似)。

3.簡單使用Fiddler(過濾數(shù)據(jù)包、查看數(shù)據(jù)包等)。

4.本文以某乎為實戰(zhàn),實現(xiàn)了python爬取手機app數(shù)據(jù)

到此這篇關于用Python爬取某乎手機APP數(shù)據(jù)的文章就介紹到這了,更多相關Python爬取APP數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Python自動化爬取天眼查數(shù)據(jù)的實現(xiàn)
  • Python爬蟲實戰(zhàn)之爬取京東商品數(shù)據(jù)并實實現(xiàn)數(shù)據(jù)可視化
  • Python爬蟲之自動爬取某車之家各車銷售數(shù)據(jù)
  • 教你如何使用Python快速爬取需要的數(shù)據(jù)
  • Python爬蟲之爬取我愛我家二手房數(shù)據(jù)
  • python使用XPath解析數(shù)據(jù)爬取起點小說網(wǎng)數(shù)據(jù)

標簽:揚州 南寧 楊凌 聊城 六盤水 牡丹江 迪慶 撫州

巨人網(wǎng)絡通訊聲明:本文標題《用Python爬取某乎手機APP數(shù)據(jù)》,本文關鍵詞  用,Python,爬取,某乎,手機,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《用Python爬取某乎手機APP數(shù)據(jù)》相關的同類信息!
  • 本頁收集關于用Python爬取某乎手機APP數(shù)據(jù)的相關信息資訊供網(wǎng)民參考!
  • 推薦文章
    江门市| 宕昌县| 合川市| 长治县| 手游| 揭西县| 迁安市| 旅游| 四会市| 安陆市| 文水县| 台南县| 博客| 富锦市| 射洪县| 双峰县| 玉屏| 常德市| 新竹市| 奈曼旗| 泌阳县| 莎车县| 云安县| 孟津县| 昌江| 房山区| 治县。| 红河县| 郎溪县| 墨竹工卡县| 崇礼县| 台北市| 措美县| 岐山县| 桐乡市| 吴桥县| 东乡族自治县| 云安县| 松潘县| 海口市| 尉氏县|