完美世界有声小说,欢乐颂

主頁 > 知識庫 > Python爬蟲和反爬技術(shù)過程詳解

Python爬蟲和反爬技術(shù)過程詳解

一、瀏覽器模擬（Headers）

瀏覽器模擬是最常用的一種反爬方式。設(shè)想一下：一個網(wǎng)站不停的被同一個版本的瀏覽器頻率的訪問，那大概了就要被認(rèn)為是機(jī)器人了。所以上有政策下有對策，我們每次訪問都使用不同的瀏覽器版本信息不就可以了嗎。首先我們來看一下如何找到自己瀏覽器信息。

如何找到瀏覽器信息

打開瀏覽器，按F12（或者鼠標(biāo)右鍵+檢查）

點擊如下圖所示的Network按鈕

按鍵盤Ctrl+R（MAC：Command+R）進(jìn)行抓包

操作完上一步之后，隨便點擊右側(cè)name中的一項，即可出現(xiàn)下面的頁面，紅框中的內(nèi)容就是我們要找的瀏覽器信息了。

備注：有一些網(wǎng)站會帶有Referer信息，這里的作用主要是在于告訴瀏覽器你是從哪個網(wǎng)址跳轉(zhuǎn)過來的，類似于P站這種站點就會進(jìn)行相應(yīng)的檢查，所以我們可以通過上述同樣的方式找到瀏覽器的Referer信息。如下圖紅框所示：

通過上面的步驟，我們就能夠成功的得到瀏覽器的版本信息了，如果能夠獲得不同的版本信息我們就能夠模擬不同的瀏覽器進(jìn)行操作了。

在Python中使用user-agent的方式如下：

headers = {
  			'Referer': '具體的Referer',
            'User-Agent': '具體的user-agent'
    }
requests.get(url,headers=headers)

常用的請求頭（模擬瀏覽器）信息如下：

User_Agent = [
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_2 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8H7 Safari/6533.18.5",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_2 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8H7 Safari/6533.18.5",
    "MQQBrowser/25 (Linux; U; 2.3.3; zh-cn; HTC Desire S Build/GRI40;480*800)",
    "Mozilla/5.0 (Linux; U; Android 2.3.3; zh-cn; HTC_DesireS_S510e Build/GRI40) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Mozilla/5.0 (SymbianOS/9.3; U; Series60/3.2 NokiaE75-1 /110.48.125 Profile/MIDP-2.1 Configuration/CLDC-1.1 ) AppleWebKit/413 (KHTML, like Gecko) Safari/413",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Mobile/8J2",
    "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/534.51.22 (KHTML, like Gecko) Version/5.1.1 Safari/534.51.22",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; SAMSUNG; OMNIA7)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; XBLWP7; ZuneWP7)",
    "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
    "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/4.0 (compatible; MSIE 60; Windows NT 5.1; SV1; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; TheWorld)",
    "Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
    "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
    "Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
    "Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02",
    "Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00",
    "Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00",
    "Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00",
    "Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1",
    "Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0",
    "Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20130401 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20120101 Firefox/29.0",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/29.0",
    "Mozilla/5.0 (X11; OpenBSD amd64; rv:28.0) Gecko/20100101 Firefox/28.0",
    "Mozilla/5.0 (X11; Linux x86_64; rv:28.0) Gecko/20100101  Firefox/28.0",
    "Mozilla/5.0 (Windows NT 6.1; rv:27.3) Gecko/20130101 Firefox/27.3",
    "Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:27.0) Gecko/20121011 Firefox/27.0",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0",
    "Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:24.0) Gecko/20100101 Firefox/24.0"
]

二、IP代理

除了通過同一個瀏覽器進(jìn)行訪問，還可能出現(xiàn)的情況就是通過同一個IP不斷的訪問網(wǎng)址，這樣很容易造成整個IP被封，個人的IP還好，如果一個公司的IP都不能訪問某個網(wǎng)站，那將會是怎樣的效果就不用多說了吧。

對于IP來說除了需要控制IP地址的變更之外，還要控制訪問速度，畢竟程序快起來是不眨眼的。

Python使用IP代理的方式如下：

import requests
proxies = {"http": 'IP地址'}
requests.get(url, headers=headers, proxies=proxies)

注：關(guān)于代理IP去哪找的問題，網(wǎng)上一搜一大把，我們放心大膽的使用就可以了。

控制訪問頻率使用time模塊即可：

import time
time.sleep(5)

三、Cookies模擬

有很多時候我們訪問網(wǎng)址會遇到403錯誤，一般這種情況表示無權(quán)訪問請求的資源，通常在沒有設(shè)置cookie或是沒有設(shè)置正確的cookie會導(dǎo)致這個錯誤。cookie的存在就像是一個網(wǎng)址的通行證，你會發(fā)現(xiàn)在你登陸和未登陸網(wǎng)頁的時候cookie是會發(fā)生變化的。

手動獲取cookie

我們可以通過和獲取user-agent一樣的方式來手動獲取cookie：

自動獲取cookie

我們使用session方法就能夠?qū)崿F(xiàn)自動獲取cookie了

示例代碼如下：

import requests
session = requests.session()
session.cookies = LWPCookieJar(filename='Cookies.txt')
def login():
    name = input("輸入賬戶:")
    password = input("輸入密碼:")
    url = "url"
    data = {
        "ck": "",
        "name": name,
        "password": password,
        "remember": "True",
        "ticket": "",
    }
    response = session.post(url, data=data)
    print(response.text)
    session.cookies.save()  # 保存 cookie

這樣我們的cookie就能夠得以保存了。

使用session加載cookie的方式如下：

session.cookies = LWPCookieJar(filename='Cookies.txt')
session.cookies.load(ignore_discard=True)

使用cookies

當(dāng)我們有了cookies時，使用起來就簡單很多了，直接使用和加載user-agent一樣的方式即可。

headers = {
  			'Referer': '具體的Referer',
        'User-Agent': '具體的user-agent',
  			'Cookie': 'cookie'
    }
requests.get(url,headers=headers)

對于反爬的一些基礎(chǔ)操作就介紹完了更多關(guān)于Python爬蟲和反爬技術(shù)的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

關(guān)于python爬蟲應(yīng)用urllib庫作用分析
python爬蟲Scrapy框架:媒體管道原理學(xué)習(xí)分析
python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
python爬蟲之Appium爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢
爬蟲Python驗證碼識別入門
Python爬蟲技術(shù)
Python爬蟲爬取商品失敗處理方法
Python獲取江蘇疫情實時數(shù)據(jù)及爬蟲分析
Python爬蟲之Scrapy環(huán)境搭建案例教程
Python爬蟲中urllib3與urllib的區(qū)別是什么
教你如何利用python3爬蟲爬取漫畫島-非人哉漫畫
Python爬蟲分析匯總

標(biāo)簽：呼倫貝爾三亞葫蘆島安慶呼倫貝爾銀川烏魯木齊湘西

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《Python爬蟲和反爬技術(shù)過程詳解》，本文關(guān)鍵詞 Python,爬蟲,和,反爬,技術(shù),；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。