濮阳杆衣贸易有限公司

主頁(yè) > 知識(shí)庫(kù) > Python 批量下載陰陽(yáng)師網(wǎng)站壁紙

Python 批量下載陰陽(yáng)師網(wǎng)站壁紙

熱門(mén)標(biāo)簽:江西省地圖標(biāo)注 沈陽(yáng)人工外呼系統(tǒng)價(jià)格 富錦商家地圖標(biāo)注 沈陽(yáng)防封電銷(xiāo)卡品牌 池州外呼調(diào)研線(xiàn)路 外呼系統(tǒng)哪些好辦 沈陽(yáng)外呼系統(tǒng)呼叫系統(tǒng) 武漢外呼系統(tǒng)平臺(tái) 如何申請(qǐng)400電話(huà)費(fèi)用

代碼復(fù)制可直接使用,記得pip install下載requests和bs4

最終版本

# 引入系統(tǒng)類(lèi)庫(kù)用于打開(kāi)關(guān)閉文件
import sys
# 使用文檔解析類(lèi)庫(kù)
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請(qǐng)求類(lèi)庫(kù)
import requests

#圖片保存目錄
path = 'D:/陰陽(yáng)師' 
#陰陽(yáng)師壁紙網(wǎng)站
html_doc = "https://yys.163.com/media/picture.html" 

# 請(qǐng)求
requests_html_doc = requests.get(html_doc).text
# 正則匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
urls = regex.findall(requests_html_doc)

# set集合可以防止下載的圖片重復(fù)
result = set()
for i in urls:
    result.add(i)

# 計(jì)數(shù)器用于圖片命名
num = 0

# 文件路徑、操作模式、編碼  # r''
# 打開(kāi)文件錄入圖片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
    try:
        image_data = requests.get(a).content
        image_name = '{}.jpg'.format(num)  # 給每張圖片命名
        save_path = path + '/' + image_name  # 圖片的保存地址
        with open(save_path, 'wb') as f:
            f.write(image_data)
            print(image_name, '=======================>下載成功?。。?)
            num = num+1  # 下一張圖片名字序號(hào)加一
    except:
        pass
# 關(guān)閉文件錄入
f.close()
print("\r\n掃描結(jié)果已寫(xiě)入到result.txt文件中\(zhòng)r\n")

過(guò)程

借鑒代碼

自己從0開(kāi)始,沒(méi)有頭緒,而且對(duì)python掌握度不高,那先借鑒別人的代碼開(kāi)始,第一篇借鑒的代碼如下

# 引入系統(tǒng)類(lèi)庫(kù)
import sys
# 使用文檔解析類(lèi)庫(kù)
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請(qǐng)求類(lèi)庫(kù)
import urllib.request
path = 'D:/陰陽(yáng)師'

html_doc = "https://yys.163.com/media/picture.html"
# 獲取請(qǐng)求
req = urllib.request.Request(html_doc)
# 打開(kāi)頁(yè)面
webpage = urllib.request.urlopen(req)

# 讀取頁(yè)面內(nèi)容
html = webpage.read()
# 解析成文檔對(duì)象
soup = BeautifulSoup(html, 'html.parser')  # 文檔對(duì)象

# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下載的圖片連接重復(fù)
result = set()
# 計(jì)數(shù)器用于圖片命名
num = 0
# 查找文檔中所有a標(biāo)簽
for k in soup.find_all('a'):
    # print(k)
    # 查找href標(biāo)簽
    link = k.get('href')
    # 過(guò)濾沒(méi)找到的
    if(link is not None):
        # 過(guò)濾非法鏈接
        if link == invalidLink1:
            pass
        elif link == invalidLink2:
            pass
        elif link.find("javascript:") != -1:
            pass
        else:
            result.add(link)

for a in result:
    # 文件路徑、操作模式、編碼  # r''
    f = open(r'result.txt', 'w', encoding='utf-8')
    # image_data = urllib.request.get(url=a).content
    image_data = requests.get(url=a).content
    image_name = '{}.jpg'.format(num)  # 給每張圖片命名
    save_path = path + '/' + image_name  # 圖片的保存地址
    with open(save_path, 'wb') as f:
        f.write(image_data)
        print(image_name, '=======================>下載成功?。?!')
        num = num+1  # 下一張圖片名字序號(hào)加一
        f.close()

print("\r\n掃描結(jié)果已寫(xiě)入到result.txt文件中\(zhòng)r\n")

思考urllib.request和requests

借鑒的代碼中使用urllib.request來(lái)請(qǐng)求,剛開(kāi)始學(xué)習(xí)看到的一些代碼實(shí)例也常用urllib.request來(lái)發(fā)起請(qǐng)求,之后看到有的代碼使用的是requests。對(duì)于我個(gè)人,主觀感受requests更加便捷,少寫(xiě)了幾行代碼,于是便去查閱了解兩者的區(qū)別。

BeautifulSoup

接觸到了BeautifulSoup,并且在一些文章的評(píng)論中看到對(duì)BeautifulSoup的稱(chēng)贊,進(jìn)入文檔查閱了下用法,改變了我之前對(duì)python,獲取文檔中部分特征的元素節(jié)點(diǎn)的寫(xiě)法困難的印象。

Beautiful Soup 4.4.0 文檔

優(yōu)化處理

之所以要加正則匹配,因?yàn)橐婚_(kāi)始獲取到的圖片鏈接里有空字符串的現(xiàn)象,在下載圖片的時(shí)候直接報(bào)錯(cuò)整個(gè)程序掛掉,而且這個(gè)借鑒代碼中的invalidLink1和invalidLink2看起來(lái)屬實(shí)不舒服。所以添加了正則從源頭保證鏈接的有效性,并且在執(zhí)行下載代碼中,添加了try,except保證程序出錯(cuò)也不會(huì)掛掉。

借鑒的代碼中每一次的下載,都會(huì)對(duì)要保存的目錄進(jìn)行打開(kāi)和關(guān)閉,于是將打開(kāi)關(guān)閉抽離到最外層,下載的邏輯放在里面,下載圖片成功的提速果然肉眼可見(jiàn)~

總結(jié)

壁紙確實(shí)不戳~,希望下一個(gè)學(xué)習(xí)的腳本能更加有趣~

以上就是Python 批量下載陰陽(yáng)師網(wǎng)站壁紙的詳細(xì)內(nèi)容,更多關(guān)于python 下載陰陽(yáng)師網(wǎng)站壁紙的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • Python爬蟲(chóng)之批量下載喜馬拉雅音頻
  • python爬蟲(chóng)智能翻頁(yè)批量下載文件的實(shí)例詳解
  • 用python批量下載apk
  • 用python爬蟲(chóng)批量下載pdf的實(shí)現(xiàn)
  • python 批量下載bilibili視頻的gui程序
  • Python爬蟲(chóng)實(shí)戰(zhàn)之批量下載快手平臺(tái)視頻數(shù)據(jù)

標(biāo)簽:常德 銅川 通遼 阿里 黑龍江 潛江 株洲 呂梁

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python 批量下載陰陽(yáng)師網(wǎng)站壁紙》,本文關(guān)鍵詞  Python,批量,下載,陰陽(yáng),師,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Python 批量下載陰陽(yáng)師網(wǎng)站壁紙》相關(guān)的同類(lèi)信息!
  • 本頁(yè)收集關(guān)于Python 批量下載陰陽(yáng)師網(wǎng)站壁紙的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    昂仁县| 东台市| 海淀区| 铁力市| 吐鲁番市| 武穴市| 乌审旗| 滦南县| 石家庄市| 清苑县| 金川县| 四平市| 颍上县| 安乡县| 临澧县| 布尔津县| 睢宁县| 河北区| 鄢陵县| 金昌市| 南郑县| 肇州县| 石河子市| 翁牛特旗| 靖宇县| 承德市| 满城县| 乐昌市| 梅河口市| 甘德县| 泸西县| 托克逊县| 陵川县| 武冈市| 平昌县| 达州市| 颍上县| 马公市| 日土县| 塔河县| 息烽县|