作為數(shù)據(jù)科學(xué)家，收集數(shù)據(jù)的最有效方法之一是借助Web抓取。網(wǎng)頁抓取是一種將數(shù)據(jù)從Web捕獲到我們本地計算機中的技術(shù)，以對它執(zhí)行某些數(shù)據(jù)分析或數(shù)據(jù)可視化操作，以從該數(shù)據(jù)中獲得有用的見解，也稱為Web收集或數(shù)據(jù)提取。在本文中，將借助于兩個名為Requests和bs4（Beautiful Soup）的金色庫來抓取網(wǎng)絡(luò)上的信息。選擇這兩個庫的原因是它們比其他可用庫更強大和靈活。

先決條件

HTML標簽和CSS選擇器的基礎(chǔ)知識是必需的。

從Web捕獲數(shù)據(jù)始于向Web發(fā)送請求要從哪個網(wǎng)站捕獲數(shù)據(jù)。該任務(wù)是在“請求”模塊的幫助下完成的。

要向網(wǎng)站提出請求，首先我們需要在python中導(dǎo)入請求模塊。它不是python中的預(yù)內(nèi)置模塊。我們需要在pip的幫助下安裝該軟件包。

>>>導(dǎo)入請求#模塊成功導(dǎo)入。

#提出要求

>>>響應(yīng)= request.get

#響應(yīng)變量將包含該請求對象的響應(yīng)。

要檢查請求對象的狀態(tài)，我們需要在請求模塊中使用status_code屬性。

>>> response.status_code

如果狀態(tài)代碼值的結(jié)果為200，則您從網(wǎng)站獲得了成功的響應(yīng)。否則，您將從網(wǎng)頁中得到不好的響應(yīng)。問題可能出在Web URL或服務(wù)器問題上。

　　請求類型

借助請求模塊，主要有六種類型的請求是可能的。

1. get()請求

2. post()請求

3. put()請求

4. 刪除請求

5. head()請求

6. options()請求

向網(wǎng)頁發(fā)出任何形式的請求的語法是-

requests.methodName('url')

但是，最流行的向網(wǎng)頁發(fā)出請求的方法僅使用get()和post()方法。

要發(fā)送任何類型的敏感數(shù)據(jù)以及諸如登錄憑據(jù)等URL之類的URL，則post()請求是更可取的，因為HTTP get()請求不會為已發(fā)送到網(wǎng)頁的請求提供任何安全性。

R = requests.post

回應(yīng)結(jié)果

我們的請求的響應(yīng)內(nèi)容是通過text屬性獲得的。

>>> response.text

由此可以得出結(jié)論，我們將網(wǎng)頁內(nèi)容下載到了本地計算機上。為了使內(nèi)容更加靈活和有用，我們需要借助Beautiful Soup庫。該庫可幫助我們從可用數(shù)據(jù)中獲得有用的見解。

#導(dǎo)入漂亮的湯庫

>>> import bs4

為了使原始HTML數(shù)據(jù)更加美觀，我們需要在某些解析器的幫助下解析內(nèi)容。經(jīng)常使用的解析器是-

1. xml文件

2. HTML5lib

3. XML解析器

4. HTML.parser

但是最靈活和最受歡迎的是lxml解析器。它可以非常快速有效地解析數(shù)據(jù)。

>>> soup_obj = bs4.BeautifulSoup(response.text，'lxml')

#soup_obj將使我們獲取所需的結(jié)果

#為了使我們之前的數(shù)據(jù)更容易理解，我們將在湯匙上使用prettify()

>>> soup_obj.prettify()

因此，最后，我們又向前邁了一步。數(shù)據(jù)提取從此處開始-

要提取網(wǎng)頁的名稱，我們需要使用選擇器以及適當(dāng)?shù)腍TML標簽來獲得結(jié)果

>>> soup_obj.select('title')[0] .getText()

要從該網(wǎng)頁提取所有鏈接，您需要找到該頁面中的所有錨標記并將結(jié)果存儲到變量中。借助for循環(huán)迭代，它完全可以打印結(jié)果

>>> links = soup_obj.find_all('a')

#find_all()將有助于獲取所選標簽的所有詳細信息。

>>>對于鏈接中的鏈接：

... print(link.get('href'))

...

#get()用于從標記中提取特定內(nèi)容

這是一個從網(wǎng)頁獲取鏈接的簡單示例。如果您想從網(wǎng)頁中提取其他數(shù)據(jù)，請選擇與您的內(nèi)容相關(guān)的適當(dāng)標簽，并在湯對象的幫助下獲取結(jié)果。最初，這感覺很困難，但是當(dāng)您在使用它時，絕對可以在一分鐘內(nèi)爬出任何類型的網(wǎng)站。

　　免責(zé)聲明

未經(jīng)管理員許可，請勿執(zhí)行網(wǎng)站網(wǎng)頁抓取。可能導(dǎo)致非法活動。公司中的數(shù)據(jù)科學(xué)家通常會在自己的網(wǎng)頁和業(yè)務(wù)上進行網(wǎng)絡(luò)抓取，而他們并未在其他公司網(wǎng)站上執(zhí)行任何非法操作。所以要小心如果有任何原因造成您損壞，如果發(fā)生違法活動概不負責(zé)。

我在本教程中使用的網(wǎng)頁可以隨意刮取，因此完全沒有問題。使用此類網(wǎng)站來學(xué)習(xí)或提高您的技能。

通過上述介紹，如何使用Python進行Web爬網(wǎng)相信大家已經(jīng)清楚了吧，想了解更多關(guān)于Python的信息，請繼續(xù)關(guān)注中培偉業(yè)。