我的Python筆記來自于Python教程,個人原創,轉載請注明出處。

很多用Python的人可能都寫過網絡爬蟲,自動化獲取網絡數據確實是一件令人愉悅的事情,而Python很好的幫助我們達到這種愉悅。然而,爬蟲經常要碰到各種登錄、驗證的阻撓,讓人灰心喪氣(網站:天天碰到各種各樣的爬蟲抓我們網站,也很讓人灰心喪氣~)。爬蟲和反爬蟲就是一個貓和老鼠的游戲,道高一尺魔高一丈,兩者反復糾纏。

由于http協議的無狀態性,登錄驗證都是通過傳遞cookies來實現的。通過瀏覽器登錄一次,登錄信息的cookie是就會被瀏覽器保存下來。下次再打開該網站時,瀏覽器自動帶上保存的cookies,只有cookies還未過期,對于網站來說你就還是登錄狀態的。

browsercookie模塊就是這樣一個從瀏覽器提取保存的cookies的工具。它是一個很有用的爬蟲工具,通過加載你瀏覽器的cookies到一個cookiejar對象里面,讓你輕松下載需要登錄的網頁內容。

安裝

pip install browsercookie

在Windows系統中,內置的sqlite模塊在加載FireFox數據庫時會拋出錯誤。需要更新sqlite的版本:
pip install pysqlite

使用方法

下面是從網頁提取標題的例子:

實例

>>> import re
>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

運行實例 ?

點擊 "運行實例" 按鈕查看在線實例

下面是未登錄狀況下下載得到的標題:

實例

>>> import urllib2
>>> url = 'https://bitbucket.org/'
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)
'Git and Mercurial code management for teams'

運行實例 ?

點擊 "運行實例" 按鈕查看在線實例

接下來使用browsercookie從登錄過Bitbucket的FireFox里面獲取cookie再下載:

實例

>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)
'richardpenman / home — Bitbucket'

運行實例 ?

點擊 "運行實例" 按鈕查看在線實例

上面是Python2的代碼,再試試 Python3:

實例

>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

運行實例 ?

點擊 "運行實例" 按鈕查看在線實例

你可以看到你的用戶名出現在title里面了,說明browsercookie模塊成功從FireFox加載了cookies。

下面是使用requests的例子,這次我們從Chrome里面加載cookies,當然你需要事先用Chrome登錄Bitbucket:

實例

>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

運行實例 ?

點擊 "運行實例" 按鈕查看在線實例

如果你不知道或不關心那個瀏覽器有你需要的cookies,你可以這樣操作:

實例

>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

運行實例 ?

點擊 "運行實例" 按鈕查看在線實例

支持

目前,該模塊支持以下平臺:

Chrome: Linux, OSX, Windows
Firefox: Linux, OSX, Windows

目前該模塊測試過的瀏覽器版本還不是很多,你使用過程中可能會遇到問題,可以向作者提交問題:

https://bitbucket.org/richardpenman/browsercookie/