資料內容:
2.2 自動化爬蟲系統的設計
下面是該系統實現自動化爬蟲功能的詳細步驟及
相應的 Python 代碼。
導入程序中所用到的 Python 標準庫以及第三方
庫代碼說明:
Selenium:用于自動化瀏覽器操作,可以模擬用
戶在瀏覽器中的各種行為,如點擊、輸入等,常用于
爬蟲、測試和自動化任務。
SSL:用于處理 SSL 證書,通過 ssl._create_default_
https_context = ssl._create_unverified_context 解決 SSL
證書問題報錯。
keyboard:用于監聽熱鍵,實現功能函數的實時
調用。
threading:用于創建線程,實現多線程執行。
re:Python 的正則表達式庫,用于字符串的模式
匹配和處理。
bs4(BeautifulSoup):用于解析 HTML 和 XML
文檔,方便地從網頁中提取數據。
time:用于時間相關的操作,比如等待、計時等。
undetected_chromedriver:是對 selenium 的擴展,
用于繞過檢測自動化測試的腳本而運行Chrome瀏覽器。
Keys:Selenium 中的模塊,用于模擬鍵盤按鍵。
WebDriverWait 和 expected_conditions:selenium
中的模塊,用于等待頁面元素加載。
sys:Python 標準庫,提供對 Python 運行時環境
的訪問。
atexit:用于注冊在程序退出之前執行的函數。
colorama:一個用于在終端輸出中添加顏色的庫,
可以讓輸出更加豐富和醒目
庫的導入部分代碼如圖 2 所示。
圖 2 庫的導入
使 用 Python 的 Selenium 庫擴展 undetected_
chromedriver 來啟動 Chrome 瀏覽器,并監聽熱鍵(F8
鍵)來觸發一個功能回調函數(hotkey_callback)。
同時,注冊一個在程序退出時關閉瀏覽器的回調函數
(close_browser)。
代碼說明:使用 Python 的 Selenium 庫的擴展
undetected_chromedriver 來啟動 Chrome 瀏覽器以實
現繞過爬蟲目標網頁的“反爬蟲機制”[6]。
通過 driver.get() 方法導航到百度網頁(https://
www.baidu.com)。方便用戶操作。
使用 keyboard 庫(前提是已經導入 keyboard 庫)
監聽熱鍵 F8,并在按下 F8 時觸發 hotkey_callback 回
調函數(主要功能函數,獲取、解析網頁源碼以及
ChatGPT 交互等功能都包含其中,下文詳細介紹)。
創建 close_browser 函數用于關閉瀏覽器。在程序
退出時,通過 atexit.register() 方法注冊 close_browser
函數,確保在程序退出前關閉瀏覽器。
輸出提示信息,告知用戶按 F8 鍵開始工作,并
提醒不要手動關閉程序的窗口,因為瀏覽器會在需要
時自動退出。
創建字典(命名為 window_dict)來存儲已打開
標簽頁的標題和句柄,方便標簽頁的控制切換。
接下來是一個 while 循環,該循環會持續運行(直
至回調函數因錯誤中斷),用于監測新標簽頁的操作。
跳出循環后,代碼通過 time.sleep(1) 等待 1 秒,
然后調用 sys.exit() 來退出程序。
具體代碼如圖 3 所示。