SecretScraper 是一個高度可配置的網頁爬蟲工具,從目標網站抓取鏈接,並通過正則表達式抓取敏感數據。
使用說明 Python 版本 >= 3.9
特點:
網絡爬蟲:通過 DOM 層次結構和正則表達式提取鏈接。
支持域名白名單和黑名單。
支持多個目標,從文件輸入目標網址。
支持本地文件掃描可擴展的自定義:標頭、代理、超時、cookie、抓取深度、跟隨重定向等
內置正則表達式,用於搜索敏感信息以 yaml 格式靈活配置。
安裝:
pip install secretscraper
更新
pip install --upgrade secretscraper
單一目標:
secretscraper -u https://xxxxxxx.com/