SecretScraper は高度に設定可能な Web スクレイピングツールであり、ターゲットサイトからリンクを収集し、正規表現を使用して機密データを収集します。
Python バージョン >= 3.9 の使用方法
特徴:
Web スクレイピング:DOM ツリーと正規表現を使用してリンクを抽出します。
ドメインのホワイトリストとブラックリストをサポート。
複数のターゲットをサポートし、ファイルからターゲットの URL を入力します。
ローカルファイルスキャンをサポートし、カスタマイズ可能な拡張機能を提供します:ヘッダー、プロキシ、タイムアウト、クッキー、クロールの深さ、リダイレクトのフォローなど
機密情報を検索するための組み込みの正規表現を使用し、柔軟な yaml 形式で構成します。
インストール:
pip install secretscraper
更新:
pip install --upgrade secretscraper
単一のターゲット:
secretscraper -u https://xxxxxxx.com/