コンプライアンス
Crawl Hubは用途・domain・出力・保存・負荷を制御する監査可能なWebデータ取得基盤です。
対応サイト優先
初期リリースは対応済みサイト中心です。未確認ドメインは審査または低頻度HTML取得に制限します。
高リスク用途はデフォルト制限
ログイン後ページ、CAPTCHA回避、認証情報転送、個人情報大量収集、口コミ・記事本文・画像の大量再配布は禁止または事前審査です。
CAPTCHA回避・ログイン後取得は非対応
CAPTCHA突破、アクセス制御回避、CookieやAuthorizationなど対象サイト向け認証ヘッダーの転送を目的にした利用は受け付けません。
保存ポリシー
HTML本文、抽出JSON、画像バイナリはデフォルト保存しません。結果ファイル保存を明示した場合だけ保存します。
メタデータ中心のログ
リクエストID、APIキー、ワークスペース、ドメイン、状態、所要時間、HTMLサイズ、Credits、エラーコードなど運用メタデータを記録します。
顧客別の利用制御
利用目的、対応サイト、操作、利用上限、同時実行、ドメインポリシーで利用範囲を制御します。
Domain policy
許可サイト、ブロックドメイン、未確認ドメインの審査、対象サイトごとの頻度制限を分離して管理します。
著作物・商標への配慮
掲載サイトとの非提携を明示し、取得データの再配布可否はユーザー側の責任で確認する前提です。
負荷保護
レート制限、同時実行制御、月次Credits上限により、対象サイトとユーザー請求の双方を保護します。
APIキー監査
平文キーは一度だけ表示し、利用ログはAPI key IDとrequest_id単位で追跡できます。
Artifact opt-in
Customer Contentの永続保存はstore_artifact=trueまたは個別契約で明示されたArtifactに限定します。
法務・請求ゲート
外部法務レビューと決済連携の公開ゲートが完了するまで、有料Checkout URLは発行しません。