日本のEC・マーケットプレイスに強いWebデータ取得API
URLを送るだけで、対応サイトからHTMLまたはレビュー済みJSONを取得。リクエストID、利用上限、対応範囲までAPI運用に必要な情報をまとめて提供します。
curl -X POST https://api.crawl-hub.shian.space/v1/scrape \
-H "Authorization: Bearer $CRAWLHUB_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://jp.mercari.com/item/...", "params":{"mode":"html_json", "work_type":"auto", "include_html":false}}'
{
"request_id": "req_...",
"resolved_site": "mercari",
"fetch_summary": {"status": "completed", "attempts": 1},
"cost_units": 2,
"data": {"title": "...", "price": 12800}
}取得からJSONまでを、運用できる形でつなぐ
URL、ポリシー、対応サイト、抽出、レスポンスを一つのパイプラインとして扱い、request_id と Credits で追跡できるAPIにします。
安全な範囲管理
domain policy と利用上限で、対象サイトとユーザー請求を守ります。
本文は常時保存しない
HTML/JSON本文はデフォルトで永続保存せず、メタデータ中心に記録します。
すぐ試せるAPI
cURL / Python snippet と公開Base URLで、導入初日から検証できます。
レイテンシ追跡
route attempts、所要時間、Creditsをレスポンスで確認できます。
レビュー済み抽出
JSONは検証済みparserを基本にし、未review抽出を本番に出しません。
利用量の可視化
Usage、quota、concurrencyをConsoleで確認できます。
curl -sS -X POST https://api.crawl-hub.shian.space/v1/scrape \
-H "Authorization: Bearer $CRAWL_HUB_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://jp.mercari.com/item/...","params":{"mode":"html_json","work_type":"auto","include_html":false,"store_artifact":false}}'{"request_id":"req_...","resolved_site":"mercari","fetch_summary":{"status":"completed","attempts":1},"cost_units":2,"data":{"title":"...","price":12800}}対応サイト
安定対応 / ベータ / 検証中 / 停止中 を明示し、未審査ドメインを自動許可しません。
API運用に必要な情報を返す
リクエストIDと取得サマリー
リクエストID、取得状況、所要時間、Creditsを公開API向けに正規化して返します。
レビュー済みJSON
JSON抽出は検証済みの構造化抽出を基本にします。
利用上限とレート制限
APIキーごとに対応サイト、操作、Credits、同時実行数を制御します。
保存方針とコンプライアンス
HTML本文や抽出JSONはデフォルト保存しません。結果ファイルの保存は明示した場合だけ行います。未審査ドメインや高リスク用途は審査または制限の対象です。
料金
Free
¥0 / 月、500 Credits、カード不要、上限到達後は429で保護。
Starter
¥3,300税込 / 月、5,000 Credits、月額固定を基本に検証済みの範囲で従量課金を適用。
Growth
¥11,000税込 / 月、25,000 credits、継続ワークフロー向け。