クイックスタート

AnyCrawl の Web スクレイピング・クロール API を使い、任意のサイトから LLM 向けデータを取得する方法

はじめに

LLM のために設計されました。マルチスレッドで高性能なクローラー／スクレイパーで、すぐに使い始められます。開発者向けの OpenAPI により、LLM に最適化されたクリーンで構造化されたデータを提供します。

AnyCrawl の主な特徴は次のとおりです。

高性能でマルチスレッド対応。

オープンソースで GitHub 上で公開されています。

LLM 向けにクリーンで構造化されたデータ。

OpenAPI との親和性が高い。

AnyCrawl API は一貫した命名規則に従います。

リクエストパラメータ：主に snake_case
- 例：webhook_url、event_types、cron_expression、max_retries
- 注：一部のエンドポイント固有フィールドは既存の camelCase（例：Search の timeRange）。
レスポンスフィールド：snake_case 形式
- 例：task_id、webhook_id、next_execution_at、task_type、cron_expression、is_active

リクエストボディは、各エンドポイントのパラメータ表／OpenAPI を正としてください。

すべての API レスポンスは次の標準構造に従います。

{
  "success": true,
  "data": { ... },
  "message": "Optional message"
}

エラーレスポンスには詳細情報が含まれます。

{
  "success": false,
  "error": "Error type",
  "message": "Human-readable error message",
  "details": { ... }
}

よく使われる HTTP ステータスコード：