Быстрый старт

Узнайте, как использовать API веб-скрапинга и обхода AnyCrawl для извлечения данных, готовых для LLM, с любого сайта

Введение

Создан для LLM. Многопоточный высокопроизводительный краулер и скрапер, готовый к работе «из коробки». С дружественным к разработчикам OpenAPI он отдаёт чистые структурированные данные, оптимизированные для LLM.

У AnyCrawl есть следующие возможности:

Высокая производительность

Высокая производительность, многопоточность.

Полностью открытый исходный код

Открытый исходный код, доступен на GitHub.

Удобно для LLM

Чистые структурированные данные для LLM.

OpenAPI

Совместимость с OpenAPI.

Соглашения API

Именование параметров

API AnyCrawl следует единым соглашениям об именовании:

Параметры запроса: в основном snake_case
- Типичные примеры: webhook_url, event_types, cron_expression, max_retries
- Примечание: у отдельных полей конечных точек используются существующие имена в camelCase (например, timeRange в Search).
Поля ответа: формат snake_case
- Примеры: task_id, webhook_id, next_execution_at, task_type, cron_expression, is_active

Для тел запросов ориентируйтесь на таблицу параметров конечной точки и OpenAPI как на источник истины.

Формат ответа

Все ответы API имеют стандартную структуру:

{
  "success": true,
  "data": { ... },
  "message": "Optional message"
}

success: булево значение — успешен ли запрос
data: полезная нагрузка ответа (объект или массив)
message: необязательное человекочитаемое сообщение

Ответы об ошибках

Ответы об ошибках содержат подробности:

{
  "success": false,
  "error": "Error type",
  "message": "Human-readable error message",
  "details": { ... }
}

Распространённые HTTP-коды:

200 — успех
400 — неверный запрос (ошибки валидации)
401 — не авторизован (неверный API-ключ)
402 — требуется оплата (недостаточно кредитов)
404 — не найдено
429 — слишком много запросов (превышен лимит)
500 — внутренняя ошибка сервера