AnyCrawl

빠른 시작

AnyCrawl의 웹 스크래핑·크롤링 API로 어떤 웹사이트에서든 LLM에 바로 쓸 수 있는 데이터를 추출하는 방법을 알아보세요

소개

LLM을 위해 태어났습니다. 멀티스레드·고성능 크롤러·스크래퍼이며 바로 사용할 수 있습니다. 개발자 친화적인 OpenAPI로 깨끗하고 구조화된 데이터를 제공해 LLM에 최적화합니다.

AnyCrawl의 주요 기능:

고성능

고성능, 멀티스레드.

완전 오픈소스

오픈소스, GitHub에서 제공됩니다.

LLM 친화

LLM을 위한 깨끗하고 구조화된 데이터.

OpenAPI

OpenAPI 친화적.

API 규약

파라미터 이름

AnyCrawl API는 일관된 이름 규칙을 따릅니다.

  • 요청 파라미터: 주로 snake_case

    • 예: webhook_url, event_types, cron_expression, max_retries
    • 참고: 일부 엔드포인트 전용 필드는 기존 camelCase를 사용합니다(예: Search의 timeRange).
  • 응답 필드: snake_case 형식

    • 예: task_id, webhook_id, next_execution_at, task_type, cron_expression, is_active

요청 본문은 각 엔드포인트의 파라미터 표·OpenAPI를 기준으로 하세요.

응답 형식

모든 API 응답은 표준 구조를 따릅니다.

{
  "success": true,
  "data": { ... },
  "message": "Optional message"
}
  • success: 요청 성공 여부(불리언)
  • data: 응답 본문(객체 또는 배열)
  • message: 선택적 사람이 읽을 수 있는 메시지

오류 응답

오류 응답에는 상세 정보가 포함됩니다.

{
  "success": false,
  "error": "Error type",
  "message": "Human-readable error message",
  "details": { ... }
}

일반적인 HTTP 상태 코드:

  • 200 - 성공
  • 400 - 잘못된 요청(유효성 검사 오류)
  • 401 - 인증 실패(잘못된 API 키)
  • 402 - 결제 필요(크레딧 부족)
  • 404 - 찾을 수 없음
  • 429 - 요청 과다(속도 제한 초과)
  • 500 - 내부 서버 오류