빠른 시작
AnyCrawl의 웹 스크래핑·크롤링 API로 어떤 웹사이트에서든 LLM에 바로 쓸 수 있는 데이터를 추출하는 방법을 알아보세요
소개
LLM을 위해 태어났습니다. 멀티스레드·고성능 크롤러·스크래퍼이며 바로 사용할 수 있습니다. 개발자 친화적인 OpenAPI로 깨끗하고 구조화된 데이터를 제공해 LLM에 최적화합니다.
AnyCrawl의 주요 기능:
고성능
고성능, 멀티스레드.
완전 오픈소스
오픈소스, GitHub에서 제공됩니다.
LLM 친화
LLM을 위한 깨끗하고 구조화된 데이터.
OpenAPI
OpenAPI 친화적.
API 규약
파라미터 이름
AnyCrawl API는 일관된 이름 규칙을 따릅니다.
-
요청 파라미터: 주로
snake_case- 예:
webhook_url,event_types,cron_expression,max_retries - 참고: 일부 엔드포인트 전용 필드는 기존 camelCase를 사용합니다(예: Search의
timeRange).
- 예:
-
응답 필드:
snake_case형식- 예:
task_id,webhook_id,next_execution_at,task_type,cron_expression,is_active
- 예:
요청 본문은 각 엔드포인트의 파라미터 표·OpenAPI를 기준으로 하세요.
응답 형식
모든 API 응답은 표준 구조를 따릅니다.
{
"success": true,
"data": { ... },
"message": "Optional message"
}success: 요청 성공 여부(불리언)data: 응답 본문(객체 또는 배열)message: 선택적 사람이 읽을 수 있는 메시지
오류 응답
오류 응답에는 상세 정보가 포함됩니다.
{
"success": false,
"error": "Error type",
"message": "Human-readable error message",
"details": { ... }
}일반적인 HTTP 상태 코드:
200- 성공400- 잘못된 요청(유효성 검사 오류)401- 인증 실패(잘못된 API 키)402- 결제 필요(크레딧 부족)404- 찾을 수 없음429- 요청 과다(속도 제한 초과)500- 내부 서버 오류