Price checked 2026-10-23, source: commoncrawl.org/terms-of-use. Prices and benefits may change. Check the official site before you pay.
Some information has not yet been verified against official sources. Please check the official site before you pay.
ProsTranslation pending
- 웹 규모의 대량 텍스트
- 정기적으로 새 수집분 공개
- 무료
ConsTranslation pending
- 정제 없이는 잡음이 많음
- 용량이 매우 큼
- 페이지 저작권 문제 확인 필요
These are opinions compiled by Pickx from public sources.
Why this quality ratingTranslation pending
원본 크롤링이라 잡음이 많아 별도 정제가 필요
Main fieldsTranslation pending
WARC 원문, WAT 메타데이터, WET 텍스트, URL, 수집 시각
Good forTranslation pending
대규모 언어 모델 학습 데이터를 만드는 팀
Translation pending
한눈에 보기
Common Crawl은 웹 페이지를 주기적으로 수집해 공개하는 비영리 데이터예요. 원문 HTML, 메타데이터, 추출 텍스트 형태로 받아요. 대규모 언어 모델 학습 데이터의 원천으로 많이 써요.
쓰는 법
- 키 없이 공개 저장소에서 파일을 내려받아요.
- 인덱스로 필요한 도메인만 골라 가져와요.
- 정제와 중복 제거는 직접 해야 해요.
참고
- 정보 확인일: 2026-10-23
- 출처: Common Crawl 시작하기
Good for
What people say about Common Crawl
Related comparisons
Similar options
한국어 AI 학습용 데이터를 모은 공공 플랫폼 Translation pending
South Korea한국지능정보사회진흥원(NIA)Free데이터셋, 파일 다운로드Updated: 비정기Quality: Good
FreeVisit siteAI 데이터셋 수십만 개를 모은 허브 Translation pending
United StatesHugging FaceFree plan available데이터셋, 오픈소스, Open APIUpdated: 비정기Quality: Average
$9+Visit site사용자가 올린 데이터셋을 모은 플랫폼 Translation pending
United StatesKaggle (Google)Free데이터셋, 파일 다운로드, Open APIUpdated: 비정기Quality: Average
FreeVisit site법령, 판례, 행정규칙 본문을 주는 법제처 API Translation pending
South Korea법제처FreeOpen APIUpdated: 매일Quality: Good
FreeVisit site블로그, 뉴스, 쇼핑 등 네이버 검색 결과 API Translation pending
South Korea네이버FreeOpen APIUpdated: 실시간Quality: Good
FreeVisit site공공도서관 대출 통계와 도서 정보 API Translation pending
South Korea국립중앙도서관FreeOpen APIUpdated: 매일Quality: Good
FreeVisit site
0 views
Prices converted at 1 USD = ₩1,324.63 (2026-10-22). Original price shown in brackets. Taxes as listed by each provider.