Common Crawl

Name: Common Crawl
Brand: Common Crawl Foundation

Common Crawl Foundation, 미국, commoncrawl.org

웹 전체를 긁어 모은 대규모 크롤링 데이터

유료 월 시작가무료

무료 사용무료

갱신 주기매월

품질보통

상업 이용확인 필요

데이터 기간2008년~현재

가격 기준일 2026-10-23, 출처: commoncrawl.org/terms-of-use. 가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.

일부 정보는 아직 공식 자료로 확인하지 못했어요. 결제 전 공식 사이트를 꼭 확인하세요.

장점

공개된 자료를 바탕으로 Pickx가 정리한 의견이에요.

원본 크롤링이라 잡음이 많아 별도 정제가 필요

WARC 원문, WAT 메타데이터, WET 텍스트, URL, 수집 시각

대규모 언어 모델 학습 데이터를 만드는 팀

Common Crawl은 웹 페이지를 주기적으로 수집해 공개하는 비영리 데이터예요. 원문 HTML, 메타데이터, 추출 텍스트 형태로 받아요. 대규모 언어 모델 학습 데이터의 원천으로 많이 써요.

조회 0회