AI Hub (AI 허브) vs Common Crawl comparison
AI Hub (AI 허브) and Common Crawl compared side by side in Data and APIs.
AI Hub (AI 허브)
한국어 AI 학습용 데이터를 모은 공공 플랫폼Translation pending
What is goodTranslation pending
- 한국어 음성, 텍스트, 이미지 데이터가 풍부
- 라벨 품질이 높음
- 무료
What could be betterTranslation pending
- 내려받기 승인이 필요
- 데이터셋마다 이용 조건이 다름
Common Crawl
웹 전체를 긁어 모은 대규모 크롤링 데이터Translation pending
What is goodTranslation pending
- 웹 규모의 대량 텍스트
- 정기적으로 새 수집분 공개
- 무료
What could be betterTranslation pending
- 정제 없이는 잡음이 많음
- 용량이 매우 큼
At a glance
Highlighted rows are where they differ.
| Item | AI Hub (AI 허브)Visit site | Common CrawlVisit site |
|---|---|---|
| Starting price | Free | Free |
| Free tier | Free | Free |
| Type | 데이터셋, 파일 다운로드 | 데이터셋, 파일 다운로드 |
| Update cycle | 비정기 | 매월 |
| Quality | Good | Average |
| Why this quality rating | 공식 구축 사업이라 라벨 품질이 좋고 안내 문서가 있음 | 원본 크롤링이라 잡음이 많아 별도 정제가 필요 |
| Commercial use | Needs checking | Needs checking |
| License | 데이터셋마다 이용약관이 다름 | Common Crawl 이용약관 |
| Authentication | 신청 후 승인 | None |
| Data period | 데이터셋마다 다름 | 2008년~현재 |
| Main fields | 데이터셋명, 분야, 구축년도, 용량, 라벨 형식, 이용 조건 | WARC 원문, WAT 메타데이터, WET 텍스트, URL, 수집 시각 |
| Formats | JSON, 이미지, Other | Other |
| Good for | 한국어 AI 모델을 만드는 연구자와 개발자 | 대규모 언어 모델 학습 데이터를 만드는 팀 |
| Type | Data and APIs | Data and APIs |
| Category | AI/머신러닝, 언어/텍스트, 이미지/영상 | AI/머신러닝, 언어/텍스트 |
| Company | South Korea한국지능정보사회진흥원(NIA) | United StatesCommon Crawl Foundation |
| Plans | ||
| Pros |
|
|
| Cons |
|
|
Prices and benefits may change. Check the official site before you pay.
Prices converted at 1 USD = ₩1,324.63 (2026-10-22). Original price shown in brackets. Taxes as listed by each provider.
Add to compare+ Hugging Face Datasets+ 공공데이터포털 (data.go.kr)+ 서울 열린데이터광장