Common Crawl vs 공공데이터포털 (data.go.kr) comparison
Common Crawl and 공공데이터포털 (data.go.kr) compared side by side in Data and APIs.
Common Crawl
웹 전체를 긁어 모은 대규모 크롤링 데이터Translation pending
What is goodTranslation pending
- 웹 규모의 대량 텍스트
- 정기적으로 새 수집분 공개
- 무료
What could be betterTranslation pending
- 정제 없이는 잡음이 많음
- 용량이 매우 큼
공공데이터포털 (data.go.kr)
정부 기관 공공데이터 파일과 API를 모은 포털Translation pending
What is goodTranslation pending
- 국내 공공 API 대부분이 모임
- 무료
- 서비스키 하나로 여러 API 이용
What could be betterTranslation pending
- API마다 응답 형식과 품질이 다름
- 승인과 키 반영에 시간이 걸림
At a glance
Highlighted rows are where they differ.
| Item | Common CrawlVisit site | 공공데이터포털 (data.go.kr)Visit site |
|---|---|---|
| Starting price | Free | Free |
| Free tier | Free | Free |
| Type | 데이터셋, 파일 다운로드 | Open API, 파일 다운로드 |
| Update cycle | 매월 | 비정기 |
| Quality | Average | Average |
| Why this quality rating | 원본 크롤링이라 잡음이 많아 별도 정제가 필요 | 데이터마다 갱신과 문서 수준이 달라 편차가 큼 |
| Commercial use | Needs checking | Needs checking |
| License | Common Crawl 이용약관 | 데이터마다 다름, 공공누리 등 |
| Authentication | None | 신청 후 승인 |
| Free limits | - | API마다 다름, 개발계정은 보통 일 1,000회 안팎 |
| Data period | 2008년~현재 | 데이터셋마다 다름 |
| Main fields | WARC 원문, WAT 메타데이터, WET 텍스트, URL, 수집 시각 | 데이터셋명, 제공기관, 분류체계, 확장자, 갱신주기, 활용신청 건수, 서비스키 |
| Formats | Other | JSON, XML, CSV |
| Good for | 대규모 언어 모델 학습 데이터를 만드는 팀 | 국내 공공 데이터를 처음 찾는 개발자 |
| Type | Data and APIs | Data and APIs |
| Category | AI/머신러닝, 언어/텍스트 | 공공/행정 |
| Company | United StatesCommon Crawl Foundation | South Korea행정안전부 |
| Plans | ||
| Pros |
|
|
| Cons |
|
|
Prices and benefits may change. Check the official site before you pay.
Prices converted at 1 USD = ₩1,324.63 (2026-10-22). Original price shown in brackets. Taxes as listed by each provider.
Add to compare+ AI Hub (AI 허브)+ 서울 열린데이터광장+ 국가통계포털 KOSIS OpenAPI