C4 (Colossal Clean Crawled Corpus) vs 공공데이터포털 (data.go.kr) comparison
C4 (Colossal Clean Crawled Corpus) and 공공데이터포털 (data.go.kr) compared side by side in Data and APIs.
C4 (Colossal Clean Crawled Corpus)
T5 학습에 쓰인 정제 웹 텍스트 코퍼스Translation pending
What is goodTranslation pending
- 정제된 영어 웹 텍스트
- 형식이 단순
- 여러 언어 버전 제공
What could be betterTranslation pending
- 2019년 수집분이라 최신성이 낮음
- 용량이 큼
공공데이터포털 (data.go.kr)
정부 기관 공공데이터 파일과 API를 모은 포털Translation pending
What is goodTranslation pending
- 국내 공공 API 대부분이 모임
- 무료
- 서비스키 하나로 여러 API 이용
What could be betterTranslation pending
- API마다 응답 형식과 품질이 다름
- 승인과 키 반영에 시간이 걸림
At a glance
Highlighted rows are where they differ.
| Item | C4 (Colossal Clean Crawled Corpus)Visit site | 공공데이터포털 (data.go.kr)Visit site |
|---|---|---|
| Starting price | Free | Free |
| Free tier | Free | Free |
| Type | 데이터셋, 파일 다운로드 | Open API, 파일 다운로드 |
| Update cycle | 갱신 없음 | 비정기 |
| Quality | Good | Average |
| Why this quality rating | 정제 방법이 논문으로 공개되고 형식이 안정적 | 데이터마다 갱신과 문서 수준이 달라 편차가 큼 |
| Commercial use | 출처 표시 후 가능 | Needs checking |
| License | ODC-By 1.0, 원문 저작권은 각 사이트에 있음 | 데이터마다 다름, 공공누리 등 |
| Authentication | None | 신청 후 승인 |
| Free limits | - | API마다 다름, 개발계정은 보통 일 1,000회 안팎 |
| Data period | 2019년 Common Crawl 기반 | 데이터셋마다 다름 |
| Main fields | text, url, timestamp | 데이터셋명, 제공기관, 분류체계, 확장자, 갱신주기, 활용신청 건수, 서비스키 |
| Formats | JSON | JSON, XML, CSV |
| Good for | 언어 모델 사전학습 연구자 | 국내 공공 데이터를 처음 찾는 개발자 |
| Type | Data and APIs | Data and APIs |
| Category | AI/머신러닝, 언어/텍스트 | 공공/행정 |
| Company | United StatesAllen Institute for AI | South Korea행정안전부 |
| Plans | ||
| Pros |
|
|
| Cons |
|
|
Prices and benefits may change. Check the official site before you pay.
Prices converted at 1 USD = ₩1,324.63 (2026-10-22). Original price shown in brackets. Taxes as listed by each provider.
Add to compare+ AI Hub (AI 허브)+ 서울 열린데이터광장+ 국가통계포털 KOSIS OpenAPI