C4 (Colossal Clean Crawled Corpus) vs 공공데이터포털 (data.go.kr) 비교
데이터/API 가운데 C4 (Colossal Clean Crawled Corpus)와 공공데이터포털 (data.go.kr)를 나란히 놓고 봤어요.
C4 (Colossal Clean Crawled Corpus)
T5 학습에 쓰인 정제 웹 텍스트 코퍼스
이런 점이 좋아요
- 정제된 영어 웹 텍스트
- 형식이 단순
- 여러 언어 버전 제공
이런 점은 아쉬워요
- 2019년 수집분이라 최신성이 낮음
- 용량이 큼
공공데이터포털 (data.go.kr)
정부 기관 공공데이터 파일과 API를 모은 포털
이런 점이 좋아요
- 국내 공공 API 대부분이 모임
- 무료
- 서비스키 하나로 여러 API 이용
이런 점은 아쉬워요
- API마다 응답 형식과 품질이 다름
- 승인과 키 반영에 시간이 걸림
한눈에 비교
색이 칠해진 줄은 서로 다른 항목이에요.
| 항목 | C4 (Colossal Clean Crawled Corpus)바로 가기 | 공공데이터포털 (data.go.kr)바로 가기 |
|---|---|---|
| 시작가 | 무료 | 무료 |
| 무료 사용 | 무료 | 무료 |
| 형태 | 데이터셋, 파일 다운로드 | Open API, 파일 다운로드 |
| 갱신 주기 | 갱신 없음 | 비정기 |
| 품질 | 좋음 | 보통 |
| 품질 근거 | 정제 방법이 논문으로 공개되고 형식이 안정적 | 데이터마다 갱신과 문서 수준이 달라 편차가 큼 |
| 상업 이용 | 출처 표시 후 가능 | 확인 필요 |
| 라이선스 | ODC-By 1.0, 원문 저작권은 각 사이트에 있음 | 데이터마다 다름, 공공누리 등 |
| 인증 방식 | 없음 | 신청 후 승인 |
| 무료 한도 | - | API마다 다름, 개발계정은 보통 일 1,000회 안팎 |
| 데이터 기간 | 2019년 Common Crawl 기반 | 데이터셋마다 다름 |
| 주요 컬럼 | text, url, timestamp | 데이터셋명, 제공기관, 분류체계, 확장자, 갱신주기, 활용신청 건수, 서비스키 |
| 제공 형식 | JSON | JSON, XML, CSV |
| 이런 분께 추천해요 | 언어 모델 사전학습 연구자 | 국내 공공 데이터를 처음 찾는 개발자 |
| 종류 | 데이터/API | 데이터/API |
| 카테고리 | AI/머신러닝, 언어/텍스트 | 공공/행정 |
| 회사 |  Allen Institute for AI |  행정안전부 |
| 요금제 | ||
| 장점 |
|
|
| 단점 |
|
|
가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.
더해 비교+ AI Hub (AI 허브)+ 서울 열린데이터광장+ 국가통계포털 KOSIS OpenAPI