C4 (Colossal Clean Crawled Corpus) vs 서울 열린데이터광장 비교

데이터/API 가운데 C4 (Colossal Clean Crawled Corpus)와 서울 열린데이터광장을 나란히 놓고 봤어요.

C4 (Colossal Clean Crawled Corpus)

T5 학습에 쓰인 정제 웹 텍스트 코퍼스

서울시와 산하기관이 여는 시정 데이터 광장

색이 칠해진 줄은 서로 다른 항목이에요.

항목	C4 (Colossal Clean Crawled Corpus)바로 가기	서울 열린데이터광장바로 가기
시작가	무료	무료
무료 사용	무료	무료
형태	데이터셋, 파일 다운로드	Open API, 파일 다운로드
갱신 주기	갱신 없음	비정기
품질	좋음	좋음
품질 근거	정제 방법이 논문으로 공개되고 형식이 안정적	갱신 주기와 문서가 비교적 잘 관리됨
상업 이용	출처 표시 후 가능	확인 필요
라이선스	ODC-By 1.0, 원문 저작권은 각 사이트에 있음	데이터마다 다름
인증 방식	없음	API 키
무료 한도	-	확인 필요
데이터 기간	2019년 Common Crawl 기반	데이터셋마다 다름
주요 컬럼	text, url, timestamp	데이터셋명, 분류, 제공부서, 갱신주기, 인증키
제공 형식	JSON	JSON, XML, CSV, Excel
이런 분께 추천해요	언어 모델 사전학습 연구자	서울 기반 지도나 생활 서비스를 만드는 개발자
종류	데이터/API	데이터/API
카테고리	AI/머신러닝, 언어/텍스트	공공/행정, 교통
회사	Allen Institute for AI	서울특별시
요금제
장점	정제된 영어 웹 텍스트 형식이 단순 여러 언어 버전 제공	서울 교통과 생활 데이터가 풍부 실시간 데이터 있음 인증키 발급이 간단
단점	2019년 수집분이라 최신성이 낮음 용량이 큼 원문 저작권 문제 확인 필요	서울 지역에 한정 데이터셋마다 라이선스가 다름 일부는 갱신이 멈춤

가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.