Common Crawl vs 서울 열린데이터광장 비교

데이터/API 가운데 Common Crawl와 서울 열린데이터광장을 나란히 놓고 봤어요.

Common Crawl

웹 전체를 긁어 모은 대규모 크롤링 데이터

서울시와 산하기관이 여는 시정 데이터 광장

색이 칠해진 줄은 서로 다른 항목이에요.

항목	Common Crawl바로 가기	서울 열린데이터광장바로 가기
시작가	무료	무료
무료 사용	무료	무료
형태	데이터셋, 파일 다운로드	Open API, 파일 다운로드
갱신 주기	매월	비정기
품질	보통	좋음
품질 근거	원본 크롤링이라 잡음이 많아 별도 정제가 필요	갱신 주기와 문서가 비교적 잘 관리됨
상업 이용	확인 필요	확인 필요
라이선스	Common Crawl 이용약관	데이터마다 다름
인증 방식	없음	API 키
무료 한도	-	확인 필요
데이터 기간	2008년~현재	데이터셋마다 다름
주요 컬럼	WARC 원문, WAT 메타데이터, WET 텍스트, URL, 수집 시각	데이터셋명, 분류, 제공부서, 갱신주기, 인증키
제공 형식	기타	JSON, XML, CSV, Excel
이런 분께 추천해요	대규모 언어 모델 학습 데이터를 만드는 팀	서울 기반 지도나 생활 서비스를 만드는 개발자
종류	데이터/API	데이터/API
카테고리	AI/머신러닝, 언어/텍스트	공공/행정, 교통
회사	Common Crawl Foundation	서울특별시
요금제
장점	웹 규모의 대량 텍스트 정기적으로 새 수집분 공개 무료	서울 교통과 생활 데이터가 풍부 실시간 데이터 있음 인증키 발급이 간단
단점	정제 없이는 잡음이 많음 용량이 매우 큼 페이지 저작권 문제 확인 필요	서울 지역에 한정 데이터셋마다 라이선스가 다름 일부는 갱신이 멈춤

가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.