Common Crawl vs 서울 열린데이터광장 comparison
Common Crawl and 서울 열린데이터광장 compared side by side in Data and APIs.
Common Crawl
웹 전체를 긁어 모은 대규모 크롤링 데이터Translation pending
What is goodTranslation pending
- 웹 규모의 대량 텍스트
- 정기적으로 새 수집분 공개
- 무료
What could be betterTranslation pending
- 정제 없이는 잡음이 많음
- 용량이 매우 큼
서울 열린데이터광장
서울시와 산하기관이 여는 시정 데이터 광장Translation pending
What is goodTranslation pending
- 서울 교통과 생활 데이터가 풍부
- 실시간 데이터 있음
- 인증키 발급이 간단
What could be betterTranslation pending
- 서울 지역에 한정
- 데이터셋마다 라이선스가 다름
At a glance
Highlighted rows are where they differ.
| Item | Common CrawlVisit site | 서울 열린데이터광장Visit site |
|---|---|---|
| Starting price | Free | Free |
| Free tier | Free | Free |
| Type | 데이터셋, 파일 다운로드 | Open API, 파일 다운로드 |
| Update cycle | 매월 | 비정기 |
| Quality | Average | Good |
| Why this quality rating | 원본 크롤링이라 잡음이 많아 별도 정제가 필요 | 갱신 주기와 문서가 비교적 잘 관리됨 |
| Commercial use | Needs checking | Needs checking |
| License | Common Crawl 이용약관 | 데이터마다 다름 |
| Authentication | None | API 키 |
| Free limits | - | Needs checking |
| Data period | 2008년~현재 | 데이터셋마다 다름 |
| Main fields | WARC 원문, WAT 메타데이터, WET 텍스트, URL, 수집 시각 | 데이터셋명, 분류, 제공부서, 갱신주기, 인증키 |
| Formats | Other | JSON, XML, CSV, Excel |
| Good for | 대규모 언어 모델 학습 데이터를 만드는 팀 | 서울 기반 지도나 생활 서비스를 만드는 개발자 |
| Type | Data and APIs | Data and APIs |
| Category | AI/머신러닝, 언어/텍스트 | 공공/행정, 교통 |
| Company | United StatesCommon Crawl Foundation | South Korea서울특별시 |
| Plans | ||
| Pros |
|
|
| Cons |
|
|
Prices and benefits may change. Check the official site before you pay.
Prices converted at 1 USD = ₩1,324.63 (2026-10-22). Original price shown in brackets. Taxes as listed by each provider.
Add to compare+ AI Hub (AI 허브)+ 공공데이터포털 (data.go.kr)+ 국가통계포털 KOSIS OpenAPI