공공데이터포털 (data.go.kr) vs FineWeb 비교

데이터/API 가운데 공공데이터포털 (data.go.kr)와 FineWeb를 나란히 놓고 봤어요.

공공데이터포털 (data.go.kr)

정부 기관 공공데이터 파일과 API를 모은 포털

정제한 대규모 웹 텍스트 학습 데이터

색이 칠해진 줄은 서로 다른 항목이에요.

항목	공공데이터포털 (data.go.kr)바로 가기	FineWeb바로 가기
시작가	무료	무료
무료 사용	무료	무료
형태	Open API, 파일 다운로드	데이터셋, 파일 다운로드
갱신 주기	비정기	비정기
품질	보통	좋음
품질 근거	데이터마다 갱신과 문서 수준이 달라 편차가 큼	정제 과정과 데이터 카드가 상세하게 공개됨
상업 이용	확인 필요	출처 표시 후 가능
라이선스	데이터마다 다름, 공공누리 등	ODC-By
인증 방식	신청 후 승인	없음
무료 한도	API마다 다름, 개발계정은 보통 일 1,000회 안팎	-
데이터 기간	데이터셋마다 다름	Common Crawl 기반 2013년~
주요 컬럼	데이터셋명, 제공기관, 분류체계, 확장자, 갱신주기, 활용신청 건수, 서비스키	text, id, dump, url, date, language, language_score, token_count
제공 형식	JSON, XML, CSV	Parquet
이런 분께 추천해요	국내 공공 데이터를 처음 찾는 개발자	언어 모델 사전학습 연구자
종류	데이터/API	데이터/API
카테고리	공공/행정	AI/머신러닝, 언어/텍스트
회사	행정안전부	Hugging Face
요금제
장점	국내 공공 API 대부분이 모임 무료 서비스키 하나로 여러 API 이용	Common Crawl을 정제해 바로 학습에 사용 정제 방법 공개 스트리밍 지원
단점	API마다 응답 형식과 품질이 다름 승인과 키 반영에 시간이 걸림 일부 API 장애가 잦음	용량이 매우 큼 영어 중심 원문 저작권 문제 확인 필요

가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.