Hugging Face Datasets vs 모두의 말뭉치 (국립국어원) 비교
데이터/API 가운데 Hugging Face Datasets와 모두의 말뭉치 (국립국어원)을 나란히 놓고 봤어요.
Hugging Face Datasets
AI 데이터셋 수십만 개를 모은 허브
이런 점이 좋아요
- 데이터셋이 매우 많음
- datasets 라이브러리로 바로 불러옴
- 스트리밍 지원
이런 점은 아쉬워요
- 데이터셋마다 품질 편차
- 라이선스를 개별 확인해야 함
모두의 말뭉치 (국립국어원)
국립국어원이 공개하는 한국어 말뭉치
이런 점이 좋아요
- 한국어 주석 말뭉치
- 형태소와 개체명 등 라벨 포함
- 무료
이런 점은 아쉬워요
- 신청과 승인이 필요
- 말뭉치별 이용 조건이 다름
한눈에 비교
색이 칠해진 줄은 서로 다른 항목이에요.
| 항목 | Hugging Face Datasets바로 가기 | 모두의 말뭉치 (국립국어원)바로 가기 |
|---|---|---|
| 시작가 | $9~ | 무료 |
| 무료 사용 | 무료 플랜 있음 | 무료 |
| 형태 | 데이터셋, 오픈소스, Open API | 데이터셋, 파일 다운로드 |
| 갱신 주기 | 비정기 | 비정기 |
| 품질 | 보통 | 좋음 |
| 품질 근거 | 허브 문서는 좋으나 데이터셋마다 품질과 라이선스 편차가 큼 | 공공 기관이 구축하고 주석 품질과 문서가 좋음 |
| 상업 이용 | 확인 필요 | 확인 필요 |
| 라이선스 | 데이터셋마다 다름 | 말뭉치별 이용 약관 |
| 인증 방식 | 회원가입 | 신청 후 승인 |
| 데이터 기간 | 데이터셋마다 다름 | 말뭉치마다 다름 |
| 주요 컬럼 | dataset_id, split, features, num_rows, license, task_categories | 문서 ID, 문장, 형태소 분석, 개체명, 의미역, 구어 대화 발화 |
| 제공 형식 | JSON, CSV, Parquet, 이미지 | JSON |
| 이런 분께 추천해요 | 머신러닝 학습 데이터를 찾는 개발자 | 한국어 자연어 처리 연구자 |
| 종류 | 데이터/API | 데이터/API |
| 카테고리 | AI/머신러닝, 언어/텍스트, 이미지/영상 | 언어/텍스트, AI/머신러닝 |
| 회사 |  Hugging Face |  국립국어원 |
| 요금제 |
| |
| 장점 |
|
|
| 단점 |
|
|
가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.
더해 비교+ AI Hub (AI 허브)+ 공공데이터포털 (data.go.kr)+ 서울 열린데이터광장