Hugging Face Datasets vs KLUE (Korean Language Understanding Evaluation) 비교

데이터/API 가운데 Hugging Face Datasets와 KLUE (Korean Language Understanding Evaluation)를 나란히 놓고 봤어요.

Hugging Face Datasets

AI 데이터셋 수십만 개를 모은 허브

이런 점이 좋아요

  • 데이터셋이 매우 많음
  • datasets 라이브러리로 바로 불러옴
  • 스트리밍 지원

이런 점은 아쉬워요

  • 데이터셋마다 품질 편차
  • 라이선스를 개별 확인해야 함

Hugging Face Datasets 공식 사이트

KLUE (Korean Language Understanding Evaluation)

한국어 이해 능력 평가용 8개 과제 벤치마크

이런 점이 좋아요

  • 한국어 이해 평가 표준
  • 8개 과제 제공
  • 무료

이런 점은 아쉬워요

  • 갱신이 없음
  • 일부 과제는 규모가 작음

KLUE (Korean Language Understanding Evaluation) 공식 사이트

한눈에 비교

색이 칠해진 줄은 서로 다른 항목이에요.

항목Hugging Face Datasets바로 가기KLUE (Korean Language Understanding Evaluation)바로 가기
시작가$9~무료
무료 사용무료 플랜 있음무료
형태데이터셋, 오픈소스, Open API데이터셋, 오픈소스
갱신 주기비정기갱신 없음
품질보통좋음
품질 근거허브 문서는 좋으나 데이터셋마다 품질과 라이선스 편차가 큼논문과 문서가 명확하고 평가 형식이 안정적
상업 이용확인 필요출처 표시 후 가능
라이선스데이터셋마다 다름CC BY-SA 4.0
인증 방식회원가입없음
데이터 기간데이터셋마다 다름2021년 공개
주요 컬럼dataset_id, split, features, num_rows, license, task_categoriessentence, label, entities, relation, dialogue, mrc question, answers
제공 형식JSON, CSV, Parquet, 이미지JSON
이런 분께 추천해요머신러닝 학습 데이터를 찾는 개발자한국어 모델 성능을 비교하려는 연구자
종류데이터/API데이터/API
카테고리AI/머신러닝, 언어/텍스트, 이미지/영상언어/텍스트, AI/머신러닝
회사미국Hugging Face한국KLUE 팀(업스테이지 등 공동)
요금제
  • Hub 무료
  • PRO 월 $9
    장점
    • 데이터셋이 매우 많음
    • datasets 라이브러리로 바로 불러옴
    • 스트리밍 지원
    • 한국어 이해 평가 표준
    • 8개 과제 제공
    • 무료
    단점
    • 데이터셋마다 품질 편차
    • 라이선스를 개별 확인해야 함
    • 일부는 승인 필요
    • 갱신이 없음
    • 일부 과제는 규모가 작음
    • 정답 비공개 평가 일부

    가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.

    더해 비교+ AI Hub (AI 허브)+ 공공데이터포털 (data.go.kr)+ 서울 열린데이터광장

    관련 비교

    다른 서비스도 넣어서 비교하기