FineWeb
Hugging Face, 
미국, huggingface.co/datasets/HuggingFaceFW/fineweb
정제한 대규모 웹 텍스트 학습 데이터
유료 월 시작가무료
무료 사용무료
갱신 주기비정기
품질좋음
상업 이용출처 표시 후 가능
데이터 기간Common Crawl 기반 2013년~
가격 기준일 2026-10-23, 출처: huggingface.co/datasets/HuggingFaceFW/fineweb. 가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.
일부 정보는 아직 공식 자료로 확인하지 못했어요. 결제 전 공식 사이트를 꼭 확인하세요.
장점
- Common Crawl을 정제해 바로 학습에 사용
- 정제 방법 공개
- 스트리밍 지원
단점
- 용량이 매우 큼
- 영어 중심
- 원문 저작권 문제 확인 필요
공개된 자료를 바탕으로 Pickx가 정리한 의견이에요.
품질 근거
정제 과정과 데이터 카드가 상세하게 공개됨
주요 컬럼
text, id, dump, url, date, language, language_score, token_count
이런 분께 추천해요
언어 모델 사전학습 연구자
한눈에 보기
FineWeb은 Common Crawl을 걸러내 만든 웹 텍스트 학습 데이터예요. 중복 제거와 품질 필터를 거쳐 Parquet 파일로 공개돼요. 언어 모델 사전학습에 써요.
쓰는 법
- Hugging Face 데이터셋 페이지에서 받거나 스트리밍으로 읽어요.
- 필요한 덤프와 샘플만 골라 쓰면 용량을 줄일 수 있어요.
- ODC-By 조건에 맞게 출처를 표시해요.
참고
- 정보 확인일: 2026-10-23
- 출처: FineWeb
이런 걸 찾을 때
FineWeb 이야기
관련 비교
비슷한 데이터
한국지능정보사회진흥원(NIA)조회 0회