FineWeb

Name: FineWeb
Brand: Hugging Face

Hugging Face, United States, huggingface.co/datasets/HuggingFaceFW/fineweb

정제한 대규모 웹 텍스트 학습 데이터Translation pending

AI/머신러닝 언어/텍스트

Go to official site

Request a correction

CurrencyUSD KRW EUR

Paid plan from (per month)Free

Free tierFree

Update cycle비정기

QualityGood

Commercial use출처 표시 후 가능

Data periodCommon Crawl 기반 2013년~

Price checked 2026-10-23, source: huggingface.co/datasets/HuggingFaceFW/fineweb. Prices and benefits may change. Check the official site before you pay.

Some information has not yet been verified against official sources. Please check the official site before you pay.

ProsTranslation pending

Common Crawl을 정제해 바로 학습에 사용
정제 방법 공개
스트리밍 지원

ConsTranslation pending

용량이 매우 큼
영어 중심
원문 저작권 문제 확인 필요

These are opinions compiled by Pickx from public sources.

Why this quality ratingTranslation pending

정제 과정과 데이터 카드가 상세하게 공개됨

Main fields

text, id, dump, url, date, language, language_score, token_count

Good forTranslation pending

언어 모델 사전학습 연구자

Translation pending

한눈에 보기

FineWeb은 Common Crawl을 걸러내 만든 웹 텍스트 학습 데이터예요. 중복 제거와 품질 필터를 거쳐 Parquet 파일로 공개돼요. 언어 모델 사전학습에 써요.

쓰는 법

Hugging Face 데이터셋 페이지에서 받거나 스트리밍으로 읽어요.
필요한 덤프와 샘플만 골라 쓰면 용량을 줄일 수 있어요.
ODC-By 조건에 맞게 출처를 표시해요.

참고

정보 확인일: 2026-10-23
출처: FineWeb

Good for

What people say about FineWeb

0 views

Prices converted at 1 USD = ₩1,324.63 (2026-10-22). Original price shown in brackets. Taxes as listed by each provider.