LiteLLM

BerriAI (Berrie AI Incorporated), 미국, litellm.ai

100개 이상 LLM 제공사를 OpenAI 호환 API 하나로 묶고 키/예산/비용을 관리하는 오픈소스 AI 게이트웨이

API 중개 개발자 도구

공식 사이트 바로 가기정보 수정 요청

개인 시작가무료유료 요금제 없음

무료 사용무료

한국어 지원제한적

정보 갱신일 2026-10-13, 출처: 공식 사이트 및 공개 보도. 가격과 혜택은 바뀔 수 있어요. 결제 전 공식 사이트에서 확인하세요.

장점

오픈소스 무료 셀프호스팅, 가상 키/팀별 예산/속도 제한, 폴백/로드밸런싱/비용 기반 라우팅, 사용량 비용 추적, PII 마스킹 등 가드레일

단점

직접 설치/운영 필요(공식 호스팅 없음), SSO/감사 로그 등은 Enterprise 유료, 모델 사용료는 각 제공사에 별도 지불

공개된 자료를 바탕으로 Pickx가 정리한 의견이에요.

주의사항

2026-03-24 PyPI 공급망 공격으로 litellm 1.82.7/1.82.8 버전에 자격 증명 탈취 악성 코드가 포함됐다가 당일 회수됨(외부 보안 보도). 해당 버전 설치 이력이 있으면 키 교체 필요, 의존성 버전 고정 권장

한눈에 보기

LiteLLM은 여러 회사의 LLM API를 OpenAI 형식의 API 하나로 통일해 주는 오픈소스 게이트웨이(프록시)입니다. 팀이나 회사에서 여러 모델의 키/예산/사용량을 한곳에서 관리하려는 개발자와 플랫폼 팀에 맞습니다. 소프트웨어는 무료이고 직접 서버에 설치해 씁니다.

주요 기능/지원 AI

기능/모델	설명	비고
통합 API	140+ 제공사/1,800+ 모델을 OpenAI 호환 API로 호출	Python SDK/프록시 서버
가상 키/예산	팀/프로젝트별 키 발급, 모델 접근 제어, 일/월 예산 상한	상한 도달 시 요청 차단
라우팅	로드밸런싱, 폴백, 최저 비용 라우팅, 캐싱
비용 추적	키/사용자/팀/에이전트/MCP별 사용 비용 집계	Prometheus 지표, Langfuse 로깅 연동
가드레일	PII 마스킹, 프롬프트 인젝션/비밀값 탐지	Presidio, Lakera 등 연동

요금제별 정리

요금제	가격(월 결제 / 연 결제)	할 수 있는 것/한도	특징
Open Source(셀프호스팅)	무료 / 무료	100+ 제공사, 가상 키, 비용 추적, 예산/속도 제한, 폴백, 로깅	Docker/Helm/Terraform 배포
Enterprise	견적(연간)	SSO/SCIM, JWT 인증, 감사 로그, 시크릿 매니저, 멀티 리전, 24/7 SLA, 에어갭 배포	30일 무료 체험 키, AWS Marketplace 구매 가능

이런 분께 추천해요

Open Source: 여러 LLM을 쓰는 서비스를 개발하면서 코드 변경 없이 모델을 바꾸고 싶은 개발자
Enterprise: 사내 전 직원의 AI API 사용을 SSO/감사 로그와 함께 통제해야 하는 기업

비슷한 서비스와 비교

LiteLLM vs OpenRouter: OpenRouter는 가입만 하면 쓰는 호스팅형 중개(크레딧 결제), LiteLLM은 직접 설치하고 각 제공사 키를 연결하는 셀프호스팅 게이트웨이
LiteLLM vs Portkey 등 상용 AI 게이트웨이: LiteLLM은 오픈소스 무료 버전이 기능 범위가 넓음
LiteLLM + Langfuse: 게이트웨이(LiteLLM)와 추적/평가(Langfuse)를 함께 쓰는 구성이 일반적

참고

이런 걸 찾을 때

사용자 리뷰

리뷰와 댓글은 로그인 기능과 함께 열릴 예정이에요.