Hugging Face
Jump to navigation
Jump to search
Hugging Face
Overview
Hugging Face는 오픈소스 AI 생태계 플랫폼. 모델(Hub), 데이터셋, Transformers 라이브러리를 제공. AI 개발자의 표준 도구.
Summary
- * 무엇인가? AI 모델/데이터셋 공유 플랫폼 + Transformers 라이브러리
- * 왜 필요한가? 200,000+ 모델, 100,000+ 데이터셋. AI 개발 표준
- * 언제 사용하는가? 모델 검색/다운로드, 파인튜닝, 추론, 데이터셋 처리
---
Purpose
이 문서가 존재하는 이유
- Goal: Hugging Face의 개념, 사용법, 설정 가이드 제공
- Scope: 기본 개념, 설치/설정, 사용 예제, 모범 사례
- Non-goals: 고급 커스터마이징, 내부 소스 코드 분석
---
Key Concepts
---
Architecture
Hugging Face는 Hub(모델/데이터셋 저장소), Transformers(라이브러리), Tokenizers(토큰화), Datasets(데이터 로드), PEFT(효율적 파인튜닝)로 구성. pip install transformers로 시작.
---
Workflow
1. 1. Hugging Face 계정 생성 + API 토큰 설정
2. 2. pip install transformers datasets
3. 3. 모델 검색 (huggingface.co/models)
4. 4. 모델 다운로드 및 추론
5. 5. 데이터셋 로드 및 전처리
6. 6. 파인튜닝 (PEFT/LoRA)
---
Configuration
{config_code}---
Best Practices
- API 토큰은 .env 파일에 저장 (git ignore)
- 모델 다운로드 시 local_files_only=True로 오프라인 사용
- PEFT/LoRA로 파인튜닝 시 메모리 70% 절약
- Transformers 최신 버전 유지 (보안 패치)
- Hugging Face Spaces로 데모 앱 호스팅
---
Limitations
- 대규모 모델 다운로드带宽 소모
- 일부 모델은 사용 라이선스 제한
- 추론 속도는 TensorRT/vLLM에 미흡
---
References
---