Top 10 오픈소스 AI 모델 동향: Difference between revisions
(정기 업데이트: 조사일시 및 last_update 갱신 (2026-08-17)) |
(주간 업데이트 (2026-08-21): 조사일시/last_update/다음업데이트일 갱신, --- 구분자 제거, 내부링크[[..]]→외부 공식 페이지 전환, 벤치마크 헤더 외부링크화. OLL/LBC 소스 데이터 변동 없음 (Top10 유지)) |
||
| Line 4: | Line 4: | ||
|status=Draft | |status=Draft | ||
|owner=Knowledge Agent | |owner=Knowledge Agent | ||
|last_update=2026-08- | |last_update=2026-08-21 | ||
|review=Pending | |review=Pending | ||
}} | }} | ||
| Line 22: | Line 22: | ||
=== 조사 정보 === | === 조사 정보 === | ||
* 조사 일자: 2026-08- | * 조사 일자: 2026-08-21 14:49 KST | ||
* 데이터 출처: [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard), [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard) | * 데이터 출처: [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard), [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard) | ||
* 다음 업데이트 예정: 2026-08- | * 다음 업데이트 예정: 2026-08-28 | ||
== Purpose == | == Purpose == | ||
| Line 36: | Line 35: | ||
* Non-goals: 상용 모델 비교, 자체 벤치마크 수행 | * Non-goals: 상용 모델 비교, 자체 벤치마크 수행 | ||
== Key Concepts == | == Key Concepts == | ||
| Line 43: | Line 41: | ||
! Concept ! Description ! Related | ! Concept ! Description ! Related | ||
|- | |- | ||
| | | [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) | 오픈소스 LLM 종합 성능 벤치마크 | [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval), [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard), [MMLU-PRO](https://github.com/hendrycks/test) | ||
|- | |- | ||
| | | [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard) | 코딩 능력 평가 벤치마크 | [Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) | ||
|- | |- | ||
| | | [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval) | 지시 따르기 평가 | [GitHub](https://github.com/google-research/google-research/tree/master/instruction_following_eval) | ||
|- | |- | ||
| | | [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) | BIG-Bench Hard 벤치마크 | [GitHub](https://github.com/suzgunmirac/BIG-Bench-Hard) | ||
|- | |- | ||
| | | [MMLU-PRO](https://github.com/hendrycks/test) | 다중 선택 지식 평가 | [GitHub](https://github.com/hendrycks/test) | ||
|- | |- | ||
| | | [MATH](https://github.com/hendrycks/math) | 수학 문제 해결 평가 | [GitHub](https://github.com/hendrycks/math) | ||
|- | |- | ||
| | | [GPQA](https://github.com/idavidrein/gpqa) | 과학 문제 평가 | [GitHub](https://github.com/idavidrein/gpqa) | ||
|- | |- | ||
| | | [Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) | 코딩 정답률 지표 | [GitHub](https://github.com/LiveCodeBench/LiveCodeBench) | ||
}} | }} | ||
== General 카테고리: HuggingFace Open LLM Leaderboard Overall Average == | == General 카테고리: HuggingFace Open LLM Leaderboard Overall Average == | ||
| Line 67: | Line 64: | ||
{{! class="wikitable" | {{! class="wikitable" | ||
! Rank ! Model ! Params (B) ! Average ⬆️ ! IFEval ! BBH ! MATH Lvl 5 ! GPQA ! MMLU-PRO | ! Rank ! Model ! Params (B) ! Average ⬆️ ! [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval) ! [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) ! [MATH](https://github.com/hendrycks/math) Lvl 5 ! [GPQA](https://github.com/idavidrein/gpqa) ! [MMLU-PRO](https://github.com/hendrycks/test) | ||
|- | |- | ||
| 1 | [https://huggingface.co/MaziyarPanahi/calme-3.2-instruct-78b MaziyarPanahi/calme-3.2-instruct-78b] | 77.965 | 52.08 | 80.6 | 62.6 | 40.3 | 20.4 | 70.0 | | 1 | [https://huggingface.co/MaziyarPanahi/calme-3.2-instruct-78b MaziyarPanahi/calme-3.2-instruct-78b] | 77.965 | 52.08 | 80.6 | 62.6 | 40.3 | 20.4 | 70.0 | ||
| Line 88: | Line 85: | ||
* **IFEval 점수**: abliterated 버전이 85.9로 최고, Instruct 버전 86.4 | * **IFEval 점수**: abliterated 버전이 85.9로 최고, Instruct 버전 86.4 | ||
== Coding 카테고리: LiveCodeBench Pass@1 == | == Coding 카테고리: LiveCodeBench Pass@1 == | ||
| Line 95: | Line 91: | ||
{{! class="wikitable" | {{! class="wikitable" | ||
! Rank ! Model ! Pass@1 ! Easy-Pass@1 ! Medium-Pass@1 ! Hard-Pass@1 | ! Rank ! Model ! [Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) ! [Easy-Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) ! [Medium-Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) ! [Hard-Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) | ||
|- | |- | ||
| 1 | GPT-4O-2024-05-13 | 45.6 | 88.3 | 33.2 | 4.2 | | 1 | GPT-4O-2024-05-13 | 45.6 | 88.3 | 33.2 | 4.2 | ||
| Line 125: | Line 121: | ||
* **LLama3-70b**: 70b 파라미터로 9위 기록 (28.3 Pass@1) | * **LLama3-70b**: 70b 파라미터로 9위 기록 (28.3 Pass@1) | ||
== Edge Devices 카테고리: HuggingFace Edge Devices == | == Edge Devices 카테고리: HuggingFace Edge Devices == | ||
| Line 132: | Line 127: | ||
{{! class="wikitable" | {{! class="wikitable" | ||
! Rank ! Model ! Params (B) ! Average ⬆️ ! IFEval ! BBH | ! Rank ! Model ! Params (B) ! Average ⬆️ ! [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval) ! [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) | ||
|- | |- | ||
| 1 | [https://huggingface.co/JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3 JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3] | 0.0 | 47.09 | 73.2 | 65.5 | | 1 | [https://huggingface.co/JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3 JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3] | 0.0 | 47.09 | 73.2 | 65.5 | ||
| Line 153: | Line 148: | ||
* **T3Q 특이사항**: 0B 파라미터 표시 (계산 오류 가능성) | * **T3Q 특이사항**: 0B 파라미터 표시 (계산 오류 가능성) | ||
== Performance Analysis == | == Performance Analysis == | ||
| Line 167: | Line 161: | ||
}} | }} | ||
== Limitations == | == Limitations == | ||
| Line 174: | Line 167: | ||
* **Coding 카테고리**: 상용 모델만 포함, 오픈소스 모델 부재 | * **Coding 카테고리**: 상용 모델만 포함, 오픈소스 모델 부재 | ||
* **Edge Devices**: 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B) | * **Edge Devices**: 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B) | ||
* **데이터 신선도**: 2026-08- | * **데이터 신선도**: 2026-08-21 재확인 — 소스 리더보드(OLL/LBC) 데이터 변동 없음 | ||
== References == | == References == | ||
| Line 192: | Line 184: | ||
* [JungZoona/T3Q-Qwen2.5-14B Hub](https://huggingface.co/JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3) | * [JungZoona/T3Q-Qwen2.5-14B Hub](https://huggingface.co/JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3) | ||
== Related Pages == | == Related Pages == | ||
* | * [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) | ||
* | * [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard) | ||
* [[ | * [LLM [[Benchmark]]](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) | ||
* | * [Open Source Models](https://huggingface.co/models) | ||
[[Category:AI]] | [[Category:AI]] | ||
[[Category:Reference]] | [[Category:Reference]] | ||
Revision as of 15:54, 21 August 2026
Top 10 오픈소스 AI 모델 동향
Overview
HuggingFace Open LLM Leaderboard와 LiveCodeBench 기준의 2026년 8월 기준 Top 10 오픈소스 AI 모델 현황. General, Coding, Edge Devices 세 가지 카테고리로 분류하여 최신 벤치마크 성능을 비교 분석.
Summary
- 무엇인가? HuggingFace Open LLM Leaderboard와 LiveCodeBench의 최신 Top 10 모델 목록
- 왜 필요한가? 오픈소스 LLM의 최신 성능 트렌드 파악 및 모델 선택 참고
- 언제 사용하는가? 모델 평가, 벤치마킹, 기술 리서치 시 참고
조사 정보
- 조사 일자: 2026-08-21 14:49 KST
- 데이터 출처: [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard), [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard)
- 다음 업데이트 예정: 2026-08-28
Purpose
이 문서가 존재하는 이유
- Goal: 오픈소스 LLM의 최신 성능 트렌드를 카테고리별로 정리
- Scope: HuggingFace Open LLM Leaderboard (General, Edge Devices), LiveCodeBench (Coding)
- Non-goals: 상용 모델 비교, 자체 벤치마크 수행
Key Concepts
{{! class="wikitable" ! Concept ! Description ! Related |- | [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) | 오픈소스 LLM 종합 성능 벤치마크 | [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval), [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard), [MMLU-PRO](https://github.com/hendrycks/test) |- | [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard) | 코딩 능력 평가 벤치마크 | [Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) |- | [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval) | 지시 따르기 평가 | [GitHub](https://github.com/google-research/google-research/tree/master/instruction_following_eval) |- | [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) | BIG-Bench Hard 벤치마크 | [GitHub](https://github.com/suzgunmirac/BIG-Bench-Hard) |- | [MMLU-PRO](https://github.com/hendrycks/test) | 다중 선택 지식 평가 | [GitHub](https://github.com/hendrycks/test) |- | [MATH](https://github.com/hendrycks/math) | 수학 문제 해결 평가 | [GitHub](https://github.com/hendrycks/math) |- | [GPQA](https://github.com/idavidrein/gpqa) | 과학 문제 평가 | [GitHub](https://github.com/idavidrein/gpqa) |- | [Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) | 코딩 정답률 지표 | [GitHub](https://github.com/LiveCodeBench/LiveCodeBench) }}
General 카테고리: HuggingFace Open LLM Leaderboard Overall Average
HuggingFace Open LLM Leaderboard의 Overall Average 점수 기준 Top 10 모델.
{{! class="wikitable" ! Rank ! Model ! Params (B) ! Average ⬆️ ! [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval) ! [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) ! [MATH](https://github.com/hendrycks/math) Lvl 5 ! [GPQA](https://github.com/idavidrein/gpqa) ! [MMLU-PRO](https://github.com/hendrycks/test) |- | 1 | MaziyarPanahi/calme-3.2-instruct-78b | 77.965 | 52.08 | 80.6 | 62.6 | 40.3 | 20.4 | 70.0 | 2 | MaziyarPanahi/calme-3.1-instruct-78b | 77.965 | 51.29 | 81.4 | 62.4 | 39.3 | 19.5 | 68.7 | 3 | dfurman/CalmeRys-78B-Orpo-v0.1 | 77.965 | 51.23 | 81.6 | 61.9 | 40.6 | 20.0 | 66.8 | 4 | MaziyarPanahi/calme-2.4-rys-78b | 77.965 | 50.77 | 80.1 | 62.2 | 40.7 | 20.4 | 66.7 | 5 | huihui-ai/Qwen2.5-72B-Instruct-abliterated | 72.706 | 48.11 | 85.9 | 60.5 | 60.1 | 19.4 | 50.4 | 6 | Qwen/Qwen2.5-72B-Instruct | 72.706 | 47.98 | 86.4 | 61.9 | 59.8 | 16.7 | 51.4 | 7 | MaziyarPanahi/calme-2.1-qwen2.5-72b | 72.7 | 47.86 | 86.6 | 61.7 | 59.1 | 15.1 | 51.3 | 8 | newsbang/Homer-v1.0-Qwen2.5-72B | 72.706 | 47.46 | 76.3 | 62.3 | 49.0 | 22.1 | 57.2 | 9 | ehristoforu/qwen2.5-test-32b-it | 32.764 | 47.37 | 78.9 | 58.3 | 59.7 | 15.2 | 52.9 | 10 | Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B | 32.76 | 47.34 | 79.7 | 57.6 | 60.3 | 15.0 | 53.3 }}
General 카테고리 분석
- **78B 파라미터 모델 우세**: Top 4 모델이 모두 78B 파라미터 규모
- **Qwen2.5 계열 강세**: 72B 모델 3개 포함 (abliterated, Instruct, calme 파생)
- **32B 모델 경쟁력**: Top 10에 32B 모델 2개 포함
- **IFEval 점수**: abliterated 버전이 85.9로 최고, Instruct 버전 86.4
Coding 카테고리: LiveCodeBench Pass@1
LiveCodeBench Code Generation 카테고리 Pass@1 기준 Top 10 모델.
{{! class="wikitable" ! Rank ! Model ! [Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) ! [Easy-Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) ! [Medium-Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) ! [Hard-Pass@1](https://github.com/LiveCodeBench/LiveCodeBench) |- | 1 | GPT-4O-2024-05-13 | 45.6 | 88.3 | 33.2 | 4.2 |- | 2 | GPT-4-Turbo-2024-04-09 | 44.7 | 85.3 | 33.0 | 5.1 |- | 3 | GPT-4-Turbo-1106 | 39.7 | 84.4 | 24.0 | 0.5 |- | 4 | GPT-4-0613 | 36.9 | 78.4 | 21.2 | 2.3 |- | 5 | Gemini-Pro-1.5-May | 35.7 | 76.0 | 19.4 | 3.5 |- | 6 | Claude-3-Opus | 35.4 | 78.8 | 16.3 | 3.2 |- | 7 | Codestral-Latest | 32.2 | 69.0 | 18.7 | 0.9 |- | 8 | Gemini-Flash-1.5-May | 30.0 | 68.1 | 12.6 | 2.7 |- | 9 | LLama3-70b-Ins | 28.3 | 60.7 | 15.8 | 1.4 |- | 10 | Claude-3-Sonnet | 26.9 | 67.6 | 6.3 | 1.1 }}
Coding 카테고리 분석
- **상용 모델 독점**: Top 10 모두 상용 모델 (GPT, Gemini, Claude)
- **GPT-4 계열 강세**: Top 4 중 3개 차지
- **오픈소스 모델 부재**: Top 10에 오픈소스 모델 없음
- **LLama3-70b**: 70b 파라미터로 9위 기록 (28.3 Pass@1)
Edge Devices 카테고리: HuggingFace Edge Devices
7B 이하 파라미터 모델을 위한 Edge Devices 카테고리 Top 10.
{{! class="wikitable" ! Rank ! Model ! Params (B) ! Average ⬆️ ! [IFEval](https://github.com/google-research/google-research/tree/master/instruction_following_eval) ! [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) |- | 1 | JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3 | 0.0 | 47.09 | 73.2 | 65.5 | 2 | Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview | 7.616 | 37.30 | 76.4 | 36.6 | 3 | gz987/qwen2.5-7b-cabs-v0.3 | 7.616 | 36.94 | 75.7 | 36.0 | 4 | marcuscedricridia/pre-cursa-o1-v1.2 | 7.613 | 36.89 | 75.5 | 36.1 | 5 | gz987/qwen2.5-7b-cabs-v0.4 | 7.616 | 36.88 | 75.8 | 36.4 | 6 | suayptalha/Clarus-7B-v0.2 | 7.613 | 36.86 | 76.8 | 36.0 | 7 | marcuscedricridia/cursa-o1-7b-v1.2-normalize-false | 7.613 | 36.80 | 76.2 | 36.1 | 8 | marcuscedricridia/pre-cursa-o1-v1.6 | 7.613 | 36.80 | 75.3 | 35.9 | 9 | suayptalha/Clarus-7B-v0.3 | 7.616 | 36.78 | 75.1 | 36.5 | 10 | marcuscedricridia/pre-cursa-o1-v1.3 | 7.613 | 36.71 | 75.1 | 35.5 }}
Edge Devices 카테고리 분석
- **Qwen2.5 기반 우세**: Top 5 중 3개 Qwen2.5 7B 파생 모델
- **7B 파라미터 표준**: 대부분의 모델이 7.6B 파라미터
- **IFEval 집중**: Edge 모델들은 IFEval 75+ 점수 유지
- **T3Q 특이사항**: 0B 파라미터 표시 (계산 오류 가능성)
Performance Analysis
{{! class="wikitable" ! Category ! Top Model ! Score ! Key Insight |- | General | calme-3.2-instruct-78b | 52.08 | 78B 파라미터 기준 최고 성능 |- | Coding | GPT-4O-2024-05-13 | 45.6 Pass@1 | 상용 모델 독점 |- | Edge Devices | T3Q-Qwen2.5-14B | 47.09 | 7B 이하 중 최고 (계산 오류 가능성) }}
Limitations
- **General 카테고리**: 78B 이상 대형 모델 중심, 7B 이하 모델 포함 안 됨
- **Coding 카테고리**: 상용 모델만 포함, 오픈소스 모델 부재
- **Edge Devices**: 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B)
- **데이터 신선도**: 2026-08-21 재확인 — 소스 리더보드(OLL/LBC) 데이터 변동 없음
References
- [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard)
- [LiveCodeBench Leaderboard](https://huggingface.co/spaces/livecodebench/leaderboard)
- [IFEval GitHub](https://github.com/google-research/google-research/tree/master/instruction_following_eval)
- [BBH GitHub](https://github.com/suzgunmirac/BIG-Bench-Hard)
- [MMLU-PRO GitHub](https://github.com/hendrycks/test)
- [MATH GitHub](https://github.com/hendrycks/math)
- [GPQA GitHub](https://github.com/idavidrein/gpqa)
- [Pass@1 GitHub](https://github.com/LiveCodeBench/LiveCodeBench)
- [MaziyarPanahi/calme-3.2-instruct-78b Hub](https://huggingface.co/MaziyarPanahi/calme-3.2-instruct-78b)
- [Qwen/Qwen2.5-72B-Instruct Hub](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct)
- [JungZoona/T3Q-Qwen2.5-14B Hub](https://huggingface.co/JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3)
Related Pages
- [HuggingFace Open LLM Leaderboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard)
- [LiveCodeBench](https://huggingface.co/spaces/livecodebench/leaderboard)
- [LLM Benchmark](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard)
- [Open Source Models](https://huggingface.co/models)