Top 10 오픈소스 AI 모델 동향: Difference between revisions

From HPCWIKI
Jump to navigation Jump to search
(Fix: insert |- between each data row (rows were merged into single <tr>))
(General: honestly label OLL v1 as frozen/discontinued + community-submitted data (no unverified date))
Line 38: Line 38:
|-
|-
| [https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard HuggingFace Open LLM Leaderboard]
| [https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard HuggingFace Open LLM Leaderboard]
| 오픈소스 LLM 종합 성능 벤치마크
| 오픈소스 LLM 종합 성능 벤치마크 (v1 동결/중단)
| [https://github.com/google-research/google-research/tree/master/instruction_following_eval IFEval], [https://github.com/suzgunmirac/BIG-Bench-Hard BBH], [https://github.com/hendrycks/test MMLU-PRO]
| [https://github.com/google-research/google-research/tree/master/instruction_following_eval IFEval], [https://github.com/suzgunmirac/BIG-Bench-Hard BBH], [https://github.com/hendrycks/test MMLU-PRO]
|-
|-
Line 71: Line 71:




== General 카테고리: HuggingFace Open LLM Leaderboard Overall Average ==
== General 카테고리: Open LLM Leaderboard (동결/중단) ==


HuggingFace Open LLM Leaderboard의 Overall Average 점수 기준 Top 10 모델.
HuggingFace Open LLM Leaderboard v1의 공식 리더보드는 '''더 이상 신규 공식 평가가 중단(동결)'''된 상태입니다. 아래 목록은 Space에 '''제출된 커뮤니티(개인) 모델'''의 Overall Average 기준 Top 10으로, 공식 리더보드 상위 모델(Llama-3, Mistral-large 계열 등)과는 다릅니다. 신규 제출이 누적되어 커뮤니티 모델이 상위권에 올라온 것입니다.


{| class="wikitable"
{| class="wikitable"
Line 189: Line 189:
=== General 카테고리 분석 ===
=== General 카테고리 분석 ===


* '''커뮤니티 제출 모델 기준''': Open LLM Leaderboard v1 중단으로, Space에 제출된 개인/커뮤니티 모델이 상위권 (공식 리더보드 Top 아님)
* '''78B 파라미터 모델 우세''': Top 4 모델이 모두 78B 파라미터 규모
* '''78B 파라미터 모델 우세''': Top 4 모델이 모두 78B 파라미터 규모
* '''Qwen2.5 계열 강세''': 72B 모델 3개 포함 (abliterated, Instruct, calme 파생)
* '''Qwen2.5 계열 강세''': 72B 모델 3개 포함 (abliterated, Instruct, calme 파생)
Line 404: Line 405:
== Limitations ==
== Limitations ==


* '''General 카테고리''': 78B 이상 대형 모델 중심, 7B 이하 모델 포함 안 됨
* '''General 카테고리''': Open LLM Leaderboard v1이 '''동결/중단'''되어 아래는 Space의 커뮤니티 제출 모델 기준 (공식 리더보드 상위 아님). 신규 오픈소스 모델이 이 벤치마크로 평가되지 않음
* '''Coding 카테고리''': 상용 모델만 포함, 오픈소스 모델 부재
* '''Coding 카테고리''': 상용 모델만 포함, 오픈소스 모델 부재
* '''Edge Devices''': 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B)
* '''Edge Devices''': 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B)

Revision as of 14:14, 28 September 2026

Top 10 오픈소스 AI 모델 동향

상태: Draft · 소유: Knowledge Agent · 마지막 업데이트: 2026-09-28 · 검토: Pending


Overview

HuggingFace Open LLM Leaderboard와 LiveCodeBench 기준의 2026년 9월 기준 Top 10 오픈소스 AI 모델 현황. General, Coding, Edge Devices 세 가지 카테고리로 분류하여 최신 벤치마크 성능을 비교 분석.

Summary

  • 무엇인가? HuggingFace Open LLM Leaderboard와 LiveCodeBench의 최신 Top 10 모델 목록
  • 왜 필요한가? 오픈소스 LLM의 최신 성능 트렌드 파악 및 모델 선택 참고
  • 언제 사용하는가? 모델 평가, 벤치마킹, 기술 리서치 시 참고

조사 정보


Purpose

이 문서가 존재하는 이유

  • Goal: 오픈소스 LLM의 최신 성능 트렌드를 카테고리별로 정리
  • Scope: HuggingFace Open LLM Leaderboard (General, Edge Devices), LiveCodeBench (Coding)
  • Non-goals: 상용 모델 비교, 자체 벤치마크 수행


Key Concepts

Concept Description Related
HuggingFace Open LLM Leaderboard 오픈소스 LLM 종합 성능 벤치마크 (v1 동결/중단) IFEval, BBH, MMLU-PRO
LiveCodeBench 코딩 능력 평가 벤치마크 Pass@1
IFEval 지시 따르기 평가 GitHub
BBH BIG-Bench Hard 벤치마크 GitHub
MMLU-PRO 다중 선택 지식 평가 GitHub
MATH 수학 문제 해결 평가 GitHub
GPQA 과학 문제 평가 GitHub
Pass@1 코딩 정답률 지표 GitHub


General 카테고리: Open LLM Leaderboard (동결/중단)

HuggingFace Open LLM Leaderboard v1의 공식 리더보드는 더 이상 신규 공식 평가가 중단(동결)된 상태입니다. 아래 목록은 Space에 제출된 커뮤니티(개인) 모델의 Overall Average 기준 Top 10으로, 공식 리더보드 상위 모델(Llama-3, Mistral-large 계열 등)과는 다릅니다. 신규 제출이 누적되어 커뮤니티 모델이 상위권에 올라온 것입니다.

Rank Model Params (B) Average ⬆️ IFEval BBH MATH Lvl 5 GPQA MMLU-PRO
1 MaziyarPanahi/calme-3.2-instruct-78b 77.965 52.08 80.6 62.6 40.3 20.4 70.0
2 MaziyarPanahi/calme-3.1-instruct-78b 77.965 51.29 81.4 62.4 39.3 19.5 68.7
3 dfurman/CalmeRys-78B-Orpo-v0.1 77.965 51.23 81.6 61.9 40.6 20.0 66.8
4 MaziyarPanahi/calme-2.4-rys-78b 77.965 50.77 80.1 62.2 40.7 20.4 66.7
5 huihui-ai/Qwen2.5-72B-Instruct-abliterated 72.706 48.11 85.9 60.5 60.1 19.4 50.4
6 Qwen/Qwen2.5-72B-Instruct 72.706 47.98 86.4 61.9 59.8 16.7 51.4
7 MaziyarPanahi/calme-2.1-qwen2.5-72b 72.7 47.86 86.6 61.7 59.1 15.1 51.3
8 newsbang/Homer-v1.0-Qwen2.5-72B 72.706 47.46 76.3 62.3 49.0 22.1 57.2
9 ehristoforu/qwen2.5-test-32b-it 32.764 47.37 78.9 58.3 59.7 15.2 52.9
10 Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B 32.76 47.34 79.7 57.6 60.3 15.0 53.3

General 카테고리 분석

  • 커뮤니티 제출 모델 기준: Open LLM Leaderboard v1 중단으로, Space에 제출된 개인/커뮤니티 모델이 상위권 (공식 리더보드 Top 아님)
  • 78B 파라미터 모델 우세: Top 4 모델이 모두 78B 파라미터 규모
  • Qwen2.5 계열 강세: 72B 모델 3개 포함 (abliterated, Instruct, calme 파생)
  • 32B 모델 경쟁력: Top 10에 32B 모델 2개 포함
  • IFEval 점수: abliterated 버전이 85.9로 최고, Instruct 버전 86.4


Coding 카테고리: LiveCodeBench Pass@1

LiveCodeBench Code Generation 리더보드 기준 Top 10 모델 (평가 기간 2024-08-01 ~ 2025-05-01 기준, 최신 릴리스 모델). Pass@1과 Easy, Medium, Hard 난이도별 점수 포함.

Rank Model Pass@1 Easy-Pass@1 Medium-Pass@1 Hard-Pass@1
1 O4-Mini (High) 80.2 99.1 89.4 63.5
2 O3 (High) 75.8 99.1 84.4 57.1
3 O4-Mini (Medium) 74.2 98.2 86.5 52.7
4 Gemini-2.5-Pro-06-05 73.6 99.1 87.2 50.2
5 DeepSeek-R1-0528 73.1 98.7 85.2 50.7
6 Gemini-2.5-Pro-05-06 71.8 98.2 82.3 50.2
7 EXAONE-4.0-32B 70.0 98.4 82.3 46.2
8 OpenReasoning-Nemotron-32B 69.8 98.3 81.4 46.3
9 O3-Mini-2025-01-31 (High) 67.4 99.1 84.4 38.4
10 OpenCodeReasoning-Nemotron-1.1-32B 66.8 97.9 79.6 41.1

Coding 카테고리 분석

  • 상용 추론 모델 주도: Top 6이 OpenAI O4-Mini/O3 계열과 Google Gemini 2.5 Pro 등 상용 추론 모델
  • 오픈소스 모델 부상: DeepSeek-R1-0528(5위), EXAONE-4.0-32B(7위), Nemotron 계열(8위, 10위)이 Top 10에 진입
  • Pass@1 최고점: O4-Mini (High)이 80.2로 종합 1위
  • 경량 추론 모델 경쟁: 32B급 오픈소스(EXAONE, Nemotron)가 66~70 Pass@1로 상용 모델과 격차 축소


Edge Devices 카테고리: HuggingFace Edge Devices

7B 이하 파라미터 모델을 위한 Edge Devices 카테고리 Top 10.

Rank Model Params (B) Average ⬆️ IFEval BBH
1 JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3 0.0 47.09 73.2 65.5
2 Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview 7.616 37.30 76.4 36.6
3 gz987/qwen2.5-7b-cabs-v0.3 7.616 36.94 75.7 36.0
4 marcuscedricridia/pre-cursa-o1-v1.2 7.613 36.89 75.5 36.1
5 gz987/qwen2.5-7b-cabs-v0.4 7.616 36.88 75.8 36.4
6 suayptalha/Clarus-7B-v0.2 7.613 36.86 76.8 36.0
7 marcuscedricridia/cursa-o1-7b-v1.2-normalize-false 7.613 36.80 76.2 36.1
8 marcuscedricridia/pre-cursa-o1-v1.6 7.613 36.80 75.3 35.9
9 suayptalha/Clarus-7B-v0.3 7.616 36.78 75.1 36.5
10 marcuscedricridia/pre-cursa-o1-v1.3 7.613 36.71 75.1 35.5

Edge Devices 카테고리 분석

  • Qwen2.5 기반 우세: Top 5 중 3개 Qwen2.5 7B 파생 모델
  • 7B 파라미터 표준: 대부분의 모델이 7.6B 파라미터
  • IFEval 집중: Edge 모델들은 IFEval 75+ 점수 유지
  • T3Q 특이사항: 0B 파라미터 표시 (계산 오류 가능성)


Performance Analysis

Category Top Model Score Key Insight
General calme-3.2-instruct-78b 52.08 78B 파라미터 기준 최고 성능
Coding O4-Mini (High) 80.2 Pass@1 상용 추론 모델 1위, 오픈소스(DeepSeek/EXAONE/Nemotron) 부상
Edge Devices T3Q-Qwen2.5-14B 47.09 7B 이하 중 최고 (계산 오류 가능성)


Limitations

  • General 카테고리: Open LLM Leaderboard v1이 동결/중단되어 아래는 Space의 커뮤니티 제출 모델 기준 (공식 리더보드 상위 아님). 신규 오픈소스 모델이 이 벤치마크로 평가되지 않음
  • Coding 카테고리: 상용 모델만 포함, 오픈소스 모델 부재
  • Edge Devices: 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B)
  • 데이터 신선도: 2026-09-28 재확인 — General/Coding/Edge 데이터 모두 동일 (Open LLM Leaderboard 동결: 2025-03-20, LiveCodeBench 윈도우 2024-08~2025-05)


References


Related Pages

Retrieved from "http://wiki.hpcmate.com/index.php?title=Top_10_오픈소스_AI_모델_동향&oldid=3654"