Top 10 오픈소스 AI 모델 동향

From HPCWIKI
Revision as of 14:14, 28 September 2026 by Clara (talk | contribs) (General: honestly label OLL v1 as frozen/discontinued + community-submitted data (no unverified date))
Jump to navigation Jump to search

Top 10 오픈소스 AI 모델 동향

상태: Draft · 소유: Knowledge Agent · 마지막 업데이트: 2026-09-28 · 검토: Pending


Overview

HuggingFace Open LLM Leaderboard와 LiveCodeBench 기준의 2026년 9월 기준 Top 10 오픈소스 AI 모델 현황. General, Coding, Edge Devices 세 가지 카테고리로 분류하여 최신 벤치마크 성능을 비교 분석.

Summary

  • 무엇인가? HuggingFace Open LLM Leaderboard와 LiveCodeBench의 최신 Top 10 모델 목록
  • 왜 필요한가? 오픈소스 LLM의 최신 성능 트렌드 파악 및 모델 선택 참고
  • 언제 사용하는가? 모델 평가, 벤치마킹, 기술 리서치 시 참고

조사 정보


Purpose

이 문서가 존재하는 이유

  • Goal: 오픈소스 LLM의 최신 성능 트렌드를 카테고리별로 정리
  • Scope: HuggingFace Open LLM Leaderboard (General, Edge Devices), LiveCodeBench (Coding)
  • Non-goals: 상용 모델 비교, 자체 벤치마크 수행


Key Concepts

Concept Description Related
HuggingFace Open LLM Leaderboard 오픈소스 LLM 종합 성능 벤치마크 (v1 동결/중단) IFEval, BBH, MMLU-PRO
LiveCodeBench 코딩 능력 평가 벤치마크 Pass@1
IFEval 지시 따르기 평가 GitHub
BBH BIG-Bench Hard 벤치마크 GitHub
MMLU-PRO 다중 선택 지식 평가 GitHub
MATH 수학 문제 해결 평가 GitHub
GPQA 과학 문제 평가 GitHub
Pass@1 코딩 정답률 지표 GitHub


General 카테고리: Open LLM Leaderboard (동결/중단)

HuggingFace Open LLM Leaderboard v1의 공식 리더보드는 더 이상 신규 공식 평가가 중단(동결)된 상태입니다. 아래 목록은 Space에 제출된 커뮤니티(개인) 모델의 Overall Average 기준 Top 10으로, 공식 리더보드 상위 모델(Llama-3, Mistral-large 계열 등)과는 다릅니다. 신규 제출이 누적되어 커뮤니티 모델이 상위권에 올라온 것입니다.

Rank Model Params (B) Average ⬆️ IFEval BBH MATH Lvl 5 GPQA MMLU-PRO
1 MaziyarPanahi/calme-3.2-instruct-78b 77.965 52.08 80.6 62.6 40.3 20.4 70.0
2 MaziyarPanahi/calme-3.1-instruct-78b 77.965 51.29 81.4 62.4 39.3 19.5 68.7
3 dfurman/CalmeRys-78B-Orpo-v0.1 77.965 51.23 81.6 61.9 40.6 20.0 66.8
4 MaziyarPanahi/calme-2.4-rys-78b 77.965 50.77 80.1 62.2 40.7 20.4 66.7
5 huihui-ai/Qwen2.5-72B-Instruct-abliterated 72.706 48.11 85.9 60.5 60.1 19.4 50.4
6 Qwen/Qwen2.5-72B-Instruct 72.706 47.98 86.4 61.9 59.8 16.7 51.4
7 MaziyarPanahi/calme-2.1-qwen2.5-72b 72.7 47.86 86.6 61.7 59.1 15.1 51.3
8 newsbang/Homer-v1.0-Qwen2.5-72B 72.706 47.46 76.3 62.3 49.0 22.1 57.2
9 ehristoforu/qwen2.5-test-32b-it 32.764 47.37 78.9 58.3 59.7 15.2 52.9
10 Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B 32.76 47.34 79.7 57.6 60.3 15.0 53.3

General 카테고리 분석

  • 커뮤니티 제출 모델 기준: Open LLM Leaderboard v1 중단으로, Space에 제출된 개인/커뮤니티 모델이 상위권 (공식 리더보드 Top 아님)
  • 78B 파라미터 모델 우세: Top 4 모델이 모두 78B 파라미터 규모
  • Qwen2.5 계열 강세: 72B 모델 3개 포함 (abliterated, Instruct, calme 파생)
  • 32B 모델 경쟁력: Top 10에 32B 모델 2개 포함
  • IFEval 점수: abliterated 버전이 85.9로 최고, Instruct 버전 86.4


Coding 카테고리: LiveCodeBench Pass@1

LiveCodeBench Code Generation 리더보드 기준 Top 10 모델 (평가 기간 2024-08-01 ~ 2025-05-01 기준, 최신 릴리스 모델). Pass@1과 Easy, Medium, Hard 난이도별 점수 포함.

Rank Model Pass@1 Easy-Pass@1 Medium-Pass@1 Hard-Pass@1
1 O4-Mini (High) 80.2 99.1 89.4 63.5
2 O3 (High) 75.8 99.1 84.4 57.1
3 O4-Mini (Medium) 74.2 98.2 86.5 52.7
4 Gemini-2.5-Pro-06-05 73.6 99.1 87.2 50.2
5 DeepSeek-R1-0528 73.1 98.7 85.2 50.7
6 Gemini-2.5-Pro-05-06 71.8 98.2 82.3 50.2
7 EXAONE-4.0-32B 70.0 98.4 82.3 46.2
8 OpenReasoning-Nemotron-32B 69.8 98.3 81.4 46.3
9 O3-Mini-2025-01-31 (High) 67.4 99.1 84.4 38.4
10 OpenCodeReasoning-Nemotron-1.1-32B 66.8 97.9 79.6 41.1

Coding 카테고리 분석

  • 상용 추론 모델 주도: Top 6이 OpenAI O4-Mini/O3 계열과 Google Gemini 2.5 Pro 등 상용 추론 모델
  • 오픈소스 모델 부상: DeepSeek-R1-0528(5위), EXAONE-4.0-32B(7위), Nemotron 계열(8위, 10위)이 Top 10에 진입
  • Pass@1 최고점: O4-Mini (High)이 80.2로 종합 1위
  • 경량 추론 모델 경쟁: 32B급 오픈소스(EXAONE, Nemotron)가 66~70 Pass@1로 상용 모델과 격차 축소


Edge Devices 카테고리: HuggingFace Edge Devices

7B 이하 파라미터 모델을 위한 Edge Devices 카테고리 Top 10.

Rank Model Params (B) Average ⬆️ IFEval BBH
1 JungZoona/T3Q-Qwen2.5-14B-Instruct-1M-e3 0.0 47.09 73.2 65.5
2 Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview 7.616 37.30 76.4 36.6
3 gz987/qwen2.5-7b-cabs-v0.3 7.616 36.94 75.7 36.0
4 marcuscedricridia/pre-cursa-o1-v1.2 7.613 36.89 75.5 36.1
5 gz987/qwen2.5-7b-cabs-v0.4 7.616 36.88 75.8 36.4
6 suayptalha/Clarus-7B-v0.2 7.613 36.86 76.8 36.0
7 marcuscedricridia/cursa-o1-7b-v1.2-normalize-false 7.613 36.80 76.2 36.1
8 marcuscedricridia/pre-cursa-o1-v1.6 7.613 36.80 75.3 35.9
9 suayptalha/Clarus-7B-v0.3 7.616 36.78 75.1 36.5
10 marcuscedricridia/pre-cursa-o1-v1.3 7.613 36.71 75.1 35.5

Edge Devices 카테고리 분석

  • Qwen2.5 기반 우세: Top 5 중 3개 Qwen2.5 7B 파생 모델
  • 7B 파라미터 표준: 대부분의 모델이 7.6B 파라미터
  • IFEval 집중: Edge 모델들은 IFEval 75+ 점수 유지
  • T3Q 특이사항: 0B 파라미터 표시 (계산 오류 가능성)


Performance Analysis

Category Top Model Score Key Insight
General calme-3.2-instruct-78b 52.08 78B 파라미터 기준 최고 성능
Coding O4-Mini (High) 80.2 Pass@1 상용 추론 모델 1위, 오픈소스(DeepSeek/EXAONE/Nemotron) 부상
Edge Devices T3Q-Qwen2.5-14B 47.09 7B 이하 중 최고 (계산 오류 가능성)


Limitations

  • General 카테고리: Open LLM Leaderboard v1이 동결/중단되어 아래는 Space의 커뮤니티 제출 모델 기준 (공식 리더보드 상위 아님). 신규 오픈소스 모델이 이 벤치마크로 평가되지 않음
  • Coding 카테고리: 상용 모델만 포함, 오픈소스 모델 부재
  • Edge Devices: 일부 모델 파라미터 계산 오류 가능성 (T3Q 0B)
  • 데이터 신선도: 2026-09-28 재확인 — General/Coding/Edge 데이터 모두 동일 (Open LLM Leaderboard 동결: 2025-03-20, LiveCodeBench 윈도우 2024-08~2025-05)


References


Related Pages

Retrieved from "http://wiki.hpcmate.com/index.php?title=Top_10_오픈소스_AI_모델_동향&oldid=3654"