I ran five budget-tier LLMs on four Korean tests. The short version: the two Korean-made models are not the best at Korean. DeepSeek V4.1 Flash and GPT-6 Luna lead. Upstage’s Solar Pro 4 is significantly behind DeepSeek on all four tests, and Solar Mini 4 is last on all four.

The numbers are kept current on the benchmark page. This post explains what was run and how to read it.

TL;DR

Reasoning on, one run per model, measured 2026-09-29 to 10-03. Bold marks the gaps this post is about, not a winner.

• DeepSeek V4.1 Flash is never significantly beaten.
  • It ties GPT-6 Luna on KoBALT (p = 0.66) and LBox (p = 1.0).
  • On NER it is ahead of every other model: by 2.2–3.8 F1 over GPT-6 Luna, GLM and Solar Pro 4 (p ≤ 0.0042), and by 13.5 over Solar Mini 4.
  • On HanIFEval it is ahead of GPT-6 Luna and Solar Pro 4 (p ≤ 0.0015).
• GPT-6 Luna matches DeepSeek on knowledge for an eighth of the cost: $1.00 against $8.23 for all four tests. It loses on format: it adds a final period when asked to copy a sentence, and it ignores a requested *** paragraph divider.
• The Korean models trail.
  • Solar Pro 4 is significantly behind DeepSeek on all four tests, and behind GPT-6 Luna on KoBALT and LBox.
  • Solar Mini 4, listed on OpenRouter on 2026-09-23, is last on all four. It is significantly behind every other model on KoBALT, NER and LBox.

What was compared

All five models sit in the same OpenRouter price band, checked on 2026-09-29 (Solar Mini 4 on 2026-10-03).

The setup:

• Each model is pinned to one provider with fallbacks off.
• Reasoning is on at the provider’s default effort, with temperature 0 and a 64,000-token output limit.
• Each item is answered once.

The DeepSeek numbers are for a third-party fp8 deployment. DeepSeek’s own endpoint was not available to my account.

I also dropped two Gemma 4 models:

• Gemma 4 31B’s only working full-precision endpoint was too rate-limited to finish a run.
• Gemma 4 26B kept reasoning until it hit the token limit on most KoBALT and NER items.

Four tests, four different skills

• KoBALT (SNU, 2025): 700 expert-written ten-option questions on Korean linguistics. The questions cover syntax, semantics, pragmatics, phonology and morphology. This is knowledge about the language, not fluency in it.
• KLUE-NER: 1,000 dev sentences from news and movie reviews. The model copies each sentence and marks its people, places, organizations, dates, times and quantities. A copy that changes the sentence scores as “no entities found”.
• LBox Open casename: given the facts of a Korean court judgment, pick its case name from 100 labels.
• HanIFEval: 429 verifiable instructions in Korean, such as word counts, forbidden words, formats and “repeat the request first”. Code scores them; no judge model is involved.

I built HanIFEval for this study because existing Korean IFEval translations break their own checkers. In one audited set, 27 of 342 Korean prompts said something different from what the checker scored. For example, “more than 2 times” was translated as “2번 이상” (2 or more) while the checker counted 3 or more. HanIFEval translates each prompt together with the checker’s arguments, so the two cannot drift apart. After two external reviews it was revised to v1.1; the scores here are on v1.1. How it was built is in a separate post.

Results

Linguistics and legal text: two tiers

KoBALT and LBox split the original four models into the same two tiers:

• DeepSeek and GPT-6 Luna are on top.
• GLM and Solar Pro 4 are below them.

All 8 tests between the tiers are significant, and none of the 4 within a tier is.

Solar Mini 4 falls below both tiers: 59.1% on KoBALT is 13.6 points under Solar Pro 4.

GLM’s KoBALT score is about thinking time, not knowledge. 91 of its 700 replies were still reasoning at 64,000 tokens. Those count as wrong. On the 609 questions it did answer, GLM is 81.6% correct, level with the top tier.

On LBox, the case name appears word for word in the facts in 282 of the 1,000 items, and every model scores 89–94% on those. The models separate on the other 718.

NER: DeepSeek leads, and format matters

DeepSeek’s F1 is above every other model’s. GPT-6 Luna’s lower score is mostly formatting: in 73 of its 79 failed replies, the copy differed from the sentence only by an added final period or similar trailing punctuation. Forgive that, and GPT-6 Luna cannot be separated from GLM or Solar Pro 4.

Solar Mini 4 failed to copy 159 of 1,000 sentences. It dropped words, repeated words and changed particles.

Instruction following: near ceiling

All five models score 92.5–97.2% on HanIFEval, and 351 of the 429 items are passed by all five. The only significant gaps are DeepSeek over GPT-6 Luna, Solar Pro 4 and Solar Mini 4.

The per-type numbers say more than the total:

• Solar Pro 4 wrote too little on 13 of 43 length instructions.
• GPT-6 Luna missed the requested *** paragraph divider on 9 of 22 items.
• GLM failed 7 of 45 forbidden-word instructions, often by restating the words while saying it had avoided them ("‘변경’과 ‘여유’라는 단어는 사용하지 않았습니다").

Caveats

• One configuration per model: one provider, default reasoning effort, one sample per item. Run-to-run variance is not measured.
• Contamination is not controlled.
  • KLUE (2021), LBox (2022) and KoBALT (2025) were public with answers before these models were released.
  • HanIFEval is new, but its English source, IFEval, is from 2023.
• Non-answers count as wrong. That costs GLM most on KoBALT, and costs GPT-6 Luna on NER.
• Five models is a handful. “The Korean-made models trail” describes these two Solar models, not Korean LLMs in general.
• HanIFEval is model-validated, not human-validated. Its translator was Gemini; its reviewers were Claude and GPT-6.
• Statistics. McNemar exact tests (a paired bootstrap for NER) with Bonferroni over the 6 pairs of the first four models. Solar Mini 4 joined later and is tested in its own family of 4 pairs.
• Cost covers the scored runs only, at OpenRouter prices on the run dates.

Reproducing

Everything is in developer0hye/llm-evals:

• the harness and the pinned dataset revisions;
• per-item logs for every model, and the analysis scripts;
• a research log for each study, covering every decision, dead end and p-value behind the claims above.

The HanIFEval dataset, its scorer and its changelog are on Hugging Face (tag v1.1).

저가형 LLM 다섯 개를 한국어 테스트 네 가지로 측정했다. 요약하면 한국에서 만든 두 모델이 한국어를 가장 잘하지는 않았다. DeepSeek V4.1 Flash와 GPT-6 Luna가 앞섰다. Upstage의 Solar Pro 4는 네 테스트 모두에서 DeepSeek보다 유의하게 낮았고, Solar Mini 4는 네 테스트 모두 최하위였다.

최신 수치는 벤치마크 페이지에서 계속 갱신한다. 이 글에서는 무엇을 돌렸고 결과를 어떻게 읽어야 하는지 설명한다.

요약

추론 켬, 모델당 1회 실행, 2026-09-29~10-03 측정. 굵은 표시는 이 글이 다루는 차이를 가리킬 뿐 1위 표시가 아니다.

• DeepSeek V4.1 Flash는 어느 테스트에서도 유의하게 지지 않았다.
  • KoBALT(p = 0.66)와 LBox(p = 1.0)에서는 GPT-6 Luna와 동률이다.
  • NER에서는 모든 모델보다 높다. GPT-6 Luna, GLM, Solar Pro 4보다 F1 2.2~3.8(p ≤ 0.0042), Solar Mini 4보다 13.5 높다.
  • HanIFEval에서는 GPT-6 Luna와 Solar Pro 4보다 높다(p ≤ 0.0015).
• GPT-6 Luna는 지식 테스트에서 DeepSeek과 같은 수준인데 비용은 8분의 1이다. 네 테스트 합계 $1.00으로, DeepSeek의 $8.23과 비교된다. 대신 형식에서 진다. 문장을 그대로 옮기라고 하면 끝에 마침표를 붙이고, 요청한 *** 문단 구분선을 빼먹는다.
• 한국 모델은 뒤처졌다.
  • Solar Pro 4는 네 테스트 모두에서 DeepSeek보다 유의하게 낮고, KoBALT와 LBox에서는 GPT-6 Luna보다도 낮다.
  • 2026-09-23 OpenRouter에 올라온 Solar Mini 4는 네 테스트 모두 최하위다. KoBALT, NER, LBox에서는 다른 모든 모델보다 유의하게 낮다.

비교한 모델

다섯 모델은 OpenRouter에서 같은 가격대에 있다. 가격은 2026-09-29 기준이다(Solar Mini 4만 2026-10-03).

실행 조건은 다음과 같다.

• 모델마다 provider 하나로 고정하고 fallback은 껐다.
• 추론은 provider 기본 강도로 켰다. temperature는 0, 출력 한도는 64,000토큰이다.
• 문항당 한 번씩 답하게 했다.

DeepSeek 수치는 제3자 fp8 배포판 기준이다. DeepSeek 자체 엔드포인트는 내 계정에서 쓸 수 없었다.

Gemma 4 두 모델은 제외했다.

• Gemma 4 31B는 쓸 수 있는 유일한 원정밀도 엔드포인트의 rate limit이 너무 심해 실행을 끝낼 수 없었다.
• Gemma 4 26B는 KoBALT와 NER 대부분에서 토큰 한도까지 추론을 멈추지 않았다.

네 테스트, 네 가지 능력

• KoBALT(서울대, 2025): 전문가가 쓴 한국어 언어학 10지선다 700문항이다. 통사론, 의미론, 화용론, 음운론, 형태론을 다룬다. 한국어를 유창하게 쓰는 능력이 아니라 한국어에 대한 지식을 묻는다.
• KLUE-NER: 뉴스와 영화 리뷰에서 뽑은 dev 문장 1,000개다. 모델이 문장을 그대로 옮기면서 인명, 지명, 기관명, 날짜, 시간, 수량을 표시한다. 옮긴 문장이 원문과 다르면 “개체 없음"으로 채점한다.
• LBox Open casename: 한국 판결문의 사실관계를 보고 사건명을 100개 중에서 고른다.
• HanIFEval: 한국어로 쓴 검증 가능한 지시 429문항이다. 단어 수, 금지어, 형식, “요청을 먼저 그대로 반복하라” 같은 지시를 코드로 채점하고, 채점 모델은 쓰지 않는다.

HanIFEval은 이번 연구를 위해 직접 만들었다. 기존 한국어 IFEval 번역본은 자기 채점기와 어긋난다. 감사한 한 세트에서는 342문항 중 27문항의 한국어 프롬프트가 채점 기준과 다른 말을 하고 있었다. 예를 들어 “more than 2 times"를 “2번 이상"으로 옮겼는데, 채점기는 3번 이상을 센다. HanIFEval은 프롬프트를 채점 인자와 함께 번역해서 둘이 어긋날 수 없게 했다. 외부 리뷰 두 번을 거쳐 v1.1로 고쳤고, 여기 점수는 v1.1 기준이다. 만든 과정은 별도 글에 정리했다.

결과

언어학과 판결문: 두 그룹으로 갈린다

KoBALT와 LBox는 처음 네 모델을 똑같이 두 그룹으로 나눈다.

• 위 그룹은 DeepSeek과 GPT-6 Luna다.
• 아래 그룹은 GLM과 Solar Pro 4다.

두 그룹 사이의 검정 8개는 모두 유의하고, 같은 그룹 안의 검정 4개는 하나도 유의하지 않다. Solar Mini 4는 두 그룹 모두보다 아래다. KoBALT 59.1%는 Solar Pro 4보다 13.6%p 낮다.

GLM의 KoBALT 점수는 지식보다 생각하는 시간의 문제다. 700개 응답 중 91개가 64,000토큰에 이를 때까지 추론을 계속했고, 이는 오답으로 센다. 실제로 답한 609문항만 보면 GLM의 정답률은 81.6%로 위 그룹과 같다.

LBox에서는 1,000문항 중 282문항의 사실관계에 사건명이 그대로 들어 있다. 이 문항에서는 모든 모델이 89~94%를 맞혔다. 모델 간 차이는 나머지 718문항에서 난다.

NER: DeepSeek이 앞서고, 형식이 점수를 가른다

DeepSeek의 F1이 모든 모델보다 높다. GPT-6 Luna가 낮은 이유는 대부분 형식이다. 실패한 79개 중 73개는 끝에 마침표 같은 문장부호를 붙인 것 외에는 원문과 같았다. 이것을 봐주면 GPT-6 Luna는 GLM, Solar Pro 4와 구분되지 않는다.

Solar Mini 4는 1,000문장 중 159문장을 그대로 옮기지 못했다. 단어를 빠뜨리거나 반복하거나 조사를 바꿨다.

지시 따르기: 천장에 가깝다

다섯 모델 모두 HanIFEval에서 92.5~97.2%를 받았고, 429문항 중 351문항은 다섯 모델이 모두 통과했다. 유의한 차이는 DeepSeek이 GPT-6 Luna, Solar Pro 4, Solar Mini 4보다 높은 것뿐이다.

총점보다 지시 유형별 수치가 더 많은 것을 알려 준다.

• Solar Pro 4는 길이 지시 43개 중 13개에서 너무 짧게 썼다.
• GPT-6 Luna는 22문항 중 9문항에서 요청한 *** 문단 구분선을 지키지 않았다.
• GLM은 금지어 지시 45개 중 7개에서 실패했다. 금지어를 피했다고 말하면서 그 단어를 다시 쓰는 경우가 많았다("‘변경’과 ‘여유’라는 단어는 사용하지 않았습니다”).

주의할 점

• 모델당 설정은 하나다. provider 하나, 기본 추론 강도, 문항당 응답 하나이므로 실행마다 생기는 편차는 재지 않았다.
• 데이터 오염은 통제하지 않았다.
  • KLUE(2021), LBox(2022), KoBALT(2025)는 이 모델들이 나오기 전에 정답과 함께 공개됐다.
  • HanIFEval은 새로 만들었지만 원본인 영어 IFEval은 2023년 것이다.
• 응답하지 못한 문항은 오답으로 센다. KoBALT에서는 GLM이, NER에서는 GPT-6 Luna가 가장 큰 손해를 봤다.
• 다섯 모델은 적은 수다. “한국 모델이 뒤처졌다"는 이 두 Solar 모델에 대한 이야기이지, 한국 LLM 전반에 대한 결론이 아니다.
• HanIFEval은 모델로 검증했고 사람이 검증하지 않았다. 번역은 Gemini가, 검토는 Claude와 GPT-6가 했다.
• 통계: McNemar 정확검정(NER은 대응 bootstrap)을 썼고, 처음 네 모델의 6쌍에 Bonferroni 보정을 했다. Solar Mini 4는 나중에 추가해서, 자신이 포함된 4쌍만 따로 묶어 보정했다.
• 비용은 채점된 실행만 포함한다. 가격은 실행일의 OpenRouter 가격이다.

재현

모든 자료는 developer0hye/llm-evals에 있다.

• 실행 코드와 고정한 데이터셋 버전
• 모델별 문항 단위 로그와 분석 스크립트
• 연구별 기록: 위 주장 뒤에 있는 모든 결정, 막다른 길, p-value

HanIFEval 데이터셋, 채점기, 변경 이력은 Hugging Face에 있다(태그 v1.1).