Claude Sonnet 4.6 を GLM-5.2 に置き換えてみるよ、なんでそうなったか書いたよ。
個人でも業務でも GitHub Copilot + Claude Sonnet 4.6 で作業させてるんだけど、GitHub Copilot の課金方法が変わって課金が捗るようになっている。業務では6月は比較的日本語での情報の整理、調査によく利用しているので、これで基準を作ろうという意味でしっかり走り切るまでどんどん budget を上乗せしてるんだけど、個人の方は丸2日くらいで簡単に天井に達してしまい、どうしたもんかと思っていた。
この機会にいろいろ調べていたら
Together AI | The AI Native Cloud
というサービスを見つけたので、これを利用して大規模なオープンウェイトのモデルを安く使ってみようと思い立った。
ただそうなると三大ベンダーだけ使っている時よりも大きく性能や特徴に差が出そうなので、そもそも自分が評価方法を知らないといけないということで付け焼き刃で Perplexity + Claude Sonnet 4.6 で情報収集、壁打ちしながら比較を試みた。
いくつもある。かつては HuggingFace が有力だったが、最近はもう更新は止まっているらしい。
今回確認したのは
- LLM Leaderboard 2026: Compare 300+ Top AI Models by Intelligence, Speed & Price
- LLM Leaderboard - Best Text & Chat AI Models Compared
- GLM-5.2 は悪くない
- MiniMax M3 は日本語の会話が噛み合ってない。設計をちゃんと練らずに適当にコードを吐く
本格的なアプリケーションコードの生成はやらせていないのでよく分からないが、少なくともコーディング特化と言われている MiniMax については、確かに会話がスムーズでない印象になった。GLM-5.2 は、内容に不満はないが、言葉としてはややぎこちない感じがする。Claude はこの辺りよくできてたんだなと思った。
あと MiniMax M3 単純に遅かった。
これで Claude Sonnet 4.6 → GLM-5.2 に移行すると価格的には
| LLM | Price ( USD / M tokens ) |
|---|---|
| Claude Sonnet 4.6 | IN 3 / OUT 15 |
| GLM-5.2 Max | IN 1.4 / OUT 4.40 |
になる。まぁなかなか安く済むんじゃなかろうか。
GitHub Copilot 上で、
- coding agent ( OpenCode ) の mode ( primary agent ) の設計
- 要望のヒアリング
- 仕様の確認
- 根拠を調べて整理する
- 実際の prompt と設定の生成
- lean-spec を利用した SDD
- 要件を spec 上に整理していく
※ アプリケーションコードは書かせてない。これは通常の利用がアプリケーションコードを大量生成するという使い方じゃないから。
比較的 LLM の傾向として顕著なのが、生成だけが得意なので、spec 上の重複を気にせずガンガンそれっぽい情報を生成していく。その結果、spec 上で設計を練っているうちに変更が入った際に spec 内の重複の修正漏れが起きやすい、というのがある。
これを踏まえたうえで
- MiniMax M3 で作業を始めて
- 埒があかなくて GLM-5.2 にしてみたらまぁまぁ
という感じになった。
コードらしき何かをひたすら生成したがる。
普段 GitHub Copilot + Claude Sonnet 4.6 で作業している時は割と慎重にコトを進めてくれる。これが OpenCode になると暴走機関車になりやすいのはもう分かっていたので、GitHub Copilot 側で OpenCode 用の（暴走機関車にならない）primary agent を設計、実装するというタスクを用意して、これを以て GitHub Copilot で用意されていないモデルの実験も含めて普段の作業をやりやすくしたいと考えていた。
ところが MiniMax M3 は
- LLMレベルで暴走気味
- 公式のドキュメントへの参照をサボり適当に決めつける
- ヒアリングや設計はガンガン決めつける
なんて言うかこう、ちょっと古い時代の LLM のような挙動をするなぁという印象になった。
これを GLM-5.2 に変えてからは、ややチャットのやり取りの日本語はギクシャクした感じもあるが、動作としては落ち着いていて、こちらの意図の理解や成果物である spec の内容はだいぶ納得のいくものになった。
さて今回面白かったのはここからで、実際にはモデルの選択をする際に一応スペックを見ながら選択していた。細かいことは置いといて、まずは基本性能が高くてめちゃくちゃ安い MiniMax M3 に目をつけた。
Opus とかそもそも比較対象にしていないものは省いてある。Gemini がわざわざ入っているのは業務で Google Workspace の Gemini もよく使っているので感触が分かっているから。ということで太字のモデルは今回の比較対象と、自分で感覚が分かっているもの。
LLM Leaderboard 2026: Compare 300+ Top AI Models by Intelligence, Speed & Price
ということで基本中の基本の Reasoning を見てみる。
| LLM | Reasoning Score |
|---|---|
| GLM-5.2 | 59.2 |
| GPT-5.5 | 58.7 |
| Claude Opus 4.7 | 57.5 |
| Claude Opus 4.6 | 57.2 |
| Gemini 3.1 Pro | 55.5 |
| GPT-5.4 | 54.2 |
| MiniMax M3 | 53.0 |
| Claude Opus 4.5 | 52.1 |
| Gemini 3 Pro | 48.5 |
| Claude Sonnet 4.6 | 48.2 |
| Gemini 3 Flash | 47.7 |
| GPT-5.1 | 47.4 |
| MiniMax M2.7 | 47.0 |
| GPT-5 | 41.8 |
| Claude Sonnet 4.5 | 40.0 |
| Gemini 2.5 Pro | 33.9 |
| Claude Sonnet 4.0 | 29.5 |
| Claude 3.7 Sonnet | 28.7 |
Claude Sonnet 4.6 をベースに比較すると MiniMax M3 の方が Reasoning スコアは高い。
LLM Leaderboard - Best Text & Chat AI Models Compared
| LLM | Text Arena |
|---|---|
| Claude Opus 4.6 | 1499 |
| Claude Opus 4.7 | 1494 |
| Gemini 3 Pro | 1486 |
| GPT-5.5 | 1475 |
| Gemini 3 Flash | 1473 |
| Claude Sonnet 4.6 | 1472 |
| GLM-5.2 Max | 1470 |
| Claude Opus 4.5 | 1469 - 1473 |
| GPT-5.4 | 1467 |
| Claude Sonnet 4.5 | 1455 |
| MiniMax M3 | 1447 |
| Gemini 2.5 Pro | 1446 |
| GPT-5.1 | 1439 |
| GPT-5 | 1427 |
| MiniMax M2.7 | 1417 |
| Claude Sonnet 4.0 | 1389 - 1399 |
| Claude 3.7 Sonnet | 1371 - 1387 |
ところが Text Arena になると Reasoning でちょうど真ん中くらいにいた Claude Sonnet 4.6 は Reasoning でトップにいた GLM-5.2 と互角以上になる一方で、MiniMax M3 は Gemini 2.5 Pro と同等まで落ちてしまう。同じく Reasoning では上位にいる GPT 系も概ね順位を下げる傾向にある。
自分は何回かトライしていたものの実際には Claude Sonnet 4.5 以降にようやくAIエージェントでの開発が使えそうという感触になったので、MiniMax M3 はギリギリアウトかも？くらいの位置にいるんだと思う。あくまで自分の感触では。まぁ仕様を高いモデルで作ってコーディングを MiniMax で、というのが正しいんでしょう、使い方としては。そういう意味ではコーディングに特化しているという位置付けは見事に達成していて、単純なでかけりゃいいんでしょ競争の時代ではなくなっているんだなということもなんとなく実感できた。