Colibri、2.8T MoEを民生機で動かす純C推論エンジン

GitHub Trendingで公開されたJustVugg氏による推論エンジン「Colibri（Colibrì）」が、民生用および異種混在ハードウェア上で数千億から数兆規模のMoEモデルを実行する試みを示した。GitHub Trending の JustVugg の報道では、744Bから2.8Tパラメータに及ぶ最前線のMoEモデルを、純Cで記述し依存関係を持たない単一エンジンで動作させる点が強調されている。

Tiny engine, immense model. Run frontier MoE models — 744B to 2.8T parameters — on consumer and heterogeneous hardware, in pure C with zero engine dependencies

同プロジェクトは、ストレージ、RAM、VRAMを単一の推論階層として扱う「AI memory multitiering」を中核概念に据える。巨大モデルへのアクセスがハイパースケーラ級ハードウェアの有無に左右されない状態を目指すという。

民生機で巨大MoEを動かす設計

Colibriは推論エンジンであると同時に、公開された研究基盤として位置付けられている。目的は、モデル形式、記憶階層、ストレージ入出力、設定、スケジューリング、カーネル、投機的実行、CPUとGPUの重ね合わせに至るまで、ソフトウェアとハードウェアの境界全体で推論性能を追求することにある。

設計上の特徴は、VRAM、RAM、ストレージを一体の多層階層として扱う点にある。高速なメモリが不足した場合でも、速度は低下し得るが、モデルの精度やルーターの意味論を暗黙に変更しないことが原則とされている。実験的な最適化は、再現可能な終端間測定で効果を示した場合にのみ採用される。

この方針は、部分的な高速化指標ではなく、終端間の推論全体での成果を評価基準とする姿勢を示す。慣例であるという理由だけで既存手法を保護せず、微小なベンチマークで高速に見えるという理由だけで新手法を採用しないという。

民生機での実行は、専用基盤への依存を低減する狙いと結びつく。異種混在環境での実行は、クライアント端末からワークステーションまでの幅広い構成を想定する。近年のLinuxタブレットのように省電力と性能を両立する端末の広がりは、こうした分散実行の土壌となる。Juno Tab 4、Linuxタブレット2機種発表 Core i3とCore Ultra搭載が示すように、x86系の低消費電力プラットフォームでも推論需要は拡大している。

8モデルを単一Cファイルで実装

Colibriが対応を公表するモデルは8系統に及ぶ。GLM-5.2/5.3（744B）、GLM-5.3-Flash（321B、視覚対応）、Inkling（975B）、Kimi K3（2.8T）、DeepSeek V4 Flash（284B）、Qwen3.8-Flash-Next（125B + 51B n-gram）、Qwen3.6（35B-A3B）、OLMoE（7B）である。

いずれも1モデルあたり1つのCファイルで実装される。フロントエンドは共通で、coli chat、coli serve、coli webの3つの操作体系で統一されている。チャット実行、サーバ提供、ウェブ表示を同一の操作で切り替えられる構成は、導入時の学習負荷を抑える。

純Cで依存関係を持たない実装は、可搬性と検証容易性を高める。外部エンジンへの依存を排することで、環境差異による挙動のばらつきを抑える意図があると見られる。単一ファイル構成は、モデルの差異を抽象化しつつ、個別の最適化を局所的に適用する手法と整合する。

対応規模は7Bから2.8Tまで広い。軽量なOLMoEから超大規模なKimi K3までを同一枠組みで扱うことで、記憶階層の管理や専門家ルーティングの制御を横断的に検証できる。

記憶階層を統合する推論手法と設計

中核となるAI memory multitieringは、VRAM、RAM、ストレージを単一の階層として扱う推論方式である。重みの表現や移動方法、どのデータをどの層に常駐させるか、異種演算の重ね合わせ、起動や同期の負荷削減、疎性の活用や再利用、新しい復号アルゴリズムの検証までを運用対象に含む。

重みの設定は静的な割り当てではなく、実行時の利用状況に応じた動的な管理が前提となる。専門家混合（MoE）では、入力ごとに一部の専門家のみが活性化する疎性が本質的である。この疎性を記憶階層と組み合わせることで、常駐させる専門家の選択と入れ替えの効率が性能を左右する。

ストレージ入出力の最適化も重要な要素だ。NVMeやSSDからの読み出しを推論と重ね合わせることで、待ち時間を隠蔽する。CPUとGPUの処理を重ねる設計は、同期点を減らし、カーネル起動の間接費を抑える方向に働く。

オープンな研究基盤という性格上、速度に関するサービス水準の保証は掲げられていない。一方で、意味論に関する保証は厳格である。既定の動作がモデルの精度を無断で変更することはない。高速化のために量子化やルーティングの意味を変える場合は、明示的な設定として扱われる。

グラフィックスと演算の基盤では、オープンなドライバ層の整備が進む。Mesa Rusticl、Mali Panfrostを標準で有効化のような取り組みは、異種GPUでの実行環境を広げ、Colibriのような低依存エンジンが多様なハードウェアに展開する際の前提を補強する。

専門家ルーティングを可視化する仕組み

Colibriは推論の内部状態を可視化するウェブ基盤を備える。./coli webで起動するダッシュボードでは、744Bモデルの実行時に4トークン毎秒、初回トークン生成までの時間（TTFT）1.6秒、ディスク利用0という状態が示された。6基のRTX 5090で専門家の常駐を完全に確保した条件での測定である。

ダッシュボードは、トークンごとの指標、ターンごとの時間内訳、VRAM/RAM/ディスクの階層バーを表示する。画面隅には小型の脳モデルが設定され、推論の進行を直感的に把握できる。

Brainページでは、19,456の専門家が一つの皮質として描画される。色は専門家が置かれた記憶層を示し、明るさはルーティングの熱量を示す。ターン内でルーティングされた専門家は白く発光する。個々の専門家にカーソルを合わせると、測定された話題親和性が表示される。

Atlasページでは、測定された専門家地図が3次元の銀河として表現される。13,260の特性付け済み専門家と、1,041の複製された専門家の集積が話題ごとに集まる。詩、法律、中国語、SQLといった領域で専門家が集まる様子が確認できる。設定は学習された埋め込みではなく、測定されたルーティング親和性に基づく。操作はドラッグで回転できる。

可視化は性能確認だけでなく、モデルの挙動理解にも寄与する。どの専門家がどの話題で活性化するかという観測は、設定戦略や複製戦略の検証に直接つながる。

研究基盤としての明確な位置付けと原則

Colibriは、今日実行可能な推論エンジンであると同時に、実験的な構想を試す場として定義されている。運用上の使命は、重みの表現と移動の方法を変え、VRAM、RAM、ストレージのどこに何を置くかを決定し、異種演算を重ね合わせ、起動と同期の間接費を削減し、疎性と再利用を活用し、新しい復号アルゴリズムを試すことにある。

判断基準は終端間の推論性能である。微小なベンチマークでの局所的な高速化は、全体の推論時間や品質に寄与しない限り採用されない。反対に、従来の慣行であっても、全体性能を損ねる場合は見直しの対象となる。

再現可能な測定を重視する姿勢は、研究基盤としての信頼性に関わる。実験的な最適化が既定の精度やルーティングの意味を変えないことは、結果の比較可能性を担保する。速度と正確性のトレードオフを暗黙に変更しないという原則は、利用者が性能と品質を分離して評価できるようにする。

コンシューマー向けハードウェアでの実行は、利用者の裾野を広げる。ゲーミング用途の高性能周辺機器が一般市場に浸透するように、推論基盤も民生機での実用性が問われる段階に入っている。ASUS初のゲーミングサウンドバー「ROG Gjallar」米国発売のような製品展開は、民生機の高性能化と多様化を示す一例である。

実行例が示す性能と常駐容量の実際

公開された実行例では、Colibri v1.10.2がGLM-5.2の744B MoEをint4で実行している。ストリーミングCPUモードで32秒で準備が完了し、常駐容量は9.9GBに抑えられている。起動時の常駐量が小さいことは、記憶階層を活用して必要部分を段階的に読み込む設計の表れである。

チャット実行の例では、./coli chatの起動後にイタリア語での挨拶が即時に返答されている。対話の応答性は、TTFTやトークン生成速度だけでなく、初期読み込みの速さにも依存する。32秒での準備完了は、744B規模のモデルとしては実用的な起動時間に位置付けられる。

一方、6基のRTX 5090を用いたウェブダッシュボードの例では、ディスク利用を0に抑えた完全常駐での4トークン毎秒が示された。VRAMに専門家を常駐させることで、ストレージ入出力を排した条件での性能が確認できる。記憶層のどこに専門家を置くかで、速度と資源利用の均衡が変化する。

2つの実行例は、同一エンジンが異なる資源条件下で動作することを示す。CPU中心の軽量常駐から、複数GPUでの完全常駐までを同一の操作体系で切り替えられる点は、開発や検証の反復を容易にする。

編集部の見解

短期的には、Colibriのような純Cかつ多層記憶を前提とした推論エンジンが、研究者や小規模組織の検証環境を広げると見る。744Bから2.8T規模のMoEを民生機や異種構成で扱えることは、クラウド占有を前提とした評価から、手元での再現検証へ重心を移す契機になる。3から6か月の範囲では、専門家ルーティングの可視化や設定制御を活用した再現実験や、量子化や投機的復号の比較検証が増加すると評価できる。 長期的には、VRAM、RAM、ストレージを一体として扱う設計思想が、推論基盤の標準的な選択肢に組み込まれる可能性がある。モデル規模の拡大が続く中で、高速メモリの絶対量に依存する構成は資源制約を強める。多層階層を前提に疎性を活用する手法は、運用費用や消費電力の観点でも持続性を持つと見る。1から3年では、推論の最適化がカーネル単体の高速化から、設定やスケジューリングを含む体系的な最適化へ移行すると考えられる。 残る問いは、速度と意味論の分離をどこまで厳格に維持できるかという点にある。既定で精度やルーティングの意味を変えないという保証は、再現性を支える一方で、性能向上の余地を狭める側面もある。

参考

• 「JustVugg / colibri」, by JustVugg — GitHub Trending, 2026-09-14 (ARR)
• 元記事URL: https://github.com/JustVugg/colibri