Needle 2 45Mパラメータ ツール呼び出しモデル公開
Cactus Computeが45Mパラメータのツール呼び出しモデルNeedle 2を公開。14MBバイナリで28MB RAMで実行可能。
45Mパラメータでツール呼び出しを実現
Cactus Computeは2026年8月16日、GitHub Trendingに「needle」というリポジトリを公開した。同社が開発したNeedle 2は、ツール呼び出し、デバイス使用、構造化抽出に特化した45Mパラメータのオープンソースモデルである。提供された情報によれば、モデル全体は単一の14MBバイナリとして配布され、セッション全体を約28MBのRAMで実行できる。
従来のLLMが数GBから数十GBのメモリを必要とするのに対し、Needle 2はエッジデバイスや組み込み環境での実行を前提に設計されている。Pythonパッケージとして提供され、「pip install cactus-needle」でインストール可能だ。推論エンジンはHugging Faceから1回だけフェッチされ、キャッシュされる。オフライン環境やネットワークが遮断されたデバイス向けのセットアップもドキュメントで提供されている。
Simple Attention Networkアーキテクチャ
Needle 2の技術的基盤は「Simple Attention Network」と呼ばれる手法である。公開された情報によれば、このアーキテクチャには以下の特徴がある。Hadamard MLPが従来のFFNに代わり、GQA Attention、engram key-valueメモリ、multi-lane hyper-connectionsが組み込まれている。
各ブロックは更新ルールを内包し、RMS正規化された4つのresidual streamの平坦化、Walsh-Hadamard変換、n-gramテーブルから集められた(k_t, v_t)行、Sinkhorn反復で計算された双随機正規化が適用される。 AttentionとMLPのresidualはboth sandwich-normedおよびgatedであり、engramサイトは2つのレイヤーで発火する。
CQ2-bitによる圧縮も重要な特徴である。Cactus Quantsと呼ばれるこの手法により、モデルは2ビット精度に圧縮されている。公開されたベンチマークでは、FunctionGemma 270M、LFM2.5 230M、Apple FMといった他の小規模モデルと互角に競合している。これらのモデルはf16精度であるのに対し、Needle 2は5倍から70倍小さなサイズで2ビット精度を実現している。
ツール呼び出しの実装と制約
Needle 2のツール呼び出し機能は、テキストを入力しJSONを出力するシンプルな契約で実装されている。具体的には、ツールの記述を読み取り、呼び出すべきツールと引数の入力を決定する。バイトレベルの文法がスキーマからコンパイルされ、生成される各トークンを制約する。
「confidence-gated」と呼ばれる機構も導入されている。すべての応答には学習されたヘッドによる較正済みの信頼度スコアが付与される。閾値を設定し、信頼度が閾値を超えた場合はアクションを実行し、下回った場合はエスカレーションする。
ツール検索機能も搭載されている。大規模なツールカタログを宣言すると、組み込みの検索ヘッドがターンごとに上位5つのツールのみをレンダリングする。文法はそのサブセットに限定される。
メモリ使用量は256トークンのスライディングウィンドウで管理される。ツールはKV sinksとして固定され、会話が長引いても総メモリ使用量は約28MBに保たれる。
Pythonパッケージとしての提供
開発者はPythonコードでツールを定義し、Needle 2を統合できる。関数にデコレーターを適用し、シグネチャで引数型を指定し、docstringでツール説明を記述する。run()メソッドがループを完了し、モデルが呼び出しを選択し、Needle 2が関数を実行し、結果をフィードバックして最終応答を返す。
提供されたサンプルコードでは、@needle.toolデコレーターを使用してツールが定義されている。モデルがツール呼び出しを選択し、実行されたツールの結果がresultsとして付与される。
ベンチマーク比較
公開された情報によれば、Needle 2は45MパラメータでFunctionGemma 270M、LFM2.5 230M、Apple FMと互角の性能を発揮している。これらのモデルは270M、230Mのパラメータを持ち、f16精度で動作する。Needle 2は2ビット精度でありながら、パラメータ数は5倍から70倍少ない。
この比較は、モデル圧縮技術の進歩を示唆している。CQ2-bitによる2ビット圧縮が、大規模モデルに匹敵する性能を実現できる可能性を示している。
エッジAIへの影響
Needle 2の登場は、エッジAI分野に影響を与える可能性がある。14MBのバイナリと28MBのRAM要件は、組み込みシステムやIoTデバイスでの実現可能性を高める。スマートフォン、組み込みシステム、産業用機器など、リソースが制約された環境でのツール呼び出しや構造化抽出が可能になる。
Cactus Computeが公開した論文（arXiv:2607.18363）では、Simple Attention Networkの設計と消融実験が説明されている。技術的な詳細は同論文に委ねられるが、提供された情報ではHadamard MLP、GQA Attention、engram key-valueメモリが重要な構成要素として挙げられている。
編集部の見解
短期的に見れば、Needle 2の登場はエッジAI市場に新たな選択肢をもたらすものだ。28MBという低メモリ要件は、従来不可能だったデバイスでのローカルAI推論を現実にする。スマートホームデバイスや産業用センサー、あるいは低スペックな組み込みシステムへの統合が加速する可能性がある。
長期的には、2ビット圧縮技術の実用化がAIチップ設計やモデル配布の標準を変えるかもしれない。大規模クラウド依存から脱却し、プライバシーを保持したままローカルで高度な推論が可能な時代が到来する。Cactus Quantsが他のモデルアーキテクチャにも拡張されるかどうかが、この技術の普及を左右するだろう。
本技術の信頼性と汎用性にはまだ検証が必要だ。ベンチマークでは既存モデルと互角だが、実環境でのツール呼び出し精度やエッジケースへの対応力は未知数である。2ビット圧縮が生じる情報損失が、どの程度まで許容できるのか、どのようなタスクに適用可能なのか、開発者コミュニティによる検証が待たれる。
関連記事
参考
-
「cactus-compute /
needle」, by **cactus-compute** — GitHub Trending, 2026-08-16 (ARR)
コメント