Daily AI Digest — 2026-09-29
arXiv ハイライト
ポストトレーニングは無関係な決定に行動的な痕跡を残す
問題設定
パラメータ \theta_0 を持つ公開ベースモデル M_0 と、あるターゲットタスクへのポストトレーニングによって得られた非公開の教師モデル M_T = M_0 + \delta が与えられたとき、\theta_0 から初期化された生徒モデルは、M_T への単一トークン・ブラックボックス・タスク非関連クエリのみを用いてターゲットタスクの能力を回復できるでしょうか？先行するサブリミナル学習の研究では、特性や嗜好が無関係な生成出力を通じて漏洩することが示されており、通常は大量の教師出力を必要とします。本論文はその限界に挑みます：プロンプトあたり1単語、ターゲットタスクのテキストなし、logitsなし、教師パラメータなし、そして教師へのアクセス前に固定されたクエリセット。この問いが重要なのは、\delta のどれだけが分布外で行動的に観察可能かを定量化するためです——これは能力漏洩、API経由のモデル盗用、そしてポストトレーニングがベースモデルの決定面に実際に何を変化させるかを理解する上での実践的な問題です。
手法：Active Taskless Distillation
ATD（Active Taskless Distillation）という手法は、ベースモデルの決定境界の幾何学的性質を利用します。2つの通常の単一トークン単語 a_i, b_i の間の選択を引き出すように構成された各候補プロンプト x_i に対して、M_0 のみを用いて以下を計算します：
q_i = \frac{\exp z_0(b_i \mid x_i)}{\exp z_0(a_i \mid x_i) + \exp z_0(b_i \mid x_i)}.
\epsilon = 0.02 として |q_i - 0.5| \le \epsilon を満たす場合に x_i を保持し、さらに M_0 の全語彙分布の argmax が \{a_i, b_i\} のいずれかであることを要求します——さもなければ「接戦状態」はモデルが実際に発話する箇所ではないからです。このような刃の縁のようなプロンプトにおいて、微小な更新 \delta が greedy 出力を決定し、返されたトークンはそのペアの方向に射影された \delta の1ビット計測値となります。
生徒モデルも \theta_0 から初期化され、保持されたプロンプト–単語ペアに対するcross-entropyで学習されます。学習データにはターゲットタスクへの参照は一切含まれません。主な実験系では Qwen2.5-1.5B-Instruct を M_0 および生徒の初期化の両方に使用し、教師はフリーズされた rank-16 のcode-DPO LoRA、生徒は新たな rank-16 LoRA です。
結果
HumanEval+（実行ベースのスコアリングは表面トークンの模倣では偽装できないためフラッグシップの評価指標として選択）において、5,664件の単一トークン教師応答により、プロンプト–応答ペアリングを破壊しつつすべての周辺統計を保持する完全なニューサンス整合シャッフル制御に対して +5.34 pp の向上が得られました。シャッフル制御は重要なベースラインです：これにより、向上が語彙の露出、プロンプト分布、または汎用的な fine-tuning のノイズに起因するものでないことが排除されます。
幅広い実験では、科学的知識（ScienceQA）、常識推論（PIQA）、読解への非自明な転移が示され、追加のモデル世代、サイズ、ファミリーにわたっても、ターゲットごとに別個のタスク固有教師を用いて成立することが確認されました。セクション5.4の分析により、シグナルを生み出すのはクエリ量ではなくアクティブな近境界設計であること、シグナルはソース固有であること（コード教師はコードの向上をもたらし、任意の向上をもたらすわけではない）、そして保持ペア数に関して合成可能かつ段階的であることが確認されました。セクション5.5では有用な否定的結果が示されています：教師の大きな向上が必ずしも大きな転移を意味するわけではなく、このチャンネルを通じて読み取れるのは \delta のうちベースモデルの接戦決定を再形成する成分のみであることを示しています。
手法の拡張
参照相対ペアマージン（RPM）目的関数は、DPOスタイルのlossで通常のCEを置き換え、フリーズされた公開マージンを差し引きます：
\mathcal{L}_{\text{RPM}} = -\mathbb{E}_i \log \sigma\!\left(\beta\left[\log\frac{p_\theta(w_i^T \mid x_i)}{p_\theta(\bar w_i \mid x_i)} - \log\frac{p_0(w_i^T \mid x_i)}{p_0(\bar w_i \mid x_i)}\right]\right),
これにより生徒モデルは M_0 に既に存在する嗜好ではなく、\delta によって導入された残差嗜好を学習します。HumanEval+ではシャッフル相対ギャップが +5.03 から +6.30 pp に上昇し、PIQAでは両目的関数が正の値を維持し（+1.25 対 +1.69 pp）、ScienceQAでは生徒モデルがほぼ同一の精度に到達し（RPMのシャッフルギャップが広いのはシャッフルベースラインが低いことを反映）、OpenBookQAではRPMがCEを下回りました（シャッフル相対で+2.07 対 +1.47 pp）。著者らはRPMを境界認識型の改良として位置づけており、カテゴリ的に優れた手法とは見なしていません。
限界と未解決の問題
この設定は既知の公開祖先モデルを前提とします——生徒モデルと分析者の両方が \theta_0 を保持しています。実際の多くの漏洩脅威において、祖先モデルは不明であるか、教師モデルが継続的に学習されており、接戦状態の構成が弱体化します。チャンネルは小さく（HumanEval+での5〜6 ppは意味があるものの、教師の完全な回復には程遠い）、転移可能な分率が \|\delta\|、LoRAのrank、または M_0 の決定面の鋭さとどのようにスケールするかは論文では特徴付けられていません。また、ポストトレーニング更新のどの構造的特性（DPO対SFT対RLHFからの \delta、キャリアへのタスク類似性）が読み取り可能性を決定するかも不明です。最後に、\epsilon = 0.02 による接戦フィルターはハイパーパラメータであり、その最適値はベースモデルのキャリブレーションに依存する可能性があります。
なぜ重要か
ATDは、単一トークン・タスク非関連クエリチャンネルがブラックボックスAPIを通じた測定可能な能力漏洩に十分であることを実証し、ニューサンス的説明を排除する厳密なシャッフル整合制御を提供しています。また、クリーンな科学的プローブとしても機能します：ポストトレーニング更新はベースモデルの無差別集合（indifference set）にグローバルに分散した痕跡を残し、これはほとんどの解釈可能性研究が確立したものより強い、fine-tuningが何を変化させるかについての主張です。
Source: https://arxiv.org/abs/2609.29233
Visual Encoderの除去までの道のり：Encoder-Free マルチモーダル事前学習のスケーリング則
問題設定
現代のMLLMは、強力な視覚的事前情報を供給し、画像を少数のトークンに圧縮してから言語デコーダに渡す、事前学習済みの視覚encoder（典型的にはCLIP/SigLIPスタイルのViT）に依存しています。Encoder-freeなMLLMはこのモジュールを廃し、patch embedding（またはピクセル）を直接デコーダに入力することで、単一の統合されたtransformerを実現します。これはアーキテクチャ的に魅力的です――モダリティ固有の事前学習が不要となり、凍結されたencoderの帰納バイアスによるボトルネックも生じません――しかし、デコーダがencoderの役割を許容できない計算コストの代償なしに吸収できるかどうかは不明でした。本論文は、2つのアーキテクチャに対して個別にChinchillaスタイルのスケーリング則を適合させ、encoderを除去した際に計算最適フロンティアとパラメータ数M・トークン数D間の配分がどのように変化するかを定量的に明らかにします。
手法
実験の設定はIsoFLOPの標準プロトコルに従っています。計算予算C \approx 6 M Dに対して、著者らは固定されたCのもとで(M, D)のペアを探索し、lossを最小化する構成を特定したうえで、以下を適合させます。
M_{\mathrm{opt}} \propto C^{a}, \qquad D_{\mathrm{opt}} \propto C^{b}, \qquad a + b \approx 1.
2つの目標が別々に追跡されます：テキストのみの次トークン予測lossと、画像・テキストが交互に並んだデータに対するマルチモーダルlossです。Encoder-baselineは圧縮されたトークン列を生成する固定の視覚encoderを使用し、encoder-freeな変種は画像をpatch化して通常のトークンとしてデコーダに入力します。視覚トークンに対する双方向・因果的アテンションマスクの両方を検討し、マスクに起因する交絡因子を排除しています。エンベロープは各実行の生のvalidation軌跡から構成され（Figure 11）、M_{\mathrm{opt}}, D_{\mathrm{opt}}は\log Cでビニングして再適合することにより抽出されます。
IsoFLOP適合に対するブートストラップリサンプリングによりaの80%中央区間が得られ、著者らはこれを用いて観察された指数の差がサンプリングの偶然によるものではないと主張しています。
結果
主要な3つの知見は以下の通りです。
テキストへの配分はencoder除去に不変。 テキスト目標に対するモデル配分指数は、encoder-freeでa = 0.427、encoder-basedでa = 0.422であり、区別できません。encoder除去が変えるのは視覚トークンのデコーダへの入力方法のみであるため、これは予想通りです。いずれもChinchillaのa \approx 0.5体制に近いですが、データ側にわずかに傾いています。
マルチモーダルへの配分はより大きなモデルへとシフト。 マルチモーダル目標では、aはencoder-basedの0.464からencoder-freeの0.570へと跳ね上がります。80%ブートストラップ区間はそれぞれ[0.458, 0.472]と[0.546, 0.595]であり、重なっていないため、この適合プロトコルの下では統計的に頑健なシフトです。視覚トークンへの因果マスキングのもとではencoder-freeの指数は0.557（Table 1）となり、双方向の場合（0.570）と本質的に同一であり、マスクが原因でないことを排除しています。解釈としては、事前学習済みのencoderがない場合、デコーダ自身が視覚的特徴を学習しなければならず、この表現上の負担はデータをスケールさせるよりもパラメータをスケールさせる方が効率的に吸収されるということです。
Loss–計算フロンティアはテキストで収束し、マルチモーダルで交差。 2つのアーキテクチャのテキストフロンティアはほぼ重なっています（テキストデータは影響を受けないため当然です）。マルチモーダルフロンティアでは、encoder-freeモデルは小さい計算量では劣りますが、より急な勾配を持ちます。適合した則を外挿すると、交差点は10^{22} FLOPs付近に生じ、フロンティアモデルの現実的な事前学習予算の範囲内です。
次に本論文は、デコーダがどのようにencoderの機能を引き継ぐかを詳しく調べています。encoder-freeの学習中に3つの特徴が現れます：(i) 視覚トークンへの双方向アテンションが計算量の増加とともに次第に有益になる（テキストでは因果マスキングが常に好まれるのと対照的）；(ii) 視覚処理が学習の進行とともに初期の層へ移行する；(iii) MoEの変種では、視覚トークンへのexpertルーティングがより専門化される。Figure 7は層ごとの再配分を具体的に示しており、8B encoder-freeモデルにおける視覚的能力の出現を示す「loss降下」の前後で、デコーダの各層における視覚トークンへのアテンション質量が質的に変化することがわかります。
限界と未解決の問題
10^{22} FLOPの交差点は小規模のIsoFLOPからの外挿であり、本論文はその予算での学習を実施していません。また、過去のスケーリング則の再検討が示すように、フロンティアでの実行を加えると適合した指数がずれる可能性があります。マルチモーダルlossは下流の能力の代理指標であり、encoder-freeモデルが交差点においてretrieval、grounding、OCR重視のベンチマークにおけるギャップも埋めるかどうかは確立されていません。ピクセルのトークン化戦略（patch サイズ、位置encodingpositional encoding、解像度）はここでは固定されており、異なる視覚的tokenizerは切片と指数の両方をシフトさせる可能性があります。最後に、分析は事前学習のlossのみを対象としており、スケールでのencoder-freeモデルのinstruction-tuningとアライメントの挙動は未解決のままです。
この研究の意義
外挿が成立するならば、encoder-freeなMLLMは漸近的に不利ではなく――単に現在の実践では学習不足であり、「正しい」修正はencoder-basedのレシピが示唆するよりもパラメータに比例して多くを費やすことです。これは視覚encoderを必要不可欠なコンポーネントから小規模での効率化のトリックへと再定義するものであり、将来の統合マルチモーダルtransformerの設計とスケーリングの方法に示唆を与えます。
Source: https://arxiv.org/abs/2609.35457
思考だけでは不十分な場面を知ること：小規模推論モデルにパラメトリック知識を超えた推論を教える
問題設定
自己洗練（self-refinement）を通じたtest-time scalingは、小規模推論モデル（sRM）からより多くの性能を引き出すための主流なアプローチですが、本論文では「より多く考える」というプリミティブが本当に適切かどうかを問い直しています。著者らは、中間的な推論状態における2種類の失敗モードを区別しています。すなわち、execution bottleneck（現在の状態から正しい継続が到達可能であり、振り返り（reflection）によって引き出せる場合）と、knowledge bottleneck（欠けている要素が事実的なものであり、内部的な熟考をいくら重ねても解が到達可能にならない場合）です。これらを混同すると、到達不可能な探索軌跡に計算資源が無駄に費やされることになります。
自己洗練の上限の診断
著者らは、Qwen3-{0.6B–14B}およびGemma4-{E2B, E4B, 12B}に対して、AIME25/26、HMMT-Feb2026、およびGPQA-Diamondを対象に反実仮想介入を実施しました。実行可能なパスが存在する可能性が高い状況に分析を限定するため、経験的な解答率が [0.25, 0.75] の範囲にあるモデル・問題ペアのみを対象とし、13,400件の内生的評価検証（EV）イベントを特定した上で、215,000件のペア付き反実仮想継続（各条件 N=8）および57,000件の情報条件付き継続を生成しています。いずれもトークン数は32Kを上限としています。
設計を導く2つの知見は以下のとおりです。
- 自己検証の頻度は性能向上を予測しない。 より多くのEVイベントを注入しても、確率質量は状態 s（発出イベント e の直前）からすでに到達可能な解に集中するだけで、新たな解の多様体は開かれません。
- 洗練の効果は不確実だが到達可能な状態に局所化されている。 s から正しい継続が到達不可能な場合、軌跡を解ける領域へ移動させられるのは情報条件付け、すなわち外部コンテンツの注入のみです。
この知見は、sRMのギャップを戦略的配分の問題としてではなく、部分的には到達可能性の問題として再定式化するものです。
手法：FlyBy
FlyByは、外部計算を推論トレース内で呼び出し可能なアクションとして扱います。モデルはローカルな推論を継続するか、あるいは選択した深さ d \in \{1, 2, 3\} を伴うクエリアクションを発出するかを選択できます。各深さはより強力なバックエンドとより大きなトークンバジェットに対応しています。
- d{=}1: DeepSeek-V4-Flash、128トークン、$0.094 / $0.188（100万トークンあたりの入力/出力）
- d{=}2: DeepSeek-V3.2、512トークン、$0.269 / $0.400
- d{=}3: DeepSeek-V4-Pro、1536トークン、$0.435 / $0.870
委譲防止に関する2つの制約が重要です。すなわち、（i）外部モデルは元の問題を一切参照せず、（ii）問題との n-gram 重複率が高いクエリは訓練・評価の両フェーズで拒否されます。これにより、sRMはタスクをそのまま外部に委ねるのではなく、知識サブゴールとして再定式化することが強制されます。
訓練は2段階で構成されます。
- SFT により、複数の深さにわたるクエリアクション分布をブートストラップし、各深さで整形式のクエリ構文をモデルに習得させます。
- コスト認識型RL（80ステップ）により、クエリを発出するか否か、何を問い合わせるか、およびどれだけの計算量を購入するかを調整し、pass rateと金銭的コストのバランスを取ります。
FlyBy-4BはQwen3-4Bから訓練され、8Bのバリアントも訓練されています。アクション空間は推論軌跡の内部で構成されるため、1回のロールアウトにおいてローカルな思考と異なる深さの複数クエリをインターリーブさせることが可能です。
結果
評価は6つのベンチマークにわたる1,158件の難問題（バニラQwen3-4Bの \mathrm{pass@}1 \leq 0.25 で定義）を対象とし、\mathrm{pass@}8 と8回のロールアウトあたりのコスト（ミリドル）を報告しています。
主要な数値（平均 \mathrm{pass@}8 / 平均コスト m$）：
- Qwen3-4B: 21.17 / 10.63
- Qwen3-8B: 34.23 / 15.38
- Qwen3-14B: 41.64 / 20.35
- Search-R1: 25.81 / 8.35（検索コストを除く）
- Query Openingベースライン: 34.06 / 8.56
- FlyBy-4B-SFT: 36.39 / 7.15
- FlyBy-4B: 45.96 / 7.42
- FlyBy-8B: 51.81 / 14.75
- DeepSeek-V4-Pro（フロンティア参照値）: 56.89 / 50.08
FlyBy-4BはQwen3-14Bをpass@8で4.3ポイント上回り、コストは約3分の1に抑えられています。また、FlyBy-8BはDeepSeek-V4-Proとの差を5.1ポイント以内に縮め、そのコストは3分の1以下です。ベンチマーク別では、FlyBy-4BはGPQA-Diamondで60.01（Qwen3-14Bは52.63）、ChemBenchで70.73（同59.30）を記録しています。Qwen3-4Bが16回のロールアウトすべてで失敗する問題においても、FlyBy-4Bは \mathrm{pass@}8 で28.7%に達しており、クエリポリシーがモデル内軌跡の重み付けを変えるだけでなく、到達可能性そのものを拡張していることの証左となっています。問題の難易度が上がるほどQuery Openingに対するカバレッジの向上が大きくなっており、これはより難しい問題ほどknowledge bottleneckが支配的であるという解釈と整合しています。
限界と未解決の問題
- 外部ツールのコストは固定APIティアに基づいており、学習されたポリシーはティア構造やバックエンドの性能が変化した場合に転用できない可能性があります。
- n-gram 重複は浅い委譲防止フィルタであり、意味的な言い換えによるリークは直接測定されていません。
- 到達可能性の分析は、実行可能な状態を特定するために [0.25, 0.75] の解答率フィルタに依存しており、どの状態からも到達不可能な問題に対する挙動は特徴付けられていません。
- RLは80ステップのみ使用されており、より多くのRLによってコスト・品質のフロンティアが改善し続けるのか、あるいは過剰クエリに陥るのかは不明です。
- 深さは3段階に離散化されており、連続的または学習済みのバジェットを用いればコスト・性能のトレードオフをより精緻化できる可能性があります。
なぜ重要か
本論文は、小規模モデルに対して「より多く考える」ことをモノリシックなスケーリング軸として扱うことをやめるべきメカニズム的な根拠を提示しています。自己洗練の多くは固定された到達可能集合内の再配分に過ぎず、knowledge bottleneckには追加トークンではなく情報ソースが必要です。外部呼び出しを深さ型アクションとして定式化し、コスト認識型RLで訓練するアプローチにより、4Bのモデルが同ファミリーの14Bモデルを低コストで凌駕することが示され、大規模に展開されるsRMに対しては自己洗練よりも選択的クエリの方が生産的なレバーであることが示唆されています。
Source: https://arxiv.org/abs/2609.34327
DepthBench:残差接続がいかに計算的深さを可能にするかを測定する
問題設定
transformer の深さ L を増やすことは容量を追加する標準的な手法ですが、Pre-LN transformer において深い層の寄与が次第に小さくなるという実証的な証拠が蓄積されています。隣接する層はほぼ同一の残差ストリーム状態を生成し、実効的な計算深さはアーキテクチャ上の深さをはるかに下回る段階で飽和します。これを解消すると主張する一連の提案手法——LayerNorm Scaling（LNS）、Sandwich-LN、DeepNorm、KEEL、MoDA、Hyper-Connections（HC、mHC）、Attention Residuals（Block/Full AttnRes）——が提示されています。未解決の問題は、これらのいずれかが実際に余分な層を余分な計算に変換しているのか、それとも報告された改善が深さの活用と無関係な交絡因子（学習率スケジュール、初期化、パラメータ数）を混同しているのかという点です。
DepthBench は、総パラメータ数と事前学習レシピを固定したうえで、200M〜1.6B スケールの 10 種類のアーキテクチャにおいてアスペクト比 r = d_{\text{model}}/n_{\text{layer}} を浅く広いものから深く狭いものへとスイープすることでこの問題に取り組みます。あるアーキテクチャが深さを真に活用しているならば、r が減少するにつれて検証 loss が低下するはずです。そうでなければ、より深く狭い形状は停滞または悪化するはずです。
セットアップと評価指標
各アーキテクチャに対して、著者らは総パラメータ数を固定したまま d_{\text{model}} を縮小しながら L をスイープします（主要スイートは 400M、加えて 300M の固定バックボーンおよび 1.6B の再現実験）。検証 loss に加えて、Team（2026）および Chen et al.（2026）の事前学習評価プロトコルに従い、コーディング・STEM・数学における teacher-forced NLL を報告します。分析では loss を補完するために 2 つの構造的プローブを用います。
層間角距離 d(h_\ell, h_{\ell+n}) = \frac{1}{\pi}\arccos\!\left(\frac{h_\ell \cdot h_{\ell+n}}{\|h_\ell\|_2 \|h_{\ell+n}\|_2}\right) 残差ストリーム状態（HC/mHC では結合、AttnRes では混合後）に対して計算されます。
陽的な残差パス重み w_{i\to\ell}。これは部分層 i の出力が部分層 \ell の pre-norm 入力に与える実効的な寄与を表します。Pre-LN では自明に w_{i\to\ell}\equiv 1 となり、Full AttnRes では f_i に対するトークンごとの softmax 重みとなり、HC では hyper-connection 混合行列にわたる連鎖積 w_{i\to\ell}=\beta_i^\top A_{i+1}\cdots A_{\ell-1}\alpha_\ell となります。
主な定量的知見
400M において、Pre-LN の検証 loss は L=16 の 2.759 から L=32 の 2.782 へと単調に増加します——パラメータを幅から深さへ再配分することは、純粋に性能を悪化させます。Sandwich-LN、LNS、DeepNorm、KEEL、MoDA は L に対して平坦か非単調であり、最適値は中間または浅い形状にあります。換言すれば、正規化の工夫では深さを解放できません。
HC と Full AttnRes は例外です。200M〜500M の範囲でモデルが深く狭くなるにつれて単調に改善し、1.6B でも再現されます。コーディング・STEM・数学における NLL 評価は検証 loss の順序と一致しており、この改善は事前学習分布の人工的な産物ではありません。
表現レベルでの診断
角距離のヒートマップ（図 5）がその理由を説明しています。
Pre-LN、Sandwich-LN、LNS、DeepNorm、KEEL はいずれも深い層の帯域で黄色（小距離）の領域へと崩壊しており、連続する層が残差ストリームにほぼ自明な修正しか加えていないことを示しています。HC、mHC、Block AttnRes、Full AttnRes は実質的に大きな距離を維持しており、かつ不均質で非滑らかな構造を示しています——Block AttnRes はブロック境界で急激なジャンプを示しつつ内部では滑らかであり、HC/AttnRes は全体を通じて層固有の変換を示します。重要な主張は、HC の表現が全体としてより大きく移動するということではなく、拡散的ではなく層固有の方式で移動するという点です。
学習率がこれらのパターンに実質的な影響を与えるため、著者らはアーキテクチャ間で 2\times 10^{-3} に正規化しています（発散する DeepNorm を除く）。図 13 は、他の学習率では Pre-LN と LNS が角距離テストで人工的に良く見えたり悪く見えたりすることを示しており、学習率制御なしに深さ活用を報告した先行研究との比較が意味をなさない理由もここにあります。
パス重みの分解（図 7）はメカニズムを具体的に明示しています。Pre-LN ではすべての過去の部分層が重み 1 で後続の層に情報を送るため、すべての深さからの情報が均一に重ね合わされ、後続の層は情報量の少ない前任者を選択的に迂回することができません。Full AttnRes は前任者に対してトークンごとの softmax 重みを計算し、実質的にトークン条件付きの深さ混合を学習します。HC は \beta_i^\top A_{i+1}\cdots A_{\ell-1}\alpha_\ell の連鎖を通じて混合を学習し、特定の過去の出力を増幅または抑制することができます。
限界と未解決問題
- すべての実験は事前学習 loss/NLL 評価であり、下流タスクの品質曲線は報告されていません。したがって、HC/AttnRes による深さの利得が計算量を合わせた推論コストで相応のベンチマーク改善に繋がるかどうかは依然として未解決です。
- Full AttnRes の softmax-over-predecessors は、部分層あたり L に比例したメモリおよび帯域幅コストを追加します。論文はウォールクロック時間や KV キャッシュへの影響を十分に定量化していません。
- 1.6B の再現実験は、表現崩壊が最も深刻になる本番 LLM の深さ（L\ge 80 の 70B 以上）と比べて小規模であり、同じアスペクト比の単調性が持続するかは不明です。
- DeepNorm が 2\times 10^{-3} で除外されていることは非対称性をもたらしています。DeepNorm の公開されている主張は特定の初期化スケールを前提としており、DepthBench の固定レシピプロトコルはそれを過小評価している可能性があります。
- 角距離およびパス重みの診断は相関的なものです。論文は（例えば部分層の枝刈りや特定パスのアブレーションといった）介入を行っておらず、不均質な表現が深さの利益を引き起こすという因果的検証はなされていません。
なぜこれが重要か
DepthBench は、アスペクト比のスケーリングをパラメータ数と学習レシピから分離した初の制御比較を提供し、明確な否定的結果をもたらしています。すなわち、広く用いられている正規化ベースの修正（LNS、Sandwich-LN、DeepNorm、KEEL、MoDA）は計算深さを増加させない一方、残差パス自体を再構成するアーキテクチャ（HC、Full AttnRes）は増加させます。これにより、深さ活用の問題は本質的にマグニチュード制御ではなくルーティングの問題として再定式化されます。
Source: https://arxiv.org/abs/2609.32534
教師割り当てを超えて：ドメイン正規化マルチ教師オンポリシー蒸留
問題
マルチ教師オンポリシー蒸留（MOPD）は、複数のRL訓練済みスペシャリストを単一のジェネラリスト生徒へ統合する標準的な手法です。各プロンプトはドメインラベル d を持ち、生徒は応答 y をサンプリングし、対応する教師 T_d が各トークンをスコアリングします。トークンごとの蒸留アドバンテージは
A_t = \log p_{T_d}(y_t \mid h_t) - \log \pi_u(y_t \mid h_t),
であり、クリップされたOPD lossの下でpolicy-gradientの重みとして直接使用されます。ルーティングはどの教師が発言するかを決定しますが、どの程度の強さで発言するかは決定しません。実験的には、Qwen3.5-9BにおいてラベルルーティングされたMOPD生徒は6つのベンチマークでTotal 58.4%を記録しており、最良の単一教師OPD生徒（Code教師、58.5%）より低く、さらに数学スペシャリストのAIMEでの優位性をほとんど引き継ぐことができません（Math専門家の59.7/69.4に対し、AIME25/26で55.3/63.2）。著者らが特定したメカニズムはスケールの不一致です。最初の訓練バッチにおいて、IFのlog-ratioはプールされたバッチシグナル全体より2.3〜4.4倍分散が大きく、一方で数学のlog-ratioは約半分の分散しかありません。3つのドメイン全てが同じパラメータを更新するため、IFのフィードバックが更新を支配し、数学の寄与が埋もれてしまいます。
手法
DN-MOPDはラベルルーティングのパイプラインを維持しつつ、バッチごと・ドメインごとに単一のスカラー再スケーリングを挿入します。有効な応答トークンにおける教師マイナスキャッシュ済み生徒のlog-probabilityを r_{i,t} = \ell^T_{i,t} - \ell^{\text{roll}}_{i,t} とします。d_i = d であるトークンに対して母標準偏差 \sigma_d を、プールされたバッチ全体に対して \sigma_{\text{all}} を計算します。各ドメインに対して1つの乗数
w_d = \operatorname{clip}\!\left(\frac{\sigma_{\text{all}}}{\sigma_d},\, 0.25,\, 4\right), \qquad \widetilde{A}_t = w_d A_t,
が与えられ、生徒は \widetilde{A}_t に対する標準的なクリップ済みOPD目的関数で更新されます。クリップされていないドメインに対しては、構造上 \operatorname{Std}(w_d r_d) = \sigma_{\text{all}} が成立するため、各ドメインのロールアウトシグナルはプールされたバッチと同じ分散スケールに置かれます。このルールは平均的な大きさではなく分散を対象としており、平均報酬によるOpen-MOPDスタイルの予算配分とは対照的に、教師の品質や能力ギャップを推定しようとはしません。ラベルルーティングは w_d \equiv 1 の特殊なケースに対応します。
訓練ループは次の通りです。(1) 生徒がラベル付きプロンプト上でロールアウトを行う；(2) 対応する教師が各応答をスコアリングする；(3) キャッシュ済みlog-ratioから \{\sigma_d, \sigma_{\text{all}}\} を計算し、アクター側のアドバンテージに w_d を適用する；(4) クリップ済みOPD更新。追加コストはステップごとにバッチ上で1回のreductionのみです。
結果
9Bモデルにおいて、DN-MOPDはTotal 59.6%に到達しており、ラベルルーティングMOPDの58.4%、最良の単一教師OPD（Code）の58.5%、パラメータ平均化の58.9%を上回ります。数学の回復が最も明確なシグナルです。AIME25/26はMOPDの55.3/63.2からDN-MOPDの58.9/67.7へと改善し、Math専門家の59.7/69.4およびMath教師単一OPDの58.9/69.5に近い値となっています。Codeは56.8/52.6から56.3/51.4へ（実質的に横ばい）、IFは84.0/38.4から84.5/38.7へと推移しました。したがって、この利得は一様な向上ではなく、以前は抑制されていた低分散ドメインが \sigma_{\text{all}}/\sigma_d ルールの予測通りに回復したものです。
小規模モデルでも同じパターンが成立します。Qwen3.5-4Bおよび2B（Table 2）において、DN-MOPDは3ドメインのTotalでラベルMOPDを上回ります。SeqKD-SFTは依然として強力なオフラインベースライン（9Bで62.6%、4Bで55.9%）ですが、16K生成上限と84回の更新による固定の教師応答を使用しており、トークンの露出と計算コストの観点で異なる条件であり、オンポリシーなスペシャリスト統合生徒を生成しません。オンポリシーなマルチ教師手法の中（Uniform pool 58.0、Dynamic router 58.1、Label 58.4）で、DN-MOPDの59.6は最良の単一教師OPDを上回り、かつ数学スペシャリストの優位性の大部分を回復した唯一の手法です。著者らは3つの生徒シード（42/43/44）と2つの評価上限（8Kおよび16K）にわたるロバスト性を報告しています。
限界と未解決の問題
乗数はバッチごと・ドメインごとに単一のスカラーであり、クリップ範囲 [0.25, 4] は固定です。トークンごとまたは応答ごとのキャリブレーションは存在せず、ドメインが本質的に低シグナルである場合（教師と生徒がすでに一致しているため \sigma_d が小さい場合）と他の理由でスケールが低い場合の両方が同様に増幅されてしまうことに対する分析もありません。分散はgradientの寄与に対するプロキシですが、gradientの方向やlossの曲率は無視されており、著者らもこの点を認めています。Codeの性能は向上せず、LCB v6でわずかに低下しており、教師と生徒のギャップがすでに小さい場合には正規化だけでは不十分であることを示唆しています。SeqKD-SFTとの比較は計算コストの観点で公平ではありません。最後に、全ての実験はQwen3.5ファミリー内の3ドメインで行われており、より多くのドメインへのスケーリング、異なるサイズの教師の混合、またはクリーンなドメインラベルが存在しない設定については未検証です。
なぜこれが重要か
マルチ教師蒸留はルーティング問題として扱われてきましたが、教師が独立してRLで訓練された場合、各教師のアドバンテージスケールは比較可能ではなく、ルーティング単独では生徒の目的関数を暗黙的に再重み付けしてしまいます。1行の分散正規化によって、IFによって数学が消去されるという主要な失敗モードを無視できるほどのコストで修正でき、ルーターを責める前に確認すべき具体的な診断指標（\sigma_d 対 \sigma_{\text{all}}）も提供します。
Source: https://arxiv.org/abs/2609.35347
自己進化するコーディングエージェント：デジタルプログラムから物理世界インテリジェンスへ
問題
Vision-language-action (VLA) およびworld-action (WAM) モデルは、観測と指示をaction chunkに圧縮します：
(\text{observations},\text{instruction}) \longrightarrow \text{action chunk} \longrightarrow \text{stop}.
タスクの状態、サブゴールの進捗、事前条件、およびリカバリーロジックはすべてネットワークの活性化に暗黙的に埋め込まれているため、検査や編集ができません。本論文は、フレームワーク全体の動機となる診断的知見を報告しています：言語指示なしで学習されたpolicyが指示ありで学習されたものとほぼ同等の性能を発揮するという事実であり、これらのモデルが学習している内容の多くが、タスク表現ではなくシーンから軌跡へのfittingであることを示しています。ステップごとの成功率を p_i とする n ステップのタスクでは、open-loopでの成功率はおよそ \prod_i p_i となります；状態レベルの検証がなければ、失敗は積み重なり、局所化することができません。これが、RoboCasa365における長期複合タスクが、強力なVLA（XR-1）の原子スキル成功率が約78%であるにもかかわらず、成功率34.3%まで低下してしまう理由です。
手法：Physical Coding
提案は、状態とpolicyを明示的な実行可能アーティファクトとすることです。
- Code as World W_t：画像、深度、センサー読み取り値、ツール出力から構築されるプログラム。証拠に対して評価可能な、物体・関係・計測・制約・進捗述語をエンコードします。
- Code as Policy P_t：計画を立て、ツール（VLA/WAM policyを含む）をディスパッチし、分岐・割り込みを処理し、検証・リカバリーを行うプログラム。
HexaAnythingと呼ばれるランタイムは、型付きHarness H_t=(O_t,\mathcal{T}_t,V_t,R_t,M_t,\Gamma_t)（観測インターフェース、ツールレジストリ、検証器、リカバリーオペレーター、来歴認識メモリ、実行コントラクト（権限・予算・安全ゲート））でこれを包みます。各ステップにおいて、
n_t = \pi_{\theta_t}(z, W_t, P_t, O_{\le t}, M_t), \qquad u_t = \mathrm{Dispatch}(n_t, \mathcal{T}_t),
x_{t+1} \sim E(x_t, u_t), \quad W_{t+1} = \mathrm{UpdateWorld}(W_t, O_{t+1}, y_t), \quad q_t = V_t(W_{t+1}, y_t, z).
重要なのは、q_t がモデルが生成する補完トークンではなく、証拠から計算された型付き検証器の判定であるという点です。q_t に応じて、Harnessは P_t を継続するか、割り込みをかけ R_t を呼び出すか、新たな観測を要求するか、または終了します。完全なトレース \xi=\{z,W_{0:T},P_{0:T},O_{0:T},u_{0:T},y_{0:T},q_{0:T},M_{0:T}\} が、帰属分析および事後のモデル更新の単位となります。
自己進化は、Harness・データ/環境・モデル/アルゴリズム・具現化/計算という4つの連結されたターゲットにわたって組織化されており、すべての編集は新鮮な証拠に対する独立した検証によってゲートされ、失敗時にはロールバックされます。
結果
固定VLAの上にHarnessを載せた場合（RoboCasa365）。 XR-1をaction toolとして固定し、GPT-5.6-Solをプランナーとして使用することで、HexaAnythingはComposite-Unseenで34.3% → 38.3%（+4.0）、Composite-Seenで54.8% → 61.5%（+6.7）、全体で56.6% → 61.1%へと成功率を向上させます。同一LLMを用いた汎用コーディングエージェント（Codex）は全体で59.5%に達するものの、Composite-Unseenではネイティブなアテンションに基づくXR-1（34.1%）を超えられず、これは利得が単なるLLMによる計画ではなく、構造化されたworld/policyインターフェースに起因することを示しています。プランナーをオープンなQwen3.8-27Bに切り替えても、Composite-Unseenで37.3%（XR-1比+3.0）が得られます。各100シードを用いた3つのComposite-Unseenタスクでは、利得はそれぞれ+31.0、+15.0、+17.0ポイントに達します；例えばLoadKebabSandwichは17%から48%へと改善されますが、これは「両食材が内側に入っている」という条件が、XR-1の軌跡分布に暗黙的にエンコードされるのではなく、オーブンを閉じるための検証器に裏付けられた事前条件となるためです。
操作以外のタスク（PhyBench）。 フックの法則、振り子を用いた g の測定、および連成振動子の基準モードという3つのシミュレーション実験では、エージェントが装置を動作させ、条件に紐付いた計測値をログに記録し、モデルにfittingし、残差から再測定が必要かどうかを判断することが求められます。参照値は隠蔽されており、提出後に評価器のみが使用します。これにより、action-onlyモデルでは対処できないギャップが解消されます：成果物は最終的な把持動作ではなく、定量的な主張だからです。
実機ロボットへの展開（AgileX PiPER-X 双腕）。 「Vibe as Policy」という手順のもと——エージェントがエピソード間でツールを記述して固定し、固定された実行エージェントがURIを介して実行時にそれらを組み合わせる——テーブルトップタスク7つのうち5つで3/3の成功を達成します。同一の基盤LLMを異なるハードウェアで使用した公開済みのGPT-Policy/Robocurveベースラインと比較すると、HexaAnythingは三目並べを2.7倍高速に（5.0対13.6分）、ボトルキャップの開封を3.5倍高速に（5.1対17.9分）、ブロックをボウルに入れるタスクを2.4倍高速かつ4.7倍少ない出力トークンで（443対2.1k）完了します。2つの部分的成功タスク（ブロック投げ1/3、衣類折り畳み1/3）は、ツールインターフェースではなく知覚とリーチの問題で失敗しています。
限界
本報告書はHarnessとツールの進化、および最初のデータからモデルへの更新のみを明示的に扱っており、4つのターゲット全体（具現化/計算を含む）にわたる共同進化は未解決のままです。実機ロボット試験はタスクごとに3シードであり、クロスハードウェアでの速度比較は同一ロボットによるものではありません。検証器自体は手動で記述された述語であり、その失敗モード（状態変数の欠落、制約の誤仕様）は事後的に診断されます；検証器の完全性に関する原理的な説明は存在しません。また、このアプローチは失敗が特定の編集可能アーティファクトに帰属可能であることを前提としており、これは基盤となるVLAがaction chunkの内部でサイレントに失敗する場合には強い前提となります。
なぜこれが重要か
Physical Codingは、デジタルコーディングエージェントを自己改善可能にした特性——観測・行動・フィードバックが検査可能で、バージョン管理され、編集テスト可能な単一の実行可能媒体——をロボットエージェントに与えるための真剣な試みです。各ベンチマークでの経験的な利得は控えめですが、固定VLA設定、オープンウェイトプランナー、科学実験ドメイン、実機双腕プラットフォームにわたって一貫しており、これはインターフェース——基盤となるpolicyではなく——が効果をもたらしているという、異例に幅広い証拠です。
Source: https://arxiv.org/abs/2609.35432
MassAlloc Attention: Attentionに自身のComputeを割り当てさせる
問題
標準的なcausal attentionは、実現されたsoftmax分布がスコア空間のほとんどに対してほぼゼロのmassを割り当てているにもかかわらず、すべての合法的な(q,k)タイルに対してフルのpost-scoreコスト——forward側ではsoftmax更新、Vのロード、PVの累積、backward側では確率の再構成と\mathbf{dP}, \mathbf{dS}, \mathbf{dQ}, \mathbf{dK}, \mathbf{dV}——を支払います。従来のsparsityアプローチ（top-k、ブロック/ウィンドウパターン、ハッシュバケッティング）は\mathbf{S} = \mathbf{Q}\mathbf{K}^\topを観測する前に固定された構造的バジェットにコミットするため、情報を捨てるか過剰にプロビジョニングするかのどちらかになります。MALAは中間的な道を提案します：スコアの発見には常にコストを支払い、その後スコア分布自体がpost-scoreの処理を実行するかどうかを決定させるというものです。
手法
MALAは各タイルを（i）スコアの発見、すなわち\mathbf{S}_{ij} = \mathbf{Q}_i \mathbf{K}_j^\topの形成、と（ii）post-scoreの実行に分離します。因果的に合法なすべてのスコアタイルが計算され、問題はどのタイルがsoftmax/PVパスに進むかだけです。
保持の判定基準は、長さを考慮した無次元の許容値\tau > 0です。因果的サポート\mathcal{C}_qとL_q = |\mathcal{C}_q|を持つクエリqに対して、参照値は一様寄与1/L_qであり、per-tileのテストはそのタイル内の最大per-key寄与比を\tau/L_qと比較します。ゼロ基準位置を持つ等長causal trainingではL_q = q+1に帰着し、単一トークンのデコードではL_0 = N_kとなります。L_qによるリスケーリングにより\tauは位置やコンテキスト長にわたってスケールフリーとなるため、単一の\tau（論文ではforward、backward、prefill、decodeのすべてにわたって\tau=1を使用）がtrainingとinferenceの両方を支配します。
forward passは、進化するonline-softmax normalizer（FlashAttentionでおなじみのrunning m_iと\ell_i状態）を寄与スケールの推定値として使用しながら、保持の決定をオンラインで行います。online normalizerは単調改善的であるため、決定はそのタイルまでに観測されたmassを使用します。backward passは最終化されたnormalizer \ell_i^{\mathrm{final}}を利用でき、ネストされた保持サポートを再構成します：最終化されたnormalizerの下で保持されたタイルはonline normalizerの何らかのprefixの下でも保持されていたはずであり、したがってbackwardの保持は標準的なattention stateのみを使用したsuperset一貫性のあるreplayです。行単位のm_i, \ell_i, \mathbf{L}_i以外の追加バッファは不要であり、このプリミティブはFlashAttentionスタイルのカーネルにきれいにfuseされます。
重要なのは、\tauが固定のcomputeバジェットではなく許容可能な寄与を指定している点です。シャープなhead/rowは多くのタイルを拒否し、拡散したrowは多くを保持します。したがって割り当ては層、head、入力、位置にわたって適応的です。
結果
中心的な実験は8KコンテキストにおけるΣmatched-work研究です。\tau=1のMALAは、クエリあたり平均約1,024の保持されたpost-scoreキースロットを実現します。同じ合計post-scoreの処理量——クエリあたり約1,024スロットという共有バジェット——を実行しますが、最終化されたper-instanceの参照massを使用して候補領域をランク付けする3つの診断オラクルが構築されます。これらは決定にわたって処理がどの粒度で分配されるかのみが異なります：
- Position-only: 平均省略mass 0.6012%、平均相対出力L_2誤差 0.6231%。
- Layer/Head/Position（静的特化）: 0.1721%と0.2817%。
- Input/Layer/Head/Position（per-instanceオラクル）: 0.0182%と0.0164%。
per-instanceオラクルは静的なlayer-head特化を省略mass上で9.5\times、出力誤差上で17.2\times上回っており、構造適応的ではなく分布適応的な割り当ての価値を定量化しています。MALAのオンライン決定は最終化されたnormalizerにアクセスすることなく、平均省略mass 0.0188%、平均出力L_2誤差 0.0174%に到達し——オフラインオラクル（0.0182% / 0.0164%）と事実上区別がつきません。これが論文の最も明快な結果です：同じcomputeが与えられれば、MALAのオンライン割り当てはオラクルのper-instance割り当てによって達成可能な利益のほぼすべてを回復します。
1Kから32Kのコンテキスト長にわたって、同じ\tau=1がFullAttn参照と比較して低いforward出力誤差と低い勾配誤差を維持しており、\tau/L_qにおける長さの正規化が8K特有のチューニングの産物ではなくスケールにわたって適切に較正されていることを示唆しています。
制御された連想想起設定では、MALAはコンテキストが大きくなるにつれてFullAttnを追跡し、8KでFullAttnの89.97%に対して89.67%の精度に達しています——この0.30ポイントの差は、post-scoreの処理のほとんどをスキップしているにもかかわらず長距離検索チャネルが保持されていることを示しています。
スケーリング則および継続trainingの研究は128台のH100上で14Bと32Bで同じ\tau=1を使用して実行され、両スケールでの知識、推論、長コンテキスト評価の下流結果が報告されています。
制限と未解決の問題
- このプリミティブはスコアの発見に対して依然としてO(N_q N_k)のコストを支払います；節約はpost-scoreパスのみに限定されます。非常に長いコンテキストではQK matmulのコストは対処されていません。
- forward側の保持決定はonline normalizerのprefixのみを使用しており、これはrowの初期段階では系統的に過小評価となります；論文はbackwardのネストが安全であると主張していますが、8Kを超えるレジームにわたってオンラインポリシーがオフラインオラクルと比較してどの程度の頻度で厳密に保守的であるかを特徴付けていません。
- \tau=1はforward/backward/prefill/decodeにわたって標準的であると主張されていますが、\tauに対する感度スイープは示されたセクションには要約されておらず、0.30ポイントの連想想起のギャップは、異なるattentionエントロピープロファイルを持つタスクにおいて複合する可能性がある小さいながらも非ゼロの情報損失を示唆しています。
- ウォールクロックやFLOP計算の数値は提供された抜粋には現れていません；「compute allocator」というフレーミングは実現スループットではなく省略massと出力誤差のメトリクスで検証されています。
なぜこれが重要か
MALAはattentionのsparsityを構造的事前分布（ウィンドウ、ブロック、top-k）からsoftmax分布自体によって駆動されるランタイムアロケータへと再フレーミングし、training、prefill、デコードにわたって転送可能なスケールフリーの許容値\tau/L_qを使用します。matched-workの結果——オフラインper-instanceオラクルから0.0006パーセントポイント以内のオンライン決定——は、online-softmax状態が低寄与の処理をスキップするために必要な情報のほとんどをすでに含んでいるという強いシグナルであり、これはまさにFlashAttentionスタイルのカーネルがすでに維持している状態です。
Source: https://arxiv.org/abs/2609.32712
Hacker News Signals
ESP32S3クラスターで動作する1.58ビット（BitNet）言語モデル
BitNet b1.58はすべての重みを \{-1, 0, +1\} に量子化することで、行列ベクトル積を乗算なしの加減算のみに帰着させます。このリポジトリは、その考え方をESP32-S3マイクロコントローラーのクラスター（240 MHz動作のデュアルコアXtensa LX7、512 KB SRAM、QSPIを介して最大8 MB PSRAM）上に展開したものです。各ノードはモデルのシャードをPSRAMに保持し、UARTまたはSPIを介して隣接ノードと通信します。1.58ビットエンコーディングにより重みは高密度に格納されます。fp16の16ビットに対して1パラメーターあたり約1.58ビットと、重みのストレージが約10分の1に削減されます。実装では三値の積和演算にルックアップテーブルを使用しており、LX7コアのL1データキャッシュに十分収まるサイズです。クラスターのトポロジーはリニア構成で、トークンの embedding とロジットがノードの連鎖を順に通過し、各ノードが連続するtransformerレイヤーのブロックを担当します。推論には動的ルーティングもall-reduceも不要であるため、ノード間プロトコルは非常にシンプルに保たれています。実証されているモデルサイズはパラメーター数1億未満の範囲であり、数枚のボードで全パラメーターセットを保持できる程度の小ささです。推論速度はサーバー基準ではいかなる意味でも遅く（1トークンあたり数秒）、しかしその要点は実現可能性にあります。すなわち、1ノードあたり数ドルのハードウェア上で、クラウドへの依存なしに完全な自己回帰型言語モデルが動作するということです。今後の課題としては、レイヤー並列実行（ノード間でのprefillのパイプライン化）によるスループット改善の可能性や、より長いコンテキスト長においてattentionのKVキャッシュが制約のあるPSRAMの予算内に収まるかどうかが挙げられます。
llama.cppにおけるPrompt Lookup Draftingの高速化
Prompt lookup decodingは、draft tokenをサブモデルではなくプロンプトテキストから直接調達する、speculative decodingの一変種です。その考え方は次の通りです：要約・編集・文書に対するQ&Aといったタスクでは、モデルの出力が入力からn-gramをそのままコピーすることが多いという点に着目しています。生成中、スライディングウィンドウが現在のコンテキストの末尾 k tokenに一致する箇所をプロンプト内でスキャンし、一致が見つかれば、プロンプト中のその一致箇所に続く m tokenがspeculative draftとして利用されます。ターゲットモデルは標準的なspeculative-decodingの受理基準を用いて、m token全てを単一のforward passで検証します。補助モデルが不要なため、speculative decodingを実運用で扱いにくくしているメモリおよびコーディネーションのオーバーヘッドが解消されます。この記事ではllama.cppの実装を検証し、サイクルがどこで消費されているかをプロファイリングしています。特定された主なボトルネックはn-gramルックアップそのものであり、ナイーブな実装では生成ステップあたり O(|\text{prompt}| \cdot k) の計算量がかかります。著者はプロンプトtokenに対して一度だけ構築するハッシュベースのインデックスを提案・ベンチマークしており、ルックアップを償却 O(k) に削減しています。この高速化は、ルックアップのオーバーヘッドが無視できなくなる長いプロンプト（数万token）において測定可能な改善をもたらします。また、speculative tokenが受理される割合——受理率——はタスクに強く依存することも指摘されています：ほぼ逐語的な抽出タスクでは1.0に近く、自由記述生成では0に近くなるため、この手法の適用可能範囲が制約されます。この最適化はllama.cppにマージされ、CPU推論における文書処理の多いユースケースに対する実用的なレイテンシ改善として機能しています。
Source: https://jadidbourbaki.github.io/blog/prompt-lookup-llama-cpp/
LLM（ビジョンモデルを含む）向けの単一関数Jevライクラッパー
「Jev」とは、単一の構造化された関数呼び出しがタスクの説明と型付き出力スキーマをLLMにルーティングし、パース・検証済みの結果を返すパターンを指します。本質的には、LLMを自然言語と型シグネチャから具体的な値への関数として扱うものです。この記事では、そのパターンをPython約100行で実装し、テキストと並行して画像入力を受け付けることでビジョンモデルにも拡張しています。このラッパーは、構造化出力プロンプトを構築し、API（OpenAI互換エンドポイント）を呼び出し、JSONレスポンスをパースし、Pydanticスキーマに対して検証を行い、パース失敗時には設定可能な上限回数までリトライします。ビジョン向けには、マルチモーダルコンテンツブロック仕様に従い、画像をbase64エンコードしてmessages配列に注入します。著者の設計方針は最小主義的であり、フレームワーク依存なし、エージェントループなし、streamingなし——純粋なリクエスト・レスポンスパターンのみです。この実装の価値は、抽出・分類・構造化生成といった実用的なLLMインテグレーションのユースケースの大部分を、監査・修正が容易なほど小さい表面積でカバーしている点にあります。スキーマ駆動のリトライループが最も機械的に興味深い部分です。パース失敗時には、検証エラーをユーザーメッセージとして会話に追記し、最初からやり直すのではなくモデルに出力フォーマットを修正するよう促します。これはフルリトライよりもコストが低く、多くの場合1回の修正ステップで収束します。また、この記事では、ネイティブ構造化出力はサポートしていないもののfunctionCallingをサポートするモデル向けに、JSONモードの代替としてfunctionCallingも扱っており、出力スキーマを単一の引数として持つダミーのツール定義を使用しています。
Source: http://allanrbo.blogspot.com/2026/09/a-jev-like-wrapper-for-llms-including.html
AIのはったりを見破る：「推測するな」という指示を追加することで、作り話の主張が71%から20%に減少
これは、ファクトルックアップタスクにおけるLLMのhallucination率を測定した実証的なbenchmarkであり、特定の介入を行っています。その介入とは、「推測するな。分からない場合はそう言え（Do not guess. If you do not know, say so.）」という指示をsystem promptに追加するというものです。このbenchmarkのテストセット全体で、当該指示がない場合のモデルは71%の確率で回答を捏造しましたが、指示がある場合はその率が20%に低下しました。このbenchmarkは、正解が既知で客観的に検証可能な回答を持つ質問の集合です。51パーセントポイントの削減は実用的に有意と言えるほど大きいものですが、残留する20%という率は、この介入が完全な解決策ではないことを示しています。
メカニズム的には、これはRLHF fine-tuningされたモデルにおけるinstruction-followingに関して知られていることと一致しています。すなわち、モデルは潜在的な不確実性シグナルを持っているにもかかわらず、デフォルトでは自信ありげな回答を優先してそれを抑制します。これは、学習データとRLHFのreward modelingがいずれも流暢で完結した応答を報酬として与えるためです。回答を差し控える明示的な許可を与えることで、異なる出力分布が引き出されます。この投稿は、これがすべてのモデルやすべてのタスクタイプにわたって制御された実験ではないこと、また71%というベースライン値が難解な事実について意図的に選別された可能性のある質問セットに固有のものであることを慎重に指摘しています。未解決の問題としては、長いコンテキスト（指示が軽視される可能性がある）で効果が低下するかどうか、chain-of-thoughtプロンプティングとの相互作用、そして回答を差し控えるという二項択一よりもcalibration（確率で不確実性を表現すること）の方がより有用かどうかといった点が挙げられます。
Jeeves: ReasoningがJevライクな意思決定モデルを改善する
PostHogのJeevesは、Jevパターン（型付き決定を返す構造化されたLLM関数呼び出し）をプロダクトアナリティクスのルールに適用したものです。具体的には、「このユーザーに対してこのfeature flagを有効にすべきか」や「このセッションにどのexperiment variantを割り当てるべきか」といった意思決定に使用されます。単純な構造化出力呼び出しに対する主な追加点は、明示的なreasoningステップです。モデルはまずchain-of-thoughtのトレースを生成し、その後に型付き決定を確定します。このreasoningステップを挟むことで、直接的な構造化出力と比較して、内部ベンチマーク上での意思決定精度が測定可能な形で向上することをリポジトリは示しています。アーキテクチャは、reasoning対応モデル（o系列または同等のもの）上に構築された薄いPythonレイヤーです。決定スキーマはPydanticモデルとして定義され、system promptは関連するビジネスルールを自然言語でエンコードし、モデルはそれらを推論したうえで構造化された結果を出力します。reasoningトレースもログに記録されるため、特定のflagやvariantが割り当てられた理由について人間が読める監査証跡が得られ、デバッグやコンプライアンス対応に役立ちます。エンジニアリング上のトレードオフはレイテンシとコストです。reasoning modelは呼び出しごとに低速かつ高コストであり、ホットパスのリクエスト時に意思決定を行う場合には重要な問題となります。リポジトリはこの点に対し、そのような意思決定の多くはオフラインで行うか、リクエストごとではなくユーザーセグメントごとにキャッシュできると指摘することで対処しています。この設計が提起する興味深い問いは、ルールエンジン（決定的・高速・監査可能）をLLMベースの意思決定モデルで置き換えるべきか、あるいは補完すべきか、そしてreasoningトレースが明示的なルール記述に対して純粋な改善となるかどうかという点です。
Sonnet 5.5
AnthropicのClaude Sonnet 5.5は、Haiku（高速・低コスト）とOpus（高機能）の中間に位置する、中堅向け本番モデルのリリースです。主要な技術的主張は、Sonnet 5と比較したコーディングおよびエージェント的タスクにおける性能向上であり、特にマルチステップのtool useと長期的なタスク完遂に重点が置かれています。本モデルはAnthropicのextended thinking機能を使用しており、最終応答の前に中間的な推論チェーンを公開します。これはOpenAIのo系列のアプローチに類似しています。コンテキストウィンドウは200Kトークンです。HNスレッドの高スコア（833）とコメント数（563）は、実務者の高い関心を反映しており、このモデルクラスは広く実装されています。スレッド内の議論は、SWE-benchおよび類似のコーディング評価におけるGPT-4.1およびGemini 2.5 Proとの実際のベンチマーク比較に集中しており、タスクの種類によって結果は混在しています。エージェント的な改善は商業的に最も重要であり、Sonnet 5.5は長いtool useチェーンにわたって整合性を維持し、不要なtool callを減らし、エラー回復性が向上したと報告されています。Anthropicはアーキテクチャや学習手順の完全な技術的詳細を公開していませんが、これは同社のリリースにおける標準的な慣行です。コストはHaikuとOpusの中間として位置付けられています。研究的観点からは、ここでの興味深いシグナルは「ハイブリッド」推論モデル——高速な直接応答モードと低速な明示的推論を組み合わせた——が、主要ラボ全体にわたる支配的なデプロイパターンとして収束し続けているという点です。これは、一時的な差別化要因ではなく、アーキテクチャ的標準として定着しつつあることを示唆しています。
MicroLLM Lab: ブラウザで7つの小型LLMを試す
このデモは、WebAssemblyとWebGPUを使用して、パラメータ数が1B未満の7つの言語モデルを完全にクライアントサイドで実行するものです。技術スタックは、CPUによる推論のためにWASMにコンパイルされたllama.cppをベースとし、対応ブラウザ向けにWebGPUパスを備えることで、サーバーへのラウンドトリップなしにGPUシェーダー実行を実現しています。モデルのパラメータ数は約135Mから約500Mの範囲であり、4ビット量子化（GGUFフォーマット）が施されているため、ダウンロードサイズは80〜300MBに抑えられており、高速な接続環境であればブラウザ配信が現実的です。各モデルは初回ロード時にCDNからフェッチされ、IndexedDBにキャッシュされるため、以降のセッションでは再ダウンロードが不要となります。llama.cppのWASMビルドはシンプルなJS APIを公開しており、モデルのロード、プロンプトの設定、トークンのストリーミングが可能です。WebGPUパスでは、自己回帰的なデコードにおいて支配的な演算である行列ベクトル積にcompute shaderを使用しており、最新のディスクリートGPU上ではこれらのモデルサイズに対して約10〜30トークン/秒を実現します。これはWASMを介したCPU上での2〜8トークン/秒と比較して大幅な改善です。このデモは、ブラウザのランタイムが現在どの程度のワークロードをこなせるかを示すベンチマークとして注目されます。4ビット量子化とWebGPUの組み合わせにより、サーバーインフラなしで小規模モデルの推論をインタラクティブな領域に持ち込むことが可能になっています。制約も実際に存在します。コールドスタートのレイテンシ（モデルのダウンロードとWASMコンパイル）は10〜60秒かかり、WebGPUはFirefox安定版やフラグなしのSafariでは利用できません。また、これらのモデルサイズは実用的なタスクの大半には小さすぎます。エンジニアリング上の関心は、そのツールチェーンにあります。すなわち、llama.cpp → WASM → WebGPUパイプラインがエッジ・オフライン用途において本番環境での利用が現実的であることを実証している点です。
真剣なAIプロダクトとはどのようなものか？
Glyphの投稿は、ベンチマークやリリースではなく、システム設計上の議論です。核心となる主張は、現在のAIプロダクト統合が、他のあらゆるインフラ依存関係に適用される標準的なエンジニアリング基準を満たしていない、というものです。具体的には、決定論的な挙動の欠如、定義された障害モードの欠如、テスト可能なコントラクトの欠如、そしてコンポーザブルなインターフェースの欠如が指摘されています。この投稿は、著者がPythonインフラ（Twisted、各種asyncライブラリ）で培った背景を踏まえ、「真剣な」ソフトウェアとは、その挙動を体系的に推論・テスト・デバッグできるソフトウェアであると論じており、LLM APIの呼び出しを関数でラップしてリリースするだけでは、その基準を満たさないと主張しています。具体的な技術的指摘として以下の点が挙げられます。LLMの出力は数学的な意味での関数ではない（同じ入力でも呼び出しごとに異なる出力が得られる）。失敗モードがネットワークエラーではなく「誤った回答」である場合、retry-on-failureのセマンティクスは未定義となる。evaluation はtestingと混同されているが、異なるツールが必要である。そして、コンポーネントが確率的モデルである場合、本番環境での障害をデバッグする運用コストは、決定論的サービスの場合と比べてはるかに高い。提案されている方向性は、LLMを回避することではなく、明示的なコントラクトを持つ確率的コンポーネントとして扱うことです。具体的には、必要とする出力の分布を定義し、それへの適合性を測定し、適合性が失敗した際にグレースフルに縮退するようシステムを構築することです。これは、典型的なMLデプロイメントの文献よりも、ロバスト統計やフォールトトレラントなシステム設計の考え方に対応しています。この投稿は、本番システムを保守した経験を持ち、「ただプロンプトを書けばよい」というアプローチに懐疑的なエンジニアには響くでしょうが、信頼性エンジニアリングよりも能力向上を重視する研究者にはあまり響かないかもしれません。
Source: https://blog.glyph.im/2026/09/serious-ai-product.html
注目の新しいリポジトリ
Human-Agent-Society/reef
継続的な自己改善エージェントのためのインフラストラクチャです。Reefは、エージェントが自身のツール・メモリ・ポリシープロンプトに対して修正を提案・実行・評価できるランタイムスキャフォールドを提供し、タスクパフォーマンスと能力更新の間のループを閉じます。アーキテクチャは3つの層に関心事を分離しています：環境レジストリ（タスク、ツール、サンドボックス化された実行環境）、エージェントコア（LLMバックボーン＋構造化されたアクション空間）、そしてパフォーマンスのデルタを追跡しリグレッションチェックの後ろで更新をゲートする自己改善コントローラーです。エージェントは構造化されたトレースをログに記録し、コントローラーは変更をコミットする前に自動評価スイートを実行することで、サイレントな能力劣化を防ぎます。コードベースはPythonファーストで設計されており、LLMバックエンドを差し替えるためのプラグインインターフェースを使用し、自己修正サイクル中の副作用を隔離するDockerベースのサンドボックスを同梱しています。シンプルなReActやtool-useフレームワークと比較したReefの際立った特徴は、バージョン管理された能力ストアです：すべての自己修正は既知の良好なチェックポイントに対するdiffとして記録されるため、ロールバックが決定論的に行えます。実用的なユースケースとしては、自動ベンチマーク向上、反復的なプロンプトエンジニアリングパイプライン、オープンエンドなエージェント学習の研究などが挙げられます。7,000スターの注目度はエージェントシステムコミュニティからの強い関心を示していますが、本番ワークロードへの展開前に、自己改善ループの成熟度については精査する価値があります。
Source: https://github.com/Human-Agent-Society/reef
Heman10x-NGU/openJev-verdict-2.0
151Mパラメータの非自己回帰型決定エンジンで、キャリブレーションされた二値および多クラスのバーディクト（verdict）を目的としています。このような構造化出力は、LocalLLaMAのようなプラットフォームにおける型付き決定パイプライン（typed-decision pipelines）で一般的なものです。モデルアーキテクチャはencoding と出力生成を分離しており、トークンを逐次生成するのではなく、単一の forward pass で完全な決定ベクトルを出力します。これにより、出力長に依存しない決定論的なレイテンシが実現されます。報告されている数値は、精度77.10%、Brierスコア0.0636、ECE 0.0144であり、特にECEの値は、分類タスクに fine-tuning された典型的な自己回帰モデルと比較して、強力な確率キャリブレーションを示しています。リポジトリでは、typed-decisionsベンチマークにおいてTypeSafe JevおよびLayaを上回ると主張しています。151Mパラメータというサイズは、CPU推論や単一のコンシューマ向けGPUで動作できるほど小さく、かつ非自明な意味構造を捉えられるほど大きいという、ちょうどよいバランスにあります。非自己回帰設計により、キャリブレーションはデコーディングチェーン全体にわたって蓄積されるのではなく、単一のsoftmaxヘッドに組み込まれているため、事後的な温度スケーリングが簡素化されます。重み、学習設定、評価スクリプトが含まれており、コンテンツモデレーション、ルーティング、インテント分類など、フル生成モデルのレイテンシコストを払わずに高速でキャリブレーションされたバーディクトを必要とするアプリケーションへの具体的な drop-in として機能します。主な未解決の問題は、分布外データに対するキャリブレーション挙動です。
Source: https://github.com/Heman10x-NGU/openJev-verdict-2.0
qwdwqfwq/topconf-paper-figure-gallery
ICLR、ICML、NeurIPS、CVPR、ACL、AAAA（2023〜2026年）から収集した3,516点のFigure 1およびteaser画像からなる精選コーパスで、開催会場とtierバッジが付与されています。主要な研究用途はFigureForgeです。これはこのギャラリーを基盤として構築された、retrieval-augmentedな図版下書きツールです。論文のabstractや貢献内容の概略説明を入力すると、FigureForgeはembedding-based searchによってコーパスから意味的に類似した図版を検索し、それらを構造的な参考資料として新しい図版の下書きに活用します。検索バックエンドはvision-language modelで図版をエンコードし、embeddingを軽量なベクターインデックスに格納します。クエリにはテキストと画像の両方が使用できます。ギャラリー自体もFigureForgeとは独立して有用です。トップ会場における影響力の高い図版を体系的にタグ付けして収集したコレクションは、可視化の慣習、アーキテクチャ図のパターン、および各サブフィールドにわたるML論文の視覚的な文法を研究する上で価値があります。Tierバッジ（oral/spotlight/posterの区分に基づく）を用いることで、コミュニティが高品質と評価した研究に付随する図版に絞り込むことができます。コーパスの規模は控えめですが、著者が主要なコミュニケーション手段として扱うFigure 1 / teaserのみに限定された精選品質により、情報密度は高く保たれています。図版のデザインを行う研究者や、MLのアイデアがどのように視覚的に伝達されるかを研究するすべての方に有用です。
Source: https://github.com/qwdwqfwq/topconf-paper-figure-gallery
emma-sue/AegisOps
LangGraph とディープエージェントアーキテクチャ、およびツール呼び出しのための MCP（Model Context Protocol）を中核に構築された、エンタープライズ IT 運用向けのインテリジェント AIOps プラットフォームです。AegisOps は三つの運用ループをカバーしています：自動インスペクション（設定可能なアセットレジストリに対するスケジュールされたヘルスチェック）、エージェント主導の障害診断（証拠収集・仮説形成・根本原因のランク付けを行うグラフ構造の推論チェーン）、そして修復が承認される前に人間によるレビューのために監査可能な証拠バンドルを生成するチケット／承認ワークフローです。LangGraph を基盤として採用することで、エージェントノード間の制御フローが明示的かつ検査可能になっています。これは、ブラックボックスの意思決定チェーンが本番環境では許容されない運用ツールにおいて、意味のあるエンジニアリング上の選択といえます。MCP レイヤーはツール呼び出し（SSH、API クエリ、ログ取得）を統一されたインターフェースの背後に抽象化しており、新しいデータソースの追加を容易にしています。このリポジトリには実際のインフラシナリオに対する再現可能なテスト記録が含まれており、AIOps デモとしては比較的珍しく、障害診断に関する主張の信頼性を高めています。中国語のドキュメントは同市場のエンタープライズ IT チームを対象としていますが、アーキテクチャ自体は汎用的です。主要な未解決の問題として、人間のガイダンスなしに診断チェーンで曖昧または相反する証拠をエージェントがどう処理するか、またアラート量が急増した際に承認ワークフローがどのようにスケールするかという点が挙げられます。
Source: https://github.com/emma-sue/AegisOps
surya-koritala/Glyd
Glydは、AIモデルの重みのロスレス圧縮により、GPUメモリを33%削減しつつ、ビット単位で同一の数値出力を実現すると主張しています。これは推論結果が近似的に等価なのではなく、完全に再現可能であることを意味します。その仕組みは重みテンソルのエントロピー符号化です。重みはディスクおよびホストメモリ上に圧縮された表現で格納され、VRAMに完全に展開された状態で保持されるのではなく、GPUレジスタまたはL2キャッシュにオンザフライで展開されます。これは値を変更するquantizationや、演算の意味論を変更するmixed-precisionとは異なるアプローチです。実用的なターゲットは、忠実度を犠牲にすることなくコンシューマ向けGPUのVRAM容量に収めるには若干大きすぎるモデルです。実装はPyTorchの標準的なローディングとモジュール登録をラップする形になっており、既存の推論コードへの変更は最小限で済むようです。33%という数値は重みの分布とモデルアーキテクチャに大きく依存しており、より構造化されたまたは低エントロピーな重みテンソルを持つモデルほど圧縮効率が高くなります。展開処理によるスループットのオーバーヘッドが主な工学的課題であり、Glydがこのコストをプリフェッチスケジューリングやバッチ展開によって償却しているかどうかはコードベースを精査する価値があります。VRAMの制約下で厳密な数値再現性が求められるアブレーション実験を行う研究者にとって、これは単純なオフロードよりも原理的に優れた選択肢です。
Source: https://github.com/surya-koritala/Glyd
wfzyx/von
Vonは、System Oneの意思決定タスク向けに、TypeSafe Jevのローカルかつ15ms未満の代替として位置付けられたオープンソースの非自己回帰型決定モデルです。ここでいうSystem Oneタスクとは、連鎖的な推論よりもレイテンシが優先される、高速なヒューリスティック的判断を指します。15ms未満という数値はCPU推論時のものであり、これが主要な差別化要因です。本モデルはGPUなしでインプロセス実行できるよう設計されており、Webサーバー、CLIツール、エッジアプリケーションへの組み込みが可能です。非自己回帰型の生成方式を採用しているため、出力全体を単一のforward passで生成でき、標準的なdecoder-onlyモデルが持つ O(n) の逐次依存性を排除し、決定の複雑さによらず一定時間での出力を実現します。「System One」というフレーミングは的を射ており、このモデルは多段階推論向けではなく、高スループット・低レイテンシの分類およびルーティング向けです。TypeSafe JevインターフェースへのDrop-in互換性により、既存のインテグレーションに必要なリファクタリングは最小限で済みます。766スターを獲得しており、レイテンシに敏感なパイプラインを構築する開発者の間で支持を集めています。未解決の課題としては、重みのサイズおよびトレーニングデータの出所が挙げられます。インフラレベルのツールとして利用されることを想定したモデルにとって、再現可能なトレーニングと文書化されたデータソースは、信頼性やコンプライアンスの観点から非常に重要です。
Source: https://github.com/wfzyx/von
XiantingWu/PQCensus
PQCensusは、耐量子暗号（post-quantum cryptography）への移行を支援するための静的解析ツールです。ソフトウェアリポジトリをスキャンし、使用中のすべての暗号プリミティブをインベントリ化した上で、量子攻撃に脆弱なアルゴリズム（RSA、ECDH、ECDSAなど）を特定した構造化レポートを生成し、NISTのPQC標準（ML-KEM、ML-DSA、SLH-DSA）に向けた修正ガイダンスを提供します。解析はすべてローカルで完結し、データが外部に送出されることはなく、コアスキャナー以外に必須のランタイム依存関係はゼロです。これは、セキュリティに敏感なコードベースやエアギャップ環境において重要な特性です。出力フォーマットはSARIF（GitHub Advanced Security、VS Code、および主要なCIパイプラインと統合可能）とCycloneDX（標準的なSBOMフォーマット）であり、既存の脆弱性管理ワークフローと容易に組み合わせられます。根拠に基づくアプローチにより、各検出結果は単なるファイルレベルのフラグではなく、具体的なコードの位置と暗号呼び出しグラフのパスを引用します。これは、grepベースのインベントリツールと比較して実質的に有用性が高いといえます。NISTがPQC標準を最終化し、量子対応に向けた規制上の圧力が高まる中（例：CISAのガイダンス、NSM-10）、自動インベントリは移行計画の前提条件となっています。本ツールは、グリーンフィールド監査と継続的なCI enforcement の両方を対象としています。主な制限事項として、動的に構築されるアルゴリズム文字列や実行時にロードされる暗号ライブラリは静的解析では検出できません。
Source: https://github.com/XiantingWu/PQCensus
ethanplusai/astra-flash-orchestrator
計画とビルドを2つのモデルに分割するコード生成オーケストレーションレイヤーです。Astraがタスクの分解、フェーズ別計画立案、事後レビューを担当し、DeepSeek Flash（高速でコスト効率の高いモデル）が各フェーズにおける実際のコード合成を担当します。これは、アーキテクチャ・レビューの役割と実装を分離する人間のエンジニアリングチームの構造を反映しており、高性能な計画モデルをボイラープレート生成に浪費することを避けています。ワークフローはOpenAI Codex APIを中心に構築されていますが、アーキテクチャはプランナーレベルでモデル非依存となっています。主要なエンジニアリング上の特性として、タスクは個別のフェーズに分割され、フェーズ間に検証チェックポイントが設けられています。生成された依存関係のインストールはサンドボックス化され、コミット前に検証されます。また、すべてのセットアップ操作は可逆的であり、失敗した生成や不要な生成の実行は、作業ディレクトリを不整合な状態に残すことなく、クリーンにロールバックできます。この可逆性のメカニズムは運用上最も興味深い機能であり、ファイルシステム操作のスナップショットまたはトランザクションログのいずれかを示唆しています。実際のコードベースに対して自律コーディングエージェントを実行する開発者にとって、フェーズ実行とロールバックの組み合わせにより、不正な生成による影響範囲を縮小できます。709というスター数は、ワンショット生成のデモを超えた、本番環境で安全なエージェント型コーディングワークフローへの真摯な関心を反映しています。
Source: https://github.com/ethanplusai/astra-flash-orchestrator