Daily AI Digest — 2026-09-24

公開

2026年9月24日

English · 日本語

arXiv ハイライト

HappyWorld-Bench

既存のworld model評価は、フレームレベルの視覚的忠実度と、エージェントが探索・再訪・編集を行った際に生成されたワールドが内部的な一貫性を保てるかという、より困難な問いを混同しています。HappyWorld-Benchは、階層的な能力軸W1–W6を定義し、動画・空間・身体化(embodied)の三つのトラックにわたってそれを具体化することで、この gap を埋めることを目的としています。共通のスコアリングルーブリックと人間によるA/B Eloアリーナが併用されています。

能力階層

W軸は体系化のための抽象概念です。W1は受動的な生成的構築(制御なしの自然なシーン進化)を対象とし、W2はアトミックな行動応答を追加します。W3は持続的な状態を持つ多段階ロールアウト、W4は共通の初期状態のもとで行動や物理ルールへの反事実的編集、W5–W6はマルチエージェント制御および統合world modelingに対応します。各レベルは単なる難易度の増加ではなく、質的な遷移であり、それぞれ独自の一貫性要件(時間的連続性、状態永続性、影響を受けないコンテンツの反事実的不変性、被写体ごとの制御可能性)を導入しています。

HappyWorld-Benchのワールドレベル

このベンチマークは、1,138件の動画プロンプト、300件の空間シーン、254件のembodiedテストケースで構成され、14の動画システム、9の空間システム、8のembodiedシステムを評価します。三つのトラックはすべてHappyWorld-Arenaに統合されており、人間によるペアワイズA/B比較を収集し、自動化された行動メトリクスを補完するモデルレベルのEloレーティングを算出します。

HappyWorld-Benchのデータ統計

動画トラック

各ケースはタプル (I_0, \text{text}, c_{1:T})、すなわち最初のフレーム、シーン・被写体の説明、およびオプションの時間インデックス付き制御シーケンスで構成されます。アノテーションは対象Wレベル、次元、応用ドメイン、画像ソース、および視点を記録します。制御仕様は能力レベルに紐付けられています。

  • W1:行動なし。視覚的連続性とシーン進化のみが採点される。
  • W2/W3:制御シーケンスは絶対的な目標姿勢ではなく方向と時間間隔を指定する。これは同一の入力がモデルによって異なる変位をもたらすためであり、いずれかのモデルの行動キャリブレーションを優遇することなく、クロスモデル比較を well-defined にするための非自明な設計上の判断です。
  • W4:行動・インタラクション・環境ルール編集に関する自然言語指示。
  • W5/W6:複数のエンティティを同一シーン内で操作できるよう、被写体インデックス付きの制御。

最初のフレームは実際の画像、レンダリングされた環境、および生成による補完を組み合わせたものです。パイプライン(図3)は(Wレベル × 次元 × ドメイン × 視点)にわたる能力マトリクスを強制しており、これにより行動上のギャップを集約して埋もれさせることなく、局所的に特定することが可能になります。

HappyWorld-Benchのデータパイプライン

14の動画モデルにおいて報告された失敗モードは、長期的なロールアウトや再訪における劣化、すなわちフレームごとの品質ではなく時間的一貫性とループクロージャです。これはW3中心の設計が表面化するよう構築されている実証的な主張です。

空間トラック

空間トラックは、画像や説明から構築されたレンダリング可能な環境(Gaussian splat、メッシュ、またはその他の明示的な表現)を評価します。これには未観測領域のハルシネーションも含まれます。視覚的品質に加えて、その環境が探索をサポートするか、物理的なサポートを提供するか、また編集・拡張の際に既存のコンテンツを保持するかどうかを採点します。

データ構築は、静的なシーンに限定したフィルタリング済みの動画トラック最初のフレームを再利用しています。これは現時点でいかなる手法も時空間的なworld modelingを実現していないためです。手動レビューでは人物や身体部位(手・脚)を含むシーンが除外され、エージェントのコンテキストをシーンレベルのジェネレータに漏洩させる一人称・三人称的な表現を取り除くために説明文が書き直されます。アブストラクトには空間モデルが「せいぜい(at be[st])」~を達成すると記されており、編集下での保存信頼性の上限がこのトラックの主要な結果です。

Embodiedトラック

Embodiedケースは、自己中心的なロボット視点からの画像条件付き・プロンプト制御の動画生成として定式化されています。

Y_{1:T} = G_\theta(I_0, p),

ここで p は行動する主体、ターゲット、行動タイプ、方向、そして多段階タスクにおいては時間間隔を伴う順序付きのステージを指定します。現在のインターフェースは自然言語であり、離散的なロボット行動への拡張が明記されています。

W2–W4のみが実装されています。W2はアトミックな行動(移動・操作)をテストし、W3は移動のみ・操作のみ・両者を組み合わせたレジームにわたって持続的な状態を伴う順序付き多段階ロールアウトをテストします。W4は、共通の I_0 から行動または物理ルールのいずれかを変更した条件下でのペアロールアウトをテストし、影響を受けないコンテンツの反事実的不変性を目標とします。

スコアリング軸は意図的に分離された四つの次元を持ちます。

  • Perception:指定された入力のもとでシーン・ロボット・オブジェクトが認識可能であること。
  • Consistency:ロールアウト全体を通じた外観・形状・状態・時間的連続性。
  • Causality:接触イベント、順序、および状態変化が物理的・意味的に妥当な原因を持つこと。
  • Controllability:指定された行動が中間過程および最終状態を含めて忠実に実行されること。

著者はこの分解を明示的に動機付けています。ロールアウトが妥当な最終状態に到達しながらも、把持動作を省略したり、物体を誤った方向に移動させたり、可視的なトリガーなしにシーンを変化させたりすることがあり得ます。これらは総合的な判断では区別できない失敗です。これは論文中で最も強力な方法論的主張であり、controllabilityの失敗と因果的妥当性の失敗を区別可能にします。両者は異なる修正策(行動のグラウンディング対物理事前分布)を意味するため、この区別は重要です。

限界と未解決の問題

W1、W5、W6はembodiedトラックでは実装されておらず、定義上のものにとどまっています。空間トラックは静的なシーンに限定されています。行動インターフェースは低レベル制御ではなく自然言語であるため、結果はプロンプト追従能力とworld model忠実度を混同しており、論文はこの交絡因子を認識していますが解消していません。アブストラクトは空間の数値報告部分で切り取られているため、提供された抜粋からモデルごとの正確なElo・行動スコアを再現することはできません。また、Arena Eloの計算においてアノテーター間一致がどのように処理されているか、あるいは各レーティングを支えるペアワイズ比較数についても不明です。

なぜ重要か

world modelの進歩はこれまで主にフレームごとの動画品質によって測定されてきましたが、これはダウンストリームのエージェントにとって重要な特性——状態永続性、反事実的局所性、行動忠実度——については情報を提供しません。HappyWorld-Benchは、これらの特性を一つの能力階層のもとで三つのモダリティにわたって実装しており、その四分割スコアリング分解は、特定のモデルがどこで失敗するかを診断するために直接活用できます。

Source: https://arxiv.org/abs/2609.24308

過去が未来を形作る:自己回帰型動画生成のためのメモリ

自己回帰型(AR)動画生成は、長期的なロールアウト、インタラクティブなワールドモデル、ストリーミング型視覚環境における支配的なパラダイムとなっています。核心的なボトルネックはフレームごとの忠実度ではなく、フレームをまたいだ持続性にあります。因果的なロールアウトは無限に延長される必要がある一方で、transformer、diffusionバックボーン、およびそれらのKVキャッシュは厳密に有界なコンテキストウィンドウの下で動作します。エンティティの同一性、遮蔽下における物体の永続性、シーンのレイアウト、過去の介入がもたらす因果的な結果は、将来の生成への影響が尽きる前に、活性ウィンドウから定常的に外れてしまいます。本サーベイはこの「メモリ問題」を形式化し、急速に拡大する文献を一貫した分類体系に整理します。

メモリの操作的定義

著者たちはメモリをアーキテクチャ的にではなく操作的に定義しています。すなわち、メモリとは外側のARステップをまたいで維持される持続的な履歴情報であり、元の証拠がローカルコンテキストから外れた後も将来の生成に影響を与えることができるものです。この区別――外側のARロールアウト対内側の(フレーム単位またはチャンク単位の)生成――は、メモリ(ステップをまたいだ持続性)をステップ内のattentionやdenoisingの状態から分離するため重要です。Figure 2の統一的フレームワークは、離散トークンARと連続フレーム・チャンク単位のAR(例:diffusion forcing、rolling diffusion)が同一の因果的外部ループを共有しており、内部ジェネレータが大きく異なるにもかかわらず同じメモリの形式主義を許容することを示しています。

AR動画生成とメモリ条件付き生成の概要。

4種類のキャリア

本サーベイの中心的な整理軸はキャリア――履歴が保持される計算オブジェクト――です。Figure 3では4つのファミリーが区別されています。

4種類のメモリキャリアファミリーと代表的な実現例。
  1. Visual memoryは過去のフレーム、クリップ、または観測に対応したlatentを保持します。形式的には、 \mathbf{M}_{n}^{\mathrm{vis}}=\{\mathbf{m}_{i}^{\mathrm{vis}}=E_{\mathrm{vis}}(\mathbf{y}_{i})\mid i\in\mathcal{I}_{n}^{\mathrm{vis}}\},\quad \mathcal{I}_{n}^{\mathrm{vis}}\subseteq\{1,\ldots,n-1\}, ここで E_{\mathrm{vis}} は恒等変換(ピクセル空間)またはVAEエンコーダです。定義的な性質は、特定の歴史的観測へのトレーサビリティです。これは外観の忠実度と空間的細部を最小限の抽象化で保持しますが、保持フレーム数に比例してストレージが増大し、視覚的に類似した観測間で冗長性が生じるコストがあります。

  2. Implicit state memoryは、意味的・幾何学的構造を課すことなく、KVキャッシュ、循環的な隠れ状態、圧縮されたlatentトークンなどモデル固有のlatent状態に履歴を格納します。これらはコンパクトでバックボーンが直接消費できますが、不透明で編集が困難です。

  3. Explicit state memoryは、エンティティスロット、オブジェクト中心のembedding、シーングラフ、3Dレイアウト、占有場、イベントタプルなど、構造化された解釈可能な変数を通じて履歴を表現します。これらは構成的な編集と因果的介入をサポートしますが、信頼できる構造抽出を必要とし、オントロジーを課します。

  4. Adaptive parametric memoryは、オンラインで更新される重みにシーケンス固有・インスタンス固有・経験固有の情報をエンコードします。具体的にはLoRAアダプタ、ファストウェイト、test-time trainedモジュール、または継続的にfine-tunedされたパラメータです。持続性は補助的な状態ではなくパラメータ自体に宿ります。

最初の3つはノンパラメトリックなランタイムキャリアであり、4番目は持続性をパラメータに再配置します。重要なのは、この分類体系は機能ではなく形式によって定義されている点です。単一のパイプラインが視覚的アンカー(例:キーフレームキャッシュ)、圧縮された暗黙的サマリー、構造化されたエンティティスロット、そしてLoRAベースのユーザー・シーンアダプタを組み合わせて使用することは珍しくありません。

横断的な特性と4軸の景観

形式に加えて、本サーベイはキャリアを直交する特性に沿って特徴付けます。具体的には、ストレージの増加(n に対して有界か無界か)、ユニット構造(トークン、パッチ、スロット、フレーム、グラフ)、アクセスキー(位置ベース、コンテンツベース、セマンティック)、解釈可能性、編集可能性、モデルとの結合度(フリーズ対共同学習バックボーン)です。これらの特性は下流のトレードオフを予測します。例えば、無界のvisual cacheは忠実度を最大化しますが、検索なしには無限のロールアウトを実現できません。有界のimplicit summaryは一定コストの推論を可能にしますが、不可逆的な情報損失のリスクがあります。

全体の景観(Figure 1)はこのForms軸を他の3つの軸と交差させます。Functions(メモリが保持すべきもの――同一性、幾何学、ダイナミクス、因果性)、Operations(書き込み、読み出し、更新、忘却、検索――有界バジェット下でのライフサイクル)、Learning(メモリの振る舞いがどのように学習されるか:エンドツーエンド、補助目的、検索拡張事前学習、RLベースのゲーティング、test-time adaptation)です。

Forms、Functions、Operations、Learningにまたがるメモリメカニズムの景観。

この4軸分解が本サーベイの主要な貢献です。KV圧縮ワールドモデル、slot-attentionシーントラッカー、LoRAパーソナライズされたvideo diffusionモデルなど、それ自体では比較不可能なシステムを共通の設計空間に位置づけ、長期的な振る舞いに実際に重要な軸で比較することを可能にします。

限界とオープンな問題

本サーベイは実証的ではなく記述的です。共有された長期タスクでキャリアを相互にベンチマークしておらず、メモリ固有の失敗モード(同一性のドリフト、物体の永続性、介入後の因果的整合性)に対する統一された評価プロトコルも存在しません。いくつかの緊張関係は未解決のままです。ハイブリッドシステムはキャリア間でバジェットをどのように配分すべきか――同じフットプリントで明示的なエンティティスロットはいつvisual keyframeキャッシュを上回るのか?因果的持続性に対して、FVDのような視覚品質メトリクスとは異なる適切なベンチマークは何か?adaptive parametric memoryは長いロールアウトにおいて壊滅的なドリフトなしにオンラインで更新できるか?そして、diffusionベースの内部ジェネレータにおけるtest-time compute scalingとメモリはどのように相互作用するのか?

なぜこれが重要か

長期的なAR動画生成のボトルネックはフレームごとの品質ではなく、有界なコンピュートの下でモデルが何を前方に持ち越せるかにあります。明示的な操作軸と学習軸を持つキャリア中心の分類体系は、数千フレームにわたって一貫性を保たなければならないシステム――使用可能なワールドモデル、インタラクティブなシミュレータ、ストリーミング動画エージェントの前提条件――のための原理的な設計語彙を提供します。

Source: https://arxiv.org/abs/2609.28466

PACT: クレジット割り当てからCritic Alignmentへ

トークンレベルのクレジットの公理的特徴付け

本論文の出発点は、「トークンレベルのクレジット」がLLMのRLにおいて常に使用されているにもかかわらず、数学的に厳密に定義されたことがないという問題意識です。著者らは、終端報酬 R=\mathcal{R}(Y) を持つ軌跡 Y=(q,T_1,O_1,\dots,T_\tau,O_\tau) から導出されるクレジット割り当て \{C_i\} に対して、3つの正則条件を課します。

  • Completeness(完全性): \sum_i C_i = R - \mathbb{E}[R\mid q].
  • Prefix Consistency(前置一貫性): C_i は \mathcal{F}_i-可測であり、過去を条件とした条件付き期待値が正しく縮約されます。
  • Neutrality(中立性): R に対する増分情報を持たないトークンへの依存がありません。

これらの条件のもとで、唯一の解はDoobマルチンゲール増分

C_i^\pi = V_i^\pi - V_{i-1}^\pi,\qquad V_i^\pi = \mathbb{E}_\pi[R\mid \mathcal{F}_i]

となります。これは、トークンレベルのクレジットが設計上の選択肢ではなく、方策と結果報酬を固定すれば完全に決定されることを明確に示しています。より粗い粒度のスキーム(ターンレベル、応答レベル)は、このオブジェクトの集約に過ぎません。

OPD、RLOO、GAEの再解釈

この表現を用いて、本論文は既存のいくつかのアルゴリズムを C_i^\pi への近似として読み解きます。

暗黙的なCriticとしてのOn-policy distillation。 教師 q_t、生徒 p_t を用いたsampled-tokenのOPDにおいて、per-tokenのシグナルは A_t^{\mathrm{OPD}}(q_t) = \log q_t(T_t)/p_t(T_t) となります。理想的な教師をKL正則化された報酬改善の解として定義すると、

q_t^\star \in \arg\max_{q\in\Delta(\mathcal V)} \Big\{ \mathbb{E}_{a\sim q}[Q_t^\pi(a)] - \beta D_{\mathrm{KL}}(q\|p_t)\Big\},

q_t^\star(a) \propto p_t(a)\exp(Q_t^\pi(a)/\beta) が得られ、\log q_t^\star/p_t = Q_t^\pi/\beta - \log Z_t となります。このシグナルのもとでのスコア関数更新の期待値は、唯一のトークンレベルのクレジットによって誘導される方策勾配に比例します。言い換えれば、理想的なOPD教師はvalue headを一切インスタンス化せずにcriticの役割を果たします。

RLOOはより粗い粒度にもかかわらず期待値において一致する。 応答レベルのREINFORCE-Leave-One-Outは軌跡ごとに1つのスカラーadvantageを使用しますが、その期待勾配寄与は \sum_i C_i^\pi のそれと等しくなります。C_i^\pi のより細かい解像度は分散を減少させるだけであり、目標は変わりません。

GAEはクレジットの疎性のもとで問題を抱える。 本論文はさらに(定理4において)、R が有界であれば長いホライズンにわたって C_i^\pi のほとんどが近似的にゼロになること——クレジットは明確な意味で疎である——を論じています。C_i^\pi = V_i^\pi - V_{i-1}^\pi は隣接する2つの値の差であるため、適度なcriticの誤差 \varepsilon でさえ真のシグナルと同程度の大きさになり得ます。GAEの \lambda によるバイアス・分散トレードオフはこの問題を解決しません。

核心的観察:方策とcriticのラグ

第4節では、PPOスタイルの訓練における具体的な失敗モードを特定しています。イテレーション k において、軌跡 \mathcal D_k\sim\pi_k は前のバッチで訓練されたcritic \widehat V_{\phi_{k-1}}\approx V^{\pi_{k-1}} によってスコアリングされます。criticはその後 \mathcal D_k 上で更新されますが、その更新は現在のactorステップのadvantage再計算には使用されません。C_i が隣接する値の差であるため、actorとcriticの間のこの1ステップのラグがシグナルを支配してしまう可能性があります——定理4がまさに危険と指摘している状況です。

PACT

Policy Aligned Critic Trainingは更新の順序を変更します。各ロールアウトバッチに対して、まず \widehat V_{\phi_k}\approx V^{\pi_k} となるまでcriticを \mathcal D_k 上でfine-tuningし、次にこの同期されたcriticでadvantageを計算し、その後actorを更新します。重要度サンプリングはバッチ内のミニバッチのオフポリシー性を処理します。criticの訓練は重要度比が [0,6] の範囲外のサンプルをマスクし、actorはDIS(数学的推論)またはPPOクリッピング(コーディング)のいずれかを使用します。目的は \pi_{k-1}\to\pi_k のラグを排除し、\widehat V_{\phi_k}(\mathcal F_i) - \widehat V_{\phi_k}(\mathcal F_{i-1}) が古い混合物ではなく C_i^{\pi_k} を近似するようにすることです。

結果

DAPO-Math-17kの3.2k問題のサブセット上でQwen3.5-4Bを訓練した数学的推論(Avg@16精度)の結果:

手法 AIME 2025 AIME 2026 BeyondAIME HMMT Nov 2025 平均
Base 46.67 51.25 28.63 37.50 41.01
PPO (\lambda=0.95) 32.33 29.38 17.86 25.67 26.31
PPO (\lambda=1.0) 66.04 73.96 40.31 58.54 59.71
GRPO (\epsilon_{\mathrm{high}}=0.28) 76.50 74.78 41.81 63.19 64.07
SAO 51.25 63.33 36.63 53.33 51.14
PACT w/o IS 76.04 82.50 51.38 61.04 67.74
PACT 83.12 85.21 51.69 71.46 72.87

\lambda=0.95 と \lambda=1.0 のPPO間の26.6ポイントの差は、それ自体がクレジット疎性の懸念に対する証拠となっています。\lambda\to 1 に近づけることで、GAEが混合するバイアスのある中間的なcritic値の重みが低減されます。PACTはGRPOを平均8.8ポイント上回り、PPO(\lambda=1.0)を13.2ポイント上回っています。「PACT w/o IS」のアブレーションは、方策とcriticの同期だけでGRPOに対して+8.0のゲインの大部分を占め、重要度サンプリングがさらに5.1を加えることを示しています。

限界

定理は R の有界性、p_t の全サポート性、および更新ごとの固定された理想的な教師を仮定していますが、実際のdistillationされた教師はKL正則化されたargmaxを厳密には解きません。クレジット疎性の結果は漸近的なものであり、定数が語彙サイズやコンテキスト長とともにどのようにスケールするかを定量化していません。実験的には、評価は2つのドメイン(数学的推論、OpenSWEを介したエージェントコーディング——コーディングの数値は抜粋には示されていない)、1つのモデルファミリー(Qwen3.5-4B、Qwen3.6-35B-A3B)、およびpass@1スタイルの結果報酬に限られており、プロセス報酬、verifierアンサンブル、または密な環境フィードバックにおいてPACTの優位性が持続するかどうかは未検証です。critic優先スケジュールはイテレーションあたりのcriticの計算量をほぼ2倍にします。

なぜこれが重要か

本論文は、「トークンレベルのクレジット」という通俗的な概念を一意に決定されるオブジェクトに変換し、そのオブジェクトを用いて標準的なPPOループにおける具体的かつ修正可能なバグを診断しています。advantage計算に使用されるcriticは常に1つの方策ステップだけ古く、この古さのギャップは抽出しようとしているシグナルと同程度の大きさになります。PACTは訓練スケジュールへの小さな変更であり、数学的推論ベンチマークに対して大きく再現可能な効果をもたらします。

Source: https://arxiv.org/abs/2609.26355

InternW0: 効率的な実世界インタラクションのための基盤物理世界モデル

問題設定

将来の視覚予測と行動生成を統合したworld-action model(WAM)は、構造的なトレードオフに直面しています。高容量のビデオ予測はコントロール周波数で実行するには遅すぎる一方、古い予測に基づいてポリシーを条件付けすると、環境が予測した軌道からずれるにつれてclosed-loopの挙動が劣化します。既存のWAMは、毎制御ステップで完全な計画を再生成するか(高コスト)、あるいはaction chunk全体にわたって計画を固定するか(陳腐化)のいずれかです。Shanghai AI LabのInternWシリーズの第一弾であるInternW0は、このトレードオフに正面から取り組みつつ、異種のエンボディメント(単腕、双腕、モバイル、巧みな手)および接触が多いモダリティ(力、触覚)もサポートしています。

手法

InternW0は、mixture-of-transformers(MoT)であり、2つのモダリティ固有のexpertが共有レイヤーを持ちます。将来の視覚ダイナミクスのための高容量なVideo-DiTと、flow matchingベースの制御のための軽量なAction-DiTです。各共有レイヤーには独立したパラメータとtokenストリームがあり、観測に条件付けられたインターフェースを通じて結合されています。

Video expertとAction expertが観測条件付きchunk K/V editorを通じて結合されたInternW0のアーキテクチャ。

パイプラインは非対称です。Video expertは過去のフレーム(固定されたWan VAEによってエンコード)と言語embeddingを消費し、ロボット固有のaction tokenやドメインアイデンティティを参照することなく共有予測表現を生成します。Action expertは、(i) 現在のchunkレベルの観測のDINOv3特徴量、(ii) 固有感覚、(iii) 言語、(iv) エンボディメント固有のインターフェースとsoft prompt、(v) cross-attentionを通じたビデオコンテキスト、を読み込みます。

中心的なメカニズムは、観測条件付きchunk K/V editorによる非同期duplex inferenceです。制御更新ごとにVideo expertを再実行する代わりに、InternW0はそのlayerwiseなK/Vテンソルをキャッシュし、Action expertがそれらにattendする前に新たに観測されたchunk状態に条件付けて編集します。形式的には、各レイヤーでキャッシュされたビデオコンテキスト(K_v, V_v)は次のように更新されます:

(\tilde{K}_v, \tilde{V}_v) = \mathrm{Edit}\big((K_v, V_v)\,;\, o_t\big),

ここでo_tは最新の観測embeddingです。Action-DiTはその後、(\tilde{K}_v, \tilde{V}_v)にcross-attentionしながら、flow matchingによって短いaction chunk a_{t:t+H}をdenoisingします。Video-DiTはより遅いスケジュールで更新され、コストの高い予測を重要な制御パスから外します。

行動は、単腕・双腕・モバイルの形態をカバーする37次元の統一空間で表現され、未使用の次元はマスクされます。接触を考慮したpost-trainingでは、力と触覚の履歴をaction側の追加観測として導入し、将来の接触信号を共同で予測しますが、ビデオbackboneは変更されません。

データ

事前学習には、4つの実ロボットデータセット(AgibotWorld、Galaxea、RoboCOIN、MolmoAct)、2つのシミュレーションデータセット(InternData-A1、RoboDojo)、および自社で収集した275.4時間の一人称視点の湿式実験室ビデオ(EgoLab、3,192エピソード)から、811,969エピソード、合計約7,233時間のデータを使用しています。データセットは\sqrt{n_{\text{anchors}}}に比例してサンプリングされます。クリーニングでは、各データセットのネイティブタイムラインに対するvalidityマスクを用いて、静的な軌跡、頭部/腰部の動きの区間、グリッパーのマイクロパルス、範囲外の値が除去されます。25の訓練ドメインと24の統計グループが設定されており、EgoLabはビデオ監督のみに寄与します。

結果

LIBERO(フル設定、40タスク、各50ロールアウト)。 InternW0はSpatial/Object/Goal/Longにわたって平均98.6%の成功率を達成し、LingBot-VA(98.5)およびFast-WAM(97.6)をわずかに上回っています。スイート別では:Spatial 99.4、Object 99.4、Goal 98.6、Long 97.0。最大のゲインはSpatial(テーブル内最高)で、LongはLingBot-VA(98.5)およびMotus(97.6)をわずかに下回っています。

RoboTwin 2.0は、FullレジームとClean2Randomレジームを対比させるために使用され、適応にクリーンなデモンストレーションのみが利用可能だがテスト時にはランダム化が現れる場合の、事前学習によって促進される汎化能力を分離しています。論文はこれを、事前学習された物理表現が適応分布を超えて転移するという証拠として位置付けています(提供されたexcerptでは具体的な数値は省略されています)。

実ロボット。 5タスク、4つの双腕タスク(Make Sandwich、Pick Industrial Parts、Sort Tubes、MoF Experiments)と1つの巧みな手のタスク(Quantitative Pipetting)。MoF Experimentsは、金属有機構造体溶液の調製を再現する15の逐次サブタスクで構成され、注入、ファンネル除去、移送、栓の挿入、撹拌機の起動を含み、視覚的に類似したステージにわたる精密な挿入と進捗管理を必要とします。

効率性。 RTX 5090D上で、InternW0のクリティカルパスのaction latencyは60.73 msであり、最大ポリシー更新レートは16.47 Hzです。これはFast-WAMに対する3.13\timesの高速化です。重要なのは、これがVideo-DiT inferenceを除外していることであり、Video-DiTは非同期予測パス上で実行されます。次の行動をブロックするのは、観測エンコーディング、chunk K/V編集、およびAction-DiT denoisingです。

制限事項と未解決の問題

  • 報告された16.47 HzはモデルサイドのlatencyのみUを測定しており、end-to-endのclosed-loopの安定性は、K/V editorのローカル適応が失敗する前に(\tilde{K}_v, \tilde{V}_v)がどれだけ陳腐化できるかにも依存します。論文はビデオ更新周期の関数として劣化を定量化していません。
  • 巧みな手のデータは事前学習から除外されていましたが、巧みなピペッティングが評価されており、ここでの転移はpost-trainingと共有表現に完全に依存しています。
  • 37次元の統一action spaceは未使用の次元をマスクしますが、これが実質的に異なる形態(ヒューマノイド、ソフトロボット)にどのようにスケールするかは未解決です。
  • 提供されたセクションでは、chunk K/V editorの寄与を、単純に未編集のビデオコンテキストをキャッシュした場合と分離したアブレーション、またはEgoLabのみのビデオ監督の限界的な価値を示したアブレーションは示されていません。
  • 接触を考慮したpost-trainingは説明されていますが、触覚/力のベンチマーク数値はexcerptに掲載されていません。

重要性

観測編集されたキャッシュK/Vインターフェースを介して予測ビデオモデリングを制御から分離することは、WAMのボトルネックとなってきた鮮度とコストのトレードオフに対するクリーンなアーキテクチャ的な回答です。editorのローカル補正が十分に忠実であれば、このパターンは、予測器がコントローラよりも桁違いに遅い、あらゆる予測条件付きポリシー——これは新興のエンボディド基盤モデルのほとんどに当てはまります——に一般化できます。

Source: https://arxiv.org/abs/2609.27656

Spatial-Interactor: 観測可能な物理世界との相互作用を通じた空間推論の学習

問題

静的な空間 QA(「椅子はテーブルの左にあるか?」「マグカップの色は何か?」)で学習された Vision-language model は、スナップショット的な関係を内在化しますが、それらの間の遷移は内在化しません。身体化された設定では、観測 O_t は世界状態 W_t と観測者姿勢 E_t の結合関数であり、推論の正確性は観測された変化を適切な原因(物体の移動かビューポイントのシフトか)に帰属させ、軌跡全体にわたってそのような帰属を統合することにかかっています。著者らは診断的に、現在の VLM はフレーム順序に対する感度が低く、明示的な遷移トレースがなければ長期的推論において性能が急激に低下することを示しています。

状態遷移の診断:フレームのシャッフルが弱い時系列順序感度を露わにし、明示的なローカル遷移トレースが長期的推論を改善する。

本論文が対象とするギャップは、静的 QA では写像 (O_t, a_t) \mapsto O_{t+1} への直接的な教師信号が得られないのに対し、相互作用軌跡ではそれが得られるという点です。

手法

中心となる対象は、ローカルな記録に分解された相互作用軌跡です:

\mathcal{T} = (\delta_1, \ldots, \delta_{T-1}), \quad \delta_t = (O_t, a_t, O_{t+1}),

ここで a_t は物体の操作、環境イベント、またはカメラの動き(平行移動/回転)のいずれかです。各 \delta_t は相互作用メタデータに対して検証可能です:記録されたアクションが与えられれば、O_t と O_{t+1} 間の遷移にはグラウンドトゥルースの帰属(どのエンティティが変化したか、姿勢がどのように移動したか)があるため、人手によるアノテーションなしに QA/ターゲットペアへ変換できます。\delta_t を \mathcal{T} に合成することで、ローカルな推論の連鎖を要する長期的ターゲットが生成されます。

学習は三段階カリキュラム(概要図参照)として構成されます:

  • L1 — 受動的な世界状態遷移:W_t が変化し、E_t は固定。モデルはどの物体レベルの変化が生じたかを局所化して記述しなければなりません。
  • L2 — 能動的な自己状態遷移:E_t が変化(カメラの平行移動/回転)し、W_t は固定。モデルはビューポイントの差分を復元しなければなりません。
  • L3 — 長期軌跡:両者が変化しうる \delta_t の連鎖であり、モデルは一貫した空間状態を維持しなければなりません。

Spatial-Interactor の概要:三段階カリキュラムと二段階学習。

対応するデータセット LSI-108K は、実行された相互作用(L1/L2 帰属用)と幾何学的カメラ軌跡(L2/L3 姿勢差分用)から構築され、自動的に検証可能な遷移ターゲットと QA ペアへ変換されます。

最適化は二段階で進みます:

  1. SFT:82,596 件の L1–L2 LSI サンプルと約 80K 件の公開空間 QA(VSI-590K、MindCube、VSTI-Bench)に対して実施。これによりローカル遷移能力を習得します。
  2. Observable Process Distillation (OPD):SFT チェックポイントから始め、10,712 件の L3 RoomTour と 10,783 件の長期 VSTI-Bench サンプルに対して実施。OPD は GRPO スタイルの RL ループを (a) 特権付き条件づけ(教師のロールアウトはグラウンドトゥルースのプロセストレース、すなわち検証済み \delta_t 帰属の系列にアクセス可能)と (b) プロセス蒸留(生徒は最終回答だけでなく教師の中間遷移トレースとの一致に対しても報酬を受ける)で拡張したものです。比較対象の GRPO ベースラインはこれら二つの追加を除いて同一(初期化、データ、プロンプト、ロールアウトグループ、回答報酬、スケジュール)であり、プロセスレベル教師信号の寄与を分離しています。

両段階とも LM とマルチモーダルプロジェクターを更新し、visual encoder は凍結されます。本フレームワークは Qwen2.5-VL-3B/7B および Qwen3-VL-4B/8B 上で実体化されます。学習・評価の分割はシーンおよびビデオの粒度で互いに素に保たれており、これは相互作用データセットが空間レイアウトを漏洩しうるために重要です。

従来の空間 QA は孤立した証拠を保持するのに対し、Spatial-Interactor はローカルな遷移を一貫した空間状態へと合成する。

結果

提供された節では、ベンチマークの差分ではなく学習レジームを定量化しています:SFT は 82,596 件の L1–L2 LSI サンプルと約 80K 件の公開空間 QA を使用し、OPD は 10,712 件の L3 RoomTour サンプルと 10,783 件の長期 VSTI-Bench サンプルを使用します。診断図は設計を動機付ける二つの実証的な主張を確立しています:(i) フレームのシャッフルはベースライン VLM の出力をほとんど変えず、現在のモデルが時系列順序を活用していないことを示し、(ii) 推論時に明示的なローカル遷移トレースを与えることで長期的推論が改善され、ボトルネックは最終回答の能力ではなくプロセス表現にあることを示します。論文中の制御ablation はローカル遷移教師信号(SFT 段階)と OPD(RL 段階)の寄与を分離しており、クローズドループ評価はモデル自身のアクションが後続の観測を変える場合(軌跡レベルの合成が不可避な設定)を処理できるかを検証しています。

制限と未解決の問題

\delta_t の検証可能性は相互作用メタデータがクリーンであることに依存しますが、実際のロボットログにはノイズのあるアクションと部分的な観測可能性が含まれ、自動ターゲット構築が劣化するでしょう。OPD はグラウンドトゥルースのプロセストレースにアクセスできる特権的な教師を必要とするため、本手法は現状シミュレーション環境や大量にアノテーションされた環境に限定されます。カリキュラムは「世界の変化」と「自己の変化」をクリーンなカテゴリとして扱いますが、多くの自然な相互作用(歩きながら物を掴む)はそれらが混在しており、同時変化のもとで L1/L2 の因数分解が成立するかどうかは本稿の抜粋では検討されていません。さらに、visual encoder が凍結されているため、微妙な幾何学的変化の帰属における知覚ボトルネックが修正されないまま伝播します。

重要性

空間推論ベンチマークは静的な関係に収束してきましたが、身体化された展開では観測がアクションのもとでどのように変換されるかをモデル化する必要があります。Spatial-Interactor は、検証可能な相互作用記録を遷移演算子への直接的な教師信号へと変換し、最終回答だけでなくプロセストレースを蒸留することでこれを実現しており、中間状態が監査可能な任意のドメインへ一般化できるテンプレートを提供します。

Source: https://arxiv.org/abs/2609.23038

RewardVerse: ルーブリック誘導型方策最適化によるビデオ報酬モデリング

問題:ビデオ報酬モデルにおけるスカラードリフト

生成ビデオ y とクエリ q に対して単一のスカラー S(y\mid q)\in[1,5] を出力するように訓練されたビデオ報酬モデルは、著者らが スカラードリフト として形式化した2つの特徴的な崩壊を起こす傾向があります:

  1. スコアレンジの崩壊。 ポイントワイズスコアが狭い高域に集中し、選好される動画と非選好の動画のギャップが縮小します。下流のRLはほぼフラットなadvantageしか得られません。
  2. コンテキストシフト時の高分散。 クエリのパラフレーズや入力の並び替えが実効的なスケールをずらし、同一コンテンツに対して不一致なスコアを生み出します。

これは実際のボトルネックです:拡散モデル/ビデオモデルのpreference-basedなRL fine-tuningは、(a) ビデオ分布全体にわたる解像度と、(b) プロンプト表現への不変性を持つ報酬に依存しています。MLLM上の直接的なスカラーheadはそのどちらも満たしません。

制約なしスコアリングとルーブリックアンカー型スコアリングの比較。

手法:中間表現としての動的ルーブリック

RewardVerseは1つの方策 \pi_\theta(Qwen2.5-VL-7B上に構築)を共有する2つの学習済みステップにスコアリングを分解します:

  1. クエリ q=(d,p)(次元 d\in\mathcal{D} とテキストプロンプト p)が与えられると、方策はまず動的ルーブリック r\sim\pi_\theta(\cdot\mid q) を生成します:対象次元とプロンプト内容に適応した明示的な評価基準(テーマ、ヒント)のセットです。
  2. (q,r,y) を条件として、同じ方策がスカラースコア s\sim\pi_\theta(\cdot\mid q,r,y) を生成します。

ルーブリックは意味的アンカーとして機能します:スコアが明示的な基準に条件付けられているため、ビデオコンテンツから [1,5] へのマッピングは q のパラフレーズに対しても安定した意味を持ちます。これがFigure 1の背後にある機構的な主張です — r を挿入することがドリフト経路を短絡させます。

RGPO:2段階最適化

訓練ではRubric-Guided Policy Optimization(RGPO)を使用します。これはFigure 3にまとめられた2段階の方式です。

RGPOのステージ:シードルーブリックによるスコアラーのウォームアップ、その後の継続的較正を伴う結合ルーブリックジェネレータ訓練。

ステージ1 — スコアラーのウォームアップ。 ルーブリックを自己進化型シードルーブリック r_{\text{seed}}(ブートストラップ後、反復的に精緻化)に固定し、以下によってスコアラーを訓練します:

  • 人間の評価と一致するペアワイズ順序を強制するpreference reward、
  • 構造化されたスコア出力を強制するformat reward、
  • ポイントワイズスコアを人間のラベルに合わせるcalibration loss(レンジ崩壊の緩和)。

ステージ2 — 結合最適化。 ルーブリックジェネレータのフリーズを解除します。方策は r\sim\pi_\theta(\cdot\mid q) と s\sim\pi_\theta(\cdot\mid q,r,y) をサンプリングし、較正済みのpreference/formatの目的関数からスカラー報酬を受け取ります。スコアラーブランチはcalibration lossの下で訓練を継続します。これによりルーブリックが静的なプロンプトの足場からクエリ適応型の中間表現へと変換されます。

ビデオはペアではなく独立してスコアリングされ、著者らが付録の分析で記述しているペアワイズ位置バイアスを回避します。

結果

評価はEvalVerse上の16の二次元(人間評価に対するポイントワイズPLCC/SRCC)と、ペアワイズ転移のためのVGRB(26,500ペア)をカバーしています。

EvalVerseにおいて(全ベースラインがサポートする10次元のマクロ平均):

  • RewardVerse(Joint):PLCC 0.554、SRCC 0.446。
  • 最良の従来モデル、Q-Scorer:PLCC 0.467、SRCC 0.354。
  • VideoScore2:0.433 / 0.427;VisionReward:0.408 / 0.351;VideoReward:0.384 / 0.399;UnifiedReward:0.334 / 0.328;VideoScore-v1.1:−0.033 / 0.132。

つまり、RewardVerseは最強の外部RMと比較してPLCCを絶対値で約0.087(相対値で約19%)、SRCCを約0.05改善します。

パイプラインのアブレーションによって議論がより明確になります:

  • Raw-seed Rubric(シードルーブリックによるゼロショットスコアリング、訓練なし):PLCC 0.311、SRCC 0.275。
  • Raw-rubric(動的に生成されたが較正されていないルーブリック、ゼロショットスコアリング):PLCC 0.379、SRCC 0.293。
  • Joint(完全なRGPO): PLCC 0.554、SRCC 0.446。

動的ルーブリック単独ではシードルーブリックに対して控えめなPLCCの向上(+0.068)が得られますが、SRCCはほぼ変化がありません。結合較正こそがギャップを埋めます — スコアラーはルーブリックを受け取るだけでなく、使用するように訓練される必要があります。Jointにおける注目すべき次元ごとの向上としては、PLCCでExpression 0.566(0.144/0.277から)、Pace 0.471(0.079/0.075から)、Progression 0.510(0.225/0.183から)が挙げられます。

定性的には、学習済みルーブリックジェネレータはクエリに適応します。Visual Qualityクエリでは、テーマとヒントは一般的なまま(色彩忠実度、レンズ特性)です。Consistencyクエリでは、ヒントはプロンプトで指定された具体的なエンティティに基づいたものになります。

動的ルーブリックのサンプル:Visual Qualityに対する抽象的テーマ vs. Consistencyに対するエンティティグラウンドなヒント。

限界と未解決の問題

  • 報告された向上は単一の7Bバックボーン(Qwen2.5-VL-7B)に依存しており、その恩恵がどの程度ベースMLLMの instruction-following 能力に依存するかは不明です。より小さいバックボーンでは、有用なルーブリックの生成とスコアリングの両方を行う容量が不足する可能性があります。
  • ルーブリックは追加の推論コストとレイテンシを導入します(r を生成してからスコアリング);RewardVerseを報酬として組み込んだ場合のRL wall-clock への影響は論文で定量化されていません。
  • 一部の次元でのSRCCは依然として低く(Character 0.146、Compositional-related 0.243)、ルーブリックが弱い識別シグナルしか提供しない場合にランク順序がまだノイジーであることを示しています。
  • 絶対値PLCCの約0.55は意味のある向上ですが、上限には程遠く;人間間合意の上限は報告されていません。
  • 研究の動機となった q の敵対的パラフレーズへの頑健性は機構的に議論されていますが、報告された結果で直接定量化されていません。

この研究の意義

ビデオ生成RLのための報酬は最も弱いリンクでした:MLLM上のスカラーheadはドリフトして潰れてしまいます。RewardVerseは、ルーブリックを学習された中間変数として扱い、calibration lossの下でスコアラーと共に訓練することで、MLLMを意味のあるポイントワイズ解像度を持つ報酬モデルに変換できることを示しています — これはビデオジェネレータの安定したRL fine-tuningのための前提条件です。

Source: https://arxiv.org/abs/2609.22947

Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents

問題

既存のエージェント型メモリシステム(Reflexionによる反省、MemPによるワークフロー、SkillOSによるスキル、ReasoningBankによる推論戦略)は、書き込み時に固定した抽象化を採用しています。軌跡が完了すると、クエリに依存しないアーティファクトに蒸留され、後に類似度によって検索されます。これには2つの構造的な問題があります。

  1. 不可逆な情報損失。 蒸留はあらゆる将来のクエリを予測しなければならないため、要約器が破棄した詳細は失われてしまいます。異なる将来のタスクは、同じ生のトレースに対して異なる射影から恩恵を受けることがあります。
  2. 長期的なクレジット割り当て。 書き込み時の決定の有用性は、意味的に関連するタスクが到着したときに初めて現れますが、それは多くのステップ後になる可能性があります。そのため、書き込み時のキュレーターを訓練するには、遅延報酬の逆伝播か、手作業によるタスクのグループ化が必要です。

JitMemはこのスケジュールを逆転させます。生の軌跡を保持しておき、x_tが既知である読み取り時にキュレートします。

手法

システムは4つのコンポーネントで構成されており、訓練されるのはキュレーター\pi_\phiのみです。エグゼキューター\pi_Lと検索器\mathcal{R}はfrozenです。

JitMemの概要。検索器が生の軌跡を取得し、キュレーターが現在のタスクに条件付けてそれらを蒸留し、タスク適応型のペイロードとしてエグゼキューターのコンテキストに注入する。成功した軌跡はゲートを通じてメモリバンクに戻される。

ストリーム\{x_1,\ldots,x_T\}における各タスクx_tに対して:

  1. 検索。 \hat{\bm{\xi}}_t = \mathcal{R}(x_t, \mathcal{M}_t):タスク記述のみ(軌跡本体は含まない)に対してBM25を用いたtop-kの生の軌跡を取得します。これにより、計算コストが低く、長さに依存しない検索が実現されます。
  2. キュレーション。 p_t = \pi_\phi(x_t, \hat{\bm{\xi}}_t):現在のタスクに条件付けたコンパクトな自然言語ブリーフィングを生成します。
  3. 実行。 (\xi_t, r_t) = \pi_L(x_t, p_t)、ここでr_t \in [0,1]は環境から得られます。
  4. 更新。 LLM-as-judge(エグゼキューター自身)が軌跡を成功と判定した場合、\xi_tを\mathcal{M}に追加します。ペイロードp_tは一時的なものであり、保存されません。

目的関数は以下のように単純です: \max_\phi \; \mathbb{E}\!\left[\sum_{t=1}^T r_t\right].

p_tは報酬を生成したタスクと同じタスクで消費されるため、クレジット割り当ては1ステップの問題に帰着します。つまり、キュレーターは遠い将来のクエリへの保存決定を帰属させることなく、また関連タスクを人為的にクラスタリングすることもなく、即時のタスク成功に対して直接policy gradient型のRLで訓練できます。これが遅延キュレーションの主な構造的利点です。

メモリバンクは抽象化されていない(x, o_1, a_1, \ldots, o_n, a_n)のタプルを保存します。生のトレースを保持することは不可欠です。同じ軌跡を異なるx_tに対して異なる形に射影できるからです。エグゼキューター-as-judgeによるゲーティング(成功・失敗ラベルを付けてすべての軌跡を保存するのではなく)については、セクション4.2でablationが行われており、成功例のみの保存が優れています。

結果

評価はALFWorld(SRとScore)とWebShop(SR)において、3つのfrozenエグゼキューター(Qwen3-8B、Gemini-2.5-Pro、および抜粋で省略された3番目)で行われました。数値は異なるタスク順序による3シードの平均です。“-base”は prompted(未訓練)キュレーターを示します。

Qwen3-8B エグゼキューター。 メモリなしのベースライン:47.9 / 33.3 / 9.8(ALFWorld-SR / ALFWorld-Score / WebShop-SR)。最強の既存手法ベースラインはSkillOSで61.2 / 40.6 / 16.5です。JitMem-base(promptedのみ)はほぼ同等またはそれ以下:60.5 / 32.5 / 11.7。重要なのは、WebShopにおいて未訓練キュレーターがメモリなしベースラインを下回る(Score: 32.5 vs 33.3)点であり、読み取り時の合成は訓練なしでは自動的に有用ではないことを示しています。RLで訓練されたJitMemは77.4 / 61.1 / 32.8に達し、SkillOSに対する絶対的な改善幅は+16.2、+20.5、+16.3です。WebShopにおけるSRが16.5から32.8へとほぼ倍増したことが最も顕著であり、prompted キュレーターの負のデルタ(−0.8 Score)を+20.5の改善に転換しています。これは、価値のほぼすべてが\pi_\phiをr_tに対して訓練することから生じていることを示しています。

Gemini-2.5-Pro エグゼキューター。 メモリなし:66.4 / 48.6 / 38.4。最良のベースラインSkillOS:80.2 / 56.0 / 41.3。JitMem-baseはすでにALFWorld-SRで80.0に達しており、訓練前の最強ベースラインと同等です。(抜粋では訓練済みJitMemの行が省略されています。)より強力なエグゼキューターにおいてprompted キュレーターがSkillOSに匹敵するという結果は、能力の高いエグゼキューターは学習済みキュレーターがなくても読み取り時のタスク条件付き要約を活用できるという考えと一致しています。その上に訓練による利得がさらに加わることになります。

テーブルからの副次的な観察として、ReasoningBank、MemP、SkillOSなどのベースライン内でキュレーターLLM(Qwen3-8B vs Gemini-2.5-Pro)を交換しても、スコアの変化はわずか数ポイントにとどまります(例:ReasoningBankのALFWorld-SRがGeminiで71.4 → 78.6)。JitMemの最良ベースラインに対する差は、キュレーターモデルの交換による差よりも実質的に大きく、改善が単により強力な書き手によるものではないことを示しています。

制限と未解決の問題

  • 検索はタスク記述のみに対してBM25を使用しており、キュレーターは自分が見る生のトレースに影響を与えることができません。共同で訓練された検索器は、関連する戦略のカバレッジが向上して役立つ可能性もありますが、クレジット割り当てが難しくなる可能性もあります。
  • 生の軌跡を保存するため、ストレージコストが増大します。本論文(この抜粋では)バンクサイズの制限や退避については議論されていません。長期間のデプロイメントでは圧縮が必要となり、書き込み時の決定を再導入することになります。
  • エグゼキューターをjudgeとして使用するLLM-as-judgeゲーティングは、系統的なバイアスのリスクがあります。エグゼキューターが成功と判断した(しかし実際には成功していない)軌跡が正例として保存され、その逆も起こり得ます。
  • 1ステップのクレジット割り当てが成立するのは、p_tが保存されないからに他なりません。タスクをまたいだペイロードの再利用があれば、本論文が回避している遅延有用性の問題が再導入されることになります。
  • 両ベンチマーク(ALFWorld、WebShop)は短い軌跡と狭いタスク分布を持っています。より長いホライズンや異質なタスクストリームでの挙動は、ここでは検証されていません。

なぜこれが重要か

メモリキュレーションを書き込み時から読み取り時へと先送りすることで、学習済みメモリシステムを密かに制約してきた長期的なクレジット割り当て問題が解消され、キュレーターを即時タスク報酬からエンドツーエンドで訓練できるようになります。実証的な差(例:Qwen3-8BにおけるWebShop SRのほぼ倍増)は、書き込み時の帰納的バイアス(反省、スキル、ワークフロー)が相当量のシグナルを活かせていなかったことを示唆しています。

Source: https://arxiv.org/abs/2609.27334

Hacker News Signals

ClaudeがCRISPR様リピートを持つ新規酵素システムを発見

Anthropicは、Claudeがゲノムデータ解析の支援中に、CRISPR様リピート配列を含む未同定の酵素システムを特定したと報告しています。技術的な主張の核心は、このモデルが大規模な生物学的配列データセットを処理する中で、既知のCRISPR-Casアーキテクチャのキュレーションデータベースとは一致しない、新規タンパク質コード領域に関連するクラスター化リピートのパターンを検出したというものです。この推定システムには、UniProtおよびNCBI nrに近縁ホモログが存在しないエフェクタータンパク質らしき領域に隣接するリピートアレイが含まれており、未配列の系統からの水平遺伝子移入、あるいはリピートに基づく防御・編集機構の収束進化のいずれかを示唆しています。

方法論的に注目すべき点として、Claudeは反復的に活用されていました。研究者がバイオインフォマティクスに関するクエリを提示し、Claudeが配列アライメント戦略を提案して異常を検出し、ウェット・ラボによるフォローアップで発現と活性を検証するというプロセスです。これは強い意味での自律的な発見ではなく、人間による実験的な結論付けを伴うAI支援型の仮説生成です。発表時点では当該酵素の生化学的活性が完全には明らかにされていないため、「CRISPR様」という呼称は構造的な観察であり、機能的な同等性を主張するものではありません。

未解決の問いは重要です。リピートアレイが実際に適応免疫機能を媒介するかどうか、関連タンパク質がヌクレアーゼ活性を持つかどうか、そしてこのシステムが原核生物に広く分布しているのか、それとも特定系統に限定されたアーティファクトなのかという点が挙げられます。発表に際してプレプリントも査読済み論文も添付されていないため、現段階では独立した精査が不可能な状況です。

このようなAI-in-the-loopのゲノムマイニングが技術的に興味深い理由は、メタゲノミクスデータベースの成長速度が人間の解析能力を上回っており、配列空間におけるパターン認識が現実的な活用事例として成立し得るからです。しかし、新規の生物学に関する特別な主張には、標準的な特別な証拠が求められます。

Source: https://www.anthropic.com/news/claude-discovers-novel-enzyme-system


OpenAI GPT-6 AstraがEnigmaメッセージの解読に成功——2005年以来未解決だった暗号文

MVUEHメッセージは、未解決のまま残っている最後の戦時中Enigma傍受文の一つであり、20年間にわたって暗号解析を阻んできた暗号文です。その困難さは、未知のホイール順序、未知のプラグボード設定、そして異常に短いメッセージ長が組み合わさることによって生じています——これらすべての要因が、ブルートフォースによる全数探索を計算コスト的に高価なものとし、統計的攻撃を力不足にさせています。Enigmaに対する標準的な攻撃手法は、一致指数(index of coincidence)解析および既知平文クリブ(crib)によるものですが、短いメッセージはIC(一致指数)に基づくロータ識別に必要な統計的質量を欠いており、クリブがなければプラグボードの探索空間(26!から対称性制約を除いたもの)は十分な枝刈りなしには手に負えません。

cryptocellarのレポートによれば、GPT-6 Astraは、ロータ構成に対するヒューリスティック探索と候補平文の反復的精緻化を組み合わせることで解読に貢献したとされています——実質的には、モデルをスコア付きの仮説生成器として機能させ、部分復号の妥当性をドイツ語言語モデルおよび既知の海軍・国防軍メッセージの慣習に照らして評価させるというものです。これはハイブリッドなアプローチです。制約伝播によって鍵空間を絞り込み、LLMが候補出力を言語的一貫性によってスコアリングすることで、純粋な山登り法(hillclimbing)による最適化器を意味論的に考慮したスコアリング関数で置き換えています。

解読の技術的な核心は、最終的な平文が補強する歴史的記録によって検証されたのか、あるいは高いモデル信頼度を持つ最有力候補平文に留まっているのかという点にかかっています。レポートはロータ設定を特定し、整合的なドイツ語平文が得られたと主張していますが、これはこの種の解読における実質的な証明基準です——アーカイブには正解となる鍵が現存していないのです。

これが注目に値するのは、LLMの能力そのものについて何かを示しているからではなく、暗号解析の方法論として意義があるからです。構造化された組み合わせ空間における探索において、言語モデルを候補平文のスコアリングオラクルとして用いるというのは、明快かつ再現性のある手法であり、他の歴史的暗号問題にも応用可能です。

Source: https://www.cryptocellar.org/bgac/the-mvueh-break.html


GPT-6 AstraがCar運転能力を獲得

DrivingBenchは、エンドツーエンドの自律走行タスク向けのbenchmarkおよび評価ハーネスであると思われ、GPT-6 Astraはカメラ入力と自然言語によるルート指示からステアリング角、スロットル、ブレーキといった低レベルの制御コマンドを出力できるvision-language-actionモデルとして評価されています。技術的な主張は、このモデルがシナリオ固有のfine-tuningなしに多様なシナリオに汎化し、シミュレーション内での都市部の交差点、高速道路への合流、悪天候に対応できるというものです。

示唆されているアーキテクチャは、トークン化された画像パッチとルート説明を同時に入力として取り込み、離散または連続的なアクショントークンを出力するmultimodal transformerです。これはRT-2やDriveVLAのアプローチと精神的に類似しており、事前学習済みVLMバックボーンが意味的なシーン理解を提供し、actionヘッドがfine-tuningされるか、あるいは走行ポリシーへとpromptされる形をとります。重要なエンジニアリング上の問題は、これがpromptベースのzero-shot transferなのか、走行デモンストレーションに対するsupervised fine-tuningが行われたのかという点ですが、benchmarkのページではこれを完全には明示していません。

DrivingBenchの評価metricsには、衝突率、ルート完走率、違反件数(赤信号無視、車線違反)、およびCARLAのleaderboard手法から適応した複合走行スコアが含まれます。報告されている数値では、最も複雑な都市シナリオのルート完走において、GPT-6 Astraが従来のstate-of-the-artを上回るとされていますが、モデルの重みや再現可能なCARLAチェックポイントが公開されていないため、独立した検証は不可能です。

制約事項は、シミュレーションから実環境へのsim-to-real走行benchmarkに共通するものです。CARLAのレンダラーは実際のセンサーノイズを再現できず、シミュレーション内のエッジケース分布は実際の交通とは大きく異なり、また大規模VLMの推論ループのレイテンシと物理的な車両のリアルタイム制御要件との整合性も取れていません。「自動車を運転する能力」という表現は、実際に示されたことを誇張しています——これは特定のシミュレータにおける優れたbenchmark性能に過ぎません。

Source: https://drivingbench.com/


Claudeが何かを計測できるようになれば、それを高速化できる

このClaude.devエンジニアリングブログの投稿では、Claudeの推論(inference)およびツールインフラに適用されたパフォーマンス最適化ループについて説明しています。中心的な主張は、計装(instrumentation)が整備されて初めてレイテンシの改善が現実的になったというものです。計測前、エンジニアたちは直感に頼って最適化していましたが、計測後は定量的な影響をもとに特定のボトルネックを狙い撃ちできるようになりました。

技術的な内容はいくつかの領域にわたります。まず、個々のツール呼び出し、コンテキストウィンドウの組み立て、エージェント型スキャフォールディング内のネットワークラウンドトリップという粒度でトレーシングが追加されました。これにより、ウォールクロックレイテンシの相当な割合が、モデルのforward passではなく、コンテキストのシリアライゼーションとプロンプト構築に起因することが判明しました。この結果は事前には自明でなく、細粒度のプロファイリングなしには発見できなかったものです。次に、繰り返されるコンテキストプレフィックスのキャッシングが拡張されました。ターン間で同一のシステムプロンプトや静的なツール定義をKV cacheに固定することで、マルチターンセッションにおける実効的なプロンプト処理時間が削減されました。さらに、ツール実行の並列性が向上しました。単一のモデルターン内でデータ依存関係のないツール呼び出しについては、直列ではなく並列に発行されるようになりました。

定量的な主張としては、マルチステップのコーディングタスクにおいてメジアンレイテンシが約2倍削減されたこと、そしてp95レイテンシの削減幅がメジアンの改善に対して不釣り合いなほど大きかったことが挙げられています。これは、テール部分が特定のシリアライゼーションの病的な挙動に支配されていたことを示しており、プロファイリングによってその原因が明らかになりました。

このエンジニアリング上の教訓は、原理的には新しくありません。「最適化の前に計測せよ」は標準的な考え方です。しかし、LLMエージェントという文脈での具体的な実例は有益です。エージェント型ループにおける支配的なコストはしばしばスキャフォールディングのオーバーヘッドであり、モデルの計算ではありません。この事実は、類似システムを構築するすべての人にとって実質的なアーキテクチャ上の示唆をもたらします。

Source: https://claude.dev/blog/how-we-made-claude-ai-faster/


Claude CodeはtelemetryがオンのときのみAGENTS.mdを読み込む [修正済み]

これは、セキュリティ上の影響を持つ動作バグの報告です。研究者が発見したのは、AnthropicのCLIコーディングエージェントであるClaude Codeが、プロジェクトルートのAGENTS.mdファイル(エージェントレベルの動作設定を提供するための規約)に記述された指示を解析・実行するのは、使用状況のtelemetryが有効な場合に限られるという問題です。telemetryを無効にすると、このファイルは黙って無視されていました。

レポートで再構成された技術的な原因は、コードパスの依存関係にあります。telemetryの初期化ルーチンが、設定読み込み関数の呼び出しを意図せずゲーティングしていたのです。AGENTS.mdのパーサーは、telemetryクライアントが初期化されたときにのみ到達するブランチ内で呼び出されていました。つまり、if telemetry_enabled: init_telemetry(); load_agent_config()という構造(または同等のもの)により、プライバシーを重視してオプトアウトしたユーザーに対しては設定の読み込みがスキップされていたことになります。

セキュリティ上の影響は、直接的な脆弱性というよりも、信頼性と予測可能性の問題です。意図的にtelemetryを無効にしたユーザー——多くの場合、機密性の高いコードベースにおける守秘義務上の理由から——は、エージェントの設定が有効であると思い込んで作業していましたが、実際にはそうではありませんでした。AGENTS.mdに記述されたセキュリティポリシー、スコープの制限、あるいはワークフローの制約は、すべて黙って無視されていたのです。これは、telemetryオフのパスがデフォルトではなく、また設定状態をまたいだ動作の乖離がエージェントツールのQAチェックリストに含まれることがほとんどないため、テストで発見することが難しいタイプの微妙なバグです。

Anthropicはこの問題を認識し、修正しました。より広い教訓として、セキュリティ上の意味を持つコンテンツを含むエージェント設定ファイルには、すべてのランタイム設定状態にわたる明示的なテストカバレッジが必要であること、そして複雑なCLIツールにおける初期化順序のバグが、非自明な動作上の結果をもたらし得ることが挙げられます。

Source: https://blog.szypowi.cz/p/claude-code-reads-agents.md-only-when-telemetry-is-on/


Gemini 3.8 テキスト読み上げ

GoogleのGemini 3.8 TTSリリースでは、専用の独立したTTSパイプラインではなく、同じマルチモーダル基盤モデルの上に構築されたシステムが説明されており、これがアーキテクチャ上の興味深い設計上の選択です。従来の産業用TTSスタック(Tacotron/VITS/StyleTTSの系譜)は、明示的なプロソディ表現を持つ専用の音響モデルを使用していますが、ここでの主張は、汎用言語モデルのバックボーンが、適切にfine-tuningまたはプロンプトされることで、これらの専用コンポーネントなしに競争力のある音声合成を実現できるというものです。

このシステムは音声トークンを出力し、それがボコーダーによって波形にデコードされます。トークン表現は重要な要素です:メルスペクトログラムフレームを予測するのではなく、モデルは離散的な音声コーデックトークン(SoundStreamやEnCodecスタイルのコーデックによるものと考えられます)を予測することで、自己回帰LMの学習目標を直接適用できます。これはAudioPaLM、SoundStorm、VoxtLMで使用されているアプローチと同じであり、3.8における新規性はそのスケールと一般的なGeminiモデルファミリーとの統合にあります。

主張されている機能としては、24言語にわたる多言語合成、自然言語指示によるきめ細かなプロソディ制御(「ゆっくりとフォーマルなトーンで話す」など)、および単一の inference パスでのマルチスピーカー対話合成が挙げられます。マルチスピーカーの単一パス機能は技術的に自明ではありません:これは、話者アイデンティティトークンをターン間で追跡し、音響コンテキストをリセットすることなく声の特性を適切に変調させる必要があります。

引用されている評価指標としては、クリーンなスタジオ録音における人間の音声と競合するMOSスコア、およびノイズを含む・自発的な領域における自然さに関して高い選好スコアが挙げられています。TTSの歴史的な弱点であった、珍しい固有名詞・コードスイッチング・数字や記号が多いテキストに対するロバスト性は改善されたと主張されていますが、公開投稿においては網羅的なベンチマークは行われていません。

Source: https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-8-text-to-speech/


ArXivが独立した非営利組織として存続するための複数年にわたるコミットメントを確保

ArXivは、コーネル大学の管理のもとで独立した非営利組織として運営を継続するための、複数年にわたる資金コミットメントを確保しました。これはインフラストラクチャに関する話題であり、研究そのものに関するものではありませんが、ML研究エコシステム全体にとって重要な意味を持ちます。ArXivは実質的にすべてのML/AIプレプリントをホスティングしており、ペイウォールも投稿料も存在せず、ジャーナルと比較して軽量なモデレーションを持つ、重要な共有インフラとして機能しています。

これまでの資金調達モデルは、大学や研究機関が段階的な年会費を支払うメンバーシッププログラムを中心とし、現在終了または移行期を迎えているサイモンズ財団の助成金によって補完されていました。今回の新たなコミットメントは、この基盤を拡充・多様化するものと見られ、技術インフラのアップグレードに向けた運営余力を提供します。ArXivのコードベースと投稿パイプラインは老朽化しており、投稿UIの使いづらさ、メタデータの処理、LaTeXのコンパイルエラー、モデレーションキューの扱いにくさについては長年にわたって不満の声が上がっていました。

ArXivが直面している技術的課題は容易ではありません。埋め込みデータセット、補足動画、インタラクティブな図を含む大規模な投稿の取り込み、現在2,300万件を超えるコーパスに対する検索・推薦のスケーリング、現代のMLペーパーの慣習を正確にレンダリングするLaTeX-to-HTMLコンパイルの維持、そしてCS/MLカテゴリの投稿数が年間約20%のペースで増加する中でのモデレーション業務の管理が挙げられます。

独立性を強調している点は重要です。大規模な商業エンティティがArXivの機能を買収または吸収するのではないかという懸念が定期的に示されてきました。独立した非営利の資金調達を確保することは、このガバナンスリスクに直接対処するものです。研究者にとっての実際的な意義は、無料アクセスの継続性と、Semantic Scholar、Connected Papers、論文推薦システムなどのダウンストリームツールが依存するオープンAPIの存続にあります。

Source: https://blog.arxiv.org/2026/09/23/arxiv-receives-multiyear-investment/


StripeのKnowledge AIプラットフォーム

Stripeのエンジニアリングブログでは、ドキュメント、ランブック、コードの規約、インシデントのポストモーテム、API仕様といった組織内の知識を、社員が検索できるようにするとともに、Stripe開発者ポータルを通じて外部の開発者にも選択的に公開する社内プラットフォームが紹介されています。このシステムはretrieval-augmented generation(RAG)プラットフォームですが、実装の詳細が十分に記述されており、検討する価値があります。

retrieval層はハイブリッドアプローチを採用しています。dense vector retrieval(embeddingベースのANN検索をFAISSまたは類似のインデックス上で実行)とBM25 sparse retrievalを組み合わせ、学習済みのre-rankerで2つの結果セットをマージしています。このデュアルパスアプローチは、純粋なdense retrievalがキーワード重視の技術的クエリに対して示す既知の失敗パターンに対処するものです。特定のAPIパラメータ名やエラーコードについて質問する開発者にとって、sparse retrievalの方がsemantic embeddingだけよりも高いrecallが得られます。

インデックスのパイプラインも単純ではありません。Stripeの社内ドキュメントはConfluence、Notion、社内wiki、GitHub README、自動生成されたAPIリファレンスドキュメントといった多様なソースに存在しており、それぞれ構造、鮮度のシグナル、権威レベルが異なります。このプラットフォームはソースレベルの信頼度の重みを付与し、ドキュメントの鮮度をretrievalのシグナルとして活用しています。古くなったランブックのランクは下げられ、上位にretrieveされたドキュメントが一定の閾値より古い場合には鮮度に関する警告が表示されます。

生成ステップでは、Stripeはcitation groundingを採用しています。モデルの応答における全ての主張はソースチャンクにリンクされており、UIはこれらのリンクをユーザーに公開しています。これはhallucinationの問題を排除することではなく、エビデンスの連鎖を監査可能にすることで対処するアプローチです。ブログでは、citation accuracy(引用されたチャンクが生成された主張を実際にサポートしているかどうか)のために、Stripe自身のドキュメントドメインで学習した別途の検証モデルが必要であったことが述べられています。

レイテンシのバジェット、およびretrievalインデックスサイズとクエリレイテンシのコストトレードオフについても議論されていますが、具体的な数値は示されていません。

Source: https://stripe.dev/blog/meet-stripes-knowledge-ai-platform

注目の新しいリポジトリ

okf-memory/okf-agent-memory

AIコーディングエージェント向けのGitネイティブな永続メモリレイヤーで、Google Open Knowledge Format(OKF)v0.2仕様を実装しています。コア設計では、エージェントのメモリをGitリポジトリ内の構造化ファイルとして保存するため、外部データベースへの依存なしに完全なバージョン履歴とdiff機能が利用できます。インメモリのBM25 search indexはロード時に構築され、300マイクロ秒以下でクエリに応答します。これはエージェントループ内でレイテンシのオーバーヘッドを生じさせることなく同期的に実行できる速度です。組み込みのMCP(Model Context Protocol)サーバーは、別プロセスへのネットワークラウンドトリップを必要とせず、MCP互換のあらゆるエージェントにメモリを公開します。「progressive disclosure」メカニズムは、各ステップでモデルに対して文脈的に最も関連性の高いメモリチャンクのみを提示します。著者らによれば、これによりナイーブなフルコンテキスト注入と比較してtokenの消費量が約80%削減されるとのことです。実装全体は純粋なGoで書かれており外部依存がゼロであるため、他のGoベースのツールへの組み込みや異なるターゲットへのクロスコンパイルが容易です。Gitネイティブなストレージにより、標準的なgit操作を使用してメモリの共有、ブランチ作成、ロールバックが可能で、マルチエージェント構成やエージェントの事後的な動作デバッグに役立ちます。ベクターデータベースやクラウドサービスを立ち上げることなく永続的なエージェントメモリを実現したい場合に、評価する価値があります。

Source: https://github.com/okf-memory/okf-agent-memory


datawhalechina/zero-to-sglang

SGLang チームと Datawhale が共同制作した、LLM 推論の基礎原理から本番グレードの実装までをカバーする体系的なコースです。カリキュラムは3段階で構成されています:(1) 推論メカニズムの概念的基盤 — KV caching、continuous batching、メモリ管理、スケジューリングポリシー;(2) SGLang 互換の最小限のランタイムをゼロから構築することで、アーキテクチャを単に読むだけでなく内側から理解する;(3) 実際の SGLang コードベースを読み、真のアップストリーム PR を提出する。最後のステップは異例なほど具体的で、大半の教育プロジェクトは本番コードに触れる前に終わってしまいます。教材は英語と中国語の両方で提供されており、Datawhale が著者であることを考えると中国語版の方がより完成度が高いと思われます。SGLang をブラックボックスとして使用している研究者にとっては、レイテンシの発生源を理解し、スケジューラをプロファイリングまたは修正する方法を学ぶための近道となります。エンジニアにとっては、ゼロから構築するフェーズにより、RadixAttention やチャンクドプリフィル最適化が実際のコードベースで登場する前に理解しやすくなります。Stars-to-age 比は急速な採用を示しており、推論最適化分野における SGLang プロジェクトの成長軌跡と一致しています。

Source: https://github.com/datawhalechina/zero-to-sglang


Loopera-ai/loopera

クオンツファイナンスにおける基本的なファクター研究、特にクオンツ研究者が手動で繰り返す仮説生成・検証ループをターゲットとしたAIエージェントフレームワークです。このエージェントは仮説駆動で動作し、ファクター仮説を生成し、検証手順を設計し、実証テストを実行し、エビデンスの品質に基づいてさらなる開発を進めるかを判断し、研究メモリストアに知見を永続化します。「エビデンスゲート型バリデーション」というフレームワークは、統計的検証が設定可能な閾値をクリアしない限り、エージェントが下流のステップ(ポートフォリオ構築、論文執筆、本番デプロイ)に進まないことを意味し、偽のファクターの増殖を抑制します。研究メモリコンポーネントはセッションをまたいで知見を蓄積し、エージェントが既知のデッドエンドの再テストを避け、過去に検証済みのコンポーネントからより複雑な仮説を構成できるようにします。これは汎用的な金融RLやエンドツーエンドのトレーディングシステムよりも狭いスコープであり、ファクター発見の研究ワークフローに明示的に焦点を当てています。仮説の試行錯誤部分を自動化したい、体系的な基本ファクターパイプラインを運用するチームに適しています。中国語を優先したドキュメントは主要なターゲットユーザー層を反映していますが、コア技術設計はコードから読み取ることができます。

Source: https://github.com/Loopera-ai/loopera


muellerberndt/cadence

「コンセンサス型均衡世界モデル(consensus-style equilibrium world models)」を構築するための機械学習ライブラリです。主要なアイデアは、モデルの更新が単一の loss に向けた単純な gradient descent ではなく、複数の競合する仮説間のコンセンサスメカニズムによって制御されるというものです。このライブラリは継続学習(continual learning)の設定を対象としており、壊滅的忘却(catastrophic forgetting)を起こすことなく新たな経験を統合できるよう設計されています。均衡(equilibrium)というフレーミングはゲーム理論的均衡との類比を用いています。すなわち、任意の時点におけるモデルの状態は、観測データと整合する仮説上の安定した分布を表しており、更新は新たな点推定ではなく新たな均衡へと向かう形で行われます。実用的には、データ分布が継続的にシフトし続け、完全な再学習なしにそのシフトをモデルが追跡しなければならないアプリケーションへの適用が想定されています。このライブラリは初期段階にあり(スター数272)、コアアルゴリズムが最も注目すべき部分です。コンセンサスメカニズムが重み付き投票を伴う ensemble として実装されているのか、変分目的関数として実装されているのか、あるいはより新規なものとして実装されているのかは、ソースコードを直接確認する価値があります。均衡収束の保証が経験的に成立するのであれば、長期稼働するエージェント環境において有用となり得ます。

Source: https://github.com/muellerberndt/cadence


nokia-applied-research/AnyJev

fine-tuning なしで任意の LLM を Jev スタイルの意思決定モデルに変換する Adapter layer です。Jev の形式主義では、決定が型付けされている(出力スキーマが事前に宣言される)こと、および代替案に対してキャリブレーションされた確率を持つことが要求されます――これらは LLM がネイティブには満たさない特性です。AnyJev は、任意の LLM を構造化された prompting と出力パース層でラップし、型付き決定インターフェースを強制するとともに、制約付き生成または logit 抽出を通じて明示的な確率推定を引き出します。「学習不要」という主張は、互換性のある API を持つ任意のモデルに対して推論時に機能することを意味します。これは、LLM の判断を下流の確率的推論(例:ベイジアンネットワーク、影響ダイアグラム)と組み合わせる必要がある意思決定理論的パイプラインに有用です――型付き確率出力は機械可読であり、そのようなシステムに直接パイプできます。Nokia Applied Research が出所であることから、形式的な意思決定モデルが長年標準とされてきた通信またはネットワーク管理のユースケースから生まれたことが示唆されます。説明中の「(continue updating)」という注記は、コードベースが活発に進化中であることを示しています。LLM インターフェースが確率の意味論を尊重するハイブリッドなニューロシンボリック意思決定システムを構築している場合、注目する価値があります。

Source: https://github.com/nokia-applied-research/AnyJev


mikehasa/golive-skill

エージェントが構築したアプリケーションを対象としたオープンソースのデプロイメント自動化ツールです。具体的には、コーディングエージェントが動作するアプリを生成した後、ツールベンダーのアカウントではなくユーザー自身のアカウント上で、ホスティング・データベース・ドメイン・メール配信・決済処理をプロビジョニングする必要があるシナリオを対象としています。実装は二つのコンポーネントから構成されます:Agent Skill(エージェントフレームワーク内から呼び出し可能)とゼロ依存のNode CLIです。ワークフローは厳密なパイプラインに従います:既存の環境と不足しているサービスの検出、デプロイメントプランの生成、人間による承認のための提示、変更の適用、そして結果の検証。変更を適用する前にhuman-in-the-loopによる承認ステップが存在することは重要です——これにより、完全自律的なインフラ変更とはならず、本番環境においては適切なデフォルト動作となります。外部依存がゼロでtelemetry・バックエンドも持たないため、CLIは完全に監査可能であり、エアギャップ環境でも実行できます。「自分自身のアカウント」という設計思想により、特定のGoLiveサービスへのベンダーロックインを回避できます。既存のエージェントデプロイメントツールにおける主要な欠落点は、まさに「エージェントがコードを書いた」状態から「ユーザーが所有する実際のインフラ上でコードが動作している」状態へのラストマイルのステップであり、本ツールはその欠落点に直接対処しています。

Source: https://github.com/mikehasa/golive-skill


qiz029/dscode

DeepSeek coding モデルのラッパーで、ベースモデルの API に欠けているいくつかの機能を追加します。具体的には、エージェントのターンをまたいで持続する永続シェルセッション(cd、環境変数のエクスポート、実行中のプロセスがそのまま維持される)、メインエージェントが並列サブタスクのために生成できる「Ultra」サブエージェント、自動化実行中の human-in-the-loop レイテンシを排除するためのツールコール自動承認、ブラウザベースタスク向けの Chrome MCP integration、そしてセッションごとのテレメトリログです。永続シェルは実用上最も重要な機能であり、ほとんどのエージェントフレームワークはターンごとにシェルを再初期化するため、ステートフルなワークフローが破綻します。サブエージェントアーキテクチャにより、大規模なコーディングタスクを各々が独自のシェルコンテキストを持つ並列ワークストリームに分解することが可能です。セッションテレメトリは、どのコマンドが実行され、エージェントが何を判断したかの正確なトレースを提供するため、エージェント障害の事後デバッグに有用です。Chrome MCP integration により、エージェントの対応範囲が純粋なコード生成を超えて、Web スクレイピング、フォーム入力、ブラウザ自動化タスクにまで拡張されます。承認プロンプトを一々確認せずに、長時間・多ステップのソフトウェアエンジニアリングタスクに DeepSeek モデルを使用したいユーザーを対象としています。

Source: https://github.com/qiz029/dscode


xiaYuTian11/maskit

LLMコーディングアシスタントおよびCursor、Claude Code、OpenAI Codexなど、設定可能なベースURLを受け付けるAPIコンパチブルなツールに特化して設計された、ローカルプライバシーサニタイズプロキシ(「データマスキングゲートウェイ」)です。このプロキシはクライアントツールと上流のLLM APIの間に配置され、送信リクエストをインターセプトして、リクエストがマシンから送出される前に機密エンティティ(PII、認証情報、内部識別子)を検出・削除し、ストリーミングレスポンスの受信時に元の値を再注入します。これにより、ユーザーは実際の変数名やデータを参照した一貫性のある出力を得られる一方で、上流モデルは生の機密コンテンツを受け取ることがありません。技術的に興味深い点はストリーム対応のレスポンス復元機能であり、置換マップを維持しながら、ストリームのフレーミングを壊すことなく、トークンストリーミングレスポンスに対して正しく再適用する必要があります。ローカルで動作するため、機密データがサードパーティのマスキングサービスを経由することはありません。これは企業における実際の摩擦点に対処するものです。すなわち、認証情報・顧客データの参照・独自識別子を含むコードベースにホスト型LLMコーディングツールを使用したいが、データガバナンスポリシー上それらを外部APIに送信できないというチームのニーズに応えます。

Source: https://github.com/xiaYuTian11/maskit