デイリーAIダイジェスト — 2026-07-09
arXiv ハイライト
Sparse Delta Memory: スパース性によるLinear RNNの状態のスケーリング
問題設定
Linear attentionおよびgated linear RNN（Mamba2、Gated DeltaNet）は、トークンあたりの計算量が固定でメモリも一定ですが、そのrecurrent stateは密な外積行列 \mathbf{M}_t \in \mathbb{R}^{d_{qk}\times d_v} であり、そのサイズはFLOPsと直接トレードオフの関係にあります。長文脈の想起においてはこの状態が小さすぎますが、拡大しようとすると毎ステップすべてのスロットが更新されるため、更新ごとに二乗オーダーの計算コストが発生します。本論文の前提は、密なdelta-rule更新は無駄が多く、ほとんどのトークンはごく少数のスロットを読み書きするだけでよい、というものです。アドレッシングをスパース化することで、状態容量とトークンあたりのFLOPsを切り離すことができます。
手法
Sparse Delta Memory（SDM）は、Gated DeltaNet（GDN）のrecurrenceを改変し、密な k_t \otimes v_t 更新を、N \gg d_{qk} スロットを持つ明示的なメモリテーブル \mathbf{M}_t \in \mathbb{R}^{N \times d_v} へのスパースな読み書きに置き換えます。各ステップでは以下の処理を行います：
スパースなキー選択（PKM方式）。 キーとクエリをそれぞれ \sqrt{N} サイズの2つの半分に分解します：k' \to [k_1', k_2']（k_i' \in \mathbb{R}^{\sqrt N}）。スコア行列は外積和 k_1' \oplus k_2' \in \mathbb{R}^{\sqrt N \times \sqrt N} であり、N 個のスロットスコアとして解釈されます。top-W で書き込みインデックス \mathcal{I}^w_t を、top-R で読み込みインデックス \mathcal{I}^r_t を選択します。\text{top}_k(s_1 \oplus s_2) = \text{top}_k(\text{top}_k(s_1) \oplus \text{top}_k(s_2)) という恒等式を用いることで、N 次元ベクトルを完全に実体化することなく、O(\sqrt N \cdot d + W^2 + R^2) の選択コストで済みます。
Gated deltaの書き込み。 各 i \in \mathcal{I}^w_t に対して： \tilde{\mathbf{M}}_t[i] \leftarrow \alpha_t \cdot \mathbf{M}_{t-1}[i], \mathbf{M}_t[i] \leftarrow \tilde{\mathbf{M}}_t[i] + \beta_t \cdot k_t^{(i)} \cdot (v_t - \tilde{\mathbf{M}}_t[i]), ここで、per-headのforget gate \alpha_t = \exp(-A \cdot \text{softplus}(W_a x_t + b_{\text{dt}})) およびinput gate \beta_t = \sigma(W_b x_t) を用います。これは選択された W 行にのみ適用されるGDNのdelta ruleです。
スパースな読み込み。 y_t = \tilde{\mathbf{M}}_t^\top q_t を \mathcal{I}^r_t に限定して計算し、g_t \odot \text{LN}(y_t) を経て出力射影 W_o を適用します。
実験における設定：W = R = 64、N = (d/4H)^2 は状態対パラメータ比がおよそ1:1になるよう選択されています（Table 1では、パラメータ数を揃えた場合にSDMのSt:Paramが56〜150%であるのに対し、GDNは0.03〜0.16%であることが示されています）。アーキテクチャはハイブリッド構成で、sliding-window MHA（ウィンドウサイズ128）とglobal SDM/GDN/full-attentionレイヤーの比率が3:1、GQAはgroup 2、RoPE \theta=5\!\times\!10^5 を使用します。初期メモリ \mathbf{M}_0 は学習可能なパラメータであり、SDMにparametic-memoryとしての解釈を与えています。
結果
スケーリング則。 パラメータあたり160トークンの予算で8段階のラダー（280M → 1.48B）を訓練したところ、SDMのloss対FLOPsの曲線は R^2 = 0.999 の冪乗則に従います。レベル13（8B、1.14Tトークン）への外挿による予測は検証され、SDMの最終lossはGDNおよびFullAttnを同スケールで下回りました。
小規模ではSDMがiso-FLOP GDNをすでに上回っており、FullAttnとの逆転はスケールが大きくなるにつれて生じます。これはFullAttnの二乗コストにより、iso-FLOPでのモデルが小型に制限されるためです。関係する状態サイズに注目すると、レベル13においてSDMは7.96Bパラメータのメモリ状態と8.14Bのモデルパラメータを保持するのに対し、GDNの状態は2.2M に過ぎず、同FLOPsで約 3600\times 大きなrecurrent stateを持ちます。
長文脈性能。 1Mトークンのコードドキュメント（1.4Bモデル、128kの長文脈fine-tuning）において、位置ごとのperplexityを比較すると、SDMは訓練コンテキストをはるかに超えた位置でも低いPPLを維持する一方、GDNはより早く劣化します。
学習済み \mathbf{M}_0 のablation。 学習済みの初期状態を持たないSDMでもGDNを大幅に上回っており、容量が支配的な要因であることが示されています。\mathbf{M}_0 の学習はSDMをさらに改善しますが、GDNには測定可能な効果をもたらしません。これは、GDNの状態が小さすぎてパラメトリックな事前分布を活用できないことと整合しています。
限界と未解決の問題
- 8Bの結果は、\leq 1.5B のfitから外挿されたスケーリング則を確認する単一の訓練実行であり、信頼区間はラダーからブートストラップされたものであり、複数実行に基づくものではありません。
- FLOPの計算においてスパースなembedding memoryはパラメータから除外されています。実際には、レベル13のSDMは約8Bのfloat状態をHBM上に保持し、毎ステップgather/scatterを行う必要があります。報告されていないwall-clockおよびメモリ帯域幅コストが、実際の運用における本質的な問題です。
- k_1' \oplus k_2' の因数分解トリックによるtop-k 選択は、真の N 次元スコアに対する厳密なtop-k ではありません。論文では2軸に対する反復top-k が結合top-k を復元するという恒等式を使用していますが、これは組み合わせ論的には成立するものの、選択されたactivationへのsoftmax正規化と好ましくない相互作用を生じる可能性があります。
- W = R = 64 は固定値であり、スパース性（W/N 比）に対する性能スケーリングや、読み込みと書き込みの数を分離すべきかについては本論文では検討されていません。
- 比較対象はGDN/Mamba2/FullAttnのハイブリッドのみであり、他の大容量状態アプローチ（例：Titans、memory-augmented transformer、retrieval-augmented recurrence）との比較はありません。
重要性
SDMは、linear RNNの状態容量ボトルネックが本質的なものではないことを示します。因数分解されたPKM方式のキーセレクタを用いたスパースアドレッシングにより、recurrent stateをパラメータ数に匹敵するまで拡大しながらトークンあたりのFLOPsを一定に保つことができ、これによりハイブリッドモデルがiso-FLOPで8Bのfull attentionを予測可能なスケーリング則のもとで上回ることが可能になります。また、gated delta ruleをスパースな書き込みとして明示的なkey-valueストアへの操作として再解釈することで、recurrent stateとparametric memoryの境界を曖昧にします。
Source: https://arxiv.org/abs/2607.07386
想像されたロールアウトは運動学的であり、動力学的ではない：長期ホライズンにおける世界モデル失敗の診断
学習済み世界モデルの長期ホライズン劣化は、通常「誤差の蓄積」という言葉で説明されますが、この表現は真の値からのあらゆる逸脱を等価なものとして扱っています。本論文は、この失敗には特定の性格があると主張します：潜在空間のロールアウトは、運動学的妥当性——運動らしく見える位置と速度——を保持しがちである一方、それらの軌道を力・接触・レジーム依存的な挙動と結びつけるべき動力学的制約を違反するという性格です。この区別が重要なのは、そうしたロールアウト内で訓練された policy が、実際には環境の物理ではない物理に対して最適化されるためです。環境の動力学が変化した場合（摩擦、質量、アクチュエータ飽和など）、imagination ベースのコントローラには何かが変わったというシグナルが届きません。
診断指標：imagined Kinematic-Consistency Error
著者らは、ロールアウトのデコードされた状態遷移と閉形式の運動学的ヌルモデルとの残差を測定する、ステップごとの imagined Kinematic-Consistency Error（iKCE）を定義します。このヌルモデルは意図的に弱く設定されており、x_{t+1} \approx x_t + \dot{x}_t \Delta t（および姿勢に関する類似の積分）のような運動学的恒等式のみを符号化し、力のモデルは含みません。ロールアウトが運動学的ヌルを緊密に満たす場合、それは「運動らしく見えるもの」と整合していますが、制御入力や接触に対するニュートン力学的応答とは必ずしも整合していません。
具体的には、デコードされたロールアウト \{\hat{s}_t\}_{t=0}^H に対して、ステップ t における iKCE は
\text{iKCE}_t = \big\lVert \hat{s}_{t+1} - f_{\text{kin}}(\hat{s}_t, \hat{s}_{t-1}) \big\rVert,
ここで f_{\text{kin}} は閉形式の運動学的予測器（身体の既知のリンク長と関節パラメータ化を用いた有限差分速度外挿）です。真の物理ロールアウトでは、すべての接触・アクチュエーション事象において真の動力学が純粋な運動学的外挿から逸脱するため、iKCE はゼロ以外の値をとります。この残差が動力学的シグネチャです。「運動学的に」想像する世界モデルは、参照プロセスが運動学的なものからかけ離れていても、自身のロールアウト上で iKCE をゼロに近づけようとします。
摂動プロトコル
診断の後半では、iKCE が物理的レジームの変化に応答するかどうかをテストします。著者らは、DMC walker-walk における地面の摩擦という物理パラメータを、歩行崩壊境界——訓練済み policy が歩行リミットサイクルを維持できなくなる摩擦値——を含む範囲でスイープします。各摩擦値について、(i) 訓練済み policy のもとでの環境の真の報酬、および (ii) その摩擦を条件とした世界モデルが生成するロールアウトの imagined iKCE を計算します。動力学的に忠実な imagination であれば、摩擦が崩壊境界を越えるにつれて iKCE が変化するはずです。運動学的バイアスのかかった imagination はそうなりません。
DreamerV3・DMC walker-walk における結果
公開された DreamerV3 チェックポイントを用いると、imagined iKCE は対応する実物理ロールアウトの iKCE より約2桁高い値を示します——これは「運動学的 imagination」という素朴な読み方が予測する方向とは逆であり、著者らの明確化のポイントは重要です：imagined 軌道は物理的レジームへの反応が欠如しているという意味で内部的に運動学的に見えますが、デコーダが独自のドリフトを導入するため、環境の運動学的ヌルとも整合していません。診断的に重要なのは、摂動に対する iKCE の応答であり、生の値の大きさではありません。
摩擦スイープ全体を通じて、訓練済み policy の真の環境報酬は歩行崩壊境界を超えて崩壊します——大きく単調な低下——一方、世界モデルの imagined iKCE は同じ摩擦範囲にわたって統計的にフラットなままです。これが運動学的であって動力学的ではないシグネチャです：ロールアウトの分布は、真の動力学が不変でない物理パラメータに対して不変なのです。このシグネチャは、身体の歩行周期より長いホライズン——ロールアウトがレジーム依存性を示すために接触とアクチュエータ動力学を正しく積分しなければならないおおよその時間スケール——で検出可能になります。
限界と未解決の問題
この実証は狭いものです：単一のチェックポイント、単一の身体、単一の摂動パラメータ。質量、アクチュエータゲイン、接触剛性の摂動で同じシグネチャが現れるかどうか、また接触が支配的な非線形性である操作タスクに一般化するかどうかは未検証です。運動学的ヌルは身体固有であり、リンク形状の知識を必要とします。これをピクセルのみの観測や未知の形態に拡張するには、追加の同定ステップが必要です。本論文は訓練時の改善策を提案しておらず——これは診断であり、修正ではありません——世界モデルの訓練中に iKCE 不変性をペナルティ化すること、または明示的な動力学残差を注入することが、レジーム変化に応答する imagination を生むかどうかは未解決のままです。最後に、報酬と iKCE のデカップリングは定性的に示されており、物理パラメータに対する iKCE 勾配と policy リターン勾配を関連付ける正式な統計的検定があれば、主張をより厳密にできるでしょう。
なぜこれが重要か
世界モデルの失敗を「誤差の蓄積」から「運動学的 vs 動力学的 imagination」へと再解釈することで、機械論的でテスト可能なターゲットが得られます：モデルは動きがどのように見えるかについては正しくありながら、何がそれを引き起こすかについては間違っている可能性があり、これはまさに変化した物理のもとでの sim-to-real と off-policy プランニングを破綻させる失敗モードです。真の環境の反事実的ロールアウトを必要とせずにこれをフラグとして示す安価なステップごとの診断は、Dreamer スタイルのエージェントを訓練分布を超えてデプロイするすべての人にとって有用な基本要素です。
Source: https://arxiv.org/abs/2607.05966
深層ネイティブ構造推論による正確・学際的・透明な構造―物性理解
タンパク質・小分子・無機結晶にわたる構造―物性予測は、従来ドメインごとに分断されてきました。それぞれが独自の表現（残基グラフ、SMILES/3Dコンフォーマー、周期境界条件を伴うユニットセル）と固有の帰納的バイアスを持っています。SciReasonerは、構造プリミティブ――原子座標、結合トポロジー、周期的接続性――を単一語彙内の離散トークンとして扱い、decoder-onlyの推論器がそれらを参照・引用できるようにすることで、この統合を試みています。その主張は、ドメインネイティブな構造トークンをchain-of-thought推論中のアドレス可能な証拠として用いることで、困難な汎化分割における精度向上と追跡可能な説明の両立が実現できるというものです。
問題設定
本研究は二つの失敗パターンを動機としています。第一に、ほとんどの科学系LLMは線形化された文字列（FASTA、SMILES、CIFテキスト）を入力とするため、幾何学的・周期的な情報が失われ、分布シフト（低相同性タンパク質、分布外スキャフォールド、新たな空間群など）のもとで予測が崩壊します。第二に、特化型の構造モデル（GNN、等変ネットワーク）は高い予測精度を持つ一方、特定の構造特徴を参照する推論トレースを生成しません。両者を同時に満たす要件は、(i) 構造証拠をトークンレベルで保持すること、(ii) 推論プロセスが物理的制約（立体化学、対称性、エネルギー論）に結びついた正当化として特定のトークンを指示できることです。
手法
中核となる構成は、異質な三種類の入力を共通のトークンストリームに離散化する構造認識語彙です。
- タンパク質：残基と、離散化された主鎖・側鎖の幾何情報（二面角 \phi, \psi, \chi および C_\alpha 接触トークン）。
- 小分子：原子の種類、結合次数、立体記述子、および量子化された3D座標。
- 結晶：原子の種類、Wyckoff位置、格子定数、および並進を法としたユニットセル隣接グラフを符号化する周期的接続性トークン。
座標はVQスタイルで量子化され、共有コードブックに格納されるため、「幾何情報」はLMがアドレス可能なシンボルとなります。形式的には、入力構造 S が列 (t_1, \ldots, t_n)（t_i \in \mathcal{V}_{\text{struct}} \cup \mathcal{V}_{\text{text}}）に変換され、モデルは次のように因数分解します。
p_\theta(y, r \mid S) = \prod_{k} p_\theta(u_k \mid u_{<k}, t_{1:n})
ここで r は推論トレースであり、そのトークンは構造トークンのインデックスを参照するよう（attention-basedの引用として）学習され、y は物性ラベルです。学習は以下を組み合わせています：(a) 構造トークンが混在した科学コーパス上でのnext-token prediction；(b) 中間的な主張を支持する構造トークンを注釈したsupervised推論トレース；(c) GOアノテーション、反応結果、材料物性等に対するタスク固有のfine-tuning。「ネイティブ」という点は、周期性と立体化学がトークン化によって失われることなく保持されることを意味します。
推論が透明であるのは、生成された各正当化スパンが使用した構造トークンへのポインタを持ち、残基・官能基・Wyckoffサイトにわたる予測ごとの帰属を与えるためです。
結果
主要な評価は、相同性制御されたGene Ontology予測です。ここでは純粋な配列モデルが劣化するレジーム（低相同性および孤立タンパク質）を分離するため、学習データとの配列同一性が上限で制限されています。SciReasonerはこのレジームにおけるCellular Component F_{\max} を改善しています（アブストラクトは数値の途中で切れていますが、方向性と設定が重要な主張であり、ゲインは高相同性の分割ではなく低相同性・孤立分割に集中しています）。この枠組みは、配列信号が最も弱い場面で構造的事前情報が最も重要となるという期待されるパターンと一致しており、高相同性分割では小さいかほぼゼロのゲインを示唆しています。
タンパク質にとどまらず、本論文はSciReasonerを分子物性予測と結晶物性回帰にわたる単一モデルとして位置づけ、共有構造語彙がクロスドメイン転移（例：分子で学習した立体化学の事前情報がタンパク質側鎖推論を補助する、結晶の対称性の事前情報がアセンブリ推論を補助する）を可能にすると主張しています。提供された抜粋に完全な表がないため、定量的な主張として重視すべきは、(i) 最も困難なGO分割における F_{\max} の改善、(ii) ドメイン専門家が既知の機構的特徴（活性部位残基、薬効団、配位環境）と照合して監査できる帰属トレース、の二点です。
限界と未解決の問題
この設計からいくつかの懸念が生じます。座標量子化は離散化誤差を導入しますが、サブオングストローム精度に敏感な物性（結合親和性、縮退近傍のバンドギャップ）への影響は不明です。コードブックサイズと再構成忠実度が重要なパラメータとなります。周期的接続性トークンはグラフを符号化しますが、正確な格子ベクトルは符号化しないため、ひずみや異方性に依存する物性には補助的な連続ヘッドが必要になる可能性があります。推論トレースはsupervisedで学習されるため、その忠実性はトレース生成の品質に依存します。介入に基づく忠実性テスト（例：引用されたトークンをアブレーションして予測変化を確認する）がなければ、「透明性」は学習目標であって保証ではありません。また、相同性制御GOは一つの困難な分割に過ぎず、より広範なOODベンチマーク（TAPE、構造ベース分割によるMatBench、治療用OOD）が学際的汎化の主張を強化するでしょう。
未解決の問題として、新しいモダリティ（表面、MOF、ポリマー）が追加された際に共有コードブックがどのようにスケールするか、トークン化後に等変性を強制できるか、そして推論トレースが実験で確認された実行可能な仮説（例：予測された変異）を生み出すか、という点が挙げられます。
なぜ重要か
タンパク質・分子・結晶の推論を単一のトークン化されたdecoder内に統合し、構造トークンを引用可能な証拠として用いるアプローチは、配列のみまたは文字列のみのLLMが失敗する場面で汎化できる科学的基盤モデルへの有望な道筋です。帰属トレースが忠実性プローブに耐えるなら、このアプローチは構造―物性予測をブラックボックス回帰から、名前の付いた構造特徴に基づく監査可能な推論へと転換させるものです。
Source: https://arxiv.org/abs/2607.07708
ロボット操作のためのVision-Language-Actionモデルにおける双対潜在メモリ
標準的なVLAポリシーは操作をMarkov的写像 \bm{a}_{t:t+H-1} = \bm{\Pi}_\theta(\bm{o}_t, \bm{I}) として定式化しており、現在のフレームだけでは進捗を曖昧さなく判断できない場合（例:「キューブはすでに拾い上げられたか?」）に時間的状態を失ってしまいます。先行するメモリ拡張VLAは、観測ウィンドウを拡大するか、外部バンクから生の履歴を取得してポリシー側のコンテキストとして連結するかのいずれかです。いずれのアプローチでもメモリはVLAのネイティブなembedding空間の外に置かれるため、過去の証拠は命令や現在のビューと同じattentionパスウェイを通じたクロスモーダル推論に参加できません。
LaMem-VLAはメモリをコンテキストネイティブとして再定式化します：過去の経験はvision-language推論トークンと同じembedding空間に存在する潜在トークンに圧縮され、attentionを介してアクション生成ストリームに注入されます。
手法
本システムは7BのPrismatic VLMと、長さ16の7-DoFエンドエフェクターチャンクを生成する約3億パラメータのdiffusionアクションエキスパートの上に構築された4つのモジュールに分解されます。
Curator（双対ボールト）。 過去の経験は最大容量 L=16 の2つのボールトに分割されます：精細な直近のembedding（視覚運動の詳細：物体の接触、グリッパーの遷移）を保持する短期ボールトと、タスクの進捗を要約するより粗く意味的なユニットを保持する長期ボールトです。この分割により、モデルは高頻度な知覚状態とゆっくり変化するタスク状態を単一の保持ポリシーで圧縮するのではなく、それぞれ個別に保存することができます。
Seeker。 VLMエンコーダからの現在のマルチモーダル表現 \bm{h}_t が与えられると、クエリビルダー \mathcal{B}（2層のマスクattention transformer）が各ボールトから上位 K=8 ユニットを取得するためのクエリを構築します。取得はVLM推論が動作するのと同じ潜在空間上で行われるため、関連性は外部の類似度指標ではなくモデル自身の意味的ジオメトリによって測定されます。
Condenser。 2つの「メモリフォーマー」 \mathcal{F}_v（視覚的/短期）と \mathcal{F}_c（文脈的/長期）は、どちらも2層マスクattentionブロックであり、取得された証拠を固定長の潜在メモリトークンに再構築します：L_s=8 個の短期トークンと L_l=4 個の長期トークンです。固定長であることは、推論シーケンスとの安定したインターリービングおよび計算量の予測可能性のために重要です。
Weaver。 L_s + L_l = 12 個のメモリトークンは、命令トークンおよび現在観測トークンとともにVLMの推論シーケンスに挿入されます。次にdiffusionアクションエキスパートが、メモリを根拠とした隠れ状態を条件として、推論時に10ステップのDDIMを用いてアクションチャンクをデノイズします。
学習には8台のH800 GPUを使用し、GPU当たりのバッチサイズ32（グローバル256）、学習率 2\times 10^{-5}、224\times 224 の単一三人称RGB画像を入力とします。
結果
WidowXロボットを用いたSimplierEnv-BridgeにおいてLaMem-VLAは4タスク（Spoon-on-Towel、Carrot-on-Plate、Stack-Cube、Eggplant-in-Basket）にわたって平均73.9%の成功率を達成しています。これは報告されている最強のベースラインを上回ります：MemoryVLAの71.9%、\pi_0 の69.2%、SemanticVLAの65.1%、CronusVLAの60.4%、CogACTの57.3%。同スイートでOpenVLAは4.2%、RT-1-Xは1.1%であり、これらの複合タスクにおいてMarkov的ポリシーがいかに脆弱であるかを示しています。
タスク別では、LaMem-VLAはCarrot-on-Plate（75.0%、MemoryVLAと同率）、Stack-Cube（41.7%、最高性能）、Spoon-on-Towel（83.3%、SemanticVLAの83.6%および \pi_0 の83.8%に匹敵）において競争力があるか最高性能を示しています。Eggplant-in-Basketは95.8%であり、複数の手法が到達している100.0%の上限に届いておらず、最も容易なタスクにおける残余誤差はメモリに起因するものではないことが示唆されます。
トークン数ablation（図3）こそが設計の主張を具体化するものです：(L_s, L_l) = (8, 4) への固定長圧縮は自明な選択ではありません。割り当て不足と過剰割り当ての両方が性能を低下させており、condenserが非構造化キャッシュとして機能するのではなく、意味のある帯域幅制限された要約を行っていることを示しています。
制限と未解決の問題
- 単一の三人称RGBビューのみを使用しているため、冗長性がすでに時間的手がかりを提供している手首カメラや多視点入力において潜在メモリが同等の効果をもたらすかどうかは不明です。
- 双対ボールトの分割は学習されるのではなく規定されており、実際に短期ボールトと長期ボールトに何が格納されるかの分析がないため、解釈可能性の主張（「知覚的vs.意味的」）はアーキテクチャ的なものであり、実証的なものではありません。
- 取得は現在のエンコーダembeddingに対する上位Kを使用しており、学習時と長いロールアウト推論時のembedding間の分布シフトのリスクがあります。ホライズン長にわたるロバスト性は報告されていません。
- ボールト容量は L=16 に上限が設定されており小さいため、真に長いホライズンのタスク（数百ステップ）に対するスケーリング挙動は示されていません。
- 抜粋中には実ロボットでの結果が報告されておらず、SimulatorEnvのみです。潜在メモリ機構のsim-to-real転移は未解決のままです。
重要性
メモリをポリシー側の補助バンクからVLMのネイティブなトークンストリームへ移動させることは、明確なメカニズム的根拠を持つ小さなアーキテクチャ的変更です：取得された履歴が別個の条件付けシグナルとして付加されるのではなく、命令や観測と同じattention計算に参加するようになります。同規模のMemoryVLAに対する2ポイントの改善は控えめですが、ablationは圧縮帯域幅が（単なる取得だけでなく）機能を担っているという解釈を支持しています。
Source: https://arxiv.org/abs/2607.07608
RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies
問題設定
汎用的なmanipulationポリシーのためのベンチマークは断片的な状態にあります。その多くはシミュレーションのみ、あるいは実機のみに限定されており、扱うスキルの範囲が狭く、またポリシーを異なる能力軸（精度、記憶、長期的な組み合わせ、オープン語彙の指示追従）で区別できない短期的なpick-and-placeタスクのみを対象としています。このため、特定のVLAモデルにおいてどの能力がボトルネックになっているかを診断することが難しく、ハードウェア・作業空間・プロトコルのばらつきによって研究室間の比較も困難になっています。RoboDojo は、42のシミュレーションタスク（Isaac Sim / Isaac Lab）と18の標準化された実世界タスクを組み合わせた単一のベンチマークを提案しており、クラウドからアクセス可能な評価ハーネス（RoboDojo-RealEval）と共有ポリシーインターフェース（XPolicyLab）を備えています。
ベンチマーク設計
シミュレーションスイートは ARX X5 の両腕プラットフォーム（ベース間隔 0.6 m）上に構築されており、タスクを5つの能力次元に分類しています。すなわち、Generalization（12タスク：背景・照明・雑多物・対象物体にわたる分布シフト）、Precision（細粒度の接触を伴う制御）、Long-Horizon（多段階の組み合わせ）、Memory（シーンの状態の持続的追跡）、Open（オープン語彙の指示）です。RoboTwin 2.0（雑多物体数 ≤10）と比較して、RoboDojo は最大25個の雑多物体をランダム化し、タスクの解法を漏洩させることなくデータレベルの拡張を可能にするため、ランダム化された背景・照明のもとで100の補助DLC pick-and-placeトラジェクトリを提供しています。
タスクはモジュール式のYAMLで定義されており、アセット・レイアウト・初期化分布・ランダム化の範囲・成功判定述語が含まれます。シーン構成・物体サンプリング・関節状態・雑多物の配置・照明・背景テクスチャは決定論的なシードのもとで生成されます。同じランタイムが剛体・関節体・変形可能アセットを実行します。ベクトル化された実行には Isaac Lab のインターフェースを使用し、MagicSim のモジュール式マネージャアーキテクチャを拡張しています。重要な技術的詳細は「異種並列シミュレーション」です。すなわち、一つの環境を複製するのではなく、異なるタスク設定を単一のベクトル化されたセッション内で同時に実行するため、30ポリシー × 5次元 × 3シード × 50試行という規模の実行が現実的になります。
実世界評価（RoboDojo-RealEval）はハードウェア・作業空間レイアウト・照明・リセット手順を標準化し、リモートのクラウドアクセスを提供しています。これにより、研究室間の結果は「類似した」実験台ではなく、同一の物理的装置上で実行されることになります。
評価プロトコル
各ポリシーについて：3シード × タスクあたり50試行。Generalizationについては、50試行を標準25試行とランダム化25試行に分割します。ポリシーごと・タスクごとの合計試行数は150回です。メトリクスは平均成功率と連続スコア（サブステージ完了に部分点を与える）であり、次元ごとに標準偏差とともに報告され、次元間で平均化されます。経験豊富な3人のVRテレオペレーター（それぞれ1000時間超）が、同一の時間制限と成功基準のもとで人間の参照値を提供します。
主要な結果
リーダーボード（2026年7月3日時点、30ポリシー）は、汎用的なmanipulationが解決にはほど遠いことを示しています。
- 最高ポリシー：Hy-Embodied-0.5-VLA、次元平均スコア 13.07 / 成功率 8.80\%
- 人間のテレオペレーション：80.42 / 76.03\%。成功率において約 9\times の差。
- 上位クラスタ（平均スコア）：Hy-Embodied-0.5-VLA（13.07）、Spatial Forcing（12.38）、\pi_{0.5}（11.41）、X-VLA（10.13）、X-WAM（7.69）、Xiaomi-Robotics-0（6.93）、StarVLA-\alpha（6.40）、GigaWorld-Policy（6.20）。
各能力次元でのリーダーは分散しています。Spatial Forcing が Generalization でトップ（14.12 / 9.33\%）、X-VLA が Precision でトップ（18.32 / 12.00\%）、\pi_{0.5} が Open で競争力あり（1.98 / 1.67\%）、Hy-Embodied-0.5-VLA が Long-Horizon（25.74 / 14.92\%）と Memory（13.37 / 12.11\%）でリードしています。すべての次元で支配的なポリシーは存在しません。
次元ごとの絶対値がその深刻さを示しています：
- Precision：最高成功率 12.00\%（X-VLA）― 細粒度の接触モデリングは本質的に未解決であることを示しています。
- Memory：最高 12.11\% ― 持続的なシーン状態追跡は広く失敗しています。
- Open（オープン語彙）：最高 1.67\%（\pi_{0.5}）― 指示の汎化はデプロイメント時に崩壊しており、ほとんどのポリシーでスコアは 1 を下回ります。
- Long-Horizon と Generalization は比較的「強い」ものの、それぞれ \sim 14.92\% および \sim 9.33\% に留まります。
Generalization 次元は論文のFinding 2を裏付けています。シーンレベルのランダム化（背景・照明・雑多物の分布・物体の外観）が広範なパフォーマンス崩壊を引き起こし、視覚空間的なグラウンディング手法（例：Spatial Forcing）でも頑健性の部分的な回復にとどまります。
限界と未解決の問題
- スコアの圧縮：最高の平均成功率が 8.80\% であるため、上位クラスタ内のランキングに関してリーダーボードの分解能は限られており、3シード間の標準偏差が隣接する手法間の差と同程度になりうる可能性があります。
- 5つの能力次元は手作業で設計されており、それらがきれいに分解されるか（あるいは重複するか、例えばLong-HorizonがMemoryを包含するか）は実証的に検証されていません。
- 実世界の対象は単一のエンボディメント（ARX X5）に限定されており、器用なハンド・ヒューマノイド・触覚・モバイルmanipulationは将来の拡張に委ねられています。
- ポリシーごとのsim-to-real転移の数値はここではまとめられていません。「統合された」という主張の価値は、2つのリーダーボード間の相関の高さに依存しますが、論文ではそれを十分に定量化していません。
- クラウドによる実世界評価では、物理リソースの競合モデルが共有されるため、リーダーボードが拡大するにつれて公平性（キューイング、時間経過による環境のドリフト）が重要になります。
なぜこれが重要か
この数値が確かなものであれば、RoboDojo は汎用的なmanipulationの最前線が平均タスク成功率において約 9\%（対して人間は 76\%）であり、オープン語彙タスクでは実質的にどのポリシーも 2\% を超えないことを示しています。これはハイライトされたデモが示唆するよりもはるかに厳しい現実です。共有された実世界リグを用いた能力分解型の評価は、データのスケーリング・アーキテクチャの変更・触覚/力センシングの追加が実際にどこで効果をもたらすかを診断するための適切な手段です。
Source: https://arxiv.org/abs/2607.04434
WildCity: レンダリング・シミュレーション・空間インテリジェンスのための実世界都市スケールテストベッド
問題設定
シーン再構成とneural renderingは室内スケールおよびブロックスケールの撮影データにおいて成熟してきましたが、整合性のとれた都市スケールのデジタルツイン — 身体化エージェント、運転ポリシー、空間記憶研究の自然な基盤 — へのスケールアップは、データによってボトルネックとなっています。既存の自動運転データセット（nuScenes、Waymo、Argoverse）は孤立したロケーションにおける短いクリップ（20秒から数分）で構成されており、長期的な空間整合性の研究、キロメートルスケールでのループクロージャ、および地区をまたいだ汎化の研究を妨げています。WildCityはこのギャップを埋めることを目指しています：平均83.7 kmの18本のトラジェクトリが量産自動運転フリートによって収録されており、クリーンな学術的撮影が回避するような実世界の病理現象（動的物体、露出ドリフト、不正確なポーズ）をそのまま保持しています。
データとセンサー構成
リグは屋根搭載LiDAR、6台のRGBカメラ（前方向け狭FoV 3台、側方・後方向け広FoV 3台）、IMU、およびGPSで構成されています。外部パラメータはエゴフレームに対してキャリブレーションされており、内部パラメータとディストーションはAprilCalによって推定されています。本データセットの際立った特性はトラジェクトリの長さと連続性にあります — ログはキュレーションされたスニペットではなく連続した走行記録であり、これによりスケーラビリティと外挿をファーストクラスの評価軸として研究することが可能になっています。
このカバレッジプロットはデータセットのロングテール構造を明示しています：いくつかのログは100 kmを超えており、都市内ループクロージャ実験と都市間転移の両方を支援する都市ごとの分布が提供されています。
手法：region-aware urban 3DGS
再構成ベースラインは3D Gaussian Splattingに基づいて構築されています。シーンは異方性Gaussianの集合 \mathcal{G} = \{g_i\}_{i=1}^N であり、各GaussianはOpacity、平均、回転、スケール、および視点依存色（SH）によってパラメータ化されています。レンダリングは深度順に射影されたGaussianをalpha-compositeします：
C = \sum_{i \in \mathcal{N}} c_i\, \alpha_i \prod_{j=1}^{i-1}(1 - \alpha_j).
通常の3DGSは都市撮影において、よく知られた理由により崩壊します：(i) 動的な車両や歩行者が静的な再構成を汚染する；(ii) 無境界の空がフローターを誘発しSH容量を無駄に使う；(iii) 広い平坦な道路面がPhotometric lossだけでは拘束不足になる；(iv) GPS/IMU/オドメトリからのカメラポーズが近似的にすぎる。WildCityのベースラインはこれらをsemantic maskによって駆動されるregion-awareなパイプラインで対処しています。
3つのマスクストリームがlossと幾何学的priorをゲートします：
- Dynamic-object mask：3D追跡直方体によって精緻化されており、駐車中の車（移動可能クラスの静止インスタンス）が保持されます。この区別は重要です：車両に対するクラスレベルの素朴なマスキングは、都市シーンにおける静的な外観の大部分を除去してしまいます。
- Sky mask：これらのピクセルを遠方のsky専用モデルに振り分け、GaussianがInfinityに向けてドリフトすることを防ぐために使用されます。
- Ground mask：Photometric gradientが弱い平坦な領域に道路面の正則化を適用するために使用されます。
マスクは自動生成されるため、著者らはそれらを手動アノテーションに対して検証しています。
視覚的な一致は論文のTable 2に報告されているIoU値によって裏付けられており、手動ラベリングが現実的でないフルスケールのログへのauto-maskパイプラインの適用を正当化しています。
実験
評価は同一のセンサーリグを用いた対照的なスケールの2つのシーケンスで行われます：Ann Arbor-0.5k（局所、サブキロメートル）とAtlanta-5k（長距離、5 kmクラス）。メトリクスはsemantic maskによって定義された静的領域上のPSNR、SSIM、LPIPSに加え、有効なLiDARリターンを持つピクセル上のDepth L1（メートル）です。VGGTベースのベースラインは最適化されたglobal similarity transformによってメトリックなLiDAR点群に位置合わせされ、Depth L1が比較可能となっています。学習はH200ハードウェア上で、検証が安定するまで実行されます。
論文は結果を単一のリーダーボード順位ではなく、3つの失敗モードを中心に整理しています：
- スケーラビリティ。 0.5 kmシーケンスでは競争力のある手法が、トラジェクトリが5 kmに延長されるとPhotometricメトリクスとDepth L1の両方で性能が劣化します。局所性能と長距離性能のギャップは、このデータセットが露わにするよう設計された問題の実証的な指標です。
- 外挿。 学習トラジェクトリから変位した視点（例えば、クローズドループシミュレーション用の側方シフト）からレンダリングする場合、品質が急激に低下します — 狭い走行コリドー上でオーバーフィットした3DGSの標準的な失敗モードです。
- 不確実性。 再構成には較正された不確実性が欠如しており、シミュレータをいつ信頼すべきかを判断しなければならない下流のポリシー学習において問題となります。
限界とオープンクエスチョン
ベースラインは有能なurban-3DGSパイプラインではありますが、解決策ではありません：外挿誤差とスケーラビリティの劣化は依然としてオープンな問題です。ポーズノイズは補正されずそのまま保持されています — データセットは都市スケールでの精製されたSfMポーズを提供しておらず、それ自体がオープンな問題です。クローズドループシミュレータは、基礎となる再構成の残存する動的リーケージや視点依存アーティファクトを引き継ぎます。Semantic maskはIoUで検証されていますが完全ではなく、マスク誤差の幾何学への伝播（特に地面と車両の境界付近）は提供されたセクションでは定量化されていません。最後に、2つのシーケンスによる評価は難しさの軸を特徴づけていますが、まだ広範なベンチマークとは言えません；全18ログにわたるリーダーボードがあれば手法の比較がより明確になるでしょう。
なぜ重要か
都市スケールの再構成は、空間記憶、長距離ナビゲーション、クローズドループ運転評価に関する身体化AI研究において欠けている基盤です。WildCityは平均83.7 kmのログとregion-aware 3DGSベースラインを組み合わせ、静的視点のPSNRのみならず、スケーラビリティ、外挿、不確実性を明示的にベンチマークすることでこれを実現しています — これらこそが再構成がシミュレーション対応かどうかを実際に決定する評価軸です。
Source: https://arxiv.org/abs/2607.06838
エージェント型強化学習のための単一ロールアウト非同期最適化
問題
エージェント型LLM（長いツール使用軌跡、100k+トークン、多数のターン）に対するRL後処理は、GRPOのような同期グループベースのサンプラーによりボトルネックが生じます。GRPOはグループ相対ベースラインを推定するためにプロンプトごとにG回のロールアウトを必要とし、グループ内で最も遅い軌跡がステップのレイテンシを決定します。これは軌跡長が桁違いに変動する場合に壊滅的な影響を及ぼします。完了した軌跡を即座に消費する非同期の代替手法はスループットを回復しますが、二つの問題を露呈します：(i) グループ相対のadvantage推定器がもはや自然に適合しない、および (ii) エンジンが単一の生成中に何度も更新される可能性があるため、ロールアウトポリシーが訓練ポリシーから任意に大きく乖離し、単一の扱いやすい\pi_{\theta_\text{old}}を仮定する標準的なPPO型のimportance samplingが破綻します。
手法
SAOは三つの要素を組み合わせます：学習済みvalue modelを用いた単一ロールアウトサンプリング、トークンレベルのtrust-region制御のための直接両側importance sampling（DIS）、そして長さ適応型GAEです。
単一ロールアウト。 グループサイズG=1：プロンプトあたり1つの軌跡。これにより、グループ内の長い軌跡によるhead-of-line blockingが排除され、グループ相対ベースラインの必要性もなくなります。分散が削減されたadvantageを保持するため、SAOは明示的なvalue model V_\phi（SFTポリシーから初期化）を訓練します。学習率は5\times10^{-6}、GAE \lambda_\text{critic}=1、バッチあたりK=2回のvalue更新を行い、高速に乖離するポリシーに対してcriticを先行させます。
直接両側importance sampling（DIS）。 軌跡あたりのロールアウトエンジン更新が多数あると\pi_{\theta_\text{old}}が明確に定義されないため、SAOはそれを廃棄し、行動の代理としてロールアウトの対数確率（推論エンジンからすでに利用可能）を使用します：
r_t(\theta) = \exp\bigl(\log\pi_\theta(a_t\mid s_t) - \log\pi_\text{rollout}(a_t\mid s_t)\bigr).
trust regionは厳格な両側マスク[1-\epsilon_\ell, 1+\epsilon_h]により強制されます：r_t(\theta)がこの区間外にあるトークンはすべてgradientから完全に除外されます（\hat A_tの符号に条件付けてgradientをゼロにするだけのPPOの非対称クリップとは異なります）。目的関数は以下の通りです：
L(\theta) = \hat{\mathbb{E}}_t\bigl[f(r_t(\theta), \epsilon_\ell, \epsilon_h)\,\hat A_t \log\pi_\theta(a_t\mid s_t)\bigr],
ここでfはtrust regionに対するハードマスクとして機能します。これはIcePopと精神的に類似していますが、旧ポリシーの推論を維持することを回避します。ツール呼び出しを伴う数学では\epsilon_\ell=0.3, \epsilon_h=5.0、コーディングエージェントでは\epsilon_\ell=0.8, \epsilon_h=3.0を使用します。この非対称性は、強いロールアウト・訓練の乖離のもとでのr_t(\theta)の経験的分布を反映しています。
長さ適応型GAE。 ポリシーでは\lambda_\text{policy}=1-\frac{1}{\alpha l}（\alpha=1.5）を使用し、軌跡長lに応じてスケールします。これにより、長いロールアウトがMonte Carlo returnsに崩壊しないようにします。
訓練ではバッチサイズ128（GRPOベースラインは16プロンプト×8ロールアウト）、ポリシーLR 1\times10^{-6}、128kトークンのコンテキストを使用します。
結果
バックボーンはQwen3-30B-A3B-Thinking-2507であり、RLの前にGPT-OSS-120Bが生成したツール統合推論トレースでSFTが施されています。
Pythonツールを用いた数学的推論（ほとんどのベンチマークで16回実行のPass@1平均）：
- AIME2025: SFT 80.4、GRPO 84.2、SAO 97.3（GPT-5 High 94.6、GLM-4.7 95.7）
- BeyondAIME: SFT 53.3、GRPO 54.8、SAO 74.8（GPT-5 High 74.0）
- HMMT Nov 2025: SFT 75.2、GRPO 76.0、SAO 88.3
- IMOAnswerBench: SFT 53.3、GRPO 55.8、SAO 74.0
アブレーション実験により各要素の貢献が分離されます：GRPO + DISは4つのベンチマークで93.5 / 70.8 / 84.0 / 70.0に到達し、長さ適応型GAEや高速value更新なしのDISのみのSAOは94.2 / 71.5 / 86.7 / 71.3に到達します。完全なSAOまでの残り約3ポイントの差は単一ロールアウト+value modelの設計から生じており、バニラGRPOからの差の大部分はDISによるものです。
OpenHandsスキャフォールド（最大300ターン）を用いたSWE-Bench Verifiedでは：Qwen3-30B-A3B 23.0、+GRPO(DIS) 27.0、+SAO 29.8。
論文は1000ステップにわたる安定した訓練を主張しており、一方で非同期GRPO変種は厳格な両側マスクなしでは崩壊します。訓練曲線はSAOの優位性が単に最終チェックポイントの効果ではなく、最適化全体を通じて保たれることを示しています。
限界と未解決の問題
- 比較では総バッチサイズを128に固定していますが、SAOは128個の異なるプロンプトを使用するのに対し、GRPOは16プロンプト×8サンプルです。したがってSAOの利得の一部は、非同期性やクリッピングではなく、ステップあたりのプロンプトの多様性に帰因します；これらは報告されたアブレーションでは絡み合っています。
- \pi_{\theta_\text{old}}を廃棄することは理論的に積極的です：r_t(\theta) = \pi_\theta/\pi_\text{rollout}}はオフポリシー補正とロールアウト・訓練の不一致を単一の項に混在させており、正確性はこの近似が不良なトークンをハードマスクが刈り取ることに依存します。選択された\epsilon_h = 5.0は非常に緩やかであり、ほとんどのトークンが信頼されることを示唆します；より小さいtrust regionのもとでの挙動は特徴付けられていません。
- 128kコンテキストの長い水平線上のエージェント型軌跡におけるvalue modelの品質は悪名高いほど脆弱であり、criticの診断情報（説明分散、TD誤差）は報告されていません。
- Qwen3-30B-A3Bのみが研究されており、DISスタイルのマスク閾値が密なモデルやより短い水平線のRLHFに転移するかどうかは不明です。
なぜ重要か
長い水平線を持つエージェントに対する非同期RLは、これまでシステム上の利点はあるもののアルゴリズム的な基盤が不明確でした。SAOは、\pi_\theta/\pi_\text{rollout}に対する積極的な両側トークンマスクを用いた単一ロールアウトcriticベースの設定が、1000+ステップにわたる安定した訓練に十分であり、ツール拡張設定においてAIME2025およびBeyondAIMEでGPT-5 Highを上回る30Bオープンモデルを訓練できることを示します。これは、グループ相対ベースラインが必須ではなく、ポリシー遅延補正をハードtrust-regionマスクに還元できることの証拠です。
Source: https://arxiv.org/abs/2607.07508
Hacker News Signals
Cloudflare Meerkat - グローバル分散コンセンサス
Meerkatは、Cloudflareの社内グローバル分散コンセンサスシステムであり、技術的な紹介記事で解説されています。核心的な問題として、既存のコンセンサスプロトコル（Raft、Multi-Paxos）はサブミリ秒のリンクを持つ単一のデータセンターや小規模クラスタを前提としています。Cloudflareは、ラウンドトリップタイムが数百ミリ秒に及ぶ大陸間にわたる数百のPoP（Points of Presence）全体で強い一貫性を必要としています。Meerkatのアプローチは、リーダー選出（頻度が低く、レイテンシに対して許容度が高い）とsteady-stateのログレプリケーションパスを分離します。この記事では階層的なクォーラム設計について説明しており、リージョナルクラスタがサブグループを形成してそれぞれローカルコンセンサスラウンドを実行し、グローバルコーディネータがリージョナルな決定を集約します。これにより、一般的なケースにおけるクリティカルパスが O(\text{global RTT}) から O(\text{regional RTT}) に短縮されます。障害処理では、Paxosスタイルのリース機構を使用してリージョナルリーダーをグローバルコーディネータに昇格させます。この記事では形式的な証明や詳細な疑似コードは公開されていませんが、そのアーキテクチャは地理的認識クォーラム割り当てを備えたFlexible Paxosに類似しています。レイテンシの数値は公開されていませんが、分散ロックおよび設定ストレージのユースケースに対してp99コミットレイテンシが許容範囲内であると主張しています。主要な未解決問題は、リージョナルクラスタを不均等に分割するネットワークパーティション下でシステムがどのように振る舞うかという点であり、この記事ではその点について深く触れていません。
BunをRustで書き直す
BunチームはBunのコードベースをZigからRustへ部分的に移行することを説明した記事を公開しました。Bunはもともと、きめ細かいメモリ制御とコンパイル時機能のためにZigで書かれていましたが、その記事ではいくつかの実際的な問題が挙げられています。具体的には、バージョン間でのZigツールチェインの不安定さ、安全な並行データ構造に関するエコシステムの限界、そしてシステム言語に慣れたコントリビューターのオンボーディングの難しさです。この移行は完全な書き直しではなく、JavaScriptエンジン（C++経由のJavaScriptCore）とホットパスはZigのまま維持されています。Rustは新しいサブシステムや、所有権のセマンティクスがRustの借用チェッカーにうまく対応するコンポーネントの書き直しに対して導入されています。記事はinteropのコストについても率直に述べており、ZigからRustへのFFIは慎重なABIの整合を必要とし、チームは境界部分で#[repr(C)]構造体を多用しています。ビルドシステムの統合には、両言語をコンパイルして生成された静的ライブラリをリンクするカスタムMakefileレイヤーを使用しています。パフォーマンスの回帰テストは、公開されたベンチマークではなく定性的に述べられており、これは不足点と言えます。技術的に興味深い点は、チームがRustのasync/awaitとtokioが、上流で非推奨化されつつあるZigの asyncよりもI/O負荷の高いサブシステムに適していることを発見したことです。これは、ゼロからの書き直しではなく、パフォーマンスクリティカルなランタイムにおけるインクリメンタルな言語移行のケーススタディです。
Source: https://bun.com/blog/bun-in-rust
30papers.com – Ilyaの必読ML論文30選、初心者にも優しい形式で
このサイトでは、Ilya SutskeverがOpenAIを離脱した後に出回った、彼がMLの基礎読書として推薦したとされる約30本の論文を、構造化されたサマリーとして紹介しています。収録論文はattentionメカニズム、スケーリング則、contrastive learning、RLHF、初期の深層学習理論など幅広いテーマにわたっています。各エントリには平易な解説、読みやすくレンダリングされた主要な数式、および元のPDFへのリンクが含まれています。PhD レベルの読者にとって一次資料としての技術的価値は限定的ですが、Sutskeverが現代の大規模モデル研究の知的基盤として重要視する論文群を把握するためのリファレンスとして有用です。このリストは、最近のエンジニアリング寄りの論文よりも、概念的な基礎を確立した論文（例：オリジナルのTransformerである “Attention is All You Need”、SutskeverのSequence-to-Sequenceに関する研究、AlexNetの論文など）に偏っています。注目すべき点として、mixture-of-expertsのスケーリング、retrieval-augmented generation、推論時計算に関する論文が一切含まれていませんが、これはそれらが中心的な関心事となる以前にリストが作成されたことを反映しています。このサイトは教育的な成果物であり、その価値は独自の分析ではなく、論文の集約とアクセシビリティにあります。
Source: https://30papers.com/
Microsoft Flint: AIエージェント向けの可視化言語
Flintは、Microsoft Researchが開発したドメイン固有言語およびレンダラーであり、AIエージェントが生のテキストやmarkdownテーブルではなく、構造化されたインタラクティブな可視化を生成するために設計されています。核心となるアイデアは、LLMがVega-LiteやD3のJSONをゼロから正確に生成することが、冗長な構文と厳密な意味的制約のために苦手であるという点にあります。しかし、LLMはFlintがチャートにコンパイルするシンプルな宣言型スペックを出力することができます。この言語は、型付きフィールドを持つチャートプリミティブ（bar、line、scatterなど）を公開しており、レンダラーがレイアウトとインタラクティビティを処理します。技術的な実装では、TypeScriptで定義されたgrammarと、スペックと共に渡されるデータペイロードから推論されたスキーマに対してフィールドバインディングを検証するパーサーが使用されています。エージェントの観点からは、有効なFlintスペックの出力トークン数は同等のVega-Lite JSONと比べて大幅に少なく、ハルシネーションが発生しうる範囲とレイテンシの両方を削減します。GitHub Pagesのデモでは、LLMがFlintブロックを出力し、ランタイムがそれをチャットUI上にインラインでレンダリングし、ユーザーが可視化の状態を変化させるフォローアップクエリを行えるagent-in-the-loopワークフローが示されています。制限事項として、Flintは現在サポートするチャートの種類が限られており、地理空間データやネットワークグラフ型はサポートされていません。この抽象化が複雑なダッシュボードに対して汎化できるかどうかは未解決の問題です。
SWE-1.7: GPT-4.5およびClaude Opus水準に迫る知能
CognitionのSWE-1.7は、Devinベースのソフトウェアエンジニアリングエージェントのアップデートであり、SWE-bench VerifiedおよびそれにまつわるコーディングベンチマークにおいてGPT-4.5やClaude 3 Opusに迫るスコアを主張しています。本投稿では、エージェントの長文脈タスク実行に関する改善について説明しています。具体的には、ツール呼び出しをまたいでリポジトリ状態の圧縮表現を維持する改訂済みのメモリアーキテクチャを導入することで、大規模コードベースにおけるコンテキストウィンドウの輻輳を低減しています。スキャフォールディングには階層的タスク分解が用いられており、高レベルのプランナーがサブタスクの仕様を出力し、下位の実行エージェントがファイル編集・テスト実行・エラーのトリアージを担当する構成となっています。本投稿では、SWE-bench Verifiedにおいて53.6%を達成したと報告しており、Devin 1.0の初期の約13%やGPT-4oの約49%と比較されています（これらの数値は、ベンチマーク自体の進化に伴い変動しています）。主要な技術的詳細として、チームは純粋なプロンプティングではなくfine-tunedバックボーンを使用しており、中間的な推論ステップのラベルが付与された成功したバグ修正の軌跡を用いて学習されています。制限としては、SWE-bench Verifiedがテストする分布が狭い点が挙げられます。対象はほぼPythonのみで、スコープが明確なバグが中心であり、より難易度が高くかつ飽和度の低いグリーンフィールド開発・リファクタリング・クロスランゲージタスクにおけるパフォーマンスは測定されていません。
PostgreSQLをRustで書き直し、Postgresリグレッションテストに100%合格
pgrust プロジェクトは、PostgreSQLをRustでゼロから再実装したものであり、PostgreSQLのフルリグレッションテストスイートに合格したことを主要な成果として掲げています。このアプローチはトランスパイルではなくクリーンルームによる書き直しです。作者はリグレッションテストを適合性の目標として、ストレージエンジン、クエリエグゼキュータ、パーサ、ワイヤプロトコルを独立して再実装しています。このRust実装は非同期I/OのためにTokioを活用し、Rustの型システムを利用して、Cのコードベースでは慣習とコードレビューによってのみ強制されていたバッファプール管理とトランザクション分離に関する不変条件を強制しています。ストレージ層はPostgresと同一のヒープファイル形式を実装しており、データファイルの互換性を実現しています。これはストレージレベルの再設計を排除する重要な制約です。このリポジトリは初期段階にあり、リグレッションテストへの合格は正確性のベースラインであり、性能に関する主張ではありません。現時点では、拡張機能、論理レプリケーション、多くのcontribモジュールは実装されていません。現段階における実用的な価値は、研究成果物として、またPostgresの正確性のどの程度が型システムだけで捉えられるかを検証するものとしてです。主要なエンジニアリング上の問題は、非同期I/Oモデルがawaitポイントをまたいだロックとラッチの管理方法に根本的な変更を要求するかどうかという点であり、これはデータベースワークロードにおける非同期Rustの既知の難問です。
GPT-Live
OpenAIのGPT-Liveは、Realtime APIと永続的なmemoryおよびライブ映像ストリーム上のビジュアル入力を統合したリアルタイム会話インターフェースです。技術的には、既存のgpt-4o-realtimeモデルにストリーミング映像入力パスを拡張したものです。クライアントは音声ストリームと並行して低解像度のH.264フレームを送信し、モデルは音声と視覚のトークンを交互に処理することで、視覚的な文脈に基づいた会話を実現します。アーキテクチャはGPT-4oのvisionパイプラインのマルチモーダルトークン化を再利用していますが、厳格なレイテンシ制約のもとで動作する必要があります——この投稿はエンドツーエンドのレスポンスレイテンシ目標が500ms未満であることを示唆しています。Memoryは検索レイヤーによって管理され、過去のセッションの圧縮サマリーをシステムプロンプトに注入します。これは既存のChatGPT memoryの機能に類似していますが、ライブインタラクションのコンテキストにスコープされています。主な技術的課題は、音声・映像・memoryコンテキストが同時にコンテキストウィンドウのスペースを競合する際のトークンバジェット管理です。このシステムは、音声活動が活発な期間に映像フレームを間引く動的フレームサンプリングを使用しているようです。システム観点では、クライアントSDKがメディアパイプラインを担当し、サーバー側ではレイテンシ目標を達成するためにgpt-4o-miniで使用されているのと同じspeculative decodingインフラが稼働していると考えられます。制限事項として、映像パスは現時点では狭い視野角に制限されており、会話中のドキュメント品質のOCRはサポートされていません。
注目の新リポジトリ
Dicklesworthstone/franken_ocr
Baidu の Unlimited-OCR モデル（DeepSeek-OCR から派生した 3B パラメータの Mixture-of-Experts Vision-Language Model）をターゲットとする、純粋な Rust 実装・CPU 専用の推論エンジンです。このプロジェクトの核心的な前提は、外部 ML フレームワークへの依存をゼロにすることです。すなわち PyTorch なし、ONNX Runtime なし、GPU 不要です。カスタムの int4 および int8 量子化カーネルは Rust で直接実装されており、バイナリは自己完結型で x86-64 や ARM マシンに移植可能です。単一モデル設計は意図的な制約であり、固定された重みセット一つ、固定された tokenizer 一つ、設定オーバーヘッドなしというシンプルな構成です。
コードベースは現在 Phase-0 以前の段階にあり、スキャフォールド構造は確立されているものの、エンドツーエンドの推論はまだ機能していません。現時点で存在するのはアーキテクチャの骨格です。すなわち、テンソルプリミティブ、量子化済み重みのロードスタブ、そして画像パッチを MoE ルーティングロジックに通すための計画されたパイプラインです。int4 カーネルの設計がここで重要となります。スパースなエキスパート活性化を持つ MoE モデルはメモリバウンドであるため、int4 パッキングによって実効帯域幅要件を十分に削減でき、3B スケールでの CPU 推論が現実的になります。
想定ユースケースは、Python スタックの導入や NVIDIA ハードウェアの要求が困難な、エアギャップ環境またはリソース制約のある展開先です。具体的には、組み込みシステム、セキュアエンクレーブ、ドキュメント処理を行う CI パイプラインなどが該当します。機能が完成すれば、Rust ネイティブのアプローチはGPUスケジューリングの分散がなく決定論的なレイテンシも提供できるはずです。ランタイム依存なしの Rust バイナリで OCR 推論が必要な場合は、このプロジェクトをフォローしてください。
Source: https://github.com/Dicklesworthstone/franken_ocr
NotASithLord/peerd
Peerdは、バックエンドサーバーもテレメトリも持たず、完全なエージェントループをブラウザ拡張機能として実装しています。そのアーキテクチャは、ほとんどのエージェントフレームワークとは本質的に異なります。リモートオーケストレーターがブラウザ自動化APIを呼び出す方式ではなく、エージェントが拡張機能プロセス内で動作し、標準のWebExtensions APIを通じて直接タブを操作します。コンピュートサンドボックスはクライアントサイドで起動され、スクリプトによるデータ処理にはJavaScriptノートブックが、通常サーバーを必要とするような重い処理にはWASMコンパイルされたLinux VMが使用されます。
ピアツーピアの共有レイヤーにより、エージェントが生成したアーティファクト（ノートブック、小規模アプリ、処理済みデータ）を、WebRTCや類似のブラウザネイティブなトランスポートを使って、中央ホストなしに他のブラウザピアへ直接配布することができます。BYOK（bring your own key）によって、LLMへの呼び出しはブラウザからプロバイダのエンドポイントへ直接行われます。サーバーサイドが存在しないため、拡張機能が認証情報をサーバー側で参照することは一切ありません。
エンジニアリング上の興味深い点はサンドボックスモデルにあります。ブラウザ拡張機能プロセス内で動作するWASM Linux VMの中で、信頼できないエージェント生成コードを実行することで、OSレベルのコンテナを必要とせずに多層的な分離境界を実現しています。主な制約はWebExtensions API自体の制限、すなわちクロスオリジン制限、タブのパーミッションプロンプト、および拡張機能バックグラウンドワーカーのメモリ制限です。これは、エージェントインフラストラクチャが本質的にクラウドコンピュートを必要とするわけではないことを示す興味深い存在証明であり、プライバシー保護やオフライン対応のエージェントデプロイメントを検討している方にとって注目に値するプロジェクトです。
Source: https://github.com/NotASithLord/peerd
eli-labz/Third-Eye
Third-Eye は、プロダクション指向の OSINT アグリゲーションプラットフォームであり、ソーシャルメディア、ドメイン/IP インテリジェンス、公開記録、関連フィードといった複数のインテリジェンスドメインを、統合された状況認識インターフェースに集約します。「プロダクショングレード」という位置付けは、各ツールを個別にクエリするのではなく、複数のソースにまたがるシグナルを相関付ける必要があるセキュリティオペレーションチームや研究者をターゲットとしていることを示唆しています。
プラットフォームのアーキテクチャは、モジュール式コレクター設計に従っているように見えます。各インテリジェンスドメインは独立したインジェスチョンモジュールであり、出力を共通スキーマに正規化することで、クロスドメインの相関クエリを可能にしています。これは大規模な OSINT ツールにおける標準的なアプローチですが、その価値は実装品質にあります。具体的には、コレクターがレートリミット、API の変更、上流ソースからのデータフォーマットのずれをどれだけ確実に処理できるかという点です。
実用的なユースケースとしては、脅威アクターのアトリビューション（レジストラデータ、BGP アナウンスメント、ソーシャル識別子にまたがるインフラの相関付け）、インシデントレスポンスのトリアージ（特定の組織や IP レンジに対する露出面の迅速な列挙）、および競合・地政学的モニタリングなどが挙げられます。比較的新しいリポジトリにもかかわらず高いスター数を獲得していることは、既存のギャップを埋めたことを示しています。既存の OSINT フレームワークの多くは、単一ドメインの CLI ツールか高価な商用製品のいずれかです。Third-Eye はその中間に位置し、マルチドメイン、オープンソースで、アドホックなクエリではなく運用利用を想定した構造を持っています。カスタムコレクターで拡張可能なセルフホスト型 OSINT バックボーンが必要な場合は、評価する価値があります。
Source: https://github.com/eli-labz/Third-Eye
SmileLikeYe/agent-chief
Agent-Chiefは、マルチエージェントシステムに特有の障害モード、すなわち通知疲労と統一された「割り込みか継続か」判断レイヤーの欠如に対処します。実行中のエージェント数、アラートソース、データフィードが増加するにつれ、何らかの集約・優先順位付けが行われない限り、オペレーターの認知的負荷は超線形に増大します。Chiefは、そのようなローカルファーストな集約レイヤーとして位置づけられています。
コアメカニズムは、エージェントやフィードからイベントを取り込み、優先度モデルを適用し、「ユーザーに割り込むか抑制するか」という二値的な判断を出力するルーティング・トリアージエンジンと考えられます。「ローカルファースト」という制約により、トリアージロジックはオペレーター自身のマシン上で実行されるため、クラウド分類器へのラウンドトリップによるレイテンシや、すべてのエージェントのアクティビティを外部サービスに転送するプライバシー上の懸念を回避できます。
実際のアーキテクチャは、エージェントの出力が構造化されたメッセージを投稿する軽量なイベントバス、設定可能な優先度モデル（ルールベース、MLスコアリング、またはその両方）、および統一された通知サーフェスで構成されると考えられます。ここで最も難しい設計上の問題は、割り込みの閾値の調整です。積極的すぎると元のノイズ問題が再現され、保守的すぎると緊急シグナルが見落とされます。優先度モデルをユーザーごとにどのように学習・調整するか、時間的コンテキスト（時間経過に伴う緊急度の減衰）を扱えるか、LangChainやAutoGenといった既存のエージェントフレームワークとどのように統合するか、といった点はオープンな課題として残っています。複数の並行エージェントを実行しており、通知の洪水に溺れることなくオペレーター・イン・ザ・ループな制御を必要とする方には有用です。
Source: https://github.com/SmileLikeYe/agent-chief
MihaiCiprianChezan/Agentic-First-Enterprises
このリポジトリは、実行可能なコードベースではなく、リファレンスアーキテクチャおよびオペレーティングモデルのドキュメントです。人間の役割をAIエージェントで体系的に置き換えるか、あるいは補完しようとする組織を対象としています。中心的な設計上の制約は、すべてのプロセスをエージェントファーストで構築しなければならないという点です。つまり、ワークフローの仕様、データインターフェース、およびハンドオフプロトコルは、エージェントがそれらを実行することを前提として設計されており、人間の関与はデフォルトのパスではなく、オプションのオーバーライドとして位置付けられています。
「pause-adjust-resume」パターンは、本書の中で最も技術的に興味深い概念です。すべてのエージェントワークフローは、チェックポイントおよびハンドオフメカニズムをサポートしなければなりません。これにより、人間が中間状態を検査・修正し、最初からやり直すことなくエージェントに制御を戻すことが可能になります。これには、fire-and-forgetなタスク呼び出しではなく、ステートフルなワークフロー表現が必要となり、基盤インフラとしてDurable Executionフレームワーク（Temporal、Restateなど）の採用を促します。
役割に依存しないフレーミング（どの役割も人間またはエージェントのいずれかになり得る）は、プロセス定義が十分に抽象的でなければならないことを意味します。つまり、実行者のアイデンティティは設計時の前提ではなく、ランタイムのパラメータとして扱われます。これは、認可・説明責任・監査証跡をどのようにモデル化するかに影響を与えます。このリポジトリは、デプロイ可能なソフトウェアとしてではなく、エージェント導入を評価するエンタープライズアーキテクチャチームのための構造化された思考フレームワークとして最も有用です。高レベルのAI戦略に関する文献と具体的な実装ガイドとの間のギャップを埋めていますが、実行可能なリファレンス実装が存在しないため、エンジニアリングの観点からの即時的な実用性は限られています。
Source: https://github.com/MihaiCiprianChezan/Agentic-First-Enterprises
uzairansaruzi/hermex
Hermexは、HermesベースのAIエージェントと対話するためのモバイルインターフェースを提供するネイティブiOSアプリケーションです。ここでいう「Hermes」というフレーミングは、命令追従とtool-useのためにfine-tuningされたNousResearch Hermesモデルファミリーのいずれかのバリアントを使用した、ローカル実行またはセルフホスト型のLLMインスタンスを指している可能性が高いです。ネイティブiPhone実装という点が、Webベースや React Nativeのラッパーとは一線を画しており、UIKitまたはSwiftUIによるレンダリング、iOSシステムAPIへの直接アクセス、そしてコンパイルされたSwiftコードのパフォーマンス特性を備えています。
技術的な関心は、iOSのサンドボックスとツールを呼び出す必要があるエージェントをいかに橋渡しするかという点にあります。モバイルエージェントアプリケーションには厳しい制約が課されており、バックグラウンドプロセスの持続的な実行が不可、厳格なネットワーク権限要件、そして非常に小さなスケールでのモデル量子化を超えるローカル計算リソースの制限などがあります。Hermexはおそらく、Hermesエージェントがホームサーバーやクラウドインスタンス上で動作し、iOSアプリが会話UIとtool-result レンダリングを提供するクライアント・サーバー方式で動作していると考えられ、デバイス上でモデルを実行するわけではないでしょう。
ローカル推論が含まれる場合、HermesのウェイトをCore MLに変換するか、Cブリッジ経由でllama.cppを使用する必要があり、デバイス上でかなりのメモリプレッシャーが生じます。説明が示唆するピアツーピアまたはBYOK（Bring Your Own Key）モデルは、バックエンドがユーザー管理であることを示唆しています。セルフホスト型LLMエージェントへのモバイルネイティブインターフェースを構築する方に注目の価値があり、特に小さな画面でのストリーミングレスポンスやtool-call可視化に関するUIパターンの観点から興味深いプロジェクトです。
Source: https://github.com/uzairansaruzi/hermex
simonlin1212/Vibe-Research
Vibe-Researchは、A株（中国本土）・米国・香港の株式市場をカバーする個人向けトレーディングリサーチエージェントです。デイリーレビュー（引け後の振り返り）、情報レーダー（ニュース・開示情報のモニタリング）、個別銘柄データ（ファンダメンタルズ・価格データ）、セクターセンター（セクターローテーション分析）、ポートフォリオトラッキング、リサーチノートの6つの機能モジュールを提供します。「vibe-research」というコンセプトは、証券会社のリサーチ購読に代わるAI駆動の代替手段として位置づけられています。
アーキテクチャはエージェント駆動型です。静的なダッシュボードではなく、各モジュールはデータソースへのクエリ、情報の統合、自然言語による分析のオンデマンド生成が可能なLLMエージェントによって支えられています。マルチマーケット対応は技術的に非自明であり、A株データには米国株（yfinance、Polygon、Alpha Vantage）とは異なるAPI連携（Tushare、AKShareなど）が必要で、規制上のデータフォーマットも市場間で大きく異なります。
最も難度が高いコンポーネントはデイリーレビューモジュールです。セッションデータの取り込み、ニュースイベントと価格変動のクロスリファレンス、整合性のある要因分析の生成が求められ、定量的推論における現在のLLMの信頼性の限界を突く作業です。ポートフォリオモジュールはパーソナライゼーション層を追加します。エージェントはユーザーの実際の保有銘柄に照らし合わせて市場分析を文脈化できますが、これにはセッション間での永続的な状態の保持が必要です。ローカルファーストな設計によりBYOKが前提とされています。Bloombergターミナル相当のインフラへの課金なしにマルチマーケットのコンテキストを理解するAIアシスタントを求める個人トレーダーや研究者に有用です。
Source: https://github.com/simonlin1212/Vibe-Research
dongshuyan/compass-skills
Compass-Skills（司南）は、AIエージェント向けのパーソナライズされたタスクオーケストレーションレイヤーであり、「Personal Alignment Skills OS」として位置づけられています。核心的なアイデアは、ユーザーによって作業スタイル、優先事項、ドメインコンテキストが異なるにもかかわらず、汎用的なエージェントタスクルーターはこの点を考慮していないというものです。compass-skillsは、エージェントの振る舞いを個々のユーザーの好みやワークフローに合わせるためのパーソナライゼーション基盤を提供します。
「skills」という抽象化は、モジュール式のケイパビリティレジストリとして機能しているようです。具体的には、現在のゴールとユーザーコンテキストに基づいてオーケストレーターがワークフローに組み立てることのできる、離散的かつ合成可能なタスクハンドラーです。これはMicrosoftのSemantic KernelにおけるSkillsレイヤーと精神的には類似していますが、パーソナルアライメントの側面をより重視しています。つまり、このシステムはどのユーザーにどの状況でどのskillの組み合わせが適しているかを学習するか、または設定によって把握します。
「総控」（ゼネラルコントロール）というフレーミングは、メタオーケストレーターパターンを示唆しています。compass-skillsは個々のエージェントやツールの上位に位置し、自身がskillになるのではなく、タスクをどのように分解するか、どのskillを呼び出すか、そしてその順序を決定します。パーソナライゼーションのメカニズムは未解決の問いです。明示的な設定なのか、学習された選好モデリングなのか、あるいはその組み合わせなのかが不明です。異なる作業スタイルを持つユーザーにサービスを提供する必要があるマルチエージェントシステムを構築する開発者にとって、このようなパーソナライゼーションレイヤーは現在のほとんどのフレームワークで実際に欠けているピースです。中国語のドキュメントや関連プロジェクトにおけるA株へのフォーカスは、このプロジェクトが主に中国の開発者エコシステムをターゲットにしていることを示唆していますが、アーキテクチャ上のコンセプトは広く応用可能です。