デイリーAIダイジェスト — 2026-08-14

公開

2026年8月14日

English · 日本語

arXiv ハイライト

DarwinX: 自然選択によるエージェントハーネスの進化

問題

LLMエージェントの実効的な能力は、重みとハーネス（凍結されたモデルを包むプロンプトの足場、ツールセット、制御フロー、メモリ、スキルノート）の結合関数です。このハーネスを反復的に編集する自己改善システムは、通常、単一の編集系統を走らせますが、これは経路依存性を持ちます。つまり、あるタスクでの改善が他のタスクで回帰を引き起こすことが多く、局所的に最適な編集が、さらなる編集を経て初めて成果をもたらすような組み合わせを封じてしまうことがあります。DarwinXは、モデルの重みを全期間固定した状態で、保存・拡張（preserve-and-extend）契約のもとにハーネス自己改善を集団レベルの選択として再定式化します。ベースLLMは何も変化しないため、改善のすべての点はハーネスに帰属できます。これにより「エージェント設計」と「モデル能力」をクリーンに分離できます。

手法

DarwinXは、ノードがハーネスのスナップショットとタスクごとのスコア、試行の証拠、蒸留されたレッスンで構成されるツリー形状のアーカイブを維持します。編集可能なレイヤーは2つ公開されています：スキルレイヤー（プロンプト、メモリ、蒸留された知識）とコードレイヤー（ツール、制御フロー、エージェントループ）です。編集は3つの学習シグナル——失敗トレース、教師によるデモンストレーション、自己導出による反省——から生まれ、1つの共有編集インターフェースを通じてルーティングされます。

モデルを凍結したDarwinXの選択ループ：保存・拡張契約、代替系統のアーカイブ、世代をまたいだ共有メモリ。

Fitnessはタスクごとの解決率 \hat p_t(v) で、各ベンチマーク固有の検証器を用いて \text{avg@}k で測定されます——正解は不要で、手動調整の報酬シェーピングもありません。親 p からの子 c に対して \Delta_t = \hat p_t(c) - \hat p_t(p) を定義し、正味ゲインを

g(c) = \sum_t \Delta_t, \qquad R(c) = \sum_t (-\Delta_t)_+,

と定め、g(c) > 0 かつ R(c) \le \delta（回帰有界）のときのみ c を受理します（bounded regression）。推論的な検証器 f は2段階で判定を行います：試行証拠 \mathcal E と共有メモリ K_g から \mathrm{verdict}(c) = f(g, R, \mathcal E, K_g) \in \{\text{promote}, \text{revert}\} を返し、昇格した子は将来の探索を誘導する前により厳しい \text{avg@}k の保存プローブをクリアしなければなりません。この設計は意図的に探索（許容的な昇格）と確認（厳格なプローブ）を分離しており、この2速ルールにより、ノイジーながら有望なブランチが選択シグナルを汚染せずにアーカイブへ入ることができます。

失われた変種は破棄されずに保持されるため、分岐した系統からの補完的な編集を、同じ保存・拡張テストを受入基準とするマージ演算子を介して再結合できます。各ノードには親選択に使用される累積系統ゲイン G(c) = G(p) + g(c) も格納されます。

世代ごとの演算子：3つの学習シグナルによる突然変異ループ；解決済みセットの変化による変種の分類（保存者のみが再結合の候補となる）；その受入基準を持つマージ演算子。

結果

DarwinXは、進化シグナルとテストの分離度が増す順に並べた4つのベンチマークのはしごで評価されます。

RQ1、Terminal-Bench 2.1（ドメイン内）。 89タスクスイートで、ローテーションするサブセットに対する \text{avg@}3 スクリーニングとフルスイートに対する \text{avg@}5 確認を行いながら進化させると、MonetのベースハーネスはGPT-5.5で75.5%から83.2%に上昇し（Codex+GPT-5.5の83.1%と同水準）、GPT-5.6 Solではmedium努力で84.7%に達し、xhighのClaude Code + Fable 5の83.8%に匹敵し、OpenAIシングルエージェントリファレンスを+2.9上回ります。DarwinXの両行は厳格なルール下でのfrozen-baseリーダーボード提出（エラーした試行 = 0）です。

RQ2、TerminalWorldホールドアウト。 94のトレーニングタスクで進化させ、41の互いに素なホールドアウトタスクで評価（pass@1、1回の試行）。Opus 4.8ではDarwinXはベース61.0%、Claude Code 65.9%に対して68.3%に達し、GPT-5.5ではベース48.8%、Codex 51.2%に対して56.1%に達します。

RQ3、WebArena-Infinity合成から実環境へ。 LLMジャッジでスコアリングされた合成インテント上で進化させ、10のアプリケーションにわたる決定論的な検証器を持つ公式1,260タスク実環境スイートでテスト。実タスクのpass@1は43.5%から93.0%（監査クリーン）に上昇——進化とテストの間で報酬源自体が変化するレジームであり、ゲインはジャッジへの適合ではなく再利用可能なブラウザ動作を反映していなければなりません。

RQ4、クロスベンチマーク転移。 TB2.1で最良のハーネスを、凍結されたOpus 4.8でSWE-bench Verifiedの全500イシューにそのまま実行すると、公式pass@1で421/500 = 84.2%となり、fix-skillリファレンスの80.8%を+3.4上回り、SWE-Vのフィードバックはゼロです。

RQ5、帰属。 進化したTB2.1ハーネスはベースMonetとちょうど7つの追加スキルの点でのみ異なり、すべて1つのファミリーに属します：検証とアーティファクト契約の動作（受入契約の導出、採点されたアーティファクトの検証、修正と再確認の反復、実ツール実行への出力のグラウンディング、セキュリティ/契約チェックに対する修復）。これらはドメイン知識を一切エンコードしていません。ゲインは、新たな能力ではなく最終化の規律がボトルネックとなるタスクに着地します。著者らはスキルが共同選択されていることから、これを構成的帰属（compositional attribution）と位置づけており、スキルごとの因果的アブレーションではありません。

限界と未解決の問題

アブレーションはスキルごとの貢献を分離できません：7つのスキルは共同選択されており、バンドルとして報告されています。Fitnessの質は検証器の質を継承します。WAIでは進化中に使用されるLLMジャッジのシグナルが決定論的なテスト検証器よりも緩く、この問題は設計によってではなく事後的な監査によって対処されています。アーカイブとプローブの予算は世代ごとに非自明な計算量を意味しますが、論文では単純なベースライン（ベストNプロンプト探索など）に対するウォールクロックやトークンコストのフロンティアを報告していません。最後に、TB2.1→SWE-V転移は進化したスキルが汎用的な「検証規律」であることを示唆しますが、明確なアーティファクト契約構造を持たないドメイン（例：オープンエンドな対話、検査可能な中間状態のない長期計画）で同じバンドルが役立つかどうかは未検証です。

なぜ重要か

DarwinXは、「エージェント能力ギャップ」として見えるものの大部分が実際にはハーネスの規律——具体的には、ターミナル、ウェブ、リポジトリレベルのコーディングベンチマークをまたいで構成される契約導出とアーティファクト検証の動作——であるという、クリーンな重み固定での実証を提供します。保存・拡張契約と集団アーカイブは、正解なしにノイジーなタスクごとの検証器を単調なエージェント改善に変えるための再利用可能なレシピです。

Source: https://arxiv.org/abs/2608.07545

PlayWorld: エージェントプレイヤーによる長期的目標を用いたWorld Modelのベンチマーク

問題設定

インタラクティブなビデオworld model（Genie 3、Matrix-Game、Hunyuan-GameCraftなど）は、通常、固定されたアクションシーケンスを条件として与え、生成された映像の視覚的忠実度やステップごとの操作性をスコアリングすることで評価されます。このプロトコルは、「モデルがアクションを無視した場合」と「モデルがアクションを実行したが不整合なダイナミクスを生成した場合」という2種類の失敗モードを混同してしまいます。また、目標（例：360°回転して元の姿勢に戻る、水の中に歩いて入り波紋を観察する、壁に向かって歩いてコリジョンを確認する）を達成するために必要なアクションシーケンスは、各モデルがコントロールにどのように反応するかに依存するため、モデル間の比較にも失敗します。モデルAが回転中にドリフトし、モデルBがそうでない場合、同じWASDのトレースを再生すると、world の整合性とは無関係な異なる幾何学的結果が生じます。

PlayWorldは、固定されたアクショントレースではなく、長期的な目標を中心に評価を再構成し、マルチモーダルエージェントをプロキシの人間プレイヤーとして使用することで、観測とアクション実行の間のループを閉じます。

PlayWorldはプレイヤーの視点から、長期的目標を通じてworld modelを評価します。

手法

エージェントプレイヤー。 プレイヤーは交換可能なVLM（Claude、Gemini）とエージェントインターフェースで構成されます。各ケースには（i）初期フレーム、（ii）自然言語による長期的目標、（iii）シーンの説明、（iv）トークン{W, A, S, D, ↑, ↓, ←, →, WAIT}によるヒューマンアノテーション付きの基本アクションシーケンスが含まれます。基本シーケンスは固定スクリプトではなく共有の参照軌跡であり、オープンエンドな計画の負担を取り除き、モデル間で評価の意図を一貫させます。

各ステップで、エージェントは新たに生成されたフレーム、実行履歴、目標、シーンの説明を観測し、5つの決定のうちの1つを出力します：

  • Keep：現在スケジュールされているアクションを継続する。
  • Stop：目標の視覚的状態（例：意図した方向に向いている）に達したとき、現在のアクションを早期に終了する。
  • Extend：追加の動きが必要な場合、現在のアクションをより長く保持する。
  • Correct：観測された状態が参照から乖離したとき、次に計画されたアクションを修正またはスキップする。
  • End：目標に必要な観測がキャプチャされたときのみ、ケースを終了する。

インタラクション忠実度ケースにおける重要な詳細：障害物に到達してもEndはトリガーされず、プレイヤーは前進し続けることで、モデルが現実的なコリジョンを生成するか、対象が幾何形状を通り抜けてしまうかをロールアウトで明らかにしなければなりません。インタラクションの予算は最大40ステップに制限されています。ウェブサービスのモデルに対しては、インターフェースがブラウザ自動化を使用してコントロールを送信し、出力フレームをスクリーンキャプチャします。

ベンチマークの構築。 アノテーターは多様な初期世界から始め、シナリオに即した目標を定義し、基本アクションシーケンスを記述し、サンプル固有のVQAルーブリックを作成します。最終的なスイートは171シナリオ、約50の異なるアクションパターン、10〜60秒のロールアウト、820以上のルーブリック質問から構成されます。

構築パイプライン：初期世界、アノテーター作成の目標、基本アクションシーケンス、サンプルごとのVQAルーブリック。

評価次元。 ルーブリックでスコアリングされる4つの軸：

  1. 幾何一貫性 — カメラ運動（例：360°パン後）を通じてシーンが計量的に安定しているか？
  2. インタラクション忠実度 — 対象物間のインタラクション（コリジョン、水への侵入、物体操作）が物理的に振る舞うか？
  3. 視野外進化 — 遮蔽された領域は再訪時に状態を保持しているか？
  4. 視野内進化 — 静止カメラ下（60秒の静的観察）で可視のダイナミクスが妥当に進化するか？

補完的な基本能力メトリクスとして、映像品質（Video Quality）とアクション制御可能性（Action Controllability）が報告されます。

バリデーションゲート。 ロールアウトが実際に問われている状況に到達していない場合、ルーブリック質問は意味をなさないため、PlayWorldは次元固有のパスゲートを適用します：軌跡妥当性（Trajectory Validity）が幾何一貫性と視野外進化をゲートし、対象物到達可能性（Subject and Reachability）がインタラクション忠実度をゲートします。ゲートを通過できない場合、次元スコアは最小値（1）に強制されます。視野内進化は静止カメラを使用するため、ゲートは不要です。

4つの軸にわたる代表的な例（期待される軌跡のオーバーレイ付き）；視野内進化は静的60秒観察を使用。

実験

9つのworld modelが同一のエージェントプレイヤー制御下で比較されます：5つのウェブサービス型（Genie 3、LingBot-World、LingBot-World2、HY-World2、HappyOyster）と4つのローカルなチャンクワイズ生成器（SANA-WM、Hunyuan-GameCraft-2、HY-WorldPlay、Matrix-Game-3.0）です。すべて同じ初期世界、目標、基本アクションシーケンスを受け取り、同じエージェントが各モデルに対して実行を適応させます。

著者らの定性的なまとめは明確です：現在のモデルはカメラとアクションのコントロールをそれなりに追従できるが、「整合的で現実的なworld ダイナミクスのシミュレーションにはまだ苦戦している」と述べており、失敗は長い回転後の幾何ドリフト、非物理的なコリジョン、再訪時に忘れられた視野外の状態に集中しています。提供されたテキストでは、Tab. 3における次元固有のバリデーション通過率とルーブリックスコアの存在が報告されていますが、数値テーブルは提供された抜粋には含まれていません。

限界とオープンクエスチョン

  • 基本アクションシーケンスは強力な事前情報です。モデル間比較を安定させますが、プレイヤーが探索できる行動空間を制約します。参照軌跡が触れない方法でモデルが失敗しても、ペナルティは与えられません。
  • エージェントプレイヤーの品質は交絡因子です。VLMによってStop/Extend/Correctパターンが異なり、論文（抜粋から）では最終ルーブリックスコアにおけるエージェント間分散を定量化していません。
  • ルーブリックの検証者自体が、生成された映像に対してVQAに回答するVLMです。検証者の体系的な偏り（例：水のダイナミクスや微細な幾何ドリフトに対する寛大な判定）はスコアに伝播します。
  • 40ステップおよび10〜60秒のロールアウトは「長期的」という主張を制約します。真に永続的な状態（分単位のメモリ）はテストされていません。
  • Subject+Reachabilityによるインタラクション忠実度のゲーティングは、障害物に到達できないモデルがフロアスコア1を受け取ることを意味し、ナビゲーションの失敗と物理の失敗が1つの次元に混在してしまいます。

なぜ重要か

固定アクション条件付き評価は、体系的に整合性を過小評価し、フレームごとの操作性を過大評価します。PlayWorldの目標条件付き・エージェントインザループ型プロトコルは、インタラクティブなworld modelを比較するための正しい機能的形式であり、今日のシステムが制御可能ではあるものの、物理的・幾何的整合性を欠いていることを明らかにしています。バリデーションゲート付きルーブリック設計は、軌跡の成功とコンテンツ品質を合同でスコアリングする必要がある他のクローズドループ生成ベンチマークにとっても有用なテンプレートです。

Source: https://arxiv.org/abs/2608.13552

ハイブリッド線形 Attention 大規模言語モデルにおける Massive Activations：Pre-Attention スパイクとスパイク間プラトー

Massive Activations（MA）とは、隠れ状態の座標のうちごく少数が、典型的な activation スケールを桁違いに超える大きさを持つものを指し、完全 attention LLM における attention sink や量子化挙動を組織化することが知られています。ハイブリッド線形 attention（HLA）アーキテクチャは、線形 attention（または SSM）層とスパースな完全 attention 層を交互に配置しますが、この交互配置によって MA が持続するのか、消滅するのか、あるいは再編成されるのかは不明でした。本論文は、HLA LLM における MA の形態についての最初の体系的な実証的特性評価を提供し、それを完全 attention 層の配置に同期した write–cancel 外れ値ライフサイクルへと遡ります。

アーキテクチャに整合した 2 つの形態

中心的な実証的主張は、HLA モデルにおける MA が層スケジュールに直接紐づいた 2 つの一貫したパターンを示すというものです：

  • Pre-attention スパイク（PAS）： すべての完全 attention 層の直前において、残差ストリーム中の MA の大きさがスパイクします。
  • スパイク間プラトー（ISP）： 連続する完全 attention 層の間で、MA は間に挟まる線形 attention 層を越えて減衰せずに持続し、2 つの PAS をつなぐプラトーを形成します。

完全 attention の密度が増加するにつれ、ISP は PAS 間のギャップを徐々に「埋めていき」、形態は純粋な完全 attention Transformer に特有の安定した層ごとに持続する MA プロファイルへと連続的に補間されます。

Gated DeltaNet HLA モデルにおけるハイブリッド構成全体にわたる MA 形態。

この組織化の再現性は、5 つの線形 attention ファミリー（Gated DeltaNet、Mamba2、GLA、RetNet スタイルなど）、6 つのハイブリッド化比率、5 つのデータドメイン、および 1.2B から 397B の総パラメータ数に及ぶオープンソースハイブリッドにわたって確認されており、単一のアーキテクチャやスケールに起因するアーティファクトではないことが示されています。

アーキテクチャ横断的な MA トークンおよび PAS の同定

著者らはまず、層をまたいで MA トークンを追跡するための attention sink ガイドによる手順を確立します：ほとんどのデコーダ LLM において最初のトークンが一般的な attention sink であることから、MA の出現を示すロバストなプローブとしてその軌跡を利用します。固定された 12{:}1 のハイブリッド化比率（線形層 12 層につき完全 attention 層 1 層）のもと、全 5 つの HLA アーキテクチャにわたる 1.3B モデルにおける最初のトークンの軌跡は、完全 attention に先行する層インデックスにおいてのみ activation の鋭い極大値を示し、その間の線形層では大幅に小さい大きさを示します。

12:1 ハイブリッド化における線形 attention アーキテクチャ横断の Pre-attention スパイク。

並べてプロットされた完全 attention Transformer の参照モデルは、すべての層において同じ極大値を示しており、PAS が層交互配置のもとで完全 attention MA パターンをスパース化した像であるという解釈と整合しています。

系統的外れ値に基づく説明：局所的な write–sink–cancel

PAS の層横断的な起源を説明するために、著者らは完全 attention LLM に関する先行研究の符号付き系統的外れ値フレームワークを HLA モデルに拡張し、代表的な固定された（トークン、特徴）座標を深さ方向に追跡します。

12:1 GDN ハイブリッドにおける PAS の基盤となる局所的な write-sink-cancel ライフサイクル。

ライフサイクルは 3 つのフェーズからなります：

  1. Write（書き込み）。 完全 attention ブロックの直前の層が、特定の座標において符号付きの大きさを持つ更新を残差ストリームに書き込み、PAS を生成します。
  2. Sink（吸収）。 完全 attention 層が外れ値を消費します（最初のトークンに対する attention sink 挙動）。
  3. Cancel（相殺）。 続く逆符号の更新が外れ値をほぼ打ち消し、座標をベースラインの大きさに戻します。

形式的には、h_\ell を層 \ell における残差ストリーム、\Delta_\ell を層の更新とすると、PAS は座標 c において |\Delta_{\ell^\ast-1}[c]| \gg |\Delta_{\ell}[c]|（他の \ell に対して）を満たし、その後小さな k に対して \Delta_{\ell^\ast+k}[c] \approx -\Delta_{\ell^\ast-1}[c] が成立することに対応します。ISP は相殺が遅延する同じライフサイクルです：逆符号の更新が多くの層後に到達するため、外れ値は間に挟まる線形層を越えて生き残り、プラトーを形成します。

これにより、コンパクトなメカニズムレベルの統一が得られます：PAS と ISP は同じ write-cancel イベントであり、相殺のタイミングにのみ違いがあり、そのタイミングはハイブリッド化スケジュールによって決まります。

制御された事前学習とゲーティングの非対称性

GDN ベースのハイブリッドを 1.3B まで制御して事前学習した結果、両方の形態が学習の早い段階で出現し、その後安定することが示されました。アーキテクチャ中の 2 つのゲーティングメカニズムは非対称な挙動を示します：

  • 完全 attention 出力ゲーティングを除去すると、PAS および ISP の絶対的な大きさが大幅に減衰しますが、層ごとの組織化は解消されません――座標パターンは残るものの、振幅が小さくなるだけです。
  • GDN ゲートを除去すると、比較的わずかな増幅が生じます。

この非対称性は、MA の振幅制御が主に完全 attention 出力ゲートに帰属し、層ごとの構造が交互配置スケジュールによって決定されることを示しています。

限界と未解決の問題

本研究は因果的というよりも記述的・メカニズム観察的なものです：介入はゲートのアブレーションと事前学習の変分に限定されており、PAS/ISP を抑制することが下流タスクを劣化させるかどうかの直接的な検証は行われていません。固定座標分析はモデルごとに 1 つの代表的な座標に依存しており、複数の、場合によっては相互作用する外れ値座標がスケールにおいて同じライフサイクルを共有するかどうかは網羅的に確立されていません。HLA モデルにおける量子化、KV キャッシュ圧縮、および長文脈安定性への示唆は示唆されているものの、測定はされていません。最大のモデル（397B まで）はオープンチェックポイントを通じてのみ分析されているため、ゲーティングに関する制御された事前学習の結論は厳密には 1.3B のみに適用されます。

なぜ重要か

HLA アーキテクチャは効率的な長文脈 LLM の主要な方向性であり、MA は低ビット量子化および attention sink 依存挙動における支配的な失敗モードです。MA が完全 attention 層の周囲に予測可能に再編成されること――ISP で橋渡しされた PAS として、write–cancel ライフサイクルによって制御され、完全 attention 出力ゲートによって変調される――を示すことは、将来のハイブリッド設計における量子化スキーム、KV キャッシュ設計、およびゲーティングの選択に対して具体的な標的を与えます。

Source: https://arxiv.org/abs/2608.12149

LiveAnimate: リアルタイムでの安定した長尺ストリーミング人物アニメーション

ポーズ駆動型人物アニメーションは、参照画像 I_{\text{ref}} と駆動ポーズストリーム \{P_t\} を入力として、参照被写体がそのポーズに従う動画を生成します。既存のdiffusionベースのシステム（UniAnimate-DiT、Wan2.2-Animate、EverAnimate、One-to-All、SCAIL）は高品質な出力を実現しますが、1クリップあたり数分から数時間を要するため、ライブテレプレゼンスやアバターストリーミングへの応用が不可能です。LiveAnimateは、リアルタイムストリーミング、長期的安定性（3分間）、十億規模のbackbone（14Bパラメータ DiT）という、より困難な複合制約を目標とし、2×H100上で19.63 FPSで動作します。

手法

LiveAnimateは双方向のWan2.2-Animate-14B DiTを出発点とし、rank 128の2段階LoRA fine-tuneによって、3-latent-frameブロック（それぞれ12 RGBフレーム）を生成するblock-causal自己回帰ジェネレータへと変換します。

LiveAnimateの概要：block-causal DiT、PR-Sink KV cache、Ulyssesパラリズム。

第1段階「Reference-Anchored Teacher-Forcing Adaptation」では、各ブロックが（i）参照トークンと（ii）既に生成されたブロックのみにattendするようattentionマスクと位置構造を再学習し、完全な再学習を行うことなく事前学習済みの双方向モデルをblock-causalへと変換します。第2段階「Block-wise Self-Forcing Distillation」では、generator/criticペア（いずれもLoRA適応済み、学習率 1\times10^{-5}）を用いたself-forcingレジームによって、ブロックあたりのサンプリングを3ステップの denoisingに圧縮します。このとき、teacher-forcedな軌跡ではなくgeneratorが生成したロールアウトに対して教師との分布統計をマッチングします。これは、テスト時にモデルが自身のKV cacheを消費しなければならない場合のexposure biasを回避するために重要です。

長期安定性の中核となるコンポーネントはPose-Retrieval Sink Attention（PR-Sink）であり、次のように構造化された有界KV cacheです：

  • Static Sink：最初に生成されたブロックのKVであり、外観のアンカーとして永続的に保持されます（LLMストリーミングにおけるattention sinkに類似）。
  • Dynamic Sink：コンパクトなメモリバンクから、現在のポーズブロックと保存済みのポーズembeddingをマッチングすることで選択された、ポーズ検索による過去のブロック。
  • Rolling Window：局所的な動きの連続性のための直近3ブロック。

ストリームの長さに関わらず、参照するコンテキストは合計5ブロックに固定されるため、ブロックあたりの計算量は一定に保たれます。ポーズが大きな時間間隔を経て再現する場合—アイデンティティドリフトが蓄積する失敗モード—において、Dynamic Sinkは類似ポーズが以前にレンダリングされたブロックを検索し、Rolling Windowが忘れてしまった外観コンテキストを復元します。これは、X-Danceの前進・反転・前進ベンチマークが意図的にストレステストするメカニズムです。

システムレベルでは、Ulyssesシーケンスパラリズムがattentionを2台のH100に分散し、DiTのforward passがブロックあたりのコストを支配しています（論文のTable 3参照）。これは、別デバイスでパイプライン処理可能なVAEとポーズエンコーディングを除いたDiTループのlatencyを報告する選択を正当化しています。

結果

評価には、3分間ベンチマーク上の24ペアを使用しています：ポーズの長間隔での再現を強制するため前進・反転・前進で再生されるX-Danceシーケンス12件と、野外のウェブ動画12件です。メトリクスは、初期品質と蓄積ドリフトを分離するため、ロールアウトを0–10秒、0–30秒、30–90秒、90–120秒、120–180秒のセグメントに分け、ASE、IQA、DINO-S（アイデンティティ）、FID、V-MAEを使用します。

3分間ロールアウトにおける品質とアイデンティティ；平坦な軌跡はドリフトなしを示す。

定性的な全身比較では、ベースライン（UniAnimate-DiT、Wan2.2-Animateなど）が3分クリップに対してエンドツーエンドで約2〜5時間を要するのに対し、LiveAnimateはリアルタイム生成を実現しています。赤いアノテーションは競合システムの失敗モード—衣服の色ドリフト、背景の崩壊、四肢アイデンティティの崩壊—を示しており、これらは60〜120秒付近で現れます。論文で報告されているLiveAnimateのDINO-SおよびIQAの軌跡は5つの時間ウィンドウ全体で平坦であるのに対し、ベースラインは30秒以降に単調に劣化します。

上半身シーケンス：20秒サンプルにわたってアイデンティティ、衣服、暗い背景が維持されている。

上半身比較では、静的な暗い背景下での顔と手の忠実度を個別に検証しています。このような設定では、diffusionのドリフトが通常、背景の色相シフトや顔のアイデンティティずれとして現れます。LiveAnimateは25 FPSで180秒間のロールアウト全体にわたって両者を保持します。

スループット：3ステップの denoisingによる3-latent-frameブロックを用いた 480\times480 または 384\times672 の出力において、2×H100でDiT単体19.63 FPS。これは同じ3分間の目標に対するベースラインの2〜5時間と比較して、おおよそ500〜1000倍高速です。

限界

このlatencyの数値はVAEのエンコード/デコードおよびポーズ・参照コンディショニングを除外しており、真のエンドツーエンド19.63 FPSを達成するためにはこれらのステージのパイプライン実装が必要ですが、論文はエンドツーエンドの実時間を報告していません。PR-SinkのDynamic Sinkは、有用なポーズマッチがメモリ内に存在することを前提としており、完全に新規のポーズはRolling WindowとStatic Anchorへのフォールバックが発生しますが、持続的な新規ポーズレジームでの挙動は抜粋中で個別にアブレーションされていません。学習コーパス（4万件のtalkingビデオ＋2万件の人物モーションビデオ）は外観の多様性において限定的であり、再構成メトリクスによる評価は提供されていません（知覚的に誤解を招くとして正当化されていますが、動き追従の忠実度は定性的な検証に委ねられています）。メモリバンクのサイズと検索カーネルの選択は、示されたセクションでは詳述されていません。最後に、3ステップへの蒸留は、基盤となる14Bの教師モデルが達成可能な品質の上限を制約します。

なぜ重要なのか

ストリーミングdiffusionはほぼ小規模モデルの領域でしたが、LiveAnimateは14B DiTをblock-causal、少ステップ、長さ安定性を同時に実現可能であることを示しました。スクラッチからの再学習を行うことなく、そしてLLMストリーミングにおけるattention sinkのアイデアが、ポーズ再現時の外観ドリフトを具体的に解決するポーズ条件付き検索の工夫を伴って動画へと転用可能であることを実証しています。これは、プロダクションモデルスケールでのインタラクティブなアバターシステムに必要な要素の組み合わせです。

Source: https://arxiv.org/abs/2608.11745

Full-bandwidth transformer

Autoregressive transformerは、2つの計算軸の間に帯域幅の非対称性を持っています。水平方向では、各新しいトークンはすべての層にわたって過去のすべてのkey/valueにattendできます。垂直方向では、デコードステップ間を渡るのは、サンプリングされたトークンという単一の離散シンボルのみです。それを生成したトップ層の隠れ状態 \bm{h}_{t-1}^L \in \mathbb{R}^D はlogitsに射影され、サンプリングされ、破棄されます。ステップ t-1 においてモデルが行った言語化されない計算は、ステップ t において、層0のtoken embeddingから始めてゼロから再計算しなければなりません。

Full-bandwidth transformerは、\bm{h}_{t-1}^L をサンプリングされたtoken embedding \bm{e}_t とともに入力に戻すことで、このステップ間チャネルを拡張します。

\bm{h}_t^L = f_\theta\!\left(\bm{e}_t \otimes \bm{h}_{t-1}^L;\; C\right), \qquad \bm{e}_t \leftarrow \mathrm{Decode}(\bm{W}^{\text{head}} \bm{h}_{t-1}^L),

ここで C は過去の位置のKV cache（embeddingの代わりに融合された状態 \bm{e}_i \otimes \bm{h}_{i-1}^L を含む）です。融合が \bm{h}_{t-1}^L を無視する場合、標準的なデコードに戻ります。

標準デコードとlatent feedback デコードの比較。

The fusion operator

融合は意図的に非対称なgated linear unitです。

\bm{e}_t \otimes \bm{h}_{t-1} = \bm{W}^U \bm{h}_{t-1} \odot \sigma(\bm{W}^G \bm{e}_t),

ここで \bm{W}^U, \bm{W}^G \in \mathbb{R}^{D \times D} です。隠れ状態はvalue経路を占め、token embeddingは乗算ゲートとしてのみ入ります。これが重要な設計上の選択です。\bm{e}_t + \bm{W}\bm{h}_{t-1} のような対称融合では、モデルが状態経路をゼロに追いやり、加算ショートカットを介して標準的な事前学習lossを再現できてしまいます。これは、事前学習済みチェックポイントから初期化する際に特に誘惑的です。式(4)のもとでは、\bm{h}_{t-1} を除去すると入力が完全に失われ、トークンのアイデンティティは状態に課された D 次元のgatingパターンとしてのみ生き残ります。状態を読むことは必須です。

融合の出力次元は D であるため、transformerスタック、KV cacheのレイアウト、およびサービングスタック（vLLMを含む）は変更されません。トップ層の状態は、multi-token-predictionの実装に類似した専用バッファに格納されます。推論のオーバーヘッドはステップごとに2つの D \times D matmulであり、フォワードパスの1%未満で、深さとコンテキスト長に依存しません。

Training recipe

Feedbackを用いてnaiveに学習すると、\bm{h}_{t-1}^L は前のステップのフォワードパス全体の後にしか分からないため、teacher-forcingの並列性が失われます。著者らはスケジュールされたmulti-passの目的関数を使用します。latent feedbackは事前学習の後半に導入され、バッチは異なる深さのpassを混合します（k-passバッチはスタックを k 回逐次実行し、各passがトップ層の状態を融合された入力として次のpassに渡します）。この混合はアニールされます。

  • 10Bトークン：100% 3-pass（10Bトークン、40Bトークン相当の計算量）
  • 100B：75% 1-pass / 25% 3-pass（150B計算量）
  • 200B：75% / 22% 2-pass / 3% 3-pass（256B計算量）
  • 400B：同じ混合（512B計算量）

最適化には、行列パラメータにはNorMuon（lr 10^{-2}、wd 0.01）、それ以外にはAdam（lr 5 \times 10^{-4}）を使用し、25%のクールダウンを持つWSDスケジュール、クールダウン中のz-loss 10^{-5}、jitterノイズ \sigma = 0.02 を採用しています。データ混合とコンテキスト長（8192）はPhi-4に合わせています。

Fused prefilling as effective depth

推論時、同じmulti-passメカニズムをプロンプトに適用できます。融合された入力でprefillを再実行し、前のpassのトップ層状態をゲートに通します。3つの経験的な観察があります。

  1. 改善は最初に集中する。 validation lossおよび5-shot LM Eval平均（RTE、TruthfulQA-MC2、ARC-E、ARC-C、BoolQ、PIQA、WinoGrande、OpenBookQA、COPA、MMLU）における改善のほとんどは、最初の融合passで現れます。これは、完全なスタックの状態が初めて層0に晒される時です。追加のpassは逓減するリターンで効果があり、このメカニズムがプロンプトに対して有効な深さを追加するという仮説と一致しています。

  2. 未使用でも低コスト。 推論時のfeedback passがゼロであっても、latent-feedback-trained モデルは標準ベースラインと比較してvalidation lossをわずかに失うだけで、すでにLM Eval平均精度を改善しています。training recipeは、feedbackを一切使用しないデプロイメントにとっても有益です。

  3. Prefillの計算量が事前学習データを代替する。 prefillで2つのfeedback passを使用すると、100Bトークンのfull-bandwidth モデルは200Bトークンの標準ベースラインに匹敵し、200Bトークンのfull-bandwidth モデルは400Bトークンの標準ベースラインに匹敵します。これは、適度な推論時計算量から変換された約 2\times のデータ効率の向上です。

Limitations and open questions

本論文は1Bスケールの結果のみを報告しており、2\times のデータ効率比がフロンティアスケールでも維持されるかどうかは未解決です。トークン相当計算量の説明は誠実ですが、400Bトークンのfull-bandwidth runが実際には512Bのフォワードパストークンを消費することを示しており、比較は同FLOP基準ではなく同トークン基準であることが明らかです。multi-passスケジュールの具体的な混合（75/22/3）は、本文中でアブレーションされていません。また、latent feedbackがサンプリングとどのように相互作用するかも不明です。温度 > 0 では、伝達された状態は確率的なドローによって生成されており、生成中のseedに対する分散の分析は示されていません。最後に、このメカニズムは単一ストリームのautoregressive デコーディングを前提としており、可変長シーケンスを持つバッチサービングおよびspeculative decodingでは、融合されたKV bufferに関して注意が必要です。

Why this matters

Latent feedbackは、最小限でアーキテクチャ的に保守的な変更であり、トップ層の隠れ状態をステップ間信号として再利用し、transformerの狭い言語ボトルネックを D 次元の連続チャネルに変換しながら、KV cache、teacher forcing（スケジュールされたmulti-passによる）、および言語モデリング目的関数を保持します。報告された推論時リカレンスによる 2\times のデータ効率が実証されれば、既存のサービングスタックにトークンごと2つの余分なmatmulで組み込める、稀な計算とデータのトレードオフを提供します。

Source: https://arxiv.org/abs/2608.08888

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

問題と動機

既存の「AI科学者」システム（例：Sakana’s AI Scientist、エージェント型研究パイプライン）は、アイデア生成、コーディング、論文執筆にわたってLLMの呼び出しを連鎖させますが、証拠をテキスト、数値テーブル、ラベル、または事前計算された特徴ベクトルに変換した後にのみそれを消費します。このインターフェースは、科学的に重要な関係を暗黙的に捨て去ってしまいます。病理タイルにおける局所的な空間構造、地震記録や移動軌跡における時系列的順序、三成分信号におけるチャネル間の位相関係、三次元構造における幾何学的隣接関係などがその例です。著者らは、自律的発見のボトルネックはワークフローの網羅性ではなく知覚インターフェースにあると主張します――すなわち、生の成果物からエージェントのコンテキストに至るまでどの関係が保持されるか、という点です。

生の証拠から検証済み知見への進展；下段のバンドは、事前計算済み特徴インターフェースが仮説空間をいかに縮小するかを示す。

Figure 2はこの主張を具体的に示しています：三成分地震記録を直接読み取ることで、「ノイズ」ラベルの21.7%が実際には真のイベントであるという発見が可能になります。同じ記録を特徴ベクトルとして提供した場合、その仮説が依存するP/S相の手がかりが失われてしまいます。

証拠の分類体系

OmniScientistは成果物を、テンソルの形状ではなく必要とされる推論の種類によって定義された、分野横断的な4つのファミリーに整理します。

  • 知覚的（Perceptual）：画像、顕微鏡写真、スペクトル、波形、三次元構造。
  • 記号的（Symbolic）：自然言語、数式、配列、知識グラフ、因果関係。
  • 定量的・統計的（Quantitative-statistical）：テーブル、分布、回帰、有意性検定。
  • 手続き的・動的（Procedural / dynamic）：実験ステップ、コードトレース、シミュレーション、エージェント軌跡。

既存のAI科学者スタックは主に記号的ファミリーと定量的ファミリーを扱います。本システムは知覚的および手続き的証拠においてカバレッジを主張します。

フレームワーク

パイプラインは、共有知覚レイヤーの上に置かれた3つのエージェントによる決定論的な連鎖です。

アーキテクチャ：知覚レイヤーがアイデア生成、実験、論文執筆ステージに供給する；破線の矢印は知覚ツールがすべてのステージから呼び出し可能であることを示す。
  1. Ideation（アイデア生成）：知覚レイヤーを通じて生の素材を観察し、文献を検索して反証可能な仮説を生成します。「アイデアチェック」がコードにおける新規性スクリーニングを強制します。
  2. Experiment（実験）：検証を設計し、コードを実行し、中間結果を検査して実行記録（標準出力、図、成果物、設定）を生成します。「厳密性チェック」が統計的妥当性と実行の来歴を強制します。
  3. Writeup（論文執筆）：実行記録に対して厳密に主張を選択し根拠を示します。「主張チェック」が数値の追跡可能性を強制するため、記録内の対応するエントリなしには論文中にいかなる数値も現れません。

知覚レイヤーは機構的に興味深い部分です。常にプロットをレンダリングしてVLMを呼び出すのではなく、生の成果物に対してネイティブな数値解析を優先します。例えば、波形に対するFFTピーク、時系列に対するトレンドとチェンジポイントの抽出、グラフに対する隣接クエリ、CADメッシュに対する幾何プリミティブなどです。視覚的レンダリングは、空間的または構造的パターンが問いに対して本質的である場合にのみ呼び出され、エージェントがすべての成果物に対してレンダリング＆キャプションにデフォルトしないよう、実行ごとに予算制約が課されます。数値特徴、視覚的検査、またはその両方のどれを選ぶかは、ハードコードされたルーティングテーブルではなくタスクのコンテキストが判断します。

知覚モデルはすべての実験においてClaude Sonnet 5に固定され、推論バックボーンを入れ替えます。これにより、推論品質の寄与と生の観察能力の寄与を切り離すことができます。

16ケース、11モダリティ、4つの証拠ファミリーにわたる生の観察と得られた発見；赤のバウンディングボックスはエージェントが生の記録上でフラグを立てた特定の特徴を示す。

Figure 4は、画像、スペクトル、三成分信号、音声、動画、三次元構造、軌跡、テーブル、数式、配列、グラフに対して動作するレイヤーを示し、「観察した / 発見した」の注釈が特定の生の手がかりを下流の検証済み実験結果に結びつけています。

評価

評価スイートは5つの分野ファミリー、4つの証拠ファミリー、12のモダリティにわたる36件の実データケースで構成されます。スコアリングは、アイデア生成、実行、論文執筆にわたる総合評価を採点するために、分野外の2つのジャッジ（deepseek-v4-flash、gemini-2.5-flash-lite）を使用します。

知覚をSonnet 5に固定した場合のバックボーン汎用性（Table 4）：

Backbone Cases Completed Mean
Claude Sonnet 5 36 36 6.5
GLM 5.2 18 17 6.7
Kimi K2.7 9 6 6.5
GPT 5.6 10 9 5.7
Qwen3.5-122B 34 30 5.4
Qwen3.5-27B 36 32 5.3
Gemma-4-31B 36 32 5.0
Gemma-4-26B 34 25 4.3
Qwen3.5-9B 32 18 4.1

Sonnet 5のみが36ケースの全スイートを完了します。GLM 5.2は最高の平均スコア（6.7）を持ちますが、18ケースで使用されました。報告された完了数は、より小さなオープンウェイトのバックボーンが主にツール使用と長期的な制御において失敗し、個別の推論ステップでは失敗しないことを示しています。知覚を一定に保つとスコアの幅が比較的狭く（4.1〜6.7）なっており、これは、推論モデルではなく生の証拠へのアクセスが支配的なレバーであるという論文の主張と一致しています。

限界と未解決の問い

  • 総合スコアはLLMによって判定されており、発見された知見の人間専門家との一致度や再現性（例：21.7%の誤ラベリングの主張）がドメインの真実に対して報告されていません。
  • 知覚は単一のフロンティアモデルに固定されており、（推論バックボーンではなく）知覚の寄与を切り離す ablation は提供されているセクションには示されていません。テキストのみのベースラインに対するゲインのどれだけが予算制約付き視覚検査に由来し、どれだけがネイティブな数値プロービングに由来するかは不明です。
  • 主張チェックは実行記録への数値の追跡可能性を強制しますが、バグのある実験と偶然整合する不正確な仮説を検出することはできません。実行の来歴は科学的妥当性を意味しません。
  • ケースあたりのコストと実行時間はここでは報告されておらず、予算制約付きレンダリングはその感度が特性評価されていない調整パラメータです。

なぜこれが重要か

本論文はAI科学者の設計をエージェントの足場ではなく知覚インターフェースを中心に再構成します。到達可能な仮説空間を決定するのは、成果物とモデルの間で空間的・時間的・チャネル間の関係がどれだけ保持されるかです。知覚を固定して推論バックボーンを入れ替えても平均スコアが4.1〜6.7に集中するという結果は、多分野横断的な自律研究における現在のボトルネックが生のモデルの知性ではなく生の証拠へのアクセスにあるという主張を支持しています。

Source: https://arxiv.org/abs/2608.13558

DreamX-Phi 1.0: ロボット操作のためのAction-Conditioned Video World Model

DreamX-Phi 1.0は、ロボット操作に用いられるvideo world modelにおける特定の失敗モード、すなわち幾何学的・運動学的に誤りがあるにもかかわらず写実的に見えるrolloutを標的としています。初期RGBフレーム \mathbf{x}_0、言語指示 \mathbf{c}、およびend-effectorの姿勢とgripper状態からなる規定された両腕actionシーケンス \mathbf{a}_{1:T} が与えられたとき、モデルは

p_\theta(\mathbf{x}_{1:T}\mid \mathbf{x}_0, \mathbf{a}_{1:T}, \mathbf{c})

を学習します。

課題は、diffusion priorが誤った腕を動かしたり、操作対象オブジェクトをドリフトさせたり、剛体運動制約に違反したりしながらも、もっともらしいフレームを生成し得る点にあります。本論文の核心的な設計判断は、推論コストを抑えつつ、事前学習済みvideo diffusion transformerにaction、幾何学情報、およびオブジェクトのアイデンティティをどのように組み込むかに関するものです。

DreamX-Phi 1.0の概要。単一フレームと規定された両腕actionからaction-conditionedで将来の観測を予測するvideo world model。

Backboneとaction conditioning

生成器はflow matching（Lipman et al., 2023）で学習されたWan2.2-TI2V-5B video diffusion transformerです。最初のフレームのlatentが視覚的文脈を提供し、将来のフレームのlatentがflow matchingのターゲットとなります。このbackboneの上に、action conditioningが2つの補完的な方法で重ねられています。

  • Arm-grouped PRoPE。 腕ごとのSE(3)変換が、PRoPEスタイルの幾何学的positional encodingを通じてattentionに組み込まれます。これにより腕のアイデンティティ（左右）が保持され、token間のattentionパターンに剛体運動構造が強制されるため、「どの腕がどのように動くか」という信号がシーケンス全体に拡散されることがありません。
  • ロボット限定optical flow。 ロボットピクセルに限定した補完的な画像平面の手がかりが、指令されたend-effectorの軌跡と動くべきピクセルとの間の明示的な2D対応を提供します。これにより、SE(3) conditioningだけでは対処できない点、すなわち現在のカメラにおける運動の射影的な帰結を処理します。

フレームワーク：Wan2.2-TI2V-5B backbone、arm-grouped PRoPEおよびoptical-flow action conditioning、さらにSAM3-mask、DA3-depth、V-JEPAのtraining objective、DMDによるdistillation。

補助的な教師あり学習

Action conditioningはロボットを制約しますが、シーン幾何学や小さなオブジェクトのダイナミクスは未決定のまま残ります。学習中にこのギャップを埋めるために3つの補助的なlossが使用されます。

  1. Depth latent objective。 軽量なdepthブランチがDepth Anything 3のターゲットによって教師あり学習され、3D構造をRGB再構成から暗黙的に推定することに頼るのではなく、明示的なシーンレベルの幾何学信号をモデルに与えます。
  2. SAM3-maskによる再重み付け。 SAM3のsegmentation maskが操作対象オブジェクト周辺のRGB flow-matchingのlossを再重み付けすることで、gradientの大きさが静的な背景ピクセルに支配されないようにします。
  3. V-JEPA object-relational teacher。 固定されたV-JEPAエンコーダが特徴空間のターゲットを生成し、時間を通じたオブジェクト間の関係構造を制約します。これはピクセルレベルの教師あり学習が最も弱くなる把持、遮蔽、および受け渡しを通じてアイデンティティを維持するために重要です。

Few-step distillation

デプロイメントに向けて、マルチステップのteacherはdistribution-matching distillation（DMD）と adversarial trainingを組み合わせることでfew-step studentにdistillされます。これはdiffusion-videoの高速化においてすでに標準的なレシピですが、world modelがRLのrollout環境として機能するためにはその導入が不可欠です。Track 2ではpolicyの更新ごとに多数の軌跡が必要であり、40以上のNFEを持つteacherは実用的ではありません。

データ

コーパスは3つのソースを混合しています：視覚的多様性のためのaction-freeな一人称視点動画、実ロボットのデモンストレーション、およびaction–observationの整合が制御されたシミュレーションRoboTwin 2.0の軌跡です。カメラ構造はソースごとに保持されており、単一視点は単一視点のまま、同期されたマルチ視点は明示的に結合されます。この異質性はおそらく重要です：純粋な遠隔操作による操作データは狭く、一人称視点動画が日常的なダイナミクスの事前知識を供給することで、モデルがシーン物理を汎化できるようになります。

結果

評価にはWorldArena 2.0の2つのトラックが使用され、いずれもRoboTwin 2.0から派生しています。Track 1（1,000エピソード）は言語またはaction conditioningからのopen-loopなビデオ予測を評価し、Track 2は提出されたworld modelをRLのrollout環境として使用し、固定された初期化と報酬モデルから \pi_{0.5} policyを最適化して、held-outのAdjust Bottleエピソードで評価します。DreamX-Phi 1.0はTrack 1で1位、Track 2で2位を獲得しました。本論文はさらに、先行するworld modelとの比較のため、WorldArena 1.0 Track 1（Clean-50：50タスク × 10エピソード）についても報告しています。

WorldArena 2.0 Track 1のrollout。行(a)は標準的なRoboTwin 2.0シーン、行(b)はドメインランダム化された背景、テクスチャ、照明、およびdistractorを示しています。

定性的なrolloutは、単純なvideo modelが失敗する箇所でまさにその設計が効果を発揮していることを示しています：正しい腕の動作、シーケンス全体での保持オブジェクトの安定したアイデンティティ、およびドメインランダム化下での保持された幾何学的一貫性です。

制限と未解決の問題

DreamX-Phi 1.0はForward Dynamics Modelであり、外部から提供されたactionシーケンスを消費するだけで、自らactionを提案することはありません。これはclosed-loopでの使用に対する根本的な制限です：action–videoの一貫性はtraining objectiveを通じてのみ強制されており、結合生成によるものではありません。著者らはjoint World Action Modelを将来の課題として挙げており、これは (\mathbf{x}_{1:T}, \mathbf{a}_{1:T}) を同時にサンプリングし、予測された視覚的帰結をそれを引き起こしたactionと結び付けることができます。その他の未解決の問題として、Track 1の性能向上のどれだけがPRoPEによるものか、optical flowによるものか、V-JEPAによるものかの検証（ここではablationの数値は示されていない）、DMD studentのfidelityがteacherと比べてどの程度劣化するか、そしてTrack 2の2位という差がpolicy最適化下でのrolloutエラーの累積とどのように関連するかが挙げられます。

この研究が重要な理由

忠実なaction-conditioned動画は、生成的video modelと操作RLに使用可能なworld modelとの間に欠けていたピースです。DreamX-Phi 1.0は、構造化されたaction injection（PRoPEを介したSE(3)とロボット限定optical flow）を幾何学およびオブジェクトアイデンティティのteacherと組み合わせることで、5B diffusion transformerが単に見栄えの良いビデオ生成器としてではなく、RLのrollout環境として競争力を持つのに十分であることを示しています。

Source: https://arxiv.org/abs/2608.13489

Hacker News Signals

テキストAIウォーターマークは常に簡単に除去可能である

Source: https://www.seangoedecke.com/text-ai-watermarks/

この主張は実証的なものではなく、構造的なものです。トークン分布レベルで機能するウォーターマーク方式は、その設計コストよりもはるかに低いコストで適用可能な、意味を保持する変換のクラスに対して脆弱です。著者は二つの基本的な攻撃面を特定しています。第一はパラフレーズ——意味を保ちながらテキストを書き換えることで、埋め込み方法に関わらずトークンレベルの統計的パターンが破壊されます。第二は挿入・削除攻撃——トークンを追加または削除することで、ウォーターマーク方式が依拠するバイグラムおよびn-gram統計が乱され、これもまた検出機構の設計コストに比べて極めて軽微な労力で実行できます。

より本質的な指摘は、テキストウォーターマークは画像ウォーターマークとは異なるという点です。画像においては、知覚的に不可視な周波数帯域にシグナルを埋め込むことができ、そのシグナルは非可逆圧縮やリサンプリングを経ても生き残ります。シグナル空間は高次元であり、冗長にエンコードすることが可能です。テキストにはこれに相当する基盤がありません——意味はほぼ完全に表層のトークン列によって担われており、意味を保持するいかなる変換も低レベルの統計的フィンガープリントを必然的に破壊します。ロバスト性のバジェットは本質的にゼロです。

著者はまた、敵対的な非対称性についても指摘しています。攻撃者は機能する安価な変換を一つ見つければよく、防御者はそのすべてに対して同時に対策を施さなければなりません。KGW（Kirchenbauer et al.）のような方式は、直前のコンテキストに条件付けられた「グリーン」トークンリストへのサンプリングのバイアスによってウォーターマークを埋め込みます。これは軽微な編集には耐えますが、パラフレーズによって崩壊します。なぜならグリーンリストの割り当てはコンテキスト依存であり、書き換えによってトークンのコンテキストが変化すると、グリーンリストのシグナルが消失するからです。

実際的な含意として、ウォーターマークは軽微な悪用（例：学生が軽く編集したAI出力を提出するケース）に対するソフトな抑止力として機能する可能性はありますが、暗号学的な保証を提供するものではなく、敵対的な設定では信頼すべきではありません。ウォーターマークに基づいて構築された検出システムは、ある程度の動機を持つ攻撃者に対して高い偽陰性率を示すことになります。

AIテキスト透かし（ウォーターマーク）の仕組み

Source: https://declaude.org/watermarking/

これは技術的な解説記事であり、上記の除去に関する記事と自然にペアをなすものです。KGWスキームをその実装が理解できる程度まで詳しく説明しています。具体的には、各生成ステップにおいて、直前の k トークンのハッシュが疑似乱数的な語彙の分割のシードとなり、語彙は「グリーン」集合（割合 \gamma、典型的には0.5）と「レッド」集合に分けられます。サンプリングの際、softmaxを適用する前にグリーントークンのlogitsにバイアス \delta が加算されます。検出は仮説検定として実行されます。長さ T のテキストが与えられたとき、グリーントークンの数 |s_G| をカウントし、z統計量を次のように計算します。

z = \frac{|s_G| - \gamma T}{\sqrt{\gamma(1-\gamma)T}}

帰無仮説（透かしなし）のもとでは |s_G| \sim \text{Binomial}(T, \gamma) となるため、大きな z は帰無仮説を棄却します。このスキームは十分に長いテキストに対して高い信頼度で検出可能であることが証明されており、また透かしは「ソフト」なものです。つまり、上位1位のトークンを変更する必要はなく、分布を微調整するだけであるため、 \delta が小さい場合にはテキスト品質の劣化は最小限に抑えられます。

この記事ではマルチビット透かしの変種についても取り上げており、異なるメッセージビットが異なるハッシュシードを変調することで、二値的な「あり・なし」の検出を超えた出所証明が可能になります。また、「公開型」と「秘密鍵型」の透かしについての議論も展開されています。検出アルゴリズムが公開されている公開型スキームは、攻撃者がグリーンリストを直接計算してそれを回避できるため脆弱です。秘密鍵型スキームは秘密鍵を必要としますが、その鍵を漏洩させることなく公開検証用に展開することはできません。

この解説は限界についても正直に述べています。z検定は短いテキスト、低エントロピーな出力（モデルの分布がすでに一点に集中しており、グリーンリストのバイアスがほとんど変化をもたらさない場合）、そして任意の言い換え攻撃に対して性能が低下します。この記事は批評を読む前に現在の技術の状況を理解するための確かな参考資料となっています。

GLM-5.3: フロンティアコーディングと創発的サイバー能力

Source: https://z.ai/blog/glm-5.3

GLM-5.3はZhipu AIによる新モデルであり、コーディング特化型フロンティアモデルとして位置づけられています。主要な主張は、競技プログラミングおよびソフトウェアエンジニアリングのベンチマークにおける高い性能と、投稿が「創発的サイバー能力」と呼ぶもの——すなわち、セキュリティドメインへの明示的な fine-tuning なしにCTF形式のタスクや脆弱性解析で良好なパフォーマンスを発揮すること——です。

コーディングベンチマークについては、SWE-bench VerifiedのスコアがGPT-4oおよびClaude 3.5 Sonetと競合する水準にあること、ならびにLiveCodeBenchにおける高い性能が報告されています。具体的な数値はここでは再掲しませんが、ブログには比較表が含まれています。このモデルはmixture-of-expertsアーキテクチャ（詳細は非公開）を採用しており、コード合成、テスト駆動生成、およびマルチターンデバッグ軌跡を重点的に学習しています。

「創発的サイバー」という表現は、CyberSecEvalおよび内部CTFタスクスイートにおけるパフォーマンスを指しています。このモデルはバイナリエクスプロイテーション、Web脆弱性、および暗号学的チャレンジタスクを、著者らが学習データの分布を考慮すると予期せぬ水準と述べるほどの高確率で解決します。これが真に創発的なのか、セキュリティのライトアップやCTFの解答を学習した結果なのかについては言及されておらず——ここでの「創発的」というラベルは、懐疑的に捉えるべき過剰な主張を含んでいます。

この投稿はアーキテクチャの詳細に乏しいです。注目すべきは、GLM-5.3がリポジトリレベルのコーディングタスクにおいて長いコンテキストウィンドウ（128Kトークン）を効果的に活用するという主張であり、これは生のベンチマークスコアよりも実際のソフトウェアエンジニアリング用途において関連性が高いと言えます。また、モデルがコード実行環境を操作するツール使用・エージェント的評価コンポーネントも含まれています。

未解決の問題として：公開アクセス可能なモデルにおける強力なサイバー能力のデュアルユース的性質については議論されていません。コード品質のための学習レシピ——具体的にはテスト実行フィードバックがどのように組み込まれているか——も公開されていません。

古いウェブはどこへ消えたのか？657,607件のリンクを辿って調べた

Source: https://0.mk/blog/link-rot

様々なウェブソースから収集した657,607件のURLのコーパスを対象に、リンク切れ（link rot）を大規模に実証的研究したものです。手法としては、全URLをクロールし、レスポンスを分類（200、301/302、4xx、5xx、DNS障害、タイムアウト）したうえで、ドメインの年齢、TLD、コンテンツタイプごとに層別化しています。主要な知見は、何らかの定義においておよそ38%のリンクが死んでいるというもので、これは先行の学術研究と一致していますが、本研究は公開されているほとんどの研究よりもはるかに大規模かつ多様なクロールに基づいています。

技術的に興味深い内訳を見ると、link rotの発生率はドメインの年齢と強く相関しており（古いドメインほど速く腐敗するのは予想通り）、ホスティングインフラとも相関しています。大規模プラットフォーム（GitHub、archive.org、主要ニュースサイト）へのリンクは、個人ドメインや小規模ホスティングプロバイダへのリンクに比べてlink rot率が劇的に低くなっています。PDFやバイナリファイルへのリンクはHTMLページよりも速く腐敗しますが、これはコンテンツが移動した際にリダイレクトされにくいためと考えられます。

著者らはリダイレクトチェーンを追跡しています。「生存している」リンクのかなりの割合が、意味的な意味ではすでに腐敗しており、ホームページや200を返すような汎用エラーページに301/302でリダイレクトされています。この「ソフトrot」を検出するには、単なるHTTPステータスの確認ではなく、コンテンツハッシュまたは意味的比較が必要です。本研究ではヒューリスティックを使用しており、URLパスを50%以上短縮するリダイレクトをソフトrotの可能性があるものとしてフラグを立てています。

DNS障害は非常に古いリンク（2005年以前の登録日）における支配的な失敗モードである一方、404はより最近のリンクで支配的です。5xxエラーはごくわずかであり、ほとんどのrotが一時的なサーバー障害ではなく恒久的な放棄によるものであることを示唆しています。

リンクアーカイブや引用グラフを構築する際の実践的な示唆として、単純なHTTPステータスの確認ではソフトrotのケースをおよそ15〜20%見落とします。コンテンツアドレス型ストレージ（IPFS、Wayback Machineのピン留め）が唯一の堅牢な解決策です。

組織によるAI活用の実態：ChatGPTからの知見

Source: https://cdn.openai.com/pdf/how-organizations-use-chatgpt.pdf

本論文は、企業向けChatGPT展開から得られた匿名化テレメトリを用い、調査データで補完したOpenAI発行の実証研究です。分析単位は個々のプロンプトではなく、組織レベルの利用パターンです。技術的な読者に向けて特筆すべき主要な知見を以下に示します。

タスクの分布はライティングおよび要約に大きく偏っており（カテゴリ別セッションの約60%）、次いでコーディング（約20%）、分析・QAタスクが3番目となっています。これは企業規模を問わず一貫した傾向であり、技術系企業ではコード関連の利用が多いという従来の想定が強く支持されないことはやや意外です。

採用パターンには「探索的プラトー」とも言えるダイナミクスが見られます。ChatGPTを導入した組織は最初の4〜6週間で急速な利用増加を示した後、継続的な複利的成長ではなく横ばいへと移行します。著者らはこれをタスク特化型の採用が飽和に達した結果と解釈していますが、テレメトリデータだけでは広範なワークフロー統合との区別が明確にはできません。

業界縦断別のAPIとUIの利用割合に関するセクションも設けられています。金融サービスおよびヘルスケアはAPI利用比率が高く、社内ツールへの統合と整合しています。メディアおよびマーケティングはUI利用が多く、個人のナレッジワーカーによる利用と整合しています。

方法論上の限界は無視できません。本研究はエンタープライズ契約を選択した組織の自己選択サンプルであり、規模が大きく技術的に洗練された企業に偏っています。中小企業や非公式なChatGPT利用のカバレッジは設計上存在しません。AIが生産性を「向上させる」という因果的主張は研究デザインによって支持されておらず、純粋に記述的なテレメトリです。本論文は需要側のマップとして有用ですが、生産性効果の根拠として読むべきではありません。

DeepSeek Harness 開発者プレビュー

Source: https://deepseek.com/harness/en/

DeepSeek Harness は、DeepSeekのモデルファミリーを中心に構築された、開発者向けの評価・デプロイメントフレームワークです。このプレビューでは、DeepSeekのモデル（R1およびV3バリアントを含む）をカスタム評価 harness に対して実行するための構造化インターフェースが公開されており、EleutherAIのlm-evaluation-harnessに類似していますが、DeepSeekの推論インフラと緊密に統合されています。

技術的な内容としては、Harness はタスク定義APIを提供しており、ユーザーはプロンプトテンプレート、few-shot の例、出力パーサー、スコアリング関数を指定し、それらをDeepSeekのエンドポイントに対して大規模に実行できます。chain-of-thought 抽出のネイティブサポートも備えており、DeepSeek R1 が明示的な推論トレースを生成することから、harness は最終回答と推論プロセスの両方を個別に評価できます。これはprocess reward modelの学習やデバッグに有用です。

このシステムには非同期ジョブ送信によるバッチ評価モードも含まれており、これは実用上重要な意味を持ちます。推論モデルに対する大規模な評価実行はコストが高く時間もかかるためです。また、複数のモデルバージョンに対して同一のタスクスイートを同時実行する「比較モード」も搭載されており、fine-tuning 中の回帰テストに役立ちます。

プレビューで特筆すべき欠如点としては、fine-tuning 統合（harness は評価を行うが学習は行わない）、クロスプロバイダー評価（DeepSeekエンドポイントに限定されている）、そして harness コード自体のオープンソース公開がないことが挙げられます。最後の点は再現性の観点から重大な制限であり、クローズドな評価 harness はベンチマークの主張を独立に検証する能力を損ないます。

ローカルまたはサードパーティの推論を通じてDeepSeekのopen-weightモデル（R1、V3）上で構築しているコミュニティにとって、現状の harness はそのままの形では直接利用できません。興味深い問いは、DeepSeek が harness ツールをオープンソースとして公開するかどうかであり、それが実現すれば既存のフレームワークと競合するものになるでしょう。

Cerebras と OpenAI による GPT-5.6 Sol Ultrafast の高速化

Source: https://www.cerebras.ai/blog/accelerating-gpt-5-6-sol-ultrafast-with-openai

Cerebras は、自社の CS-3 ウェーハスケールエンジンハードウェア上で GPT-5.6 Sol（“Ultrafast” ティア）を実行し、同等コストの GPU ベース推論と比較して大幅に高いトークン生成レートを達成したと報告しています。本投稿は OpenAI の推論 API との共同発表です。

技術的な核心：Cerebras CS-3 は、HBM ではなくオンチップ SRAM を備えた約 90 万コアを単一ウェーハ上に集積しています。これにより、自己回帰生成の decode フェーズにおけるメモリ帯域幅がボトルネックとなる問題を解消しています。大規模モデルでは、GPU 上の decode フェーズのスループットは HBM 帯域幅（H100 では約 3〜4 TB/s）に制限されますが、CS-3 のオンチップメモリ帯域幅はそれより桁違いに高く、バッチサイズ 1（レイテンシが重視される状況）において飛躍的に高速なトークン生成を実現します。

公表されているスループット数値：GPT-5.6 Sol において毎秒数千トークンのオーダーの速度が報告されていますが、正確なモデルサイズや比較ベースラインは完全には明示されていません。OpenAI の API における “Ultrafast” ティアは Cerebras が提供する推論に対応しています。

Cerebras が解決したエンジニアリング上の課題は、モデルの重みをオンチップ SRAM に収めることです。非常に大規模なモデルでは、複数の CS-3 チップにまたがるモデル並列化が必要となり、インターコネクトのオーバーヘッドが生じます。本投稿では、並列化戦略やモデルサイズのスケールに伴う効率の詳細については述べられていません。

制限事項：Cerebras レベルのハードウェアの償却を考慮したトークンあたりのコストは開示されていません。ウェーハスケールアプローチは歴史的に歩留まりが低く、初期投資コストが高いという問題があります。この製品はリアルタイム音声やインタラクティブエージェントといったレイテンシが重要なアプリケーションには有益ですが、レイテンシよりもコストあたりのスループットが重視される大規模バッチ推論においてはコスト競争力に欠ける可能性があります。

AIモデルの選び方：同一プロンプト、11モデル、異なる結果

Source: https://www.netlify.com/blog/one-prompt-11-models-very-different-results/

Netlifyの開発者体験チームによる実践的な評価です。適度に複雑な単一プロンプト（特定の動作を持つ機能的なWebコンポーネントの構築）を、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama 3.1 70B、Mistral Largeなど11のモデルに投入しました。評価は定性的なアプローチを主軸とし、正確性、コードスタイル、そして修正なしに出力が動作するかどうかを採点基準としています。

技術的に興味深い知見として、明確に仕様化されたコーディングタスクにおけるモデル間の分散は、非公式なベンチマークが示唆するよりもはるかに大きいことがわかりました。複数のモデルが構文的には正しいコードを生成しながら、プロンプトで指定されたエッジケースで失敗します。失敗のパターンには傾向があり、小規模なオープンウェイトモデルは多段階の制約充足（例：機能要件とアクセシビリティ要件を同時に処理するなど）を見落とす傾向があり、一方で大規模な独自モデルは冗長で過剰に設計されたソリューションを生成することが多い結果となりました。

この投稿では「命令への追従とコード品質のトレードオフ」についても言及しています。すなわち、すべての制約に忠実に従うものの脆弱なコードを生成するモデルと、よりクリーンなコードを書く一方で制約を暗黙的に省略するモデルが存在します。これは評価設計上の本質的な問題であり、集約されたベンチマークスコアはこの2つの軸を混同してしまっています。

実践的なモデル選定の観点からは、ベンチマークのリーダーボード順位がタスク固有のパフォーマンスの予測指標として弱いことを、この結果は改めて裏付けています。特定のモデルに決定する前に実際のワークロードで候補モデルを評価するという推奨は陳腐ではありますが、ここでは実証的に支持されています。また、同等の出力長に対して最速と最遅のモデルの間に3〜10倍のレイテンシの差があることも指摘されており、ユーザー向けアプリケーションでは無視できない点です。なお、コスト分析は含まれていないため、デプロイ決定のガイドとしての有用性は限定的です。

注目の新規リポジトリ

haoran-zha/Awesome-Spiking-Neural-Networks-Hub

スパイキングニューラルネットワーク（SNN）に関する、厳選されたバイリンガル（英語・中国語）のリファレンスハブです。340本以上の論文を集約し、ニューロモーフィックハードウェア（Intel Loihi、IBM TrueNorth、BrainScaleS、SpiNNaker）、ベンチマークデータセット、シミュレーション・学習フレームワーク（SpikingJelly、Norse、BindsNET）、および活発な研究グループの情報も網羅しています。構造は、基礎理論（スパイク符号化、STDP、surrogate gradients）と応用領域（computer vision、NLP、ロボティクス）を分離しており、初心者から専門家まで利用しやすい構成となっています。バイリンガルでの提供は実用的な意義を持ちます。SNN・ニューロモーフィック研究の相当部分が中国の研究機関から生まれており、その文献に母国語でアクセスすることは容易ではありません。単なる論文リストにとどまらず、ツールやハードウェアも索引化されている点は重要です。SNN研究はアルゴリズム設計と物理的基板の制約が交差する領域に位置しており、これはarXiv検索だけでは埋められないギャップです。SNNの分野に入門する方や、ニューロモーフィックコンピューティングの最新動向を追う方にとって、出発点として有用なリソースです。

Source: https://github.com/haoran-zha/Awesome-Spiking-Neural-Networks-Hub

DrHazemAli/enterprise-system-design

本番環境においてスケールするシステムを設計する際に生じる懸念事項のフルスタックを網羅した、体系的なコースおよびリファレンスです。分散システムの基礎（コンセンサス、レプリケーション、パーティショニング）、AIシステム設計（model serving、データパイプライン、feature store）、サイバーセキュリティ（脅威モデリング、ゼロトラスト、サプライチェーン）、HPCおよびエッジインフラ、ミッションクリティカルな信頼性エンジニアリングを対象としています。資料はソース根拠に基づいており、各主張は通説として浮遊するのではなく一次参照文献にリンクされています。スコープは意図的に広く設定されており、クラウドネイティブパターン、フォールトトレランス（バルクヘッド、サーキットブレーカー、カオスエンジニアリング）、規制・コンプライアンスへの配慮にまで及んでいます。これはシニアエンジニアが横断的な懸念事項に同時に直面するという現実を反映しています。本資料は、特定のトピックを深く掘り下げる専門書としてよりも、面接準備やシニアエンジニアのオンボーディングのための体系的なリファレンスとして有用であり、セキュリティとAIインフラを完全に省略しがちな典型的な「システム設計面接」リポジトリとは、その広さと引用の厳密さにおいて一線を画しています。

Source: https://github.com/DrHazemAli/enterprise-system-design

PatilShreyas/debroid

Debroidは、Android Studioを操作する人間ではなく、AIコーディングエージェントによってプログラム的に駆動されることを想定して構築された、ヘッドレスのAndroidデバッグデーモンです。メモリインスペクション、ブレークポイント管理、ライブアプリ状態のクエリといったランタイムイントロスペクション機能を、LLMエージェントがツール呼び出しとして利用できるAPI経由で公開しています。このアーキテクチャはエージェントを主要な利用者として想定しており、出力は人間の可読性ではなく機械によるパースに適した構造になっています。これは、AIを活用したAndroid開発ループにおける実用的なギャップを埋めるものです。現在のコーディングエージェントはJava/KotlinのソースコードをREAD/WRITEできますが、デバッガを操作する人間の仲介なしにランタイムの挙動を観察する手段がありません。Debroidは、ランタイムの状態を第一級のクエリ可能なリソースにすることで、このループを完結させます。ヘッドレスで動作するため、CIパイプラインやディスプレイのないサンドボックス化されたエージェント環境でも実行可能です。実装の内部ではADBおよびAndroid Debug Bridgeプロトコルを活用しています。自動化されたAndroidデバッグやテストエージェントを構築するチームに有用です。

Source: https://github.com/PatilShreyas/debroid

Kritt-ai/open-kritt

Open-krittは、セルフホスト型のオープンソース脆弱性リサーチプラットフォームであり、複数のAIエージェントを協調させてコードベース内のセキュリティ問題を特定・検証します。オーケストレーション層は、異なる脆弱性クラス（インジェクション、認証の欠陥、ロジックバグ、依存関係の問題）にわたってエージェントを展開し、発見事項を集約した上で、シングルパスのLLMコードレビューで知られる失敗モードである偽陽性を削減するための検証ステップを実行します。セルフホスティングは設計上の中心的な決断であり、解析対象のコードベースがユーザーのインフラから外部に出ることはなく、これはほとんどのセキュリティワークフローにおいて必須の要件です。エージェントアーキテクチャにより専門化が可能となっており、異なるエージェントがLLMベースの推論にエスカレートする前に、異なるprompt戦略や静的解析ヒューリスティクスを適用できます。執筆時点で1,700以上のスターを獲得しており、コミュニティから相応の注目を集めています。未解決の問題としては、検証パイプラインの品質（LLMが自身の偽陽性を確認してしまう事態をどのように防ぐかが不明確である点）、およびCodeQLやSemgrepといった確立されたSASTツールと比較したカバレッジの深さが挙げられます。

Source: https://github.com/Kritt-ai/open-kritt

surya-koritala/loomfeed

Loomfeedは、人間とAIエージェントの双方がディスカッションに参加することを前提として再設計された、Reddit風のソーシャルプラットフォームです。主な特徴として、出所追跡（各主張や投稿にはその起源と推論チェーンに関するメタデータが付与される）、人間とエージェントの信頼性を個別に区別するレピュテーションシステム、認識論的ステータスラベル（LessWrongスタイルの不確実性タグに類似）、そして複数のエージェントがスレッド上で立場を議論できる構造化されたエージェントディベートが挙げられます。セルフホスティングにはDocker Composeを用いることで、運用上の障壁を低減しています。技術的な関心は、そのデータモデルにあります。出所と認識論的メタデータは、フラットな upvote カウントに収縮することなく、返信ツリーと集約レイヤーを通じて伝播しなければならないため、非自明なスキーマ設計が求められます。レピュテーションシステムが協調的なエージェントの振る舞い（同質なLLMによるSybil攻撃）に対して堅牢かどうかは未解決の問いです。大規模展開の前に、小規模で人間とAIが混在する情報エコシステムの挙動を研究するための有用なテストベッドとなりえます。

Source: https://github.com/surya-koritala/loomfeed

arcships/aimux

AimuxはRust製のLLMプロバイダー向け統合アクセスレイヤーであり、単一のAPIを通じて325種類のAIサービスへリクエストをルーティングします。その価値提案は運用上のものです。コスト裁定、フォールバック、あるいは機能別ルーティングを目的として複数のプロバイダーを利用しているチームは、現状N個の個別インテグレーションを管理しなければなりません。Aimuxはそれを一つに集約します。Rustを採用したのは意図的な選択です――このプロキシはすべての推論呼び出しのクリティカルパス上に位置するため、レイテンシのオーバーヘッドとメモリフットプリントが重要になります。アーキテクチャは、プロバイダー固有のリクエスト/レスポンススキーマ（OpenAIスタイル、Anthropic Messages API、Geminiなど）を共通の内部表現に正規化し、各プロバイダーのワイヤフォーマットに再シリアライズするものと推測されます。325プロバイダーという数字は、フロンティアモデルから地域特化型・専門特化型プロバイダーまで幅広くカバーしていることを示唆します。未解決の主要な問いとしては、統一された抽象化にクリーンにマッピングされない機能（structured outputs、function callingスキーマ、コンテキストキャッシングなど）をどのように扱うか、またルーティングレイヤーがステートフルなフェイルオーバーをサポートするのか、それともステートレスなラウンドトリッププロキシングのみに留まるのか、という点が挙げられます。

Source: https://github.com/arcships/aimux

hahhforest/pi-textbook

中国語による実践的な教科書（「Hands-on Pi」）で、15の具体的なチェックポイントを軸に、Piスタイルの推論エージェントをゼロから構築する手順を読者に案内します。「Piスタイル」というフレーミングは、Inflection AIのPiアーキテクチャを参照しており、純粋なタスク完了よりも、会話メモリ、パーソナリティの一貫性、長期的なコンテキスト管理を重視しています。完成したコードベースを提示するのではなく、チェックポイントを通じて構築していく形式により、段階的な理解が促されます。各チェックポイントは、特定の設計上の意思決定（コンテキストウィンドウ処理、メモリ検索、レスポンスのキャリブレーションなど）を実践する、実行可能な成果物となっています。1,000以上のスターを獲得しており、中国語のMLコミュニティで支持を集めています。このコミュニティでは、同等の英語リソース（例：KarpathyのnanoGPTシリーズ）がエージェントアーキテクチャに関して直接対応するものを持っていません。各チェックポイントにおける技術的な深さが重要な変数であり、チェックポイント構造自体は教育的に健全ですが、その価値は説明が単に動作するコードだけでなく、失敗モードや設計上のトレードオフをカバーしているかどうかに依存します。

Source: https://github.com/hahhforest/pi-textbook

MemTensor/memmy-agent

Memmy-agentは、複数のAIエージェント（Claude Code、OpenAI Codex、その他）が読み書きできる共有の永続メモリ層を提供します。これにより、各エージェントがサイロ化されたセッションや一時的なセッションをそれぞれ維持するのではなく、すべてのエージェントが同一のユーザーコンテキストを蓄積・取得できるようになります。このシステムが解決しようとするアーキテクチャ上の問題は現実的なものです。ユーザーが複数のAIツールを同時に操作する場合、各ツールは自身のセッション履歴しか把握できず、断片的で一貫性のない挙動が生じます。Memmy-agentは、エージェントが共通インターフェースを通じてクエリと更新を行うローカルメモリハブとして機能し、セルフホスト型かつユーザー管理型の設計となっています。これを実現するには、2つの自明でない問題を解決する必要があります。1つは意味的にクエリ可能なメモリ表現（構造化レコードに対するベクトル embeddingが有力）であり、もう1つは複数エージェントからの並行更新を破損や矛盾なく処理する書き込みプロトコルです。ローカルで実行することで、センシティブなコンテキストをサードパーティのサーバーに送らずに済みます。「Claude Code、Codex、OpenClaw、Hermes Agent」のサポートは、汎用プロトコルではなくアダプター層での統合を示唆しており、汎用性は制限されますが、サポート対象ツールごとの信頼性は向上します。

Source: https://github.com/MemTensor/memmy-agent