デイリーAIダイジェスト — 2026-07-10
arXiv ハイライト
アイデアはゲノムを持つ：科学的系譜推論と系譜に基づくアイデア生成のベンチマーク
問題設定
既存の「科学のためのAI」ベンチマークは、モデルがもっともらしい研究アイデアを生成できるかどうかを評価しますが、そのアイデアが先行研究の引用グラフおよびメカニズム継承グラフの中に整合的に位置づけられているかをほとんど確認しません。実際には、新しい論文はほぼ常に特定の祖先論文群に対するデルタです。すなわち、いくつかのメカニズムをそのまま再利用し、他を変異させ、制約を取り除き、隣接するサブフィールドからツールを取り込み、場合によっては真に新規な演算子を追加します。現在のLLM評価は「新規性」と「記録に存在しないこと」を混同しており、先行研究の記録を無視または矛盾する生成を高く評価してしまいます。IG-Benchは系譜を評価の第一級オブジェクトとして位置づけることで、この問題を解決します。
IdeaGeneフレームワーク
各論文 p はIdea Genomeオブジェクトの集合 G(p) = \{g_1, \dots, g_n\} に分解されます。ゲノムオブジェクトは最小単位であり、型付けされており、エビデンスに基づいています。すなわち、テキストスパンに対してアンカリングされています。型は問題フレーミング、仮定、メカニズム、データセット、メトリクス、制約を網羅します。祖先論文 p_a と子孫論文 p_d の間において、GenomeDiff \Delta(p_a \to p_d) はオブジェクトを整合させ、各整合に対して6つの進化演算子のいずれかでラベル付けします。
- Inheritance（オブジェクトが変更なしにコピーされる）、
- Mutation（オブジェクトが修正される）、
- Loss（オブジェクトが削除される）、
- External import（p_a の系譜外から導入されるオブジェクト）、
- Novel insertion（確認された祖先を持たないオブジェクト）、
- および組み換え・統合演算子。
完全な系譜トレースは、GenomeDiffアノテーションを持つエッジによって構成される論文上のDAGです。整備されたベンチマークには、10の科学ドメインにわたる1,961件のゴールデン系譜トレース、1,085件のIdea Genomoオブジェクト、920件のペアワイズGenomeDiffレコードが含まれています。
2つの評価
IG-Examは、1,029件のインスタンスにわたる42のタスクタイプからなるクローズド形式のテストスイートであり、4つのスキルファミリーに分類されます。
- Idea Genome abstraction——論文テキストから型付けされた最小単位のオブジェクトを抽出する。
- Inheritance tracing——子孫論文が与えられたとき、どの祖先論文がどのゲノムオブジェクトを提供したかを特定する。
- Evolutionary reasoning——整合された各ペアを6演算子の分類体系の下で分類し、与えられた目標に対して適用されるべき演算子を予測する。
- Lineage verification——提案された系譜グラフが基礎となるdiffと整合しているか（サイクルなし性、演算子型の適合性、エビデンスアンカリング）を判定する。
タスクがクローズド形式（多肢選択、スパン選択、構造化抽出）であるため、採点は決定論的であり、LLM-judgeに依存しません。
IG-Arenaは生成を評価します。モデルは祖先集合 A = \{p_1, \dots, p_k\} と目標仕様を受け取り、研究提案 \hat{p} を生成する必要があります。提案はIdea Genome G(\hat{p}) に解析され、Population-Evolution Score（PES）でスコアリングされます。PESは \hat{p} が既存の集団の中に妥当な子孫として挿入できるかを問います。概念的には、PESは次のように分解されます。
\text{PES}(\hat{p} \mid A) = f\big(\underbrace{\text{Anchoring}}_{\text{genome objects tied to } A},\ \underbrace{\text{Operator plausibility}}_{\text{diffs use valid ops}},\ \underbrace{\text{Novelty}}_{\text{non-trivial insertions}},\ \underbrace{\text{Coherence}}_{\text{internal consistency}}\big).
祖先論文を単に言い換えた提案はNoveltyが低くスコアリングされます。断絶したメカニズムを幻覚させる提案はAnchoringが低くスコアリングされます。祖先の型と整合しない演算子による「改善」を主張する提案（例：メトリクスをデータセットへ変異させるなど）はOperator plausibilityで失敗します。これが先行の新規性・実現可能性スコアリングからの重要な離脱点です。PESは表面的な変化の大きさではなく、適切な種類のデルタを報酬とします。
この設計がもたらすもの
ゲノム＋diffの表現は、以前は専門家レビューによってのみ検出可能だったいくつかの失敗モードを機械的に検証可能にします。
- Ancestor amnesia：LLMによる提案は、A にすでに存在するメカニズムを新規であるかのように再導入することが頻繁にあります。PESのもとでは、これらはInsertionではなくInheritanceとして再ラベル付けされ、見かけ上のNoveltyスコアが低下します。
- Ungrounded imports：「ドメイン Y から技術 X を採用する」という主張が、引用可能な Y 側のオブジェクトを伴わない場合、アンカーが欠落したExternal importエッジとなり、ペナルティが課されます。
- 型不整合なMutation：問題文の範囲再定義に過ぎない「新しいloss function」は、型レベルの演算子制約によって検出されます。
IG-Examの42タスクへの分解により、きめ細かな診断も可能です。あるシステムはゲノムの抽出は得意でも演算子の分類に失敗するかもしれませんし、その逆もあり得ますが、これらは別々に測定可能です。
限界と未解決の課題
フレームワークの表現力はゲノムオブジェクト型体系の質に依存します。6つの進化演算子はモデリング上の選択であり、組み換えと段階的変異は連続体の上に存在するため、境界ケース（例：変異が大きすぎて実質的にInsertionとなる場合）は裁定を必要とします。10ドメインにわたる1,961件のトレースは相当な規模ですが、引用グラフ全体と比べればなお小さく、各エッジが両端点におけるスパンレベルのエビデンスを必要とするため、系譜のアノテーションは高コストです。PES自体は生成された提案からの自動ゲノム抽出に依存しているため、抽出エラーがスコアリングに伝播する可能性があります。抽出器のエラーと生成器のエラーを分離するアブレーションは有益でしょう。最後に、このベンチマークは回顧的な系譜忠実度を測定するものであり、高PESの提案が将来の研究価値と相関するかどうかは未検証のままです。
なぜこれが重要か
科学的アイデアを型付きゲノムとdiffラベル付き継承として定式化することで、「このアイデアは新規か？」という問いが主観的なLLM-judgeの問題から、構造化されたグラフ整合性の問題へと変わります。演算子の分類体系と抽出パイプラインが機能し続ければ、IG-Benchはアイデア生成システムを、条件なしの新規性の代理指標ではなく、科学的進歩の実際のトポロジーに対して訓練・評価するための基盤を提供します。
Source: https://arxiv.org/abs/2607.08758
UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
問題設定
LLMのRL fine-tuning（PPO、GRPO、およびその派生手法）は、複数のgradient stepにわたってロールアウトを再利用するために、importance sampling（IS）比率 r_t(\theta) = \pi_\theta(a_t|s_t)/\pi_{\text{old}}(a_t|s_t) に依存しています。クリッピングなしでは、ISは高分散な更新と壊滅的な崩壊を引き起こします。一方、クリッピングを施すと、確率質量を正解だが信頼度の低いトークンへと移動させる更新がまさに打ち切られてしまいます。本論文はこの問題をProbability Capacity（Cap）という概念で形式化しています。これは、クリッピングされたsurrogate objectiveが単一の更新において \pi_\theta(a|s) に許容する最大の乗法的変化量です。現在の確率が p であるトークンに対して標準的なPPOのクリップ [1-\epsilon, 1+\epsilon] を適用すると、p' の実効的な上限は (1+\epsilon) p に抑えられます。すなわち、Capは線形にしか成長せず、p が小さいときには消失します。現在の方策が低確率を割り当てている正しい推論パス——まさに探索によって強化したいパス——は、更新予算がほぼゼロにキャップされてしまいます。一方、負のadvantageに対するクリッピングは逆の役割をうまく果たします。すなわち、まれに発生する高比率の破壊的な更新を防ぎます。
この非対称性が、正のadvantageと負のadvantageを異なる方法で扱う動機となっています。
手法
UPは対称クリッピングされたsurrogateを、stop-gradientを用いて比率を現在の方策 \pi_\theta にアンカーする非対称なobjectiveに置き換えます。これを \bar\pi_\theta \equiv \text{sg}[\pi_\theta] と表記します。トークンごとのlossはadvantage \hat A_t の符号によって次のように分解されます：
\mathcal{L}_t(\theta) = \begin{cases} -\dfrac{\pi_\theta(a_t|s_t)}{\bar\pi_\theta(a_t|s_t)}\,\hat A_t & \hat A_t > 0 \\[6pt] -\min\!\Big(r_t(\theta)\hat A_t,\ \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat A_t\Big) & \hat A_t \le 0 \end{cases}
正のブランチが核心的な構成要素です。分母が（\pi_{\text{old}} ではなく）現在の方策のstop-gradientであるため、この比率は現在のパラメータで 1 に評価され、そのgradientは
\nabla_\theta \frac{\pi_\theta}{\bar\pi_\theta} = \frac{\nabla_\theta \pi_\theta}{\pi_\theta} = \nabla_\theta \log \pi_\theta,
となり、正のadvantageトークンに対してクリッピングなしのREINFORCE型のscore-function gradientが復元されます。これにより二つの性質が導かれます。第一に、明示的な比率の上限が存在しない点です。すなわち、正の方向ではCapが無界となるため、低確率な正解トークンは (1+\epsilon)p によって絞られることなく、\hat A_t に比例したgradient signalを受け取ります。第二に、（\pi_{\text{old}} ではなく）\bar\pi_\theta へのアンカリングにより、複数エポックにわたる再利用において純粋なISが被るoff-policy分散の増幅が除去されます——各minibatchステップは自身の開始点に対してon-policyとして扱われ、内部エポックにわたる \pi_{\text{old}} と \pi_\theta の乖離が比率の中に累積されることはありません。
負のブランチは標準的なPPOのmin-clipを維持します。これは意図的な設計です。ペナルティを受けるトークンにおいて不当に高い r_t から生じる破壊的な更新は、クリッピングなしISの経験的な失敗モードであり、非対称な取り扱いにより探索を阻害する部分でそのガードレールを除去しながら、必要な部分では保護が維持されます。
実用上、UPはGRPO、DAPO、VAPOなど様々なsurrogateのdrop-in replacementとして機能します——変更は正のadvantage項のみです。既存の \epsilon 以外に新たなハイパーパラメータは導入されません。
結果
アブストラクトおよびフレーミングによれば、UPは複数のRL-for-reasoningフレームワーク上でplug-and-playとして検証されています。理論的な貢献——標準的なクリッピングが低 p の正しい行動に対して更新予算を漸近的にゼロにするというCap解析——は、UPが最も効果を発揮する場面を予測するために用いられています。具体的には、正解となる補完が当初小さな \pi_\theta を持つような長期的な推論トレースです。stop-gradientの再定式化は、gradient水準において、on-policyなbaselineを用いたpolicy gradientと等価であることが証明されており、同時にPPOの負の方向の安定性を維持しています。提供されたアブストラクトでは完全な定量的ベンチマーク数値は省略されていますが、このメカニズムは（また本論文も主張しているように）、対称クリッピングのベースラインと比較して、pass@k探索指標における同時的な改善および学習崩壊頻度の低減を予測しています。
限界と未解決の問題
- stop-gradientによるアンカリングは、minibatchエポックにわたる真のoff-policynessに対してISが提供する補正を排除します。内部エポック数が多い場合や \pi_\theta が大きくドリフトするような大きなバッチサイズの場合、正のブランチの更新は \pi_{\text{old}} におけるpolicy gradientの偏った推定となります。本論文の安定性に関する議論はこのドリフトが小さく保たれることに依存しており、明示的なtrust-region診断は与えられていません。
- 無界の正の更新は、原理的には、一時的に過大評価されたadvantage（例えばGRPOにおけるノイズの多いgroup-relativeベースライン）を持つトークンにおいて \pi_\theta(a|s) \to 1 へと駆動する可能性があります。負のブランチのclipは正のadvantageトークンにおけるmode collapseを直接には抑制しません。
- Cap解析は単一ステップの上界であり、エポック全体にわたる累積的な挙動を直接には特徴づけていません。また、経験的な探索の利得は、それ自体が偏ったadvantage推定器（GAE、group-relative）に依存しています。
- entropyの正則化、およびトークン水準対シーケンス水準のadvantage正規化との相互作用については未検討です。
この研究の意義
RLHF/RLVRにおける探索と安定性のトレードオフは、通常、objectiveの構造的非対称性としてではなく、ハイパーパラメータ（クリップ \epsilon、KL係数）として扱われています。UPの貢献は、クリッピング下では正のadvantageと負のadvantageが本質的に異なる失敗モードを持つことを特定し、stop-gradientアンカリングを介してそれらを切り離す最小限のgradient等価な再定式化を与えることにあります。経験的な結果が複数のフレームワークにわたって成立するならば、実装コストがほぼゼロなデフォルトの改変手法となり得ます。
Source: https://arxiv.org/abs/2607.06987
なぜ引き出しが開けられないのか？ゼロショット合成行動認識におけるオブジェクト駆動型ショートカットの緩和
問題
ゼロショット合成行動認識（ZS-CAR）は、動詞と目的語の語彙は固定されているものの、テスト時にその組み合わせが未知となる、保留された動詞–目的語ペア (\mathbf{y}^V,\mathbf{y}^O)\in\mathbb{Y}^V\times\mathbb{Y}^O を予測することを要求します。著者らは特定の失敗パターンを特定しています。それは、モデルが時間的ダイナミクスではなくオブジェクトラベルを利用して動詞を予測してしまうというものです。この問題には二つの構造的な原因が分離されています。第一に、合成的な監督が疎であるという点です。Sth-comは可能な動詞–目的語ペアのわずか12.8%しかカバーしておらず、新たに整備されたEK100-comではわずか7.5%であり、強い共起プライアを生じさせています。第二に、動詞とオブジェクトの学習の非対称性です。オブジェクトは単一フレームから復元可能ですが、動詞は時間的な統合を必要とします。
制御されたablationはこの非対称性を具体的に示しています。バランスのとれた10×10のSth-comサブセット上では、ランダム初期化されたViTが動詞よりもはるかに早くオブジェクト精度の高い収束を達成し、完全に共起バイアスがかかったsplitでは、CLIP+AIMが高いオブジェクト精度を達成する一方で、バイアス競合する未見の合成に対する動詞精度はチャンスレベルを下回ります。
これを定量化するために、著者らは診断的指標FSP（frequent seen prediction）とFCP（frequent co-occurrence prediction）を導入しています。学習曲線は、CLIPとInternVideo2の両バックボーンにおいて、C2CのFSP/FCPと見たことのある合成と未見の合成の精度ギャップが共に増大することを示しており、ショートカットへの依存と汎化の失敗が強く結びついていることがわかります。
手法：RCORE
RCOREは、adapter-tuningされたVLM（CLIPにはAIM、InternVideo2にはLoRA）に二つの正則化項を追加します。バックボーンはフレームfeature \mathbf{F}\in\mathbb{R}^{T\times D} を生成し、これは動詞feature \mathbf{F}^V\in\mathbb{R}^{T\times D} とプールされたオブジェクトfeature \mathbf{f}^O\in\mathbb{R}^D に分割され、クラスプロンプトからのtext embedding \mathbf{E}^V,\mathbf{E}^O と照合されます。
Co-occurrence Prior Regularization（CPR）。 CPRは、ドナー動画 \mathbf{X}_j の静的なオブジェクト手がかりを \mathbf{X}_i の高モーション領域に注入することで、新規の (\mathbf{y}^V,\mathbf{y}^O) ペアを持つ動画を合成します。学習不要なモーションマスク \mathbf{M}_i^k を用いて、
\tilde{\mathbf{X}}_i^k = (\mathbf{1}-\lambda\mathbf{M}_i^k)\odot\mathbf{X}_i^k + (\lambda\mathbf{M}_i^k)\odot\mathbf{X}_j^{\lfloor T/2\rfloor},
ソフトオブジェクトラベル \tilde{\mathbf{y}}^O_i=(1-\lambda)\mathbf{y}_i^O+\lambda\mathbf{y}_j^O と \mathbf{X}_i から保持された動詞ラベルを用います。これにより、それまで未見の合成を監督する学習ペアが生成されます。マージンベースの正則化項は、頻繁に見られた共起ペアをハード負例として扱い、共起プライアを継承したモデルスコアにペナルティを与えます。CPRは完全な |\mathbb{Y}^V|\cdot|\mathbb{Y}^O| ラベルグリッド上でsoftmaxを拡張するのではなく、現在のバッチで実体化された合成のみを含むbatch-adaptiveな拡張を使用し、閉世界最適化を安定に保ちます。
Temporal Order Regularization for Composition（TORC）。 TORCは \mathbf{F}^V の時間的に摂動されたバージョン（フレームシャッフル）を構築し、元の動詞表現と摂動された動詞表現のアライメントにペナルティを与えます。動詞予測が時間的順序に対して不変であれば、モデルは静的な手がかりに依存していることになります。TORCは動詞ヘッドを時間的に根拠のあるfeatureへと押し進めます。
結果
RCOREはオープンワールド（テストラベルバイアスのチューニングなしで完全な \mathbb{Y}^V\times\mathbb{Y}^O 上での推論）で評価されます。著者らは、テスト時にチューニングされたバイアスキャリブレーションを伴う閉世界評価が先行研究における未見精度を過大評価していると主張しています。
Sth-comにおける診断的証拠として、RCOREはC2Cベースラインを悩ませるFSP/FCPの成長曲線を平坦化し、既見–未見ギャップを縮小します。また時間的サブセット上では、ベースラインよりもフレームシャッフル下での精度低下が大きく、動詞予測がオブジェクト駆動ではなく時間的に依存するようになったことを示す肯定的なシグナルが得られています。CLIP-B/16とInternVideo2-CLIP-B/14の両バックボーンにおいて、Sth-comおよびEK100-comの両方でC2CおよびJung et al.の再実装ベースラインと比較して、合成・動詞・オブジェクトの精度（既見合成と未見合成のharmonic mean）が向上しています。先行評価プロトコルとの互換性のために、閉世界のH.M./AUCも報告されています。
限界と未解決の問題
CPRの合成ステップは、学習不要なモーションマスク推定器と、ドナーオブジェクトを高モーション領域に貼り付けることで意味的に妥当な新規合成が生成されるという仮定に依存しています。動詞がオブジェクト固有のアフォーダンスに依存する場合（例えば「unfold」は変形可能なオブジェクトにのみ意味をなす）、合成されたペアは物理的に非現実的となり、ラベルノイズを注入する可能性があります。診断的指標FSP/FCPは閾値ベースであり、データセット依存です。TORCのシャッフルペナルティは動詞が厳密に順序敏感であることを前提としており、ほぼ対称な動作に対して性能を低下させる可能性があります。さらに、ここでのZS-CARは動詞と目的語の語彙を閉じたものとして保持しており、真にオープン語彙な設定へのショートカット緩和の拡張は扱われていません。
なぜこれが重要か
動画における合成的汎化は繰り返し主張されてきましたが、ショートカット依存を露わにするプロトコルのもとで測定されることはほとんどありませんでした。本研究は、診断手法（FSP/FCP、シャッフル感度、オープンワールド非バイアス評価）と、動詞予測をオブジェクトのアイデンティティから切り離す具体的な緩和策の両方を提供しています。ZS-CARを超えて、CPR/TORCのレシピ——合成的合成監督と時間不変性ペナルティの組み合わせ——は、一方の因子が他方よりも学習しやすい多因子認識問題全般に応用できるテンプレートとなっています。
Source: https://arxiv.org/abs/2601.16211
Video-Oasis: ビデオ理解の評価を再考する
Video-QAベンチマークは高いVideo-LLMスコアを定期的に報告しますが、それらのスコアが時空間的な知覚を測定しているのか、言語的な事前知識を測定しているのか、あるいはアノテーションのアーティファクトを測定しているのかは不明確です。Video-Oasisは新しいベンチマークではなく、既存のベンチマークをモダリティと時間的構造を取り除いて精査し、問題が依然として解けるかどうかを測定する診断スイートです。この精査により、14の精選されたベンチマーク全体でサンプルの55%がショートカットで解ける（shortcut-solvable）ことが判明し、それらを除去すると、最先端モデルは残存するビデオネイティブなサブセットにおいてチャンスレベルをわずかに上回るにすぎないことが示されました。
診断プロトコル
このスイートは、真のビデオ理解サンプルが示すべき3つの依存関係を形式化しています：視覚的証拠、時間的文脈、および信頼できるアノテーションです。
視覚的依存性については、各サンプルを3種類の劣化入力で再実行します：(i) Blind（質問と選択肢のみ）、(ii) Audio（ASRトランスクリプトがビデオを置き換える）、(iii) Summary（固定間隔で抽出したフレームキャプションのシーケンス）。これらのテキストのみのバリアントのいずれかが正解を導けば、そのサンプルは根拠のある視覚的知覚を証明できません。
時間的依存性については、テストは(i) Center-Frame（単一の中間フレーム）、(ii) Frame Shuffling（ランダムな時間的順序入れ替え）、(iii) Bag-of-Frames — 時間的順序を持たない凍結CLIP系エンコーダを用いたクエリに対するtop-kフレーム検索 — です。形式的に、BoFは \mathcal{F}_k = \operatorname*{top-}k_{f \in V}\ \cos\!\big(\phi_v(f), \phi_t(q)\big), を選択し、モデルは\mathcal{F}_kのみから回答します。BoFで正解できるということは、そのタスクが時間的推論ではなく順序なし類似度マッチングに帰着することを意味します。
アノテーションの信頼性については、3つのチェックがサンプルを手動レビューのためにフラグ付けします：Consistency（強力なVideo-LLMsのプール間での不一致が曖昧性を示す）、Redundancy（任意のセグメントから解ける場合は時間的根拠の欠如またはグローバルバイアスの問題を示す）、および手動復元パスです。フレームシャッフリングフィルタ自体は不完全です：一部の質問は真に順序を必要としますが、正解がイベントの集合的な内容から推論可能なため、シャッフルされても正しく回答されます。それらは手動で復元されます。
何が残り、何が難しいか
14のベンチマークにわたる24,416のQAペアに適用すると、Video-Oasisは11,033ペア（4,938の固有ビデオ）を保持し、55%の削減となります。分類法を新たに発明するのではなく、著者らはボトムアップでサバイブしたサンプルをクラスタリングします：Gemini-2.5-Proがソースメタデータからクラスタを提案し、5つの独自LLMのアンサンブル（GPT-4o、GPT-5、o4-miniのバリアント）が5分の3の合意ルールで投票し、手動ラベリングには122サンプルのみが残ります。結果として5つの能力カテゴリが得られます：Fine-Grained Perception、Spatial World Understanding、Temporal Dynamics and Tracking、Causality and Logical Reasoning、およびGlobal Narrativeです。
この蒸留されたサブセットでは、トップのVideo-LLMsはランダムに近い結果を示します。Eagle2.5は全体で31.5%に達します（Fine-Grained Perception 25.0、Spatial 29.4、Temporal Dynamics 34.9、Causal 30.5、Global Narrative 25.7）。Qwen3-VL-Instructは全体で27.8%に達します。典型的な4択問題を考えると、これらの数値はほとんどのカテゴリで25%のチャンスフロアをわずかに上回るにすぎません。
アルゴリズム的プローブ：時間的グラウンディング
蒸留された課題は時空間的依存性を強制するため、設計上の選択に対するクリーンなテストベッドを形成します。著者らはAKSを用いた時間的グラウンディングをアブレーションし、最も関連性の高い16フレームを検索します。改善は一貫していますが控えめです：Eagle2.5は31.5 → 32.9（+1.4）、Qwen3-VL-Instructは27.8 → 30.1（+2.3）に改善します。
天井が推論の弱さを反映しているのか、グラウンディングの弱さを反映しているのかという問いが残ります。ImplicitQAとKFS-Benchからの2,945のQAペア（Video-Oasis蒸留1,060、ショートカット1,885）に対するオラクル実験が、正解の時間的領域を使ってそれらを分離します。蒸留サンプルでは、Eagle2.5はオラクルグラウンディングにより35.0%から50.8%に上昇し、15.8ポイントのジャンプを示します。ショートカットサンプルでは同じ介入により精度は78.0%から80.8%に移動するのみです。蒸留セットでのカテゴリ別オラクルゲインは顕著です：Temporal Dynamics 40.5 → 61.3、Global Narrative 16.0 → 48.0、Fine-Grained Perception 37.2 → 50.4。これは(i) ショートカットサンプルがグラウンディングの失敗を隠蔽しながらスコアを膨らませていること、(ii) 真にビデオ依存なサブセットでは、不完全な時間的ローカライゼーション — 推論だけでなく — が支配的なボトルネックであることを示しています。AKSスタイルのtop-k検索はオラクルギャップのごく一部しか埋めません。
限界
AudioとSummaryプローブは既製のASRとキャプショニングに依存しています。強力なキャプショナーが視覚的な内容を漏洩したためにサンプルが「テキストで解ける」と誤分類される可能性があり、逆にキャプショニングが手がかりを見逃したためにフィルタを回避する可能性もあります。BoFプローブはCLIP系エンコーダに依存しており、顕著なオブジェクトのセマンティクスに対するそれらのバイアスを引き継いでいます。より強力なリトリーバーで十分なサンプルのフラグ付けが不十分になる可能性があります。5カテゴリの分類法はボトムアップで導出されましたが、各サンプルを1つの主ラベルに強制します。最後に、この精査はモデルが失敗することを示しますが、その理由は示しません — オラクル実験はグラウンディングを示唆しますが、視覚エンコーダ、時間的トークンバジェット、またはトレーニング目標のどれが支配的な限界であるかは未解決のままです。
なぜ重要か
現在のビデオQAの半数以上がblind LLM、キャプションストリーム、またはシャッフルされたフレームから回答可能であるならば、Video-LLMsのリーダーボードの進歩は部分的に言語的な事前知識と検索を測定しており、時空間的理解を測定していないことになります。Video-Oasisは再利用可能な精査を提供し、既存のベンチマークをより厳格なものに変換し、残存するギャップがどこにあるかを特定します — 現時点では、主に時間的グラウンディングにあります。
Source: https://arxiv.org/abs/2603.29616
UniClawBench: 実世界タスクにおける能動的エージェントのための汎用 benchmark
問題設定
既存の agent benchmark ― WebArena、OSWorld、AgentBench、およびそれらの派生物 ― は、アプリケーションドメイン（ショッピング、旅行）やインタラクション面（ブラウザ、デスクトップ）を軸として評価を構成しています。エージェントが「フライトを予約する」というタスクに失敗した場合、その原因はツール選択の誤り、不十分な環境探索、長いコンテキストにおける状態の欠落、スクリーンショットの誤読、アプリ間の連携の失敗など、いずれにでも起因しえます。ドメインベースの分類はこれらの軸を混在させるため、集計スコアではボトルネックを特定できません。さらに二つの欠陥があります：(i) サンドボックス化されたあらかじめ記録された正解は、ライブシステムにおける有効な軌跡の空間を捉えられず、(ii) シングルターン評価では、実際のユーザーがエージェントの出力に対して繰り返しフィードバックを与えるという実態を無視しています。UniClawBench は、能力別に分割されたタスクセットと、クローズドループ・コンテナベースの採点プロトコルによって、これら両方の問題に対応します。
手法
能力の分類体系。 400件のバイリンガルタスクが、主要ボトルネック能力 ― その能力の欠如がタスク完了を妨げる能力 ― によって五つのカテゴリに分割されています：Skill Usage（スキル使用）、Exploration（探索）、Long-Context Reasoning（長文脈推論）、Multimodal Understanding（マルチモーダル理解）、Cross-Platform Coordination（クロスプラットフォーム連携）です。Skill Usage タスクは、明示的なツール／API（搭乗券の OCR、SQLite クエリ、Docker／Git 監査、Mermaid 生成、音声書き起こし）をフィクスチャデータと組み合わせており、宣言されたツールを呼び出さずにもっともらしい回答テキストを返すだけではチェックポイントで不合格となります。Exploration タスクはツールインターフェースを非公開にし、環境のプロービングを強制します。Long-Context タスクは入力サイズを増大させ、連鎖的な証拠を要求します。Multimodal タスクは非テキストアーティファクト（スクリーンショット、画像、音声）への接地を要求します。Cross-Platform タスクは複数アプリケーション間での一貫した状態操作を必要とします。
アプリケーションドメイン、入力フォーマット、出力フォーマットの分布は、シナリオの過適合による見せかけの能力向上を防ぐために意図的に分散されています。
三役クローズドループ。 評価の中核メカニズムは、情報ファイアウォールの背後に三つのエージェントを分離します：
- Executor ― テスト対象モデル ― は公開入力のみを受け取ります：ユーザー指示、ツールの説明、作業ファイル、Web アクセス。タスクごとの Docker コンテナ（RAM 割り当て 2GB）内で動作します。
- Supervisor ― 高い推論努力を持つ隠れた Codex／GPT-5.4 ベースのエージェント ― は非公開の参照情報と細粒度のチェックポイントルーブリックにアクセスできます。Executor の軌跡と生成されたアーティファクトを入力として取り込み、構造化された状態 s \in \{\text{pass}, \text{fail}, \text{continue}\} とチェックポイントスコアを出力します。
- User Simulator ― こちらも GPT-5.4 ― は、Supervisor からの粗い進捗シグナル（ルーブリックではない）のみを受け取り、可視の証拠のみに基づいた自然言語のフォローアップフィードバックを生成します。
ファイアウォールは機械的に重要な部分です：これがなければ、強力な Simulator が非公開の採点基準を Executor に漏らし、マルチターン評価がオラクルインザループパイプラインへと崩壊してしまいます。各タスクでは、最初の指示の後に最大二回のフォローアップインタラクションが許可されています。Executor ターンのスクリーンショットはデフォルトでは Supervisor のコンテキストに注入されず、検査可能なファイルとして保存され、必要に応じて取り出されます。これにより、長い軌跡におけるコンテキストの肥大化が抑制されます。
タイムアウトと採点。 標準タスク：グローバル 30 分／ターンごと 20 分。Long-Context タスク：45 分／30 分。タイムアウト時には、タスクをゼロとするのではなく、完了したターン中で達成された最大チェックポイントスコアが付与されます ― これにより、実行時間効率と部分的な能力シグナルが切り離されます。報告されるメトリクスは Pass Rate（PR、終端 pass に到達した割合）および Average Score（AS、チェックポイントスコアの平均値）です。
実験設定
二つの検討：(1) モデルレベルの差異を切り離すため、固定フレームワーク（OpenClaw v2026.3.11）下で十の Executor モデルを評価；(2) フレームワークの影響を切り離すため、代表的な三つのモデルを OpenClaw、Nanobot v0.1.5.post3、EDICT にわたって評価。すべての実行でタスク、ルーブリック、採点パイプラインを共有しています。各フレームワークには同一のベーススキル ― 社内製 apt スキル、DuckDuckGo 検索、Web Search、Agent-Browser スキル、Desktop Control ― が提供されており、GUI／ブラウザ処理における公平性のため OpenClaw ブラウザ拡張は除去されています。ハードウェア：Intel i7-13700、ホスト RAM 16GB、Docker コンテナごと 2GB。タスクの平均実行時間は 17.4 分です。
限界と未解決の問題
アブストラクトおよび利用可能なセクションは benchmark とプロトコルを説明していますが、引用部分にはモデルごとの PR／AS 数値が開示されていないため、ここでは具体的なモデルスコアを引用できません。方法論的に追及する価値のある問いがいくつか残っています：(i) Supervisor 自体が GPT-5.4 エージェントであるため、Supervisor の系統的な偏り（例：冗長でよくフォーマットされたアーティファクトを優遇する傾向）がスコアに伝播しますが、Supervisor 間の信頼性指標は引用部分では報告されていません；(ii) User Simulator に公開される粗い進捗シグナルは定性的に説明されているもののビットレートが形式化されておらず、それを通じた情報漏洩の上界を定めることが困難です；(iii) 「能力主要ボトルネック」の割り当ては人間の判断によるものであり、能力間のエンタングルメントは割り当て後もほぼ確実に残存します（大きな PDF を含むマルチモーダルタスクは同時に Long-Context でもあります）；(iv) 2GB コンテナと 30〜45 分のタイムアウトは、推論能力とは独立に、重いサブプロセス（動画エンコーディング、ツールとしての大規模ローカル LLM）を生成するモデルを不利にします；(v) タイムアウト時に最大ターンチェックポイントスコアを付与することは、「効率的に答えに到達した」と「最終的に近似した」の区別を曖昧にしますが、メトリクスとしての AS はこれを表面化しません。
重要性
非公開ルーブリックとファイアウォール付き User Simulator を用いた能力別評価は、ドメイン平均のリーダーボード数値をまた一つ生み出すのではなく、能動的エージェントが実際にどこで破綻するかを診断するための正しい構造的アプローチです。クローズドループプロトコルがファイアウォールへの敵対的プロービングに耐えるならば、UniClawBench は他の agent benchmark が採用すべきテンプレートを提供します。
Source: https://arxiv.org/abs/2607.08768
LongE2V: ビデオ拡散モデルによる長期地平イベントベースビデオ再構成・予測・フレーム補間
問題設定
イベントカメラはマイクロ秒単位の遅延と高ダイナミックレンジを持つ疎な非同期輝度変化ストリームを出力しますが、そこから高密度なビデオを再構成することは不良設定問題です。イベントは絶対輝度ではなく勾配を符号化しており、低動作領域のテクスチャは本質的に観測されません。文献では2つの典型的な失敗モードが支配的です。回帰ベースの手法（E2VID+、ET-Net）はピクセル損失を最小化し、条件付き平均に収束してしまうため、ぼやけたテクスチャを生成します。ビデオ拡散に基づく生成的手法はシャープなフレームを生成しますが、長い地平でドリフトが発生します。すなわち、自己回帰的なウィンドウをまたいでエラーが蓄積し、モデルにはそれを補正するためのアンカーがありません。2枚のRGBアンカー間のフレーム補間はさらなる制約を加えますが、ほとんどの再構成パイプラインは双方向にこれを満たすことができません。
LongE2Vは、単一のfine-tuningされたCogVideoX I2Vバックボーンの下で再構成・予測・補間を統合し、長期地平の安定性問題に正面から取り組みます。
手法
バックボーン。 CogVideoX I2Vが拡散事前分布を提供します。4\times時間方向および8\times空間方向の圧縮を持つ3D VAEがビデオXをlatent Z_0にエンコードし、DiT \epsilon_\thetaが以下の式で学習されます。
\mathcal{L} = \mathbb{E}_{Z_0, t, C, \epsilon}\left[\|\epsilon - \epsilon_\theta(Z_t, t, C)\|_2^2\right],
ここで条件付けCは、(i) イベントボクセルグリッド、(ii) 1枚または2枚のアンカーフレーム（予測の場合は開始フレームのみ、補間の場合は開始フレームと終端フレーム、純粋な再構成の場合は初期シードを超えたフレームなし）、(iii) 自己回帰的な継続のための以前に生成されたコンテキストフレームを含みます。
自己回帰的アンローリング。 安定性への主要な貢献は、学習と推論のアライメントスキームです。標準的なteacher-forced学習は正解コンテキストフレームを条件としますが、推論時にはモデルは自身の出力を参照するため、ドメインギャップが蓄積します。LongE2Vはまず正解コンテキストで収束するまで学習し、その後アンローリングフェーズを有効化します。推論パスが予測フレームを生成し、それらが正解コンテキストを置き換え、このself-generated分布でモデルをfine-tuningします。これは本質的に、latentビデオ拡散に適用されたDAgger/scheduled-samplingです。
適応的コンテキスト切り替え。 アンローリングを補完するものとして、モデルは長期地平ロールアウト中にコンテキストウィンドウに入力する過去フレームを動的に選択します。おそらくボクセルエビデンスが強いフレームを優先し、累積ドリフトが高いフレームを除外します。これら2つのメカニズムが組み合わさることで、MVSEC/HQF上の長いシーケンス（数千フレーム）が崩壊しないように保ちます。
クロス残差補正によるリエンコーディングアライメント。 2つのアンカー間のフレーム補間において、単純な条件付けでは生成されたエンドポイントのlatentがエンコードされたアンカーのlatentと一致することを保証できません。LongE2VはアンカーをDiTが使用するlatent空間にリエンコードし、双方向の一貫性を強制するためにクロス残差補正を適用します。開始アンカーからの順方向チェーンと終端アンカーに向かう逆方向チェーンは、ハードクランプではなく残差を介して調整されます。これにより、ハード置換が引き起こす不連続性を回避します。
イベントボクセル密度拡張。 センター解像度とイベントレートはデータセット間（ECD、MVSEC、HQF、BS-ERGB）で大きく異なります。学習中にボクセル密度を確率的に摂動させることで、DiTがBS-ERGBのレート統計に過適合しないようにします。これにより、学習時に一度も見ていないMVSECおよびHQFへのゼロショット転移が可能になります。
結果
学習にはBS-ERGB学習セット（フィルタリング後）のみを使用し、EVREALプロトコルに従い、ECD（約300フレーム）、MVSEC（最大2,740フレーム）、HQF（最大2,430フレーム）、さらに補間用のBS-ERGBテストおよびHQFでゼロショット評価を行います。ここでの時間的範囲が重要なストレステストです。短いECDクリップで競争力のある手法も、ドリフトの蓄積によりMVSEC/HQFの長いシーケンスでは崩壊することが多いためです。
再構成・予測・補間の3タスクすべてにわたって、本論文は長いシーケンスで顕著なマージンを持つ最先端の知覚品質を報告しており、アブレーション実験により長期地平の安定性が自己回帰的アンローリングと適応的コンテキスト切り替えに特に起因することが示されています。HQFにおける補間の向上はリエンコーディングアライメントとクロス残差補正によるものです。BS-ERGBとは異なるセンサーで撮影されたECD/MVSEC/HQFすべてにわたるゼロショット汎化は、ボクセル密度拡張の有効性を検証しています。
限界と未解決問題
- 推論コストは抜粋では言及されていませんが、おそらく3D VAE latent上での反復的なDiTデノイジングが支配的であり、E2VID+などの回帰ベースラインよりも桁違いに遅いと考えられます。SLAM・ロボティクスなどのリアルタイムイベントカメラ応用には対応できません。
- 自己回帰的アンローリングは学習ループ内で推論パスを必要とするため、コストが高く、正解コンテキストからロールアウトコンテキストへ切り替えるスケジュールは、本論文が経験的にチューニングしているハイパーパラメータです。
- 本手法はCogVideoXのバイアスを継承しており、イベントストリームによって実際には裏付けられていないもっともらしいテクスチャを幻覚する可能性があります。これは科学的・安全性が重要なユースケースにおいて問題となります。
- イベントカメラが最も有用な極端な照明下（合成対実写の頑健性）での評価は抜粋では示されていません。
- クロス残差補正による双方向一貫性はソフト制約であり、補間エンドポイントにおける正確なアンカー再構成誤差は報告されていません。
なぜこれが重要か
イベントからビデオへの変換は典型的な疎条件付き逆問題であり、LongE2Vは、事前学習済みビデオ拡散事前分布を、teacher-forcingのギャップを埋めるアンローリング学習ループと組み合わせることで、単一のバックボーンから3タスクにわたって時間的に一貫した数千フレームの再構成が可能であることを実証しています。自己回帰的アンローリングのレシピは、ドリフトが支配的な失敗モードである長期地平条件付きビデオ生成タスク全般に転用できる可能性があります。
Source: https://arxiv.org/abs/2607.08770
幾何学的認識事前学習によるIn-contextパノラマ生成の強化
等距離長方形投影（ERP）によるパノラマ画像生成には、標準的なテキスト-画像拡散モデルが苦手とする2つの構造的課題があります：(i) 水平方向のwrap-around連続性（画像の左右端をシームレスに接続する必要がある）、および (ii) 極付近における緯度依存の顕著な歪みです。既存のパノラマ生成器は、通常、ジオメトリを考慮せずに事前学習済みT2Iモデルをfine-tuningするか、アウトペインティング/インペインティング向けにタスク固有のheadを付け加えるかのいずれかの手法をとっています。Canvas360は、テキスト-パノラマ生成・スタイル転送・インペインティング・アウトペインティング・編集がすべて1つのモデルを共有する統一されたin-context定式化を目指し、タスク固有の学習前にベースモデルが幾何学的認識を持つよう事前学習される設計となっています。
データセット構築
著者らはCanvas360Datasetを構築しています。これは1Mサンプルからなるコーパスであり、幾何学的事前学習用の10万組のRGB–深度パノラマペアと、4種類の下流タスクをカバーする90万件のin-contextタスクサンプルに分割されています。タスク分割は手続き的に生成されます（以下の合成パイプラインを参照）：スタイル転送ではFLUX.2-devを使用してソースパノラマの12種類のスタイルバリアントをレンダリングし、アウトペインティングではランダムなカメラの内部パラメータ/外部パラメータをサンプリングして透視投影のマスクをERPキャンバスに投影することで現実的な部分視点条件付けを生成し、インペインティングではERP上で直接ランダムな矩形クロップを使用し、編集ではテキスト指示による対応編集ペアを使用します。
この手続き的構築は重要です。なぜなら、このスケールでのピクセルアライメントされた対応パノラマ学習データは、以前は実質的に存在しなかったためです。
手法
Canvas360はFLUX.1-devを基盤とし、LoRAでfine-tuningされています。基本目標関数は標準的なrectified flow matchingです。x_0 \sim \pi_0（データ）および x_1 \sim \pi_1（ガウスノイズ）に対して、
x_t = (1-t)x_0 + t x_1, \quad t\in[0,1],
であり、速度ネットワーク v_\theta は以下によって学習されます：
\mathcal{L}(\theta) = \mathbb{E}_{t,x_0,x_1}\left[\|v_\theta(x_t,t) - (x_1 - x_0)\|^2\right].
DiTバックボーンは (T,H,W) でインデックス付けされた3D RoPEを使用しており、著者らはこれをin-context生成のために活用しています。参照latentとターゲットlatentを T 軸に沿って結合することで、タスク固有のアーキテクチャ変更なしに4つの下流タスク全体にわたってきれいに汎化するトークンレベルの結合戦略を実現しています。
Stage-1の10万組のRGB–深度ペアによる事前学習では、3つの幾何学的認識に基づく変更が導入されています：
並列深度生成。 RGBのみをモデル化するのではなく、深度トークンとRGBトークンを並列ブランチで共同生成します。深度の監督によりlatent表現が3D構造をエンコードするよう強制され、その効果がRGB生成品質にも伝播します。これは特に、単眼手がかりが曖昧になるパノラマの極付近で有効です。
速度の円形パディング。 フィールドレベルでERP wrap-aroundを強制するため、予測速度 v_\theta(x_t,t) はlossを計算する前に水平（経度）軸に沿って円形パディングされます。これにより、\phi=0 および \phi=2\pi 付近のトークンからのgradientが実際に連続性を強制するため、モデルが統計的にwrap-aroundを学習する必要がなくなります。単純な変更ですが、ERPに対して構造的に正確な手法です。
類似性lossの正則化。 補助的な類似性項が特徴量を正則化し、等距離長方形パラメータ化のもとで幾何学的一貫性を持つようにします。これにより緯度をまたいだオブジェクト歪みの一貫性を目標としています。
Stage 2では、T 軸に沿ったトークン結合を用いた90万件のin-contextサンプルでfine-tuningを行います：参照パノラマトークン + オプションのマスク + ターゲットトークンが共同でattentionされ、同じ速度目標関数がターゲット領域を監督します。
結果
MatterportベンチマークでのText-to-panorama生成において、Canvas360はDiT360と最先端の性能で並び、それ以前のすべてのベースライン（PanFusion、SMGD、PAR、WorldGen、LayerPano3D、HunyuanWorld）を上回っています。主要な数値は以下の通りです：
- FID：44.17（対 DiT360 42.88、次点のLayerPano3D 62.82、PanFusion 124.87）。
- FID_pole（歪みが最も大きい極における忠実度）：51.02（DiT360 50.88、SMGD 65.69、PanFusion 182.09）— 幾何学非考慮ベースラインとの大きな差。
- FID_equ（赤道域）：25.96（DiT360 24.77、PAR 27.39）。
- FAED：2.33、全手法中最良（DiT360およびHunyuanWorldはともに2.91）。
- IS：1.76、最良（DiT360 1.60、HunyuanWorld 1.53）。
- QA_aesthetic：4.20、最良（DiT360 4.19、LayerPano3D 3.93）。
- NIQE：3.70、最良（DiT360 3.72）。
CLIP-Scoreは34.62（HunyuanWorldがトップで34.73）。BRISQUEは17.12でDiT360の10.25より劣りますが、大部分のベースライン（PanFusion 27.38、HunyuanWorld 39.12）より大幅に良好です。FID_poleが約65〜180から約51まで改善したことは、並列深度事前学習と円形速度パディングが幾何学的に困難な領域で実質的な効果を発揮していることを示す最も説得力のある指標です。
制限事項
論文には、3つの事前学習コンポーネント（並列深度 vs. 円形パディング vs. 類似性loss）を個別に分離するアブレーション実験が抜粋中に報告されていないため、各コンポーネントの個別の貢献は不明確です。DiT360に対するBRISQUEの悪化は、LoRAのパラメータ予算のもとで深度ブランチがRGB容量と競合することによる知覚品質のトレードオフを示唆しています。in-contextの下流タスク（インペインティング/アウトペインティング/編集/スタイル）の評価は提供されたセクションでは示されておらず、Text-to-panoramaの数値のみが報告されています。データセットは手続き的に生成されており（スタイル化にFLUX.2-dev、アウトペインティングマスクにランダムカメラサンプリング）、スタイル的・幾何学的なカバレッジにおける学習時分布バイアスのリスクがあります。最後に、すべてLoRAを介したFLUX.1-dev上での実装であるため、パノラマの事前知識がより小さなバックボーンにどの程度転移するかは未検証です。
この研究の重要性
パノラマ生成は、タスクごとに独自のアーキテクチャが使われる断片的な状況にありましたが、Canvas360は、3D RoPEを持つDiT上でのトークンレベルの結合と、安価ながら幾何学的に正確な事前学習の選択（速度の円形パディング、深度の共同監督）を組み合わせることで、最先端レベルの忠実度でERPgeneration タスクファミリーを統合できることを示しています。特にFID_poleの改善は、データ拡張においてではなくlossレベルでERP多様体を尊重することが、極の歪みを意味のある形で低減するという明確な実証です。
Source: https://arxiv.org/abs/2607.08765
Hacker News シグナル
MetaはカスタムブリッジチップによりDDR4メモリを新サーバーで再利用
Metaはカスタム製造のCXL ASICを構築し、廃棄されたサーバーから取り外したDDR4メモリモジュールをDDR5ネイティブの新システム内で動作させられるようにしました。このブリッジチップは、現世代CPUのDDR5メモリコントローラインターフェースと、再利用されたDIMMのDDR4電気・プロトコル信号の間でプロトコル変換を行い、旧来のメモリをCXL経由でメモリエクスパンダーデバイスとしてホストに提示します。
エンジニアリング上の課題は容易ではありません。DDR4とDDR5は電圧レベルやピン数だけでなく、トレーニングシーケンス、オンダイターミネーション方式、コマンド/アドレスエンコーディングにおいても異なります。CXLブリッジは、プロダクションワークロードでもメモリが実用に耐えられる程度の低レイテンシでプロトコル変換を処理しなければなりません。CXL.memのレイテンシはローカルDRAMと比較してすでに高く（通常100〜200 nsの追加往復遅延）、ブリッジはその上にさらに変換ペナルティを加えることになります。
システムアーキテクチャの観点では、再利用されたDDR4の容量はCXL Type 3メモリデバイスとして見えます。ホストOSまたはハイパーバイザーは、階層型メモリ管理として扱うことができます。すなわち、ホットなページはローカルDDR5に留まり、クールなページはCXL接続のDDR4に移行されます。LinuxのNUMAバランシングおよびDAMONベースの階層化は、適切な設定によりこのトポロジをサポートしています。
経済的な動機は明快です。サーバーのリフレッシュサイクルから出るDDR4モジュールには依然として相当な残存寿命がありますが、Metaの規模では中古市場は数百万枚のDIMMを吸収できないため、転売価値はゼロに等しいです。これらを廃棄処分にするのではなく、ブリッジチップによってCXL層での容量貢献が可能になります。Metaのインフラは数百万ノード規模で運用されているため、ノードあたりのDRAMコスト削減が僅かであっても、全体では莫大な効果を生み出します。
未解決の問題としては、DDR4/DDR5の境界をまたいだエラー訂正をブリッジがどのように処理するか、CXLファブリックがメモリ帯域幅に敏感なML学習ジョブに対して顕著なテールレイテンシをもたらすかどうか、そして初期スクリーニング後のDDR4在庫の故障率プロファイルがどのようなものかが挙げられます。
AIが生成した動画で特定の脳領域を最大限に駆動する
EPFLのNEVOプロジェクト（Neural Evolution of Videos and Objects）は、閉ループ最適化ループを用いて、生体神経系の指定された関心領域を最大限に活性化する動画刺激を合成します。現在、in vivoの電気生理学およびfMRIをターゲットとした実証が行われています。このアプローチは、「brain-score」および「activation maximization」パラダイムを神経科学に応用したものであり、静止画像から動的刺激へと拡張されています。
パイプラインはおおむね以下のように機能します：生成的動画モデルが潜在ベクトルでパラメータ化された候補刺激を生成し、それらの刺激に対する標的脳領域からの神経応答が計測されます。その後、ブラックボックス最適化器（通常は潜在空間で動作する遺伝的アルゴリズムまたはベイズ最適化器）が、計測された応答を最大化するように潜在ベクトルを更新します。多くのラウンドにわたる反復により、標的領域を効果的に駆動する刺激へと収束していきます。
これが科学的に興味深いのは、脳に関してモデルフリーであるという点です。V1やMTの効果的な刺激を探索するために、それらの領域の手作りの順モデルを必要としません。最適化器は脳をオラクルとして扱います。動画生成モデルは、探索すべき構造化された滑らかな潜在空間を提供しており、ピクセル空間を直接探索するよりもはるかに扱いやすくなっています。
注目すべき方法論的な懸念点もあります：閉ループアプローチでは最適化ラウンドごとに多くの繰り返し神経計測が必要であり、動物実験では高コストであり、ヒトfMRIでは（時間分解能が低くノイズが大きいため）実質的に制約されます。また、最適化された刺激は最適化ターゲットに固有のものであり、その領域が何を計算しているかという理論に一般化できない場合があります。さらに、生成モデルの事前分布が探索を自然画像的かつ高エネルギーな刺激の方向にバイアスさせる場合、無関係な理由で神経応答と相関する可能性があるという交絡リスクも存在します。
より広い意義としては、実験者が刺激空間をあらかじめ指定する必要なく神経選択性を特徴付けるためのツールであり、チューニングが十分に理解されていない高次皮質領域に対して価値があります。
Source: https://nevo-project.epfl.ch/
Bun の Rust 書き換えに関する私の考え
Andrew Kelley（Zig の作者）が、Bun がパフォーマンス上クリティカルなコンポーネントを Rust で書き換えるという発表に対して応答しています。Bun はこれまで Zig を使用していました。彼の投稿は、システムレベルの JavaScript ランタイム開発における Zig と Rust のトレードオフを軸にした技術的な批評です。
Kelley が提示する核心的な技術的論点は以下の通りです。Rust の borrow checker はアーキテクチャ上の制約を課し、プログラマを（例えば Arc<Mutex<T>> の過剰な使用といった）アロケーションパターンに追いやる傾向があり、それが JS ランタイムにとって最も重要な低レイテンシのパスでパフォーマンスを損ないます。一方 Zig は、コンパイラによる所有権モデルを強制することなく、アロケータとデータのライフタイムをプログラマが直接制御できます。Kelley は、設計時にライフタイムを既に把握している場合にはこの方式がより適切だと主張しています。また、Rust よりも Zig の方がコンパイルが速いという点も挙げており、大規模なコードベースにおける開発者の反復サイクルにとって重要な要素であると述べています。
Bun チーム側の反論（文脈から推察されるもの）は実践的なものです。Rust には、特に暗号、HTTP パース、圧縮といった分野において、監査済みのプロダクション品質のクレートからなる非常に大きなエコシステムがあります。これらはまさにランタイムが必要とするライブラリ群です。それらを Zig でゼロから書き直すことは、継続的に大きなメンテナンスコストを伴います。また、Rust の方が採用可能な人材やコントリビューターの母数も多いという点もあります。
Kelley がより深く懸念しているのは、エコシステムにおけるインセンティブの問題です。Rust の勢いが一種の重力圏を形成しており、インフラプロジェクトがデフォルトで Rust を選ぶようになっています。たとえその安全性の保証が冗長であっても（なぜならコードはすでに慎重に監査されているため）、エルゴノミクス上のコストは現実のものとして存在します。彼は、このような状況が、特定の問題クラスに対して異なる、場合によってはより優れたトレードオフを提供する Zig のような言語を市場から締め出していると主張しています。
HN でのディスカッションは予想通り大規模（626 コメント）で、アロケータ API、comptime vs. マクロ、未定義動作の扱い、そして Zig がプロダクション ready かどうかといったトピックが議論されています。技術的に興味深いサブスレッドは、アロケータに対するゼロコスト抽象化における Zig の comptime と Rust の const generics の比較に関するものです。
Source: https://andrewkelley.me/post/my-thoughts-bun-rust-rewrite.html
Show HN: MicrosoftがAIエージェント向けの可視化言語Flintを公開
FlintはMicrosoftが開発したドメイン固有言語（DSL）であり、AIエージェントが構造化されたチャート／可視化仕様を生成し、ブラウザ上で決定論的にレンダリングできるように設計されています。「モデルにD3.jsを書かせる」（制約がなさすぎて幻覚が起きやすい）と「モデルにVega-Liteのテンプレートを埋めさせる」（制約が厳しすぎる）の中間に位置づけられます。
技術的な設計としては、チャートの宣言的スキーマを採用しています。エージェントはチャートの種類、データバインディング、軸、マーク、レイアウトを指定したJSONライクなFlintドキュメントを出力します。Flintランタイムはこれを解釈し、固定された可視化エンジンを通じてレンダリングを行います。これにより、仕様が同じであればレンダリングは常に決定論的となり、エージェントが誤った JavaScriptを生成したり、実行可能なコード生成を通じてXSSを引き起こしたりするリスクがなくなります。
この言語設計のトレードオフは検討に値します。エージェントの出力スキーマを制約することは、信頼性向上のための既知の手法です（文法制約付きデコーディングやOpenAI APIのJSONモードなどが参考になります）。Flintはこれをより豊かな意味論的領域へと拡張しており、制約は単なる構文的妥当性にとどまらず、チャートの意味論にまで及んでいます。データフィールドと視覚的エンコーディングの間の型関係をスキーマが強制するため、論理的に不整合なチャートを仕様に指定することが難しくなっています。このスキーマが、エスケープハッチを必要とせず有用な可視化のロングテールをカバーできる十分な表現力を持つかどうかが、核心的な問いとなります。
GitHub Pagesでのデプロイメントを見る限り、これはデモ／プレビュー段階にあることが示唆されます。実際の統合パターンとしては、エージェントがFlint JSONをツールコールの結果として出力し、フロントエンドコンポーネントがそれをレンダリングするという形が想定されます。これはLLMエージェントにおけるコードインタープリタが計算処理を扱う方法とおおむね類似していますが、任意のコード実行をサンドボックス化された宣言的レンダラーに置き換えた形です。
制限事項としては、固定されたDSLには必然的に表現力の上限があるため、特殊なチャートタイプやカスタムインタラクションはFlintで仕様化できる範囲の外に出てしまいます。また、言語仕様自体はまだサンプルの域を超えて正式にドキュメント化されていません。
Source: https://microsoft.github.io/flint-chart/#/
なぜまた別のPostgres接続プーラーを作ったのか
PgDogはRustで書かれた新しいPostgres接続プーラーであり、この記事ではPgBouncerおよびPgpool-IIとの差別化につながったアーキテクチャ上の意思決定について説明します。
主要な技術的動機は、プリペアドステートメントを正しく処理するトランザクションモードのプーリングです。トランザクションモードのPgBouncerは、プリペアドステートメントがバックエンド接続に紐付けられる一方で、フロントエンド接続がトランザクション間で別のバックエンドに再割り当てされるため、名前付きプリペアドステートメントをサポートできないことで知られています。PgDogはクライアントごとのプリペアドステートメントレジストリを維持し、必要なステートメントがバックエンド接続にまだ存在しない場合は PREPARE を再発行することでこの問題を解決しており、プリペアドステートメントのセットアップをキャッシュして透過的に再現しています。
第二の差別化要因はネイティブなシャーディング認識機能です。PgDogは受信したクエリのASTを（Rustによるpg_queryのバインディングを使用して）パースしてシャーディングキーを抽出し、アプリケーション側の変更を必要とせずに正しいシャードへクエリをルーティングします。これはCitusやMySQLに対するVitessが行う処理に近いですが、修正済みサーバーを必要とするのではなく、プーラー層で実装されています。
Rustを選択した理由は非同期I/Oのパフォーマンスにあります。tokioベースの非同期処理により、少数のスレッド数で高い接続並行性を処理でき、PgBouncerのプロセス単位モデルを回避しています。記事には高並行時においてPgBouncerのセッションモードと比較して低レイテンシを示すベンチマークが含まれていますが、シンプルなクエリに対するPgBouncerのトランザクションモードとの比較は明確さに欠けます。
未解決の問題としては、スキーマ変更時のプリペアドステートメントキャッシュの無効化、トランザクションモードにおけるSETコマンドおよびセッションローカル状態の処理、そしてシャーディングキー設定の運用上の複雑さが挙げられます。プロジェクトはまだ初期段階ですが、Postgres接続管理における実際の課題に対処しています。
Source: https://pgdog.dev/blog/why-yet-another-connection-pooler
内部サービス向けTLS証明書を正しく運用する
この記事では、自己署名証明書への依存や検証の無効化に頼るのではなく、内部サービスのTLSのためにプライベートCAを運用する方法を詳しく解説しています。推奨するスタックは、ACMEに対応したプライベートCAとしてstep-ca（Smallstep製）を使用し、標準的なACMEクライアント（certbot、acme.sh、またはCaddy内蔵クライアント）と組み合わせて証明書の発行と更新を自動化するというものです。
重要な洞察は、ACMEディレクトリURLを内部CAに向けるよう設定し、プライベートルート証明書をトラストストアに追加しさえすれば、ACMEプロトコルはLet’s Encryptに対してとまったく同じように動作するという点です。これにより、公開DNSを必要とするDNS-01チャレンジを使わず、RFC 1918アドレス空間内で完全に運用しながら、公開ACMEの自動化の利点（手動の証明書管理が不要、自動更新）を維持できます。
この記事では、トラストストアの配布問題という非自明な部分についても取り上げています。Linuxホストの場合、/etc/ssl/certsを更新してupdate-ca-certificatesを実行するのは簡単ですが、プロビジョニング（Ansible、cloud-init）に組み込んでおく必要があります。コンテナの場合は、ベースイメージにプライベートルート証明書が含まれている必要があり、カスタムベースイメージを維持するか、起動時に注入することになります。内部WebUIにブラウザでアクセスする際の信頼については、開発者マシンのOSトラストストアにルート証明書を配布する必要があり、これはポリシーとMDMの問題です。
取り上げられている証明書プロファイルには、短命な証明書（step-caはデフォルトで24時間の有効期間と自動更新をサポート）が含まれており、これによって失効インフラの負担を軽減できます。確実な失効が難しい場合、短命な証明書を発行することで失効の問題を実質的に無意味にできます。
DNS-01チャレンジを使用して内部専用サブドメインに公開CAの証明書を発行する代替手法（例：internal.example.comに正規の証明書を使う）についても言及されています。この手法では内部ホスト名がCertificate Transparencyログを通じて漏洩するという問題があり、特定の脅威モデルにおいては現実的な懸念となります。
Source: https://tuxnet.dev/posts/tls-for-internal-services/
OpenBSD にローカル特権昇格（root）を可能にする use-after-free 脆弱性
CVE-2026-57589 は OpenBSD カーネルにおける use-after-free 脆弱性であり、ローカルの非特権ユーザーが root へ特権昇格できます。NVD のエントリにより、本脆弱性がカーネルに影響し、ローカルから悪用可能であることが確認されています。
カーネルコンテキストにおける use-after-free は、一般的に次のようなパターンをたどります。カーネルオブジェクト（ソケット、ファイルディスクリプタ、プロセス構造体など）が、別のデータ構造や競合ウィンドウ内に参照が残ったまま解放される。解放されたメモリが別のオブジェクトのために再割り当てされる。そして古いポインタが使用されることで、攻撃者が新しいオブジェクトの内容を破壊できるようになります。再割り当てされた領域が特権を持つカーネル構造体（例えば proc 構造体の p_ucred フィールド）である場合、古いポインタを通じた制御された書き込みにより uid=0 を設定できます。
OpenBSD はそのセキュリティ姿勢で知られており、pledge/unveil によるシステムコール制限、W^X の強制適用、積極的な ASLR、そして能動的な監査の実績があります。root へのローカル特権昇格が重大である理由は、pledge をバイパスするためです（pledge はプロセスが実行できる操作を制限しますが、pledge の制約を脱するにはまず root またはカーネルアクセスを得る必要があります）。また、UID の分離によってプロセス分離が担保されているマルチユーザーシステムやコンテナに近い展開環境においても重要な問題となります。
HN のディスカッションでは、このバグクラスが特定のカーネルサブシステム（ネットワーキング、VFS、または IPC）に起因するかどうかに焦点が当てられていますが、執筆時点での NVD エントリは技術的な詳細が乏しい状態です。OpenBSD の開発モデルでは、CVE が発行されると迅速にパッチが公開されるのが通例であり、迅速な修正における同チームの実績は良好です。
より広い観点では、入念に監査されたセキュリティ重視の C 言語製カーネルであっても、メモリ安全性のバグが蓄積されるという事実が改めて示されています。これは、カーネルへの Rust 採用をめぐる継続的な議論における繰り返しの論点です。OpenBSD は Linux と比較してその方向性に対してより消極的な姿勢を取ってきました。
Source: https://nvd.nist.gov/vuln/detail/cve-2026-57589
SWE-1.7: GPT-4.5およびClaude Opusに迫る知能
CognitionのSWE-1.7は、同社のDevinインフラ上に構築された、ソフトウェアエンジニアリングエージェントの最新版です。このブログ記事では、アーキテクチャ上の新規性ではなくベンチマークスコアによって位置づけており、コーディングおよびソフトウェアエンジニアリングタスクにおけるSWE-bench Verifiedの性能がGPT-4.5およびClaude Opusのレベルに近づいているという主張が目玉となっています。
この記事の技術的な内容はメカニズムの詳細に乏しく、これはエージェント系企業の発表に繰り返し見られるパターンです。推測できることとして、SWE-1.7はソフトウェアエンジニアリングの軌跡データを用いて実行フィードバックによる強化学習で訓練された fine-tuned モデル（またはアンサンブル）である可能性が高く、これはSWE-agentやOpenHandsの研究システムと同様のアプローチですが、独自の訓練データとインフラを使用しています。Cognitionはこれまでのリリースにおいて、長期的な計画立案と持続的なコンテキスト管理を差別化要因として強調してきました。
SWE-bench Verifiedはこのクラスの現在の標準ベンチマークです：オープンソースのPythonリポジトリから取得した500件の実際のGitHub issueで構成され、それぞれにおいてエージェントが対応するテストスイートをパスするパッチを生成することが求められます。主要なシステムでは50%以上のスコアが達成可能になっており、過去1年間でモデル間の差は大幅に縮まっています。
GPT-4.5およびOpusとの競合的な比較が意味を持つのは、主にこれらがSWEタスクに特化したエージェントではなく、汎用フロンティアモデルであるためです。ソフトウェアエンジニアリング向けに特化・調整されたエージェントが、エンジニアリングベンチマーク上で汎用フロンティアモデルに匹敵できるとすれば、それは特化が非常に効果的であることを示唆するか、あるいはSWE-benchが識別力のあるベンチマークとして飽和状態に近づいていることを示唆します。
制限事項：SWE-bench Verifiedは特定の分布（PythonのOSSリポジトリ、明確に仕様が定義されたissue）をカバーしています。エンタープライズのコードベース、長いコンテキストを持つ複数ファイルにまたがる変更、あいまいな仕様に対するパフォーマンスは測定されていません。また、このベンチマークはコスト、レイテンシ、および本番環境での信頼性も評価対象としていません。
注目の新しいリポジトリ
infracv/rf-detr-cpp
RF-DETRを対象とした、物体検出とインスタンスセグメンテーションの両ワークロードに対応する、本番環境向けC++/TensorRT推論エンジンです。本実装はTensorRTエンジンのビルドと実行をラップしており、FP32、FP16、INT8量化パスをサポートしています。これにより、モデルアーキテクチャを変更することなく、レイテンシと精度のトレードオフを段階的に選択できます。コードベースはCUDA前処理パイプラインを中心に構成されており、レターボックス処理、正規化、NMS後処理はデバイス上で実行されることでPCIe転送のオーバーヘッドを最小化しています。Jetson固有のサポート（Orin、AGX Thor）には、DLAオフロードフックと、これらのSoCにおけるユニファイドメモリアーキテクチャに適したメモリプール設定が含まれています。エンジンのシリアライズワークフローにより、一度ビルドすれば繰り返しデプロイすることが可能で、リビルドのコストが高いエッジフリートにおいて特に重要です。リファレンスとなるPython/ONNX Runtimeのパスと比較して、Orin上のTensorRT INT8エンジンは、このクラスの検出ワークロードにおいて通常2〜4倍のスループット向上をもたらします。リポジトリにはINT8量化用のキャリブレーションデータセットツールと、同期および非同期（CUDAストリーム）の両推論モードのサンプルパイプラインが含まれています。特にJetsonのような電力制約が厳しい環境において、決定論的なレイテンシ保証とNVIDIA固有のハードウェア機能の最大活用が必要な場合に、汎用的なONNX Runtime C++ラッパーよりも本実装が選択されます。
Source: https://github.com/infracv/rf-detr-cpp
ronak-create/FableCut
外部ランタイム依存関係をゼロで構築されたブラウザベースの動画エディタです。AIエージェントがプログラム的に編集パイプラインを駆動できるよう設計されています。コアの抽象化は、カット・オーバーレイ・トランジション・音声ミキシングを宣言的に記述するJSONタイムライン形式であり、人間向けUIとプログラマティックインターフェースの両方が同一スキーマを読み書きします。自動化のインターフェースは二つのチャネルを通じて提供されます：Model Context Protocol（MCP）エンドポイントと従来型のREST APIであり、エージェントはどちらのパスを通じても編集コマンドを発行できます。UIはタイムラインの変更に対してホットリロードし、編集が人間からのものかスクリプトからのものかに関わらず、ライブプレビューのループを実現します。依存関係ゼロという制約により、FFmpegのサブプロセス呼び出しは不要となっており、エンコードおよびデコードはブラウザネイティブのWebCodecsおよびMediaRecorder APIに依存しています。これによりフォーマットのサポートはブラウザが公開するものに限定されますが、バイナリのバンドリングの複雑さは完全に排除されます。このアーキテクチャは、LLMがスクリプトから人間の介在なしに動画を編集する必要があるエージェント的ワークフローに適しています。エージェントがJSONタイムラインを出力し、RESTエンドポイントがそれを適用し、MCPインターフェースはClaudeや類似モデルと互換性のあるtool-callセマンティクスを提供します。主なエンジニアリング上のトレードオフは、WebCodecsのコーデックカバレッジとネイティブFFmpegパイプラインの柔軟性の間にあります。
Source: https://github.com/ronak-create/FableCut
Doriandarko/texts-to-transformer
iMessageのSQLiteデータベースをコーパスとして使用し、小規模なTransformer言語モデルをゼロから学習させる教育的かつ実用的なツールです。Metal Performance Shadersを介してApple Silicon上で完全に動作します。パイプラインはmacOSのchat.dbファイルからメッセージテキストを抽出し、シンプルなBPEまたは文字レベルの方式でtokenizeし、GPTスタイルの自己回帰的な学習ループを実行します。モデルはMシリーズMacのunified memoryに収まるサイズ（通常は数百万パラメータ）に設定されており、数時間ではなく数分でフルの学習が可能です。主な技術的価値は、フルスタックのデモンストレーションにあります。すなわち、データ抽出、tokenization、causal attention maskを用いたバッチ学習、そして推論が、クラウド依存なしに単一の自己完結したリポジトリにまとまっています。プライバシーの観点からは、すべてがローカルかつオフラインで完結します。コーパスのサイズを考えると、得られるモデルが汎用言語モデルとして有用でないことは明らかですが、個人語法（idiolect）モデリングの研究や、他の小規模な個人テキストコーパスへの学習テンプレートとして興味深いものです。MetalバックエンドはCUDA依存を不要とする点で、ほとんどのゼロからの学習チュートリアルとは一線を画しています。すでに所有しているハードウェアでフルの学習パイプラインを理解したい方や、個人データを用いたfine-tuning実験の出発点を探している方に適しています。
Source: https://github.com/Doriandarko/texts-to-transformer
mindmuxai/brain.md
コーディングエージェント向けのファイルベースの永続的メモリレイヤーであり、プロジェクトリポジトリ内に配置される brain.md というMarkdownファイルを中心に設計されています。設計の前提として、Claude CodeやOpenAI Codexといったエージェントはセッション間でアーキテクチャのコンテキストを失ってしまうという課題があります。brain.md は、意思決定、制約、要件、規約などを永続的に保存するストアとして機能し、エージェントはセッション開始時にこれを読み込み、作業の進行に合わせて更新するよう指示されます。CLIはランタイム依存関係ゼロで実装されており、インストールはバイナリを一つコピーするか curl | sh を実行するだけです。Markdown形式を採用しているのは意図的な選択であり、人間が読みやすく、差分が取りやすく、ツールなしで確認・編集できるという利点があります。CLIはファイルの初期化、構造化されたエントリ（意思決定、制約、未解決の質問）の追記、現在の状態のクエリや要約といったコマンドを提供します。これはベクトルストア型のメモリシステムとは異なります——embedding、検索インデックス、確率的な想起は一切なく、ファイル全体がコンテキストとして渡されます。これによりトークンコストと引き換えに決定論的な完全性が保証されます。このアプローチは、メモリファイルがコンテキストウィンドウに収まる程度の小さなサイズ（おおむね10kトークン以下）にとどまるプロジェクトに最も適しています。コード検索ツールの代替ではなく、補完的な位置付けとなります。
Source: https://github.com/mindmuxai/brain.md
raiyanyahya/recall
Recallはbrain.mdと同じセッション健忘問題に取り組んでいますが、実装の思想が異なります。セッション初期化時にClaude Codeのコンテキストへ注入される構造化されたプロジェクトサマリーを生成し、メモリをすべてオフラインかつローカルに保持します。このツールは現在のリポジトリを内省し、ディレクトリ構造、git log、既存のドキュメント、そして任意でユーザーが注釈したノートを読み取り、Claude Codeがシステムプロンプトまたはコンテキストインジェクションのメカニズムを通じてロードするコンパクトなコンテキストドキュメントを構築します。embedding不要、外部サービスへの通信不要、API keyはClaude Code自体にすでに使用しているもの以外は不要です。オフライン限定という制約は意図的なセキュリティ特性であり、プロジェクトデータが機外に出ることはありません。サマリーのフォーマットはtoken効率を重視しつつ、エージェントが最も必要とする情報、すなわち現在の目標、最近の変更点、アーキテクチャ上の意思決定、既知の制約を保持するよう調整されています。695スターを獲得しており、同種のツールと比べて採用数が著しく多いですが、これはおそらくClaude Codeとのintegrationパスが最小限の設定で済むためでしょう。主な制限として、recallの品質はリポジトリがすでにどれだけ良くドキュメント化されているかに依存するため、コメントの少ないスパースなリポジトリでは薄いサマリーしか生成されません。macOSおよびLinuxで動作しますが、Windowsのサポートは部分的です。
Source: https://github.com/raiyanyahya/recall
gykim80/perfectpixel-studio
テキストプロンプトから2Dキャラクタースプライトシートを生成するデスクトップアプリケーションです。Wails（Goバックエンド、Reactフロントエンド）を用いて構築されており、Webテクノロジー製UIを持つネイティブバイナリを生成します。生成パイプラインはキャラクターの単一テキスト記述を入力として受け取り、8方向（基本方位および斜め方位）と100以上のアニメーションアクション（idle、walk、run、attack各種バリアントなど）を網羅したスプライトシートを出力します。これは大多数のトップダウン型またはアイソメトリック型ゲームエンジンで必要とされる最小限のセットです。Goバックエンドはアセットのアセンブル、スプライトシートのパッキング、および上流の画像生成サービスとの通信を担当し、Reactフロントエンドはライブプレビューグリッドを提供します。8方向・複数アクションの組み合わせ空間は、（方向、アクション）ペアごとに構造化されたプロンプトテンプレートを用いた条件付き生成によって処理されるため、1キャラクターあたりに基盤モデルが多数回呼び出されます。これは生成レイテンシとコストが要求フレーム数に応じてスケールすることを意味します。Wailsフレームワークを採用することで、Electronと比べてバイナリのフットプリントが小さくなり、Node.jsランタイム依存を回避できます。インディーゲーム開発者にとっての価値提案は、プロトタイピングにおける手描きスプライト作業の代替です。出力品質は、ピクセルアートスタイルのconditioningに対する基盤画像モデルの忠実度に完全に依存します。エクスポート形式には、標準的なスプライトシートPNGおよび付随するJSONアトラスメタデータが含まれます。
Source: https://github.com/gykim80/perfectpixel-studio
lidge-jun/opencodex
OpenAI Codex互換のAPIサーフェスを公開するプロバイダー非依存のプロキシサーバーです。Codex CLI、Codex App、およびCodex SDKからのリクエストを、Anthropic、Gemini、ローカルのOllamaインスタンス、またはその他のOpenAI互換エンドポイントなど、任意のLLMバックエンドにルーティングできます。このプロキシはCodex APIスキーマと各バックエンドのワイヤーフォーマット間の変換を行い、メッセージ構造の違い、ストリーミングチャンクレスポンス、およびtool/functionコール構文の差異を処理します。Codex CLIおよび関連ツールはOpenAIのエンドポイントと認証スキームにハードコードされているため、ベースURLをこのプロキシに切り替えるだけでトラフィックを透過的にリダイレクトできる点で有用です。実装はフルのセマンティックミドルウェアスタックではなく、プロバイダーごとの変換レイヤーを持つ薄いHTTPプロキシであるため、レイテンシのオーバーヘッドは最小限に抑えられています。設定はYAMLまたは環境変数ファイルで行い、ルーティング先のバックエンドと使用する認証情報を指定します。
ここで対処されている主な技術的課題はストリーミングの忠実性です。Codex CLIは特定のdeltaフォーマットを持つserver-sent eventsに依存しており、各上流プロバイダーは異なるSSEスキーマを出力します。このプロキシはそれらをCodexツールチェーンが期待する形式に正規化します。異なるモデルを統一されたインターフェースで評価したいチームや、複雑度の低いタスクをより安価なプロバイダーにルーティングしてコストを管理したい場合に有用です。
Source: https://github.com/lidge-jun/opencodex
sums001/Windows-Copilot-API
このリポジトリは、Windows CopilotのHTTP内部プロトコルをリバースエンジニアリングし、OpenAI互換のREST APIとしてラップすることで、OpenAI APIの認証情報や課金設定なしにGPT-4、さらにはGPT-5のモデルへのアクセスを可能にするものです。実装は、Windows Copilotが内部的に使用する認証トークンフロー（通常はログイン済みのMicrosoftアカウントに紐づいている）をキャプチャして再現し、/v1/chat/completions endpointのスキーマをCopilot固有のリクエスト形式にマッピングしています。スター数は1,087を獲得しており、今回のバッチの中では注目度の高いリポジトリの一つです。技術的なアプローチは、Bing ChatやCopilot Studioといった他のリバースエンジニアリング系ラッパープロジェクトと類似しています。リスクの観点からは明確な問題があり、MicrosoftはいつでもAPIの内部仕様変更、トークン形式のローテーション、あるいはデバイス認証チェックの追加によってこの連携を破壊できます。本プロジェクトはMicrosoftとの公式な関係を持たず、サービス利用規約上のグレーゾーンで運用されています。エンジニアリングの観点では、Copilotのワイヤープロトコルと認証フローのドキュメントとして、また非標準バックエンド上にOpenAIスキーマ互換アダプターを構築するケーススタディとして興味深い内容です。安定性および利用規約上の懸念から本番環境には適しませんが、ローカルでの実験やプロトコルの調査には有用です。