Linumは、開発費2万1000ドル（約315万円）で開発した画像生成モデル「Pyramid-JiT（P-JiT）」を公開した。モデルはオープンウエイトで配布している。

米オンラインメディアGigazineが11月9日（現地時間）に報じた。高コストになりがちな画像生成モデルの学習負荷を抑えることが狙いという。

従来の画像生成モデルは一般に、VAE（変分オートエンコーダ）を使って画像を潜在表現に圧縮して扱う。これに対しP-JiTは、その変換を介さず、ピクセルデータを直接処理する構成を採った。

計算コストを下げるため、トークンの圧縮率も高めた。既存モデル「Linum v2」が16×16単位でトークン化していたのに対し、P-JiTは32×32単位に対応する。

同じ512×512画像をより少ないトークンで表現できるため、アテンション機構が扱うコンテキスト長は4分の1になったという。Linumは、学習に必要なサンプル数を既存モデル比で約11分の1に抑え、学習コストは約2万1000ドルだったと説明している。

モデル構造も、ピクセル空間での処理に合わせて調整した。P-JiTには、ピクセル空間モデル向けのノイズスケジュールに加え、拡散トランスフォーマーの前段ブロックに届く勾配信号を強める「リードアウト機構」を組み込んだ。

このリードアウト機構は、学習初期の段階で低解像度画像を予測し、収束を速める役割を担うとしている。

テキストと画像は、それぞれ2つの単一モダリティ処理ブロックを通した後、22層の拡散トランスフォーマーで構成する単一ストリームに統合する。テキストエンコーダには、パラメータを固定したQwen3.5-4Bを採用し、特定層の出力を活用した。

画像は32×32パッチに分割した上で、1024次元の潜在空間に3:1で圧縮し、画像処理ブロックに投影する。

学習では複数の損失関数を併用した。MSE、PixelREPAに基づくコサイン距離、最終出力ヘッドのMSE、LPIPSとP-DINOに基づく知覚損失を組み合わせたという。

学習手順は、まず512×512画像で約6億6000万サンプルを学習し、その後1024×1024画像で約5000万サンプルを追加学習する方式を採用した。

一方で、制約もある。学習データにインフォグラフィック、PDF、書籍ページが含まれていないため、LinumはP-JiTについて、文字を含む画像やポスター、インフォグラフィックの生成には対応しないとしている。

また、モデル規模が比較的小さいことから、全身描写、複数オブジェクトの表現、複数人物の相互作用、幅広い知識を要する領域では限界が残ることも認めた。

P-JiTは、潜在表現への変換を省き、ピクセル空間で直接学習することで、開発費と学習サンプル数の削減を図ったモデルといえる。もっとも、文字を含む画像や複雑なシーンの理解には課題を残しており、オープンウエイト公開後の改良動向が注目される。