ビデオメモリが少なくても大型AIを動かせる。MoE特化の実行環境「FreeToken」とは
NVIDIA製GPUで、ビデオメモリ（VRAM）に収まらない巨大なAIモデルを高速に動作させる推論エンジン「FreeToken」が注目されています。特に「MoE」という仕組みを持つモデルに特化しており、PCのメインメモリを活用することで、限られたハードウェア環境でのローカル推論を可能にします。
何が起きたのか
まず、FreeTokenという無料のAI実行環境が登場しました。これはNVIDIAのGPU向けに開発された推論エンジンです。最大の特徴は、ビデオメモリに乗り切らない大型のAIモデルを効率よく動かせる点にあります。具体的には、モデルの一部をPCのメインメモリに置き、推論時に必要な部分だけをビデオメモリへ読み込む仕組みを採用しています。これにより、ビデオメモリが少ない環境でも、大規模なモデルを動作させられると報じられています。
なぜ注目されているのか
なぜこれが重要なのかを解説します。一般に、AIの推論を高速に行うには、データをビデオメモリ（VRAM）にすべて載せる必要があります。しかし、最新の大型モデルは容量が非常に大きく、高価なGPUでなければメモリ不足に陥ります。そこで注目されるのが「MoE」という構造です。これは、推論のたびにモデル全体ではなく、一部の「専門家（エキスパート）」だけを使い分ける仕組みです。FreeTokenはこの特性を活かし、必要な部分だけをキャッシュすることで高速化を実現したと考えられます。
報道を読み比べると
報道の内容を比べると、視点の違いが見えます。PC Watchは、8GBという少ないビデオメモリのGPUで35B（350億パラメータ）規模のモデルが高速に動作した点に注目しています。一方で、はてなブックマークでは、より高性能なRTX 5090を用いた検証結果が共有されています。そこでは、35B級では不要だが、120B級のさらに巨大なMoEモデルではFreeTokenの恩恵が大きくなると指摘されています。
この記事に出てくる言葉
- MoE
- モデル内部に複数の「専門家」を持ち、処理に応じて使い分けるAIの構造のこと。
- VRAM
- ビデオカードに搭載された専用メモリ。AIの計算データを一時的に保存し、高速に処理するために使う。
今後の注目点
- 120Bを超える超巨大モデルでの実用的な動作速度
- NVIDIA以外のGPUへの対応や最適化が進むか
よくある質問
FreeTokenを使うメリットは何か？
高価なビデオメモリを大量に積んだGPUがなくても、メインメモリを併用することで、大型のAIモデルをローカル環境で高速に動作させられる点です。
どんなAIモデルで効果があるのか？
「MoE（Mixture-of-Experts）」という、推論時にモデルの一部のみを使用する構造を持つAIモデルで特に効果を発揮すると報じられています。
💻 ブンカイ の取材メモ
この話題を選んだ理由：2つの媒体が同じ出来事を報じていた、同じ話題で3本の配信があった（注目度スコア 2.466）
材料にあるRTX 5090の検証日が2026年となっていましたが、ルールに従いそのまま扱いました。また、35Bなどの「B」がパラメータ数（Billion）を指すことは、予備知識のない読者のため一般知識として補足して記述しました。
参照した報道（2媒体・3本）
この記事は下記の各社が公開している見出し・配信情報をもとに、独自にまとめたものです。記事本文は転載していません。詳細は各社の元記事をご確認ください。
この記事は、各社が公開している見出しと配信情報をAIが読み取り、要点・背景・論点を整理して自動生成したものです。速報性を優先しているため、内容に誤りや古い情報が含まれる場合があります。正確な情報は必ず上記の出典元をご確認ください。医療・投資・法律に関わる判断は専門家にご相談ください。