アラブ首長国連邦のムハンマド・ビン・ザーイド人工知能大学(MBZUAI)は、0.9Bから375Bパラメータに及ぶ6基構成の大規模基盤モデル群「K2 Horizon」を正式発表しました。
全モデルが商用利用可能なApache License 2.0の下でオープンソース公開され、基盤モデル研究における完全な再現性を掲げています。
従来のオープンモデルの多くが学習済み重み(ウェイト)のみを提供するにとどまっていたのに対し、K2 Horizonは事前学習および事後学習(アライメント)の全ソースコード、学習データセットの選定・フィルタリングパイプライン、さらには学習途中の全中間チェックポイントまで完全公開されました。
この徹底したフルオープン化は、オープンサイエンスの取り組みとして史上最大規模のマイルストーンとなります。
モデル群はエッジデバイス向けの軽量0.9Bから、複雑な多段階推論や長文コンテキスト処理を担う375Bのフロンティア級まで幅広くカバーしています。
アーキテクチャ面では動的スパースアテンションと最新の活性化機構を採用し、同規模のオープン重みモデルと比較して推論時のメモリ消費量とレイテンシを約30%低減することに成功しました。
学術機関やスタートアップがブラックボックスのない透明なAIモデルを独自環境でファインチューニング・検証できる実用基盤として、世界的な研究コミュニティから高い期待を集めています(一次ソース:MBZUAI 公式ニュース / 研究リポジトリ)。
