Xbox Series XのDirect MLは、次世代コンソールのゲームチェンジャーになるかもしれない。

マイクロソフトのDirectMLは、次世代Xboxコンソールのゲームチェンジャーになる可能性を秘めています。これにより、開発者は、4K解像度で動作するだけでなく、より高いフレームレートで動作し、同時にレイトレーシングを提供する次世代ゲームを作成できるようになるはずです。

XboxシリーズXは、DirectXのコンポーネントであるDirectMLを使ったゲームの機械学習をサポートしています。DirectMLは、これまでにないハードウェア性能をコンソールで活用しています。機械学習は、NPCをよりスマートにしたり、よりリアルなアニメーションを提供したり、ビジュアルの質を大幅に向上させたりと、幅広い分野で改善することができます。 今回はビジュアルの改善に焦点を当ててみたいと思います。

低解像度テクスチャのAIアップスケールをリアルタイムで実現

まずは、2018年初頭にマイクロソフトが買収したPlayfabという会社の仕事を見てみましょう。彼らは、クラウドでサポートされるゲームのバックエンドのためのツール作りに取り組んできました。Playfabは、MicrosoftのAzureサーバー＆AIの力を使って、低解像度のテクスチャをリアルタイムでアップスケールしています。PlayfabのGMであるJames Gwertzman氏は、彼と彼のチームが取り組んでいることのいくつかについてVentureBeatに語っています。

『Microsoft社内のスタジオの1つでは、アセット生成にML（マシーンラーニング「機械学習」）モデルを使用する実験を行っています。それは驚くほどうまくいっています。本当に低解像度のテクスチャを、MLモデルにリアルタイムでテクスチャの解像度を上げる処理をさせようとしています。手書きの高解像度テクスチャと機械でスケールアップされた低解像度テクスチャの違いが分からないので、低解像度テクスチャをMLに任せた方が良いかもしれません。』

XboxシリーズXの機械学習 – SDRからHDRへの変換

3月にEurogamerのDigital Foundryが、機械学習を使ってHalo 5を含むいくつかのゲームのSDRをリアルタイムでHDRに変換するXbox Series Xデモを発表しました。

“Halo 5 “のXbox One X強化版が、343 IndustriesがHDRをサポートしたゲームを発売しなかったにもかかわらず、非常に説得力のあるHDR実装で動作しているのを見ることができました。Microsoft ATGの主任ソフトウェアエンジニアであるClaude Marais氏は、Gears 5の最先端のHDR実装を使用した機械学習アルゴリズムが、どのようにして後方互換タイトルでもSDRコンテンツから完全なHDR実装を推論できるかを示してくれました。特別なのは、オートHDRに伴う処理の負荷はほとんどない事です。

機械学習のアップスケーリング

機械学習によるアップスケーリングは、パフォーマンスとビジュアルの両方を向上させるため、最もインパクトのある機能になる可能性があります。この技術をPCに実装した素晴らしいものがすでにあります。それはnVIDIAのDLSS 2.0と呼ばれています。

“Deep Learning Super Sampling（DLSS）”は、人工知能と機械学習を使用して、レンダリングのオーバーヘッドなしに、より高解像度の画像のように見える画像を生成します。AIアルゴリズムは、スーパーコンピュータを使って作成された数万枚のレンダリングされた画像のシーケンスから学習します。これにより、同じように美しい画像を生成することができるようにアルゴリズムを訓練しますが、そのためにグラフィックカードに負荷をかける必要はありません。”

これは、開発者がゲームを1080pまたは1440pでレンダリングするオプションを持つことを意味します。そうすれば、画質をほとんど落とさずに4Kにアップサンプルすることができます。ゲームを1080pでレンダリングすることで、開発者はより良いグラフィックのために予備のGPUリソースを利用できるようになります。グラフィカルエフェクト、レイトレーシング、フレームレートの向上などのリソースです。これをどのように使うかは開発者次第で、作るゲームの種類にもよると思います。

PCのDLSSは通常、レイトレーシングを使用するゲームで使用され、ゲームを高フレームレートで、1440pや4Kにアップスケールされた高画質で動作させることができます。

開発者によると、ゲームにおける機械学習の用途はさらに増えるかもしれません。開発者はまだDirectMLの適切な使い方を考えている段階なので、今後の展開が楽しみです。AIや物理学が改善されれば、私達ユーザーにとっては大勝利と言えるかもしれません。

via Loads of Gaming

※

非常に良記事だったので、日本語訳してご紹介しました。

DLSS2.0とレイトレーシングは、私もPC版Deliver us The Moonで体験しましたが、本当に効果は絶大でパフォーマンスモード、ノーマルモード、クオリティモードと選べます。パフォーマンスモードでも画質は大変に綺麗で、とてもAIが画質補正したとは思えない品質でした。しかもフレームレートは更に滑らかになります。DLSS２.0でAIの速度が倍に向上した事で、前バージョンDLSSでの解像度制限もなくなりより進化したことで、この向上は目覚ましいほどに凄く、DLSS２.0でようやく実用的になったと感じました。本当に素晴らしい技術だと思います。

DLSS2.0といいDirect MLもゲームチェンジャーになりうる技術だと思います。Deliver us The Moonはエイリアンのいないサイレント・デッドスペースという感じですが、パズル要素もあり非常に面白いので、オススメです。

そして、6月4日発売のゲーム業界を揺るがす大スクープというのも、西川氏が某社の技術スタッフともインタビューしたと話しているので、技術的何かが絡む革新的な事らしいので、個人的な推測としてはクラウド(マイクロソフトのAzure？）を使い、AI補正による高画質化されたセガサターンやドリキャスタイトルをプレイ出来るサービスという可能性もあるのかな？と感じました。ま、これは、あくまで自分の中でこんな事になったらいいなぁ程度の戯言ですw

マイクロソフトの初代XBOX、XBOX360タイトルがXboxOneX Enhnacedで信じられないほどクリアで鮮明、高フレームレートで美しく生まれ変わる技術は本当に素晴らしいものだったので、これをセガが使うのではないか？とも考えましたが、、ま、とにかく色々考えられるので推測することは楽しいものです。6月4日のファミ通では何が明らかにされるのか、本当に楽しみです。🔚