JP2024031114A - 情報処理装置および画像生成方法 - Google Patents

Abstract

【課題】ユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着した状態で、配信に関する設定を行うことのできる仕組みを実現することを目的とする。【解決手段】推定処理部２２０は、ユーザの頭部に装着されたＨＭＤの姿勢を示す姿勢情報を導出する。ゲーム画像生成部２３０は、ＨＭＤの姿勢情報にもとづいて、ＨＭＤに表示される３次元仮想現実空間のコンテンツ画像を生成する。システム画像生成部２４０は、ＨＭＤがユーザの頭部に装着された状態で、コンテンツ画像とともに配信するカメラ画像に関する設定を行うためのシステム画像を生成する。【選択図】図４

Description

本開示は、ヘッドマウントディスプレイに表示する画像を生成する技術に関する。

ユーザがヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ）を頭部に装着し、ゲームコントローラを操作して、ＨＭＤに表示されたゲーム画像を見ながらゲームをプレイすることが行われている。ＨＭＤに３次元仮想現実（Virtual Reality）空間の映像を表示し、ＨＭＤのトラッキング処理を実施して、ユーザの頭部の動きに仮想現実空間の映像を連動させることで、映像世界への没入感を高められるだけでなく、ゲームのエンタテインメント性を高めることができる。

特開２０１８－９４０８６号公報

近年、プレイ中のゲーム動画をＳＮＳ（ソーシャルネットワーキングサービス）にストリーミング配信することが一般的となり、ゲーム動画を簡単に配信できる仕組みをユーザに提供することが求められている。ＨＭＤを装着したユーザが、プレイ中のゲーム動画とともに自身を撮影しているカメラ画像を配信しようとする場合、カメラ画像に関する設定を行うためにＨＭＤを一度取り外す必要があると、ユーザは煩わしさを感じる。

そこで本開示は、ユーザがＨＭＤを装着した状態で、カメラ画像の配信に関する設定を行うことのできる仕組みを実現することを目的とする。

上記課題を解決するために、本開示のある態様の情報処理装置は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を導出する推定処理部と、ヘッドマウントディスプレイの姿勢情報にもとづいて、ヘッドマウントディスプレイに表示される３次元仮想現実空間のコンテンツ画像を生成する第１画像生成部と、ヘッドマウントディスプレイがユーザの頭部に装着された状態で、コンテンツ画像とともに配信するカメラ画像に関する設定を行うためのシステム画像を生成する第２画像生成部とを備える。

本開示の別の態様の画像生成方法は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を導出し、ヘッドマウントディスプレイの姿勢情報にもとづいて、ヘッドマウントディスプレイに表示される３次元仮想現実空間のコンテンツ画像を生成し、ヘッドマウントディスプレイがユーザの頭部に装着された状態で、コンテンツ画像とともに配信するカメラ画像に関する設定を行うためのシステム画像を生成する。

なお、以上の任意の組み合わせや、本開示の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本開示の態様として有効である。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 表示パネルに表示されるゲーム画像の例を示す図である。 表示パネルに表示される第１システム画像の例を示す図である。 表示パネルに表示される第１システム画像の例を示す図である。 表示パネルに表示される第２システム画像の例を示す図である。 表示パネルに表示される第３システム画像の例を示す図である。 表示パネルに表示される第４システム画像の例を示す図である。 配信機能が起動されたときの第２システム画像の例を示す図である。 表示パネルに表示される第５システム画像の例を示す図である。 第５システム画像を画面左上に配置した状態を示す図である。 出力装置に表示する画像を示す図である。 表示パネルに表示する画像を示す図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ユーザの頭部に装着されたヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５と、ユーザを撮影する撮像装置１８とを備える。出力装置１５は平板型ディスプレイであり、据置型のテレビであってよいが、映像をスクリーンや壁などに投影するプロジェクタであってもよく、タブレット端末や携帯端末のディスプレイであってもよい。撮像装置１８はステレオカメラであってよく、出力装置１５の周辺に配置されてＨＭＤ１００を頭部に装着したユーザを撮影する。撮像装置１８はユーザを撮影できる位置であれば、どこに配置されてもよい。

情報処理装置１０はアクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続する。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置１０は、ネットワーク２経由でＳＮＳを提供するサーバ装置に接続し、サーバ装置にコンテンツ（ゲーム動画）をストリーミング配信できる。情報処理装置１０は、コンテンツのストリーミング配信に、撮像装置１８が撮影したカメラ画像を含めてよい。

記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、ゲーム提供サーバ（図示せず）からネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームプログラムを実行して、ゲームの画像データおよび音声データをＨＭＤ１００および出力装置１５に提供する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した左目用画像データおよび右目用画像データをＨＭＤ１００に提供する。

ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５から画像を出力することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示してよいが、別の画像を表示してもよい。

実施例において、ＨＭＤ１００の表示画像と同じ画像を出力装置１５に表示するモードを「ミラーリングモード」と呼び、ＨＭＤ１００の表示画像とは異なる画像を出力装置１５に表示するモードを「セパレートモード」と呼ぶ。実施例のゲームソフトウェアは、ＨＭＤ１００用の画像と、出力装置１５用の画像とを別個に生成する機能を有する。出力装置１５用の画像がミラーリングモードまたはセパレートモードのいずれで生成されるかはゲームソフトウェア次第であり、ゲーム開発者に任されている。たとえば１つのゲームソフトウェアにおいて、あるシーンにおいては出力装置１５用の画像がミラーリングモードで生成され、別のシーンにおいては出力装置１５用の画像がセパレートモードで生成されてもよい。実施例においては、出力装置１５用の画像がミラーリングモードで生成されるものとするが、変形例ではセパレートモードで生成されてもよい。

情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタン、方向キー、アナログスティックなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームプログラムを実行する際、入力デバイス１６はゲームコントローラとして利用される。

ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、ＨＭＤ１００の前面の異なる位置に取り付けられる。撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有してよい。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば６０フレーム／秒）で撮影し、撮影画像を情報処理装置１０に送信する。

情報処理装置１０は、ＨＭＤ１００の周囲を撮影した画像にもとづいて、ＨＭＤ１００の位置または姿勢の少なくとも一方を推定する機能を有する。情報処理装置１０は、自己位置推定と環境地図作成とを同時に行うＳＬＡＭ（Simultaneous Localization And Mapping）により、ＨＭＤ１００の位置および／または姿勢を推定してよい。以下では、情報処理装置１０が、ＨＭＤ１００の位置および姿勢の双方を推定する機能を有するものとして説明する。

情報処理装置１０は、連続した撮影時刻である時刻（ｔ－１）と時刻（ｔ）に撮像装置１４が撮影した撮影画像を用いて、時刻（ｔ－１）と時刻（ｔ）の間のＨＭＤ１００の移動量を推定する。情報処理装置１０は、時刻（ｔ）におけるＨＭＤ１００の位置および姿勢を、時刻（ｔ－１）におけるＨＭＤ１００の位置および姿勢と、時刻（ｔ－１）と時刻（ｔ）の間のＨＭＤ１００の移動量とを用いて推定する。情報処理装置１０は、ＨＭＤ１００の位置を示す位置情報を、実空間に定義した座標系における位置座標として導出し、ＨＭＤ１００の姿勢を示す姿勢情報を、実空間に定義した座標系における方向として導出してよい。なお情報処理装置１０は、ＨＭＤ１００に搭載された姿勢センサが時刻（ｔ－１）から時刻（ｔ）の間に取得したセンサデータをさらに利用して、ＨＭＤ１００の位置情報および姿勢情報を高精度に導出してよい。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００を装着したユーザの左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。筐体１０８の正面方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられる。撮像装置１４ｃは、カメラ光軸が正面方向を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が正面方向を向くように前方側外面の左下隅に取り付けられ、撮像装置１４ｃと撮像装置１４ｄは、ステレオカメラを構成する。

ＨＭＤ１００は、撮像装置１４が撮影した撮影画像、姿勢センサが取得したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。姿勢センサ１２４は、ＩＭＵ（慣性計測装置）であってよく、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含み、所定の周期（たとえば１６００Ｈｚ）で各軸成分の値（センサデータ）を検出する。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に提供して表示させ、また音声出力部１３２に提供して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４が取得したセンサデータ、マイク１２６が取得した音声データ、撮像装置１４が取得した撮影画像を、通信制御部１２８から情報処理装置１０に送信させる。

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、処理部２００および通信部２０２を備え、処理部２００は、取得部２１０、推定処理部２２０、ゲーム実行部２２２、ゲーム画像生成部２３０、システム画像生成部２４０、出力画像生成部２４２および画像出力部２４４を備える。取得部２１０は、第１撮影画像取得部２１２、センサデータ取得部２１４、操作情報取得部２１６および第２撮影画像取得部２１８を有し、ゲーム画像生成部２３０は、ＨＭＤ１００に表示するゲーム画像を生成するＨＭＤ画像生成部２３２と、出力装置１５に表示するゲーム画像を生成するＴＶ画像生成部２３４とを有する。カメラ設定情報記録部２５０は、記録装置１１の記録領域の一部に構成されて、ゲーム画像とともに配信するカメラ画像に関する設定情報を記録する。

通信部２０２は、入力デバイス１６から送信される操作情報を受信し、取得部２１０に提供する。また通信部２０２は、ＨＭＤ１００から送信される撮影画像およびセンサデータを受信し、取得部２１０に提供する。また通信部２０２は、撮像装置１８から送信される撮影画像を受信し、取得部２１０に提供する。

情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図４に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図４に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

第１撮影画像取得部２１２は、複数の撮像装置１４が撮影した画像を取得し、推定処理部２２０に提供する。推定処理部２２０は撮影画像にもとづいて、ＨＭＤ１００の位置および姿勢を推定する処理を実施し、推定結果である位置情報および姿勢情報を導出する。センサデータ取得部２１４は、ＨＭＤ１００の姿勢センサ１２４が検出したセンサデータを取得し、推定処理部２２０に提供する。推定処理部２２０はセンサデータを利用して、ＨＭＤ１００の位置情報および姿勢情報の推定精度を高めることが好ましい。

ゲームプレイの開始前、ＨＭＤ１００を装着したユーザは、自身の周囲の環境を撮像装置１４で撮影して登録する初期設定を実施する。初期設定において情報処理装置１０は、プレイ中のユーザの安全を確保するために、ユーザがプレイするエリア（ユーザが動くことのできるエリア）を画定する。ゲームプレイ中、ユーザがプレイエリアから出そうになると、情報処理装置１０は、ユーザに対して、プレイエリアから出そうであることを警告する。ゲームプレイ中、初期設定時に登録された周囲環境の画像はＳＬＡＭにより定期的に更新されて、最新の環境地図が作成されてよい。

推定処理部２２０は、撮像装置１４により撮影された画像を時系列で取得し、各画像をグリッド分割して特徴点を検出する。推定処理部２２０は、時刻（ｔ－１）に撮影された画像と、時刻（ｔ）に撮影された画像との間で特徴点の対応付けを行い、異なる時刻に撮影した画像間における特徴点の移動量を推定する。推定処理部２２０は特徴点の移動量から、時刻（ｔ－１）と時刻（ｔ）の間のＨＭＤ１００の移動量を推定し、推定した移動量を時刻（ｔ－１）におけるＨＭＤ１００の位置および姿勢に加えることで、時刻（ｔ）におけるＨＭＤ１００の位置情報および姿勢情報を推定する。推定されたＨＭＤ１００の位置情報および姿勢情報はゲーム画像生成部２３０またはゲーム実行部２２２に提供される。

操作情報取得部２１６は、入力デバイス１６から送信される操作情報を取得し、ゲーム実行部２２２に提供する。ゲーム実行部２２２は、入力デバイス１６の操作情報をもとにゲームプログラムを実行して、３次元仮想現実空間においてユーザが操作するプレイヤキャラクタおよびＮＰＣ（ノンプレイヤキャラクタ）を動かす演算処理を行う。

ゲーム画像生成部２３０は、レンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）を含み、仮想現実空間における演算処理結果を受けて、仮想現実空間内の仮想カメラ位置からのゲーム画像を生成する。なお図示していないが、情報処理装置１０は、ゲーム音声を生成する音声生成部を備える。

ＨＭＤ画像生成部２３２は、ＨＭＤ１００の位置情報および姿勢情報にもとづいて、ＨＭＤ１００に表示される３次元仮想現実空間のゲーム画像を生成する。ＨＭＤ画像生成部２３２は、推定処理部２２０から提供される位置情報および姿勢情報をユーザの視点位置および視線方向として取り扱い、ユーザの視点位置および視線方向を、ユーザが操作するプレイヤキャラクタの視点位置および視線方向に変換してよい。このときＨＭＤ画像生成部２３２は、ユーザの視線方向をプレイヤキャラクタの視線方向に一致させてよい。ＨＭＤ画像生成部２３２は３次元仮想現実（ＶＲ）画像を生成し、具体的には左目用ゲーム画像および右目用ゲーム画像からなる一対の視差画像を生成する。

ＨＭＤ１００では、ユーザの眼前と周囲に視野角の広い映像を表示させるために、曲率の高い光学レンズを採用しており、ユーザがレンズを介して表示パネル１３０を覗き込む構成になっている。曲率の高いレンズを用いるとレンズの歪曲収差によって映像が歪むため、曲率の高いレンズを通して見たときに正しく見えるように、ＨＭＤ画像生成部２３２は、レンダリングされた画像に対して歪み補正処理を施す。つまりＨＭＤ画像生成部２３２は、レンズによる光学歪みを補正した左目用ゲーム画像および右目用ゲーム画像を生成する。

一方、ＴＶ画像生成部２３４は、テレビなどの平板型ディスプレイに表示される２次元のゲーム画像を生成する。実施例のＴＶ画像生成部２３４は、ミラーリングモードで、ＨＭＤ１００の表示画像と実質的に同じ画角の２次元ゲーム画像（同じ仮想カメラからのゲーム画像）を生成する。なお変形例でＴＶ画像生成部２３４は、ＨＭＤ１００用の画像を生成した仮想カメラとは別の仮想カメラで撮影した２次元ゲーム画像を生成してもよい。

システム画像生成部２４０は、ゲーム画像に重畳されるシステム画像、またはゲーム画像に替わって表示されるシステム画像を生成する。ユーザによるゲームプレイ中、操作情報取得部２１６が、ユーザからシステム画像を表示するための操作情報を取得すると、システム画像生成部２４０は、ゲーム画像に重畳されるシステム画像を生成する。

出力画像生成部２４２は、ゲーム画像生成部２３０で生成されるゲーム画像およびシステム画像生成部２４０で生成されるシステム画像を受け取り、ＨＭＤ１００に出力する画像および出力装置１５に出力する画像を生成する。ゲームプレイ中、ユーザが入力デバイス１６からシステム画像を表示するための操作を入力しなければ、システム画像生成部２４０はシステム画像を生成しない。このとき出力画像生成部２４２は、ＨＭＤ画像生成部２３２で生成されるゲーム画像（以下、「ＨＭＤ用ゲーム画像」と呼ぶこともある）を、ＨＭＤ１００に出力する画像とし、ＴＶ画像生成部２３４で生成されるゲーム画像（以下、「ＴＶ用ゲーム画像」と呼ぶこともある）を、出力装置１５に出力する画像とする。画像出力部２４４は通信部２０２から、ＨＭＤ用ゲーム画像（一対の視差画像）をＨＭＤ１００に出力し、ＴＶ用ゲーム画像を出力装置１５に出力する。

図５は、表示パネル１３０に表示されるゲーム画像の例を示す。ＨＭＤ１００において制御部１２０は、一対の視差画像を表示パネル１３０に表示する。上記したように表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂを有しており、制御部１２０は、左目用のゲーム画像と右目用のゲーム画像をそれぞれ左目用表示パネル１３０ａと右目用表示パネル１３０ｂに表示する。実施例では、図５に示す画角のゲーム画像が出力装置１５にも表示される。

ゲームプレイ中、ユーザが、入力デバイス１６の所定のボタン（クリエイトボタン）を押下すると、操作情報取得部２１６は、第１システム画像を表示するための操作情報を取得し、システム画像生成部２４０は、ゲーム画像を配信する項目を含む第１システム画像を生成する。出力画像生成部２４２は、ＨＭＤ用ゲーム画像およびＴＶ用ゲーム画像のそれぞれに第１システム画像を重畳する。

図６は、表示パネル１３０に表示される第１システム画像３００の例を示す。第１システム画像３００は、画像のキャプチャおよび共有に関する複数のメニュー項目を含む。以下、各メニュー項目について説明する。
・ メニュー項目３０２
「直近のゲームプレイを保存」するためのメニュー項目。デフォルトでは最大６０分の直近のゲームプレイを保存する。ユーザは保存時間を設定することで、たとえば直近１５秒、直近３０秒などのゲームプレイを保存できる。
・ メニュー項目３０４
「スクリーンショットを撮影」するためのメニュー項目。
・ メニュー項目３０６
「新しく録画を開始」するためのメニュー項目。動画収録中は、画面上部に赤丸マークと収録開始からの計測時間が表示される。
・ メニュー項目３０８
「ブロードキャスト」を開始するためのメニュー項目。ゲーム画像を配信するためのメニュー項目であり、メニュー項目３０８が選択されて決定操作されると、ゲーム画像を配信するための第２システム画像が表示される。
・ メニュー項目３１０
「シェアスクリーン」を開始するためのメニュー項目。ユーザは、パーティのメンバとゲームプレイをシェアできる。

ユーザは、選択枠３２０を所望のメニュー項目の位置に動かすことで、メニュー項目を選択する。図６に示す例では選択枠３２０がメニュー項目３０４上に配置され、「スクリーンショットを撮影」するためのメニュー項目が選択されている。

出力画像生成部２４２は、第１システム画像３００を、ＨＭＤ用ゲーム画像の所定の領域に重畳する。この例で出力画像生成部２４２は、第１システム画像３００を、ＨＭＤ用ゲーム画像の略中央の領域に重畳する。ユーザが頭部を動かすと、ＨＭＤ画像生成部２３２は、変更されたユーザの視点位置および視線方向にもとづいてＨＭＤ用ゲーム画像を生成するが、出力画像生成部２４２は、第１システム画像３００を、常にＨＭＤ用ゲーム画像の略中央の領域に配置する。第１システム画像３００が表示パネル１３０の略中央の領域に必ず表示されることで、ユーザは第１システム画像３００を見失うことがなく、第１システム画像３００に含まれる所望のメニュー項目を容易に選択できる。

同様に出力画像生成部２４２は、第１システム画像３００を、ＴＶ用ゲーム画像の所定の領域に重畳する。出力画像生成部２４２は、第１システム画像３００を、ＴＶ用ゲーム画像の略中央の領域に重畳してよい。これにより出力装置１５を見ている別のユーザは、ＨＭＤ１００を装着しているユーザがメニュー選択を行っていることを容易に認識できる。

図７は、表示パネル１３０に表示される第１システム画像３００の例を示す。この例では選択枠３２０がメニュー項目３０８上に配置され、「ブロードキャスト」を開始するためのメニュー項目が選択されている。ユーザが、入力デバイス１６の決定ボタンを押下すると、操作情報取得部２１６は、メニュー項目３０８を選択する操作情報を取得する。メニュー項目３０８を選択する操作情報は、ゲーム画像を配信するための操作情報であり、メニュー項目３０８が選択されると、システム画像生成部２４０は、ゲーム画像を配信するための第２システム画像を生成する。なお実施例では、ユーザが所定のボタン（クリエイトボタン）を押下して第１システム画像３００を表示させ、第１システム画像３００におけるメニュー項目３０８を選択することでブロードキャストを開始する構成としたが、例えば入力デバイス１６のホームボタンを押下して、コントロールセンターからブロードキャストを開始してもよい。

図８は、表示パネル１３０に表示される第２システム画像３３０の例を示す。操作情報取得部２１６が、第１システム画像３００に含まれるゲーム画像配信の項目（メニュー項目３０８）を選択する操作情報を取得すると、システム画像生成部２４０は、ゲーム画像を配信するための第２システム画像３３０を生成する。ゲーム画像生成部２３０は、第２システム画像３３０を、３次元の仮想現実空間における所定の位置に配置する。ゲーム画像生成部２３０は、第２システム画像３３０を任意の初期位置に配置し、その初期位置に固定してよい。ゲーム画像生成部２３０は、メニュー項目３０８が決定操作されたタイミングで第２システム画像３３０が表示パネル１３０に含まれる位置であれば、仮想現実空間における第２システム画像３３０の位置をどのように設定してもよい。ゲーム画像生成部２３０は、第２システム画像３３０が視野角内の所定位置に表示されるように３次元の仮想現実空間における配置位置を定め、定めた配置位置に第２システム画像３３０を固定してよい。

第２システム画像３３０が、３次元仮想現実空間の所定位置に固定されるため、ユーザは頭部を動かすことで、第２システム画像３３０を視野角から外すことができる（つまり第２システム画像３３０が表示パネル１３０に表示されなくなる）。第２システム画像３３０をユーザの視線方向に追従させないことで、第２システム画像３３０によりＨＭＤ用ゲーム画像の一部が常に隠されて、ゲーム進行を阻害する状況を回避できる。

第２システム画像３３０において、ユーザは、配信に関する説明文等を入力領域３３４に入力する。入力領域３３４に入力された説明文等は、配信画像を視聴する視聴ユーザによって閲覧されてよい。

ユーザがボタン３３６を操作すると、操作情報取得部２１６は、ボタン３３６を操作した操作情報を取得し、システム画像生成部２４０は、ブロードキャストオプションを１つの選択肢として含むメニューリストを生成する。ユーザがメニューリストからブロードキャストオプションを選択すると、操作情報取得部２１６は、ブロードキャストオプションを選択した操作情報を取得し、システム画像生成部２４０は、配信に関するオプションを設定するための第３システム画像を生成する。

図９は、表示パネル１３０に表示される第３システム画像３４０の例を示す。ゲーム画像生成部２３０は、第３システム画像３４０を、３次元の仮想現実空間における所定の位置に配置して、その位置に固定する。このためユーザは視線方向を動かすことで、第３システム画像３４０を視界から外すことができる。第３システム画像３４０は、配信に関する複数のメニュー項目を含む。以下、各メニュー項目について説明する。

・ メニュー項目３４２
ゲーム画像の配信に、撮像装置１８が撮影するカメラ画像を含めるか否かを設定するためのメニュー項目。
・ メニュー項目３４４
チャットを表示するか否かを設定するためのメニュー項目。
・ メニュー項目３４６
視聴者やチャンネルのフォロワーが増えたときに、自分の画面に通知を表示するか否かを設定するためのメニュー項目。
・ メニュー項目３４８
チャットまたはアクティビティの表示位置を設定するためのメニュー項目。
・ メニュー項目３５０
ボイスチャットメンバの音声を配信に含めるか否かを設定するためのメニュー項目。
・ メニュー項目３５２
ゲームプレイを配信する際の解像度を設定するためのメニュー項目。

ユーザは、選択枠３５４を所望のメニュー項目の位置に動かしてメニュー項目を選択し、設定内容を入力する。図９に示す例では選択枠３５４がメニュー項目３４２上に配置され、撮像装置１８が撮影するカメラ画像を配信することが設定されている。実施例の情報処理装置１０においてユーザは、ＨＭＤ１００を装着したまま、カメラ画像を配信に含めるか否かを設定できる。

このようにユーザは、ゲームプレイ中に第３システム画像３４０を表示させて、撮像装置１８が撮影したカメラ画像をゲーム画像の配信に含めるか否かを設定できる。なおユーザは、ゲームプレイの開始前に、撮像装置１８が撮影したカメラ画像をゲーム画像の配信に含めるか否かを設定できてよい。

図１０は、表示パネル１３０に表示される第４システム画像３６０の例を示す。ゲームプレイの開始前、ユーザは、表示パネル１３０に第４システム画像３６０を表示させて、ゲーム画像とともに配信するカメラ画像に関する設定を行うことができる。ユーザは、ＨＭＤ１００を装着した状態で、第４システム画像３６０におけるメニュー項目を設定できる。なおユーザは、ゲームプレイ中や画像配信中に、表示パネル１３０に第４システム画像３６０を表示させて、カメラ画像に関する設定を行ってもよい。以下、各メニュー項目について説明する。

・ メニュー項目３６２
ゲーム画像の配信に、撮像装置１８が撮影するカメラ画像を含めるか否かを設定するためのメニュー項目。
・ メニュー項目３６４
配信するカメラ画像の大きさを設定するためのメニュー項目。
・ メニュー項目３６６
配信するカメラ画像の形状を設定するためのメニュー項目。
・ メニュー項目３６８
配信するカメラ画像を左右反転するか否かを設定するためのメニュー項目。
・ メニュー項目３７０
配信するカメラ画像に施すエフェクトを設定するためのメニュー項目。
・ メニュー項目３７２
配信するカメラ画像の明るさを設定するためのメニュー項目。
・ メニュー項目３７４
配信するカメラ画像のコントラストを設定するためのメニュー項目。
・ メニュー項目３７６
配信するカメラ画像の透明度を設定するためのメニュー項目。

第２撮影画像取得部２１８は、撮像装置１８が撮影したカメラ画像を取得し、取得したカメラ画像が表示領域３７８に表示される。ユーザは表示領域３７８をみて、撮像装置１８の取付位置などを調整してよい。ユーザが各メニュー項目の内容を設定すると、カメラ設定情報記録部２５０は、設定された各メニュー項目の内容を記録する。記録したカメラ設定情報は、カメラ画像の配信時に利用される。

図８に戻り、ユーザが配信開始ボタン３３２を操作すると、操作情報取得部２１６は、配信開始ボタン３３２を操作した操作情報を取得し、画像出力部２４４が配信機能を起動して、配信先となるサーバ装置との間の接続処理を開始する。
図１１は、画像出力部２４４の配信機能が起動されたときの第２システム画像３３０の例を示す。配信機能が起動されると、システム画像生成部２４０は、配信するゲーム画像にカメラ画像を重畳する位置をユーザが選択するためのシステム画像を生成する。

（カメラ画像の重畳位置の決定）
図１２は、表示パネル１３０に表示される第５システム画像３８０の例を示す。システム画像生成部２４０は、配信するゲーム画像にカメラ画像を重畳する位置をユーザが選択するための第５システム画像３８０を生成する。ユーザは、入力デバイス１６の方向キーを操作して、第５システム画像３８０を動かすことができる。出力画像生成部２４２は、操作情報取得部２１６が取得した方向キー操作情報をもとに、第５システム画像３８０を動かす。なおユーザは、入力デバイス１６のアナログスティックを操作して、第５システム画像３８０を動かしてもよい。実施例でカメラ画像の重畳位置は、図１２に点線で示す８箇所の中から選択することができ、ユーザは、所望の重畳位置に第５システム画像３８０を動かす。

図１２において、第５システム画像３８０の背景には、ホーム画像が表示されている。実施例において、第５システム画像３８０を表示する際、出力画像生成部２４２は、背景に表示していたゲーム画像を、ホーム画像に切り替える。したがってシステム画像生成部２４０は、ホーム画像を生成して、出力画像生成部２４２に提供し、出力画像生成部２４２は、ホーム画像を背景として、第５システム画像３８０を表示させる。なお出力画像生成部２４２は、ゲーム画像を背景としたまま、第５システム画像３８０を表示してもよい。

第５システム画像３８０は、撮像装置１８により撮影されたカメラ画像を含んで構成される。そのためユーザは、実際に配信されるカメラ画像を確認でき、たとえば配信したくない物が映っていると、その物をどかすなどの対応をとることができる。

なお実施例では、出力装置１５においても、表示パネル１３０の表示画像と同じ画像が表示される。そのため別のユーザは、出力装置１５に表示された図１２と同じ画像を見ることで、ＨＭＤ１００を装着したユーザがカメラの重畳位置を選んでいる状況を認識する。

図１３は、第５システム画像３８０を画面左上に配置した状態を示す。ユーザは第５システム画像３８０を動かして、配信に好適なカメラ画像の位置を定める。ユーザが入力デバイス１６の決定ボタンを押下すると、操作情報取得部２１６は、カメラ画像の重畳位置を決定する操作情報を取得する。カメラ画像の重畳位置が画面左上に決定されると、出力画像生成部２４２は、ＨＭＤ１００に表示する画像を、ＨＭＤ用ゲーム画像に切り替え、出力装置１５に表示する画像を、ＴＶ用ゲーム画像に切り替える。

図１４は、出力装置１５に表示する画像を示す。カメラの重畳位置が決定された後、出力画像生成部２４２は、決定された位置にカメラ画像を重畳したＴＶ用ゲーム画像を生成して、画像出力部２４４に提供する。出力画像生成部２４２は、カメラ設定情報記録部２５０に記録されたカメラ設定情報にしたがってカメラ画像を加工し、ＴＶ用ゲーム画像の左上に配置する。画像出力部２４４は、カメラ画像３９０を重畳したＴＶ用ゲーム画像を、出力装置１５に出力する。

実施例において画像出力部２４４は、カメラ画像３９０を重畳したＴＶ用ゲーム画像を、動画配信サービスを提供するサーバ装置に出力する。つまり実施例では、出力装置１５に表示されるＴＶ用ゲーム画像をストリーミング配信する。ＨＭＤ用ゲーム画像は光学歪み補正を施されている一方で、ＴＶ用ゲーム画像は、そのような補正を施されていないため、ＴＶ用ゲーム画像を配信対象とすることで、高品質な配信を実現できる。

図１５は、表示パネル１３０に表示する画像を示す。カメラの重畳位置が決定された後、出力画像生成部２４２は、カメラ画像を重畳しないＨＭＤ用ゲーム画像を画像出力部２４４に提供し、画像出力部２４４は、カメラ画像を重畳しないＨＭＤ用ゲーム画像をＨＭＤ１００に出力する。したがってＨＭＤ１００を装着したユーザが見るゲーム画像に、カメラ画像は重畳表示されない。ＨＭＤ用ゲーム画像にカメラ画像を重畳表示しないことで、ユーザは、カメラ画像に邪魔されることなく、ゲームをプレイすることが可能となる。

実施例では、ＨＭＤ画像生成部２３２が、トラッキング処理により推定したＨＭＤ１００の位置情報および姿勢情報にもとづいて、ＨＭＤ１００に表示される３次元仮想現実空間のゲーム画像を生成する。ＨＭＤ画像生成部２３２は、推定処理部２２０から提供される位置情報および姿勢情報からプレイヤキャラクタの視点位置および視線方向を導出して、仮想カメラの位置および向きを設定する。変形例でＨＭＤ画像生成部２３２は、ＨＭＤ１００の位置情報を用いず、姿勢情報を用いて仮想カメラの向きを設定して、３次元仮想現実空間のＨＭＤ用ゲーム画像を生成してもよい。

なおＨＭＤ画像生成部２３２は、３次元ＶＲゲーム画像ではなく、２次元動画像（例えば、２次元ゲーム画像や映画等の２次元動画）を生成する機能を有してよい。ＨＭＤ画像生成部２３２は、２次元動画像を生成する際には、ＨＭＤ１００の位置情報および／または姿勢情報を利用することなく、入力デバイス１６の操作情報にしたがって２次元動画像を生成する。実施例ではユーザがＨＭＤ１００を頭部に装着した状態で、ゲーム画像とともに配信するカメラ画像に関する設定を行うことを説明したが、ユーザは、このカメラ画像に関する設定を、ＨＭＤ画像生成部２３２が３次元ＶＲゲーム画像を生成する際に実施できることが好ましい。なおユーザは、ＨＭＤ画像生成部２３２が２次元動画像を生成する際には、このカメラ画像に関する設定を実施できなくてよい。

以上、本開示を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例では、ゲーム画像を配信する処理について説明したが、本開示は、ゲーム画像以外のコンテンツ画像を配信する処理にも適用できる。

実施例では、画像出力部２４４が、カメラ画像３９０を重畳したＴＶ用ゲーム画像をストリーミング配信したが、カメラ画像３９０を重畳したＨＭＤ用ゲーム画像をストリーミング配信してもよい。また画像出力部２４４が、カメラ画像３９０を重畳したＴＶ用ゲーム画像またはＨＭＤ用ゲーム画像の一方を選択的に配信できるようにしてもよい。また画像出力部２４４が、カメラ画像３９０を重畳したＴＶ用ゲーム画像およびＨＭＤ用ゲーム画像の双方を配信できるようにしてもよい。また画像出力部２４４が、カメラ画像３９０を重畳した、ＴＶ用ゲーム画像およびＨＭＤ用ゲーム画像を合成した合成画像を配信できるようにしてもよい。この場合、カメラ画像３９０は、ＴＶ用ゲーム画像またはＨＭＤ用ゲーム画像の一方に重畳されてよく、または両方に重畳されてよい。

１・・・情報処理システム、１０・・・情報処理装置、１５・・・出力装置、１６・・・入力デバイス、１８・・・撮像装置、１００・・・ＨＭＤ、１３０・・・表示パネル、１３０ａ・・・左目用表示パネル、１３０ｂ・・・右目用表示パネル、２００・・・処理部、２０２・・・通信部、２１０・・・取得部、２１２・・・第１撮影画像取得部、２１４・・・センサデータ取得部、２１６・・・操作情報取得部、２１８・・・第２撮影画像取得部、２２０・・・推定処理部、２２２・・・ゲーム実行部、２３０・・・ゲーム画像生成部、２３２・・・ＨＭＤ画像生成部、２３４・・・ＴＶ画像生成部、２４０・・・システム画像生成部、２４２・・・出力画像生成部、２４４・・・画像出力部、２５０・・・カメラ設定情報記録部。

Claims (10)

1. 情報処理装置であって、ハードウェアを有する１つ以上のプロセッサを備え、
   前記１つ以上のプロセッサは、
   ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を導出し、
   ヘッドマウントディスプレイの姿勢情報にもとづいて、ヘッドマウントディスプレイに表示される３次元仮想現実空間のコンテンツ画像を生成し、
   ヘッドマウントディスプレイがユーザの頭部に装着された状態で、コンテンツ画像とともに配信するカメラ画像に関する設定を行うためのシステム画像を生成する、
   情報処理装置。
2. 前記１つ以上のプロセッサは、
   ヘッドマウントディスプレイがコンテンツ画像を表示しているときに、ユーザから、コンテンツ画像を配信するための操作情報を取得し、
   コンテンツ画像を配信するための操作情報を取得した後、カメラ画像に関する設定を行うためのシステム画像を生成する、
   請求項１に記載の情報処理装置。
3. 前記１つ以上のプロセッサは、
   第１システム画像を表示するための操作情報を取得すると、コンテンツ画像を配信する項目を含む第１システム画像を生成し、
   コンテンツ画像を配信する項目を選択する操作情報を取得すると、コンテンツ画像を配信するための第２システム画像を生成する、
   請求項２に記載の情報処理装置。
4. 第１システム画像は、ヘッドマウントディスプレイに表示されるコンテンツ画像の所定の領域に重畳され、
   第２システム画像は、３次元仮想現実空間における所定の位置に配置される、
   請求項３に記載の情報処理装置。
5. 前記１つ以上のプロセッサは、
   配信するコンテンツ画像にカメラ画像を重畳する位置をユーザが選択するためのシステム画像を生成する、
   請求項１に記載の情報処理装置。
6. 前記１つ以上のプロセッサは、
   カメラ画像を含むシステム画像を生成する、
   請求項５に記載の情報処理装置。
7. 前記１つ以上のプロセッサは、
   ヘッドマウントディスプレイに表示される第１コンテンツ画像と、平板型ディスプレイに表示される第２コンテンツ画像とを生成し、
   配信するカメラ画像は、第２コンテンツ画像に重畳表示され、第１コンテンツ画像には重畳表示されない、
   請求項１に記載の情報処理装置。
8. 前記１つ以上のプロセッサは、
   カメラ画像を重畳された第２コンテンツ画像を配信する、
   請求項７に記載の情報処理装置。
9. 画像を生成する方法であって、
   ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を導出し、
   ヘッドマウントディスプレイの姿勢情報にもとづいて、ヘッドマウントディスプレイに表示される３次元仮想現実空間のコンテンツ画像を生成し、
   ヘッドマウントディスプレイがユーザの頭部に装着された状態で、コンテンツ画像とともに配信するカメラ画像に関する設定を行うためのシステム画像を生成する、
   画像生成方法。
10. コンピュータに、
    ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を導出する機能と、
    ヘッドマウントディスプレイの姿勢情報にもとづいて、ヘッドマウントディスプレイに表示される３次元仮想現実空間のコンテンツ画像を生成する機能と、
    ヘッドマウントディスプレイがユーザの頭部に装着された状態で、コンテンツ画像とともに配信するカメラ画像に関する設定を行うためのシステム画像を生成する機能と、
    を実現させるためのプログラム。

Images