JP2016024760A - 表示制御装置、表示端末、及び表示制御プログラム - Google Patents
表示制御装置、表示端末、及び表示制御プログラム Download PDFInfo
- Publication number
- JP2016024760A JP2016024760A JP2014150592A JP2014150592A JP2016024760A JP 2016024760 A JP2016024760 A JP 2016024760A JP 2014150592 A JP2014150592 A JP 2014150592A JP 2014150592 A JP2014150592 A JP 2014150592A JP 2016024760 A JP2016024760 A JP 2016024760A
- Authority
- JP
- Japan
- Prior art keywords
- display
- video
- display control
- model
- image size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】表示端末毎に適切なCG映像を表示する。
【解決手段】スクリプトデータに対応するCG映像を表示装置に表示させるための制御を行う表示制御装置において、前記スクリプトデータに対応付けられたCGモデルデータを取得する取得手段と、前記スクリプトデータに対応させて前記取得手段により得られるCGモデルデータを動作させるCG映像を生成するコンテンツ生成手段と、前記コンテンツ生成手段により生成されたCG映像を前記表示装置に表示させたときの表示状態に対応させて前記CG映像の表示制御を行う表示制御手段とを有することにより、上記課題を解決する。
【選択図】図2
【解決手段】スクリプトデータに対応するCG映像を表示装置に表示させるための制御を行う表示制御装置において、前記スクリプトデータに対応付けられたCGモデルデータを取得する取得手段と、前記スクリプトデータに対応させて前記取得手段により得られるCGモデルデータを動作させるCG映像を生成するコンテンツ生成手段と、前記コンテンツ生成手段により生成されたCG映像を前記表示装置に表示させたときの表示状態に対応させて前記CG映像の表示制御を行う表示制御手段とを有することにより、上記課題を解決する。
【選択図】図2
Description
本発明は、表示制御装置、表示端末、及び表示制御プログラムに関し、特に表示端末毎に適切なCG映像を表示するための表示制御装置、表示端末、及び表示制御プログラムに関する。
従来では、番組等の映像コンテンツ内にCG(Computer Graphics)モデルを登場させ、そのCGモデルに手話等の所定の動作(アニメーション)を行わせる技術が存在する。また従来では、上述したようなCG映像を、ユーザが利用する端末(表示端末)のハードウェアやOS(Operating System)が異なる各種プラットフォーム上でも動作させることを目的として、WebGLというグラフィックスAPI(Application Program Interface)を用いたCGビューワが存在する(例えば、非特許文献1参照)。
WebGLは、HTML(Hyper Text Markup Language)5における三次元CG(3DCG)描画の標準仕様である。WebGLを用いることで、表示端末のWebブラウザで特定のWebページをアクセスするだけで、表示端末に専用のソフトウエアやプラグインアプリケーションをインストールせずに3DCG映像を生成表示することができる。
金子浩之、浜口斉周、道家守、井上誠喜、「WebGLによる手話CG生成の一検討」、一般社団法人映像情報メディア学会、2012年映像情報メディア学会年次大会(ITE Annual Convention 2012)
しかしながら、表示端末毎に、性能やディスプレイ(画面)サイズ、Webブラウザのウィンドウサイズは様々であり、対象のWebページにアクセスしても、表示端末の描画性能不足等の影響により、3DCG映像の動きが遅くなったり、画面内に全てのCG映像が表示できず、正しく表示されない場合がある。
また、従来手法では、表示端末の描画性能が十分な場合でも、ユーザがウィンドウサイズを変更しない限り、表示されるCG映像のサイズは変更されない。そのため、表示端末の性能等に対応させた適切なサイズ等でCG映像を表示することができなかった。
本発明は、上述した問題点に鑑みなされたものであり、表示端末毎に適切なCG映像を表示することを目的とする。
本発明の一つの態様として、スクリプトデータに対応するCG映像を表示装置に表示させるための制御を行う表示制御装置において、前記スクリプトデータに対応付けられたCGモデルデータを取得する取得手段と、前記スクリプトデータに対応させて前記取得手段により得られるCGモデルデータを動作させるCG映像を生成するコンテンツ生成手段と、前記コンテンツ生成手段により生成されたCG映像を前記表示装置に表示させたときの表示状態に対応させて前記CG映像の表示制御を行う表示制御手段とを有する。
また、本発明の一つの態様として、表示端末は、上述した表示制御装置と、前記表示制御装置から得られる前記CG映像を画面に表示する表示装置とを有する。
また、本発明の一つの態様として、表示制御プログラムは、コンピュータを、上述した表示制御装置として機能させる。
本発明によれば、表示端末毎に適切なCG映像を表示することができる。
<本発明について>
本発明は、一例としてCG映像をwebブラウザ上で特別なソフトウエア等を必要とせずに生成して表示するWebGLの技術を用いる。例えば、本発明では、WebGLにより生成するCG映像のサイズやコンテンツ内容を、表示状態(例えば、表示装置の性能や環境等)に応じて動的に変更する。
本発明は、一例としてCG映像をwebブラウザ上で特別なソフトウエア等を必要とせずに生成して表示するWebGLの技術を用いる。例えば、本発明では、WebGLにより生成するCG映像のサイズやコンテンツ内容を、表示状態(例えば、表示装置の性能や環境等)に応じて動的に変更する。
具体的には、例えば、WebGLによるCG映像の生成を行う場合に、生成する表示端末の性能やディスプレイ(表示装置)の画面サイズ、ウィンドウサイズといった表示環境に適応させて、CG映像を最適な画像(描画)サイズやフレームレート等で画面に表示する。
例えば、本実施形態では、WebGLを用いたアプリケーション内で、描画フレームレート(FPS)等の表示状態を取得し、取得した表示状態に応じて、CG映像の画像サイズを拡大又は縮小する。なお、上述したフレームレートとは、再生中のCG映像の単位時間(例えば、1秒間等)あたりの画像フレーム数(FPS;Frame Per Second)である。
また、本実施形態では、予め描画するCGモデルの緻密度(ポリゴン数)が異なるものを用意しておき、表示端末の表示状態(性能等)に応じたポリゴン数のCGモデルを利用してCG映像を生成する。また、本実施形態では、CG画像サイズに応じて、CGモデルの描画画角(カメラショット)を動的に変更する。本実施形態では、上述した複数の手法のうち、少なくとも1つを用いてCG映像の表示制御を行うことで、性能の異なる端末のそれぞれに動的に適応させたCG映像の画面表示を可能とする。これにより、ユーザは、適切なCG映像を視聴することができる。
以下に、上述したような特徴を有する本発明における表示制御装置、表示端末、及び表示制御プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、本実施形態では、ユーザが視聴する映像コンテンツの一例として番組を用いることとし、また番組の制作や提示、視聴等に用いられるスクリプトの一例としてTVML(TV program Making Language)を用いることとするが、本発明においてはこれに限定されず、他の映像コンテンツやスクリプトを用いてもよい。
TVMLでは、例えば番組台本や番組制作エンジン、素材データ等に基づいて番組が生成される。番組制作エンジンは、例えば番組に登場するCGモデルや番組のスタジオセット、机や椅子等の仮想物体(オブジェクト)、番組における1つの動作の単位で「タイトル表示」、「ズームイン」、「CGモデルの基本動作(例えば、おじぎや歩き動作)」等のイベントが予め定義されたものである。本実施形態では、番組制作エンジンを用いることで、例えば番組の内容(演出等)を表す番組台本に記述されたテキストデータ等を入力すると、それを元に番組の自動生成に必要なTVMLスクリプトを出力することができる。そして、TVMLスクリプトに記述された演出内容等に基づき、画像や映像、音声、音楽、テキストデータ等の素材データを用いて、番組を生成することができる。
また、本実施形態では、本実施形態における表示制御装置を具備した表示端末がネットワーク上に存在する提供サーバ等から、上述した番組台本や番組制作エンジン、素材データ等を取得し、取得した各種情報を用いて番組映像を生成して画面に表示する例を示すが、実施形態はこれに限定されるものではない。
<表示制御システムの概略構成例>
図1は、表示制御システムの概略構成の一例を示す図である。図1に示す表示制御システム10は、提供サーバ11と、1又は複数の表示端末12−1〜12−n(以下、必要に応じて「表示端末12」と総称する)とを有する。提供サーバ11と表示端末12とは、例えばインターネットやLAN(Local Area Network)等に代表される通信ネットワーク(有線でも無線でも可)13を用いてデータの送受信が可能な状態で接続されている。
図1は、表示制御システムの概略構成の一例を示す図である。図1に示す表示制御システム10は、提供サーバ11と、1又は複数の表示端末12−1〜12−n(以下、必要に応じて「表示端末12」と総称する)とを有する。提供サーバ11と表示端末12とは、例えばインターネットやLAN(Local Area Network)等に代表される通信ネットワーク(有線でも無線でも可)13を用いてデータの送受信が可能な状態で接続されている。
提供サーバ11は、表示端末12側に提供する番組の台本(TVMLスクリプトファイル)や番組生成時に必要な番組制作エンジンや素材データ(例えば、画像や映像、音声、テキストデータ)等を管理する。また、提供サーバ11は、表示制御システム10を利用するユーザを管理したり、表示端末12に提供するCGモデルデータ、TVMLスクリプトファイルからCG映像を生成して画面に表示する機能を有するTVMLPlayer(TVMLプレーヤ)のプログラム等を管理する。なお、本実施形態では、WebGL版のTVMLPlayerを使用するため、プログラムの一例としてWebブラウザで実行可能なソースコードが管理される。
また、提供サーバ11は、表示端末12からの要求があった場合や所定の時間になった場合等の各種条件に応じて、表示端末12に対して上述した情報を提供する。提供サーバ11は、例えばWebサーバ等であり、1又は複数のWebページをアクセス可能な状態で公開する。表示端末12は、上述したWebページのうち、所定のWebページにアクセスし、アクセス先のページに記述されている項目から番組の生成に必要な情報を選択してダウンロード処理を行う。提供サーバ11は、上述したユーザの選択による問い合わせに対して対象のデータを抽出し、抽出した各種データを表示端末12にダウンロードさせる。
提供サーバ11は、PC(Personal Computer)等の情報処理装置でもよく、一以上の情報処理装置から構成されるクラウドサーバであってもよい。
表示端末12は、提供サーバ11から提供される番組台本(TVMLスクリプト)や番組制作エンジン、素材データ等から番組(映像コンテンツ)を生成し、所定の表示制御により制御された番組を画面に表示する。
具体的には、表示端末12は、提供サーバ11の所定のWebページにアクセスして、提供サーバ11からWebGL版のTVMLPlayerのソースコードやTVMLスクリプト、CGモデルデータ、番組制作エンジン、素材データ等を取得する。また、表示端末12は、TVMLPlayerを起動させ、Webブラウザ上でTVMLスクリプトを解釈してCG映像を含む番組を生成する。このとき、本実施形態では、各表示端末12−1〜12−nの性能や画面サイズ、ウィンドウサイズ等に応じて表示環境に対する適応制御を行う。
本実施形態における表示端末12としては、例えば汎用のPC等であるが、これに限定されるものではなく、例えば通信ネットワーク13等を介して所定の外部装置(例えば、提供サーバ11)やWebサイト等に接続可能な携帯電話、ノート型PC、PDA(Personal Digital Assistant)、スマートフォン、タブレット端末、ゲーム機器の各種通信端末等であってもよい。
<表示端末12の機能構成例>
次に、本実施形態における表示端末12の機能構成例について図を用いて説明する。図2は、本実施形態における表示端末の機能構成の一例を示す図である。図2の例において、表示端末12は、表示制御装置21と、ディスプレイ(表示装置)22とを有する。表示制御装置21は、入力手段31と、出力手段32と、記憶手段33と、取得手段34と、コンテンツ生成手段35と、表示制御手段36と、送受信手段37と、制御手段38とを有する。
次に、本実施形態における表示端末12の機能構成例について図を用いて説明する。図2は、本実施形態における表示端末の機能構成の一例を示す図である。図2の例において、表示端末12は、表示制御装置21と、ディスプレイ(表示装置)22とを有する。表示制御装置21は、入力手段31と、出力手段32と、記憶手段33と、取得手段34と、コンテンツ生成手段35と、表示制御手段36と、送受信手段37と、制御手段38とを有する。
入力手段31は、表示端末12のユーザから入力される各種情報の取得指示、CG映像等を含む番組等のコンテンツ生成指示、表示制御指示等における各入力を受け付ける。なお、入力手段31は、例えばキーボードやマウス等であるが、これに限定されるものではなく、マイク等の音声入力デバイスでもよい。また、入力手段31は、ディスプレイ22がタッチパネルである場合には、タッチされた位置や、その位置に対応して設定された情報や、ユーザのタッチ操作に対応する情報を入力してもよい。
出力手段32は、入力手段31により入力された指示内容や、各指示内容に基づいて実行された処理結果等の内容をディスプレイ22に出力する。また、出力手段32は、スピーカ等から音声出力を行ってもよい。
記憶手段33は、本実施形態において必要となる各種情報を記憶する。例えば、記憶手段33は、提供サーバ11から取得したWebGL版のTVMLPlayerのソースコード、スクリプトデータの一例であるTVMLスクリプト、CGデータの一例であるCGモデルデータ、素材データ等を有する。また、記憶手段33は、ディスプレイ22の画面サイズやウィンドウサイズ等を記憶する。なお、記憶手段33において記憶される情報は、これに限定されるものではない。
取得手段34は、上述したTVMLPlayerのソースコードやTVMLスクリプト、TVMLスクリプトに対応付けられたCGモデルデータ等を提供サーバ11等から取得する。
また、取得手段34は、CGモデルデータを取得する場合には、CGモデルを形成するポリゴン数(ポリゴンデータ)の異なる複数のCGモデルデータを取得してもよい。例えば、取得手段34は、2種類(密、粗)のポリゴンデータのCGモデルを取得する。この場合、デフォルトで表示されるCGモデルは、ポリゴンデータが「密」の方とする。また、取得手段34は、3種類(密、中、粗)のポリゴンデータのCGモデルを取得してもよい。
また、取得手段34は、コンテンツ生成手段35により生成されたCG映像を再生するディスプレイ22の画面サイズやウィンドウサイズ、再生中のフレームレート等の性能情報を取得してもよい。また、取得手段は、表示制御手段36において、表示端末12の性能やディスプレイ22の画面サイズやウィンドウサイズに対応させて、CG映像を適切に表示(動作)させるために必要な情報を提供サーバ11から取得する。
コンテンツ生成手段35は、取得手段34により取得したTVMLスクリプトを1行ずつ解釈して、スクリプトに対応するCG映像を生成する。例えば、コンテンツ生成手段35は、TVMLスクリプトに対応させて取得手段34により得られるCGモデルデータを動作させるCG映像等を生成する。
本実施形態において、コンテンツ生成手段35は、例えば上述したWebGL版のTVMLPlayerを用いることができるが、これに限定されるものではない。コンテンツ生成手段35は、生成したCG映像等を記憶手段33に記憶してもよく、ディスプレイ22等の画面に表示させてもよい。
表示制御手段36は、コンテンツ生成手段35により生成され、ディスプレイ22等から再生されたCGモデル等のCG映像に対し、表示環境に適応した制御処理(表示環境適応制御処理)を行う。例えば、表示制御手段36は、再生されるCG映像の表示状態に基づいて、ディスプレイ22に表示するCG映像の内容を変更し、表示端末12の性能等に応じた表示制御を行う。
例えば、表示制御手段36は、CG映像の画像サイズを拡大又は縮小する表示制御を行う。また、表示制御手段36は、例えば予め描画するCGモデルの緻密度(CGモデルを形成するポリゴン数(ポリゴンデータ))が異なるものを用意しておき、ディスプレイ22の表示状態(性能等)に応じたポリゴン数のCGモデルを利用してCG映像を生成する表示制御を行う。
例えば、表示制御手段36は、表示されているCGモデルを変更する場合に、上述した取得手段34により得られたポリゴン数の異なる複数のCGモデルデータのうち、現時点で表示されているCGモデルと同一のCGモデルで、ポリゴン数が異なるCGモデルデータに変更してCG映像を生成する。ここで、ポリゴン数が異なるCGモデルデータに変更するとは、例えば現時点で表示されているCGモデルのポリゴン数(ポリゴンデータが「中」)に対し、ポリゴン数が少ないCGモデルに変更してもよく(ポリゴンデータ:「中」→「粗」)、またポリゴン数が多いCGモデルに変更してもよい(ポリゴンデータ:「中」→「密」)。
また、表示制御手段36は、CGモデルの描画サイズに応じて、CGモデルの画角(カメラショット)を動的に変更する。本実施形態では、上述した複数の表示制御のうち、少なくとも1つを用いてCG映像を生成する。
送受信手段37は、通信ネットワーク13を介して提供サーバ11や他の外部装置等とデータの送受信を行うための通信手段である。送受信手段37は、CG映像を生成するためのTVMLスクリプトやCGモデルに関連する各種情報を受信する。
制御手段38は、表示制御装置21における各機能構成全体の制御を行う。例えば、制御手段38は、入力手段31により入力されたユーザ等からの入力情報に基づいて、CG映像の生成に関する各種情報を取得したり、TVMLPlayerによりCG映像を生成したり、表示制御を行い、表示内容を変更する等の処理の制御を行う。なお、制御手段38における制御は、これに限定されるものではなく、例えば表示制御プログラムの起動や停止、本実施形態における表示制御処理のエラー発生時の制御等を行うこともできる。
ディスプレイ22は、表示制御装置21から得られるCG映像を再生する。ディスプレイ22に関する画像サイズやWebブラウザのウインドウサイズ等は、制御手段38により取得され管理されている。
上述した表示端末12は、表示制御装置21とディスプレイ22とは、一体に構成されていてもよい。また、表示端末12は、表示制御装置21とディスプレイ22とが1対1で接続されているが、これに限定されるものではなく、表示制御装置21は、複数のディスプレイ22に対する制御を行ってもよい。その場合には、各ディスプレイ22における画面サイズやウィンドウサイズに基づいて表示制御が行われる。
<表示端末12における表示制御処理例>
次に、上述した表示端末12における表示制御処理例について、フローチャートを用いて説明する。図3は、表示制御処理の一例を示すフローチャートである。図3に示す表示制御処理において、表示端末12は、提供サーバ11にアクセスし(S01)、提供サーバ11からTVMLPlayerのソースコードを取得する(S02)。このソースコードは、WebGL版のソースコードである。次に、表示端末12は、Webブラウザ上でTVMLPlayerを起動する(S03)。次に、表示端末12は、提供サーバ11から番組を生成するTVMLスクリプトを取得し(S04)、更に提供サーバ11から、S04の処理で取得したTVMLスクリプトに対応するCGモデルデータを取得する(S05)。
次に、上述した表示端末12における表示制御処理例について、フローチャートを用いて説明する。図3は、表示制御処理の一例を示すフローチャートである。図3に示す表示制御処理において、表示端末12は、提供サーバ11にアクセスし(S01)、提供サーバ11からTVMLPlayerのソースコードを取得する(S02)。このソースコードは、WebGL版のソースコードである。次に、表示端末12は、Webブラウザ上でTVMLPlayerを起動する(S03)。次に、表示端末12は、提供サーバ11から番組を生成するTVMLスクリプトを取得し(S04)、更に提供サーバ11から、S04の処理で取得したTVMLスクリプトに対応するCGモデルデータを取得する(S05)。
次に、表示端末12は、CGモデル等を動作させたCG映像を生成してディスプレイ22等に表示させる(S06)。S06の処理では、表示制御が完了している状態ではないため、ディスプレイ22に表示させずに非表示で内部的に処理してもよい。次に、表示端末12は、S06の処理により得られるCG映像の動作(表示状態)に対して表示端末12の表示環境に適応させた制御処理(表示環境適応制御処理)を行う(S07)。S07の表示環境適応制御処理については、後述する。次に、表示端末12は、S07の処理で得られる最終的なCG映像を含む(番組)を出力する(S08)。
<S07:表示環境適応制御処理の一例>
次に、上述したS07の表示環境適応制御処理の一例についてフローチャートを用いて説明する。図4は、表示環境適応制御処理の一例を示すフローチャートである。図4の例において、表示環境適応制御処理は、コンテンツ生成手段35により生成され、ディスプレイ22により再生されているCG映像に対し、再生中のフレームレート(FPS)を取得する(S11)。なお、フレームレートは、表示端末12の表示状態(例えば、処理性能等)を取得するための一つの指標値であり、表示状態を把握するための他の値(例えば、CG映像の再生におけるCPU(Central Processing Unit)負荷率)やCG映像の生成時間等を取得してもよい。
次に、上述したS07の表示環境適応制御処理の一例についてフローチャートを用いて説明する。図4は、表示環境適応制御処理の一例を示すフローチャートである。図4の例において、表示環境適応制御処理は、コンテンツ生成手段35により生成され、ディスプレイ22により再生されているCG映像に対し、再生中のフレームレート(FPS)を取得する(S11)。なお、フレームレートは、表示端末12の表示状態(例えば、処理性能等)を取得するための一つの指標値であり、表示状態を把握するための他の値(例えば、CG映像の再生におけるCPU(Central Processing Unit)負荷率)やCG映像の生成時間等を取得してもよい。
次に、表示環境適応制御処理は、S11の処理で取得したフレームレートが予め設定した規定値より小さいか否かを判断する(S12)。なお、規定値とは、例えば約10〜20(フレーム/秒)等であるが、これに限定されるものではない。フレームレートが規定値より小さい場合(S12において、YES)、表示環境適応制御処理は、現在(現時点で)設定されている画面サイズが予め設定した第1の閾値(閾値1)以下であるか否かを判断する(S13)。
表示環境適応制御処理は、画像(画面描画)サイズが閾値1以下でない場合(S13において、NO)、画像サイズを一定サイズ縮小し(S14)、S11の処理に戻る。S14の処理における一定サイズ縮小とは、例えば現在(現時点)の画像サイズを基準(100%)として約−5%程度縮小することをいうが、縮小率についてはこれに限定されるものではない。
また、画像サイズが閾値1以下の場合(S13において、YES)、次に、表示環境適応制御処理は、CGモデルが予め設定された表示内容(デフォルトの表示内容)から変更済みか否かを判断する(S15)。デフォルトの表示内容とは、例えばポリゴンデータが「密」、「粗」の2種類のCGモデルを有する場合に、「密」の方のCGモデルが表示されていることを示すが、これに限定されるものではない。S15の処理において、CGモデルの表示内容が変更済みでない場合(S15において、NO)、CGモデルデータを変更し(S16)、S11の処理に戻る。
S16の処理では、上述したポリゴンデータが「密」のCGモデルから、ポリゴンデータが「粗」(ポリゴン数が少ない)CGモデルに変更することで、フレームレートを大きくする。ポリゴンデータ(ポリゴン数)の異なる複数種類のCGモデルデータは、例えば提供サーバ11から取得してもよく、予め記憶手段33に記憶してもよい。なお、このときのCGモデルは、同一のCGモデルである。また、提供サーバ11からCGモデルデータを取得する場合には、本実施形態における表示制御処理を行う前に取得しておいてもよく、S16の処理を行うタイミングで提供サーバ11に取得要求を行い、対応するCGモデルデータを取得してもよい。
また、S15の処理において、CGモデルが変更済みである場合(S15において、YES)、表示環境適応制御処理は、画像サイズが予め設定した第2の閾値(閾値2)以下であるか否かを判断する(S17)。なお、閾値2は、上述した閾値1よりも更にサイズが小さい値であるが、これに限定されるものではない。例えば、閾値1が画像のデフォルトサイズを100%としたときの約80%の画像サイズである場合に、閾値2は、デフォルトサイズの約50%の画像サイズを意味する。表示環境適応制御処理は、画像サイズが閾値2以下でない場合(S17において、NO)、画像サイズを一定サイズ縮小し(S18)、S11の処理に戻る。S18の処理において、一定サイズ縮小とは、上述したように、例えば現在の画像サイズを基準として約−5%程度縮小することをいうが、縮小率についてはこれに限定されるものではない。
また、表示環境適応制御処理は、画像サイズが閾値2以下である場合(S17において、YES)、次に、CGによる番組生成において、擬似的にCGモデルを撮影しているカメラショットが予め設定されたカメラショット(デフォルトのカメラショット)から変更済みであるか否かを判断する(S19)。デフォルトのカメラショットとは、例えばCGモデルの上半身ショット等であるが、これに限定されるものではない。
S19の処理において、カメラショットが変更済みでない場合(S19において、NO)、第1のカメラショット変更を行い(S20)、S11の処理に戻る。第1のカメラショット変更とは、例えば上半身のCGモデルの映像からルーズバストショット(例えば、手話動作が確認できる程度に手や手首、その周辺のみを表示させるカメラショット)のCGモデル(上半身よりもアップ画像)となるようにカメラショットの変更を行うことをいうが、変更内容については、これに限定されるものではない。
また、S19の処理において、表示環境適応制御処理は、カメラショットが変更済みである場合(S19において、YES)、画像サイズが予め設定された下限値か否かを判断し(S21)、下限値でない場合(S21において、NO)、画像サイズを一定サイズ縮小し(S22)、S11の処理に戻る。S18の処理において、下限値とは、デフォルトサイズの約25%の画像サイズ等であるが、これに限定されるものではなく、例えばディスプレイ22に表示されるCGモデルによる動作(例えば、手話動作)が認識できる程度のサイズであればよい。また、S22において、一定サイズ縮小とは、上述したように、例えば現在の画像サイズを基準として約−5%程度縮小することをいうが、縮小率についてはこれに限定されるものではない。
また、S21の処理において、画像サイズが下限値である場合(S21において、YES)、表示環境適応制御処理を終了する。
また、上述したS12の処理において、フレームレートが規定値より小さくない場合(S12において、NO)、表示環境適応制御処理は、フレームレートが規定値より大きいか否かを判断し(S23)、フレームレートが規定値より大きい場合(S23において、YES)、画像サイズが予め設定された第3の閾値(閾値3)以上か否かを判断する(S24)。閾値3とは、画像のデフォルトサイズを100%としたときの約120%の画像サイズであるが、これに限定されるものではない。
表示環境適応制御処理は、画像サイズが閾値3以上でない場合(S24において、NO)、画像サイズを一定サイズ拡大し(S25)、S11の処理に戻る。S25の処理において、一定サイズ拡大とは、例えば現在の画面サイズ(100%)より約+5%程度になるように拡大することをいうが、拡大率についてはこれに限定されるものではない。
また、表示環境適応制御処理は、画像サイズが閾値3以上である場合(S24において、YES)、次に、カメラショットが変更済みか否かを判断する(S26)。カメラショットが変更済みでない場合(S26において、NO)、第2のカメラショット変更を行い(S27)、S11の処理に戻る。S27の処理では、例えばカメラショットを上半身のショットからフルショット(全身ショット)に変更する処理を行うが、これに限定されるものではない。
また、S26の処理において、カメラショットが変更済みの場合(S26において、YES)、表示環境適応制御処理は、画像サイズが上限値であるか否かを判断する(S28)。S28の処理において、上限値とは、デフォルトサイズの約125%の画像サイズ等であるが、これに限定されるものではなく、例えばディスプレイ22が表示可能なサイズ(全画面表示サイズ)を超えないサイズであればよい。
S28の処理において、画像サイズが上限値でない場合(S28において、NO)、表示環境適応制御処理は、画像サイズを一定サイズ拡大し(S29)、S11の処理に戻る。S29の処理において、一定サイズ拡大とは、例えば現在の画面サイズより約+5%程度になるように拡大することをいうが、拡大率についてはこれに限定されるものではない。
また、S28の処理において、画像サイズが上限値の場合(S28において、YES)、表示環境適応制御処理を終了する。また、S23の処理において、フレームレートが規定値より大きくない場合(S23において、NO)、S12及びS23の処理によりフレームレートは規定値であると判断できるため、そのまま処理終了する。
なお、ポリゴンデータが3種類(密、中、粗)あって、デフォルトが「中」の場合であれば、S24とS26の処理の間に「CGモデルが変更済み?」(ポリゴンが密の方向に変更済みか否か?)の判断処理を設けてもよい。この場合、判断結果がYESであればS26の処理に移行し、NOであればCGモデルデータのポリゴン数を「中」から「密」にする処理を追加してフレームレートを小さくし、その後はS11の処理へ戻ることになる。
また、S21の処理において、画像サイズが下限値である場合及びS28において、画像サイズが上限値である場合には、上述したS08の処理において、その時点でのCG映像を出力してもよく、エラー処理として対応する表示制御が適切でない旨のメッセージを表示してもよい。
上述したように、本実施形態では、表示端末12から、提供サーバ11が提供する所定のWebページにアクセスすることで、提供サーバ11からWebGL版のTVMLPlayerのソースコードを取得し、表示端末12のWebブラウザ上でCG映像の表示制御を実行する。このとき、提供サーバ11からCG映像を生成するためのTVMLスクリプトを取得し、取得したTVMLスクリプトをTVMLPlayerで実行する。この過程で、TVMLスクリプトに記述されているCGモデルデータを表示端末12の性能等に対応させてCGモデルを描画することで、Webブラウザ上で表示端末12の性能に対応した適切なCG映像を表示することができる。
<画像サイズの縮小、拡大例>
次に、上述した表示環境適応制御処理における画像サイズの縮小、拡大例について、図を用いて説明する。図5は、本実施形態における画像サイズの縮小、拡大例を示す図である。図5に示す例では、表示端末12のディスプレイ22の画面40おいて、Webブラウザ41が所定サイズ(デフォルトサイズ)で表示されている。このWebブラウザ41の大きさは、ユーザ操作により調整することができる。また、Webブラウザ41には、コンテンツ生成手段35によりTVMLスクリプトで定義された大きさで生成されたCG映像42−1が表示されている。
次に、上述した表示環境適応制御処理における画像サイズの縮小、拡大例について、図を用いて説明する。図5は、本実施形態における画像サイズの縮小、拡大例を示す図である。図5に示す例では、表示端末12のディスプレイ22の画面40おいて、Webブラウザ41が所定サイズ(デフォルトサイズ)で表示されている。このWebブラウザ41の大きさは、ユーザ操作により調整することができる。また、Webブラウザ41には、コンテンツ生成手段35によりTVMLスクリプトで定義された大きさで生成されたCG映像42−1が表示されている。
このような場合、本実施形態では、表示端末12のCG映像再生時のフレームレートを取得し、取得したフレームレート等に応じて図5に示すように画像サイズを縮小又は拡大することで、図5に示すようにCG映像の画像サイズの大きさを変更する。
図5の例では、元のCG映像42−1の画像サイズに対して、一定サイズ縮小した場合のCG映像42−2と、一定サイズ拡大した場合のCG映像42−3を示している。本実施形態では、図5に示す表示環境に適応した縮小、拡大を、ユーザ操作によらずに表示端末12が自動で行うことができる。
例えば、上述した表示環境適応制御処理では、フレームレートが予め設定した規定値の場合には、適応制御を行わずに現在のCG画像サイズを最適と判断する。また、フレームレートが予め設定した規定値より小さい場合には、閾値1と比較し、閾値1以下でない場合に、Webブラウザ41に描画しているCG映像のサイズ(画像サイズ)を一定サイズ縮小する。縮小後には、再度のフレームレートを取得してCG映像の画像サイズを更に縮小して調整する。なお、画像サイズを縮小することで、CG映像内のCGモデル43も縮小して表示される。
本実施形態では、フレームレートが予め設定した規定値より大きい場合には、閾値3以上とならない範囲でCG映像の画像サイズを一定サイズ拡大する。なお、図5に示すように、画像サイズを拡大することで、CG映像内のCGモデル43も拡大して表示される。また、拡大後、再度フレームレートを取得して画像サイズの調整を行う。
<CGモデル変更時のTVMLスクリプトの変更例>
次に、上述したCGモデル変更時のTVMLスクリプトの変更例について説明する。上述したように、画像サイズと閾値1との比較において、画像サイズが閾値1以下の場合、表示端末12の描画性能では、使用している通常のポリゴン数のCGモデルデータは正常に描画できないと判断し、ポリゴン数の少ないCGモデルデータへの変更を行う。
次に、上述したCGモデル変更時のTVMLスクリプトの変更例について説明する。上述したように、画像サイズと閾値1との比較において、画像サイズが閾値1以下の場合、表示端末12の描画性能では、使用している通常のポリゴン数のCGモデルデータは正常に描画できないと判断し、ポリゴン数の少ないCGモデルデータへの変更を行う。
これにより、表示端末12の性能に応じて、CGモデル43の動作が遅くなったり、フレームが途中でとぎれて再生(フレーム欠如)されてしまうことなく、適切なCG映像を表示することができる。
図6は、CGモデル変更時のTVMLスクリプトの変更例を示す図である。図6(a)の例では、通常ポリゴンのCGモデルを読み込む場合のTVMLスクリプトを示している。また、図6(b)の例では、低ポリゴンのCGモデルを読み込む場合のTVMLスクリプトを示している。低ポリゴンとは、例えばCGモデルに通常使用するポリゴン数よりも約1〜2割程度少ないポリゴン数であることを示しているが、これに限定されるものではなく、例えば通常の半分のポリゴン数であってもよい。
また、図6(c)の例では、CGモデルを低ポリゴンモデルに変更するTVMLスクリプトを示している。図6(a)、(b)の下線部分がCGモデルデータのファイル名(取得先アドレス)である。それぞれのモデルデータは、提供サーバ11等で事前に生成されている。
表示端末12は、図6(a)、(b)のTVMLスクリプトをそれぞれ取得しておき、上述した表示環境適応制御処理における条件に応じて図6(c)に示すようにCGモデルデータを変更するTVMLスクリプトを実行することで、CGモデルのポリゴン数の変更を容易に行うことができる。これにより、描画負荷が通常のポリゴン数のCGモデルより低いCGモデルを用いて違和感のないCG映像を生成することができる。
なお、本実施形態では、通常ポリゴンと、低ポリゴンのCGモデルは、同一のCGモデルであるが、これに限定されるものではなく、類似するモデル(例えば、同じ性別の人物モデルや、動物モデル、色違いのモデル)等であってもよい。
また、上述の例では、ポリゴン数を1度変更しているが、これに限定されるものではなく複数回に分けて段階的にポリゴン数を調整してもよい。
<第1のカメラショット変更処理の一例>
次に、上述した第1のカメラショット変更処理の一例について説明する。本実施形態では、上述したように、低ポリゴンのCGモデルに変更されたCG映像に対してフレームレートを取得し、フレームレートが規定値より小さい場合に画像サイズと閾値2とを比較して画像サイズの縮小制御を行う。また、画像サイズが閾値2以下の場合には、第1のカメラショット変更処理を行う。
次に、上述した第1のカメラショット変更処理の一例について説明する。本実施形態では、上述したように、低ポリゴンのCGモデルに変更されたCG映像に対してフレームレートを取得し、フレームレートが規定値より小さい場合に画像サイズと閾値2とを比較して画像サイズの縮小制御を行う。また、画像サイズが閾値2以下の場合には、第1のカメラショット変更処理を行う。
図7は、第1のカメラショット変更処理の一例を示す図である。例えば、上述したように、画像サイズが閾値2以下の場合、従前のカメラショットを維持すると、全体画像が小さくなるため、CGモデル43の動作(例えば、手話動作)や表情等が分かりづらくなる。これを回避するために、表示制御手段36は、CGモデル43がアップで表示されるようにカメラショットの変更する。
図7では、上半身のCG映像51のカメラショットのTVMLスクリプトの例として、「camera:movement(name=Cam1,x=0.0,y=1.2,z=1.0)」が記述されている。ここで、「name」パラメータはカメラの識別情報を示し、x,y,zは、カメラを基準にした3次元位置座標を示している。このとき、x座標は、画面の左右方向を示し、y座標は画面の上下方向を示し、z座標は、画面の奥行き方向(例えば、カメラとCGモデルとの距離)を示している。
ここで、表示環境適応制御処理において、カメラショットを上半身ショットからルーズバストショットに変更する場合には、ルーズバストショット用のカメラパラメータをTVMLPlayerに入力する。ルーズバストショット用のカメラパラメータとしては、例えばx=0.0,y=0.8,z=0.3を設定することで、カメラショットをCGモデル43の上半身ショットからルーズバストショットに変更することができる。
このように、カメラの画角を変更し、図7に示す元のCG映像51からCG映像52に変更することで、画像サイズが小さい場合でもCGモデル43の動作や表情を分かりやすく表示することができる。なお、図7に示すCG映像52では、手や手首の部分が表示されていないが、例えばCGモデル43が手話動作を行う際には、顔や胸元付近で手や手首を動かすため、手話動作を容易に確認することができる。
また、第1のカメラショット変更処理では、上半身ショットからルーズバストショットに1度変更しているが、これに限定されるものではなく上半身ショットからルーズバストショットになるまで複数回に分けて段階的に変更されるようにカメラパラメータを調整してもよい。
本実施形態では、カメラショット変更後、現在の画像サイズが予め設定した下限値の画像サイズかどうかを判断し、下限値に達している場合は、ここで表示環境適応制御処理を終了する。
<第2のカメラショット変更処理の一例>
次に、上述した第2のカメラショット変更処理の一例について説明する。本実施形態では、フレームレートが予め設定した規定値より大きい場合には、閾値3以上とならない範囲でCG映像の画像サイズを一定サイズ拡大し、画像サイズが閾値3以上になった場合には、CGモデル43の大きさを調整するため、第2のカメラショット変更の処理を行う。
次に、上述した第2のカメラショット変更処理の一例について説明する。本実施形態では、フレームレートが予め設定した規定値より大きい場合には、閾値3以上とならない範囲でCG映像の画像サイズを一定サイズ拡大し、画像サイズが閾値3以上になった場合には、CGモデル43の大きさを調整するため、第2のカメラショット変更の処理を行う。
図8は、第2のカメラショット変更処理の一例を示す図である。図8に示すように第2のカメラショット変更処理では、CGモデル43を上半身ショットからフルショット(全身ショット)で表示するためのカメラパラメータをTVMLPlayerに入力する。つまり、出力されるCG映像の画像サイズの大きさのバランスを取るために、カメラの画角をCGモデル43の全体が表示されるカメラショット(フルショット)にカメラパラメータに変更する。これは、元々フルショットの方がCGモデル43の動作(手話等)が理解しやすいため、画像サイズがある程度大きい場合にはフルショットに変更する。
図8の例では、上半身ショットのカメラパラメータから予め設定されたCGモデルのフルショットとなるカメラ設定パラメータ(例えば、x=0.0,y=1.5,z=1.8)に変更する。これにより、カメラの画角を変更し、元のCG映像51からバランスのとれたCG映像53を生成して表示することができる。
また、第2のカメラショット変更処理では、上半身ショットからフルショットに1度変更しているが、これに限定されるものではなく上半身ショットからフルショットになるまで複数回に分けて段階的に変更されるようにカメラパラメータを調整してもよい。
本実施形態では、カメラショット変更後、画像サイズが予め設定した上限値か否かを判定し、上限値に達している場合は、表示環境適応制御処理を終了する。
上述した制御により、CG映像の再生に対する表示端末12の性能やディスプレイサイズ等に適応したCG映像の表示が可能となる。
<実行プログラム(表示制御プログラム)>
ここで、上述した表示制御装置21は、例えば、CPU、RAM(Random Access Memory)等の揮発性の記憶媒体、ROM(Read Only Memory)等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像や映像、各種データを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成することができる。
ここで、上述した表示制御装置21は、例えば、CPU、RAM(Random Access Memory)等の揮発性の記憶媒体、ROM(Read Only Memory)等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像や映像、各種データを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成することができる。
したがって、表示制御装置21が有する各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現可能となる。また、このプログラムは、磁気ディスク(ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に格納して頒布することもできる。
つまり、本実施形態では、上述した各構成における処理をコンピュータ(ハードウェア)に実行させるための実行プログラム(表示制御プログラム)を生成し、例えば汎用のPCやサーバ、タブレット端末、スマートフォン等に、そのプログラムをインストールすることにより、上述したハードウェアと、プログラム等からなるソフトウェアとを協働させて上述した表示制御処理を実現することができる。
上述したように、本実施形態によれば、表示端末毎に適切なCG映像を表示することができる。例えば、本実施形態では、表示端末の性能やディスプレイ環境に応じてCG描画を適応させることで、ユーザは各表示装置に応じたCG映像を視聴することができる。また、画像サイズが小さくなっても、ユーザはそのCG映像から必要な情報を取得することができる。また、画像サイズが大きくても、ユーザは違和感の少ないCG映像を視聴することができる。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。また、上述した各実施例等は、その構成要素の一部又は全部を組み合わせることも可能である。
10 表示制御システム
11 提供サーバ
12 表示端末
13 通信ネットワーク
21 表示制御装置
22 ディスプレイ(表示装置)
31 入力手段
32 出力手段
33 記憶手段
34 取得手段
35 コンテンツ生成手段
36 表示制御手段
37 送受信手段
38 制御手段
40 画面
41 Webブラウザ
42,51〜53 CG映像
43 CGモデル
11 提供サーバ
12 表示端末
13 通信ネットワーク
21 表示制御装置
22 ディスプレイ(表示装置)
31 入力手段
32 出力手段
33 記憶手段
34 取得手段
35 コンテンツ生成手段
36 表示制御手段
37 送受信手段
38 制御手段
40 画面
41 Webブラウザ
42,51〜53 CG映像
43 CGモデル
Claims (6)
- スクリプトデータに対応するCG映像を表示装置に表示させるための制御を行う表示制御装置において、
前記スクリプトデータに対応付けられたCGモデルデータを取得する取得手段と、
前記スクリプトデータに対応させて前記取得手段により得られるCGモデルデータを動作させるCG映像を生成するコンテンツ生成手段と、
前記コンテンツ生成手段により生成されたCG映像を前記表示装置に表示させたときの表示状態に対応させて前記CG映像の表示制御を行う表示制御手段とを有することを特徴とする表示制御装置。 - 前記表示制御手段は、
前記表示装置において前記CG映像を再生したときのフレームレートに基づいて、前記CG映像の画像サイズの縮小又は拡大、前記CGモデルデータの変更、及び前記CGモデルデータを撮影したときのカメラショットの変更のうち、少なくとも1つを制御することを特徴とする請求項1に記載の表示制御装置。 - 前記表示制御手段は、
前記表示装置において前記CG映像を再生したときのフレームレートと規定値とを比較し、前記フレームレートが前記規定値より小さい場合に、前記CG映像の画像サイズを縮小し、前記フレームレートが前記規定値より大きい場合に、前記CG映像の画像サイズを拡大することを特徴とする請求項2に記載の表示制御装置。 - 前記表示制御手段は、
縮小した画像サイズが対応する第1の閾値以下である場合に、前記CGモデルがアップで表示されるようにカメラショットの変更し、拡大した画像サイズが対応する第2の閾値以上である場合に、前記CGモデルの全体が表示されるようにカメラショットを変更することを特徴とする請求項2又は3に記載の表示制御装置。 - 前記請求項1乃至4の何れか1項に記載の表示制御装置と、
前記表示制御装置から得られる前記CG映像を画面に表示する表示装置とを有する表示端末。 - コンピュータを、請求項1乃至4の何れか1項に記載の表示制御装置として機能させるための表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014150592A JP2016024760A (ja) | 2014-07-24 | 2014-07-24 | 表示制御装置、表示端末、及び表示制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014150592A JP2016024760A (ja) | 2014-07-24 | 2014-07-24 | 表示制御装置、表示端末、及び表示制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016024760A true JP2016024760A (ja) | 2016-02-08 |
Family
ID=55271432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014150592A Pending JP2016024760A (ja) | 2014-07-24 | 2014-07-24 | 表示制御装置、表示端末、及び表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016024760A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11055907B2 (en) | 2018-02-20 | 2021-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional data distribution device and three-dimensional data distribution method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007267177A (ja) * | 2006-03-29 | 2007-10-11 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2011004155A (ja) * | 2009-06-18 | 2011-01-06 | Canon Inc | 画像処理装置、その制御方法、プログラム |
JP2011119869A (ja) * | 2009-12-01 | 2011-06-16 | Nippon Hoso Kyokai <Nhk> | 番組制作システム及び番組制作プログラム |
-
2014
- 2014-07-24 JP JP2014150592A patent/JP2016024760A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007267177A (ja) * | 2006-03-29 | 2007-10-11 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2011004155A (ja) * | 2009-06-18 | 2011-01-06 | Canon Inc | 画像処理装置、その制御方法、プログラム |
JP2011119869A (ja) * | 2009-12-01 | 2011-06-16 | Nippon Hoso Kyokai <Nhk> | 番組制作システム及び番組制作プログラム |
Non-Patent Citations (3)
Title |
---|
井上誠喜, 外2名: ""コネクティッドスタジオ高機能化に関する一検討"", 情報処理学会 シンポジウム エンタテインメントコンピューティングシンポジウム 2013, JPN6018019745, 27 September 2013 (2013-09-27), JP, pages 283 - 286 * |
八木伸行: ""メタデータ制作活用技術の研究の取り組み"", NHK技研R&D, vol. 第95巻, JPN6018019749, 15 January 2006 (2006-01-15), pages 4 - 11 * |
真部雄介: ""TVMLによる演技映像生成システムの試作"", 第34回 ことば工学研究会資料 (SIG−LSE−A903), JPN6018019746, 5 March 2010 (2010-03-05), JP, pages 107 - 111 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11055907B2 (en) | 2018-02-20 | 2021-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional data distribution device and three-dimensional data distribution method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11386623B2 (en) | Methods, systems, and computer program product for managing and displaying webpages in a virtual three-dimensional space with a mixed reality system | |
US11632576B2 (en) | Live video broadcast method, live broadcast device and storage medium | |
WO2019086037A1 (zh) | 视频素材的处理方法、视频合成方法、终端设备及存储介质 | |
CN107590771B (zh) | 具有用于在建模3d空间中投影观看的选项的2d视频 | |
US20180345144A1 (en) | Multiple Frame Distributed Rendering of Interactive Content | |
CN110465097B (zh) | 游戏中的角色立绘显示方法及装置、电子设备、存储介质 | |
US20230333864A1 (en) | Management framework for mixed reality devices | |
US20170084084A1 (en) | Mapping of user interaction within a virtual reality environment | |
US20140087877A1 (en) | Compositing interactive video game graphics with pre-recorded background video content | |
KR102321364B1 (ko) | 3차원 배경 콘텐트를 합성하는 방법 및 디바이스 | |
WO2019114328A1 (zh) | 一种基于增强现实的视频处理方法及其装置 | |
US10957285B2 (en) | Method and system for playing multimedia data | |
KR20150134324A (ko) | 멀티-스크린 애플리케이션들 위한 스크린캐스팅 | |
JP2012014640A (ja) | 画面出力装置、画面出力システム、および画面出力方法 | |
US20090262139A1 (en) | Video image display device and video image display method | |
KR20140128276A (ko) | 인터페이스 수정 메커니즘을 구비한 전자 시스템 및 그 작동 방법 | |
JP2015005227A (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
CN112053370A (zh) | 基于增强现实的显示方法、设备及存储介质 | |
Rumiński et al. | Creation of interactive AR content on mobile devices | |
US11698680B2 (en) | Methods and systems for decoding and rendering a haptic effect associated with a 3D environment | |
US20220254114A1 (en) | Shared mixed reality and platform-agnostic format | |
CN117255983A (zh) | 计算机模拟中的语音驱动3d静态资产创建 | |
JP2014220572A (ja) | コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム | |
JP2016024760A (ja) | 表示制御装置、表示端末、及び表示制御プログラム | |
KR102593043B1 (ko) | 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181120 |