JP7495644B2 - 映像表示方法、映像表示装置およびプログラム - Google Patents

Description

本開示は、映像表示方法、映像表示装置およびプログラムに関する。

従来、映像中の複数の被写体（例えば、バドミントン競技の映像中の選手部分を切り出した映像）を、視聴者から見て奥行き方向に配置した複数の疑似虚像装置（表示装置）により視聴者に提示する手法がある。この手法によれば、複数の被写体の実際の奥行き方向の位置に合わせて複数の疑似虚像装置を配置し、各被写体に対応する映像を、その被写体に対応する位置に配置された疑似虚像装置に表示する。こうすることで、現実に手前側に位置する被写体の映像は、手前側の疑似虚像装置に表示され、現実に奥側に位置する被写体の映像は、奥側の疑似虚像装置に表示されるため、視聴者はより現実味のある奥行き感を得ることができる。ここで、透過型の表示装置を用いることで、被写体を表示しない部分は透けて見えるので、その透けた部分において奥側の疑似虚像装置に表示する映像をユーザは視認することができる（例えば、非特許文献１参照）。

井坂建、巻口誉宗、高田英明、「競技空間を取り囲んで観戦する"Ｋｉｒａｒｉ！ ｆｏｒ Ａｒｅｎａ"」、ＮＴＴ技術ジャーナル ２０１８．１０ ｐ２１－ｐ２４

図１３から図１５を参照して、上述した手法についてより具体的に説明する。図１３は、複数の被写体の配置の一例を示す図である。図１３に示すように、撮影装置２から距離Ｔ１の位置に被写体ｓ１が存在し、撮影装置２から距離Ｔ２（Ｔ１＞Ｔ２）の位置に被写体ｓ２が存在するとする。Ｔ１＞Ｔ２であるため、撮影装置２から見て、被写体ｓ１が被写体ｓ２よりも奥側に位置する。

上述した手法では、図１４に示すように、視聴者から距離Ｐ１の位置に表示装置３ｂが配置され、視聴者から距離Ｐ２（Ｐ１＞Ｐ２）の位置に表示装置３ｆが配置される。Ｐ２＞Ｐ１であるため、視聴者から見て、表示装置３ｆが表示装置３ｂよりも手前に配置されている。表示装置３ｂには奥側に位置する被写体ｓ１が表示され、表示装置３ｆには手前側に位置する被写体ｓ２が表示される。表示装置３ｆと表示装置３ｂとは視聴者から見て奥行き方向に並んで配置される。また、表示装置３ｆは、表示装置３ｂの表示映像を透過して視聴者に視認させるように構成される。したがって、図１５に示すように、表示装置３ｂの表示映像と表示装置３ｆの表示映像とが重畳して視聴者に視認される。ここで、距離Ｐ１，Ｐ２をそれぞれ、現実の距離Ｔ１，Ｔ２に合わせることで、視聴者から見た被写体ｓ１，ｓ２までの距離が現実の被写体までの距離と一致するので、より現実味のある奥行き感を視聴者に与えることができる。

しかしながら、上述した手法では、奥側の被写体ｓ１および手前側の被写体ｓ２が奥行き方向に広範囲に移動することについては想定されていなかった。

例えば、図１６に示すように、奥側の被写体ｓ１が手前側の被写体ｓ２の近くまで移動した場合、撮影装置２から被写体ｓ１までの距離Ｔ１’と、撮影装置２から被写体ｓ２までの距離とは近い値になる。被写体ｓ１と被写体ｓ２との奥行き方向の距離が変化したにも関わらず、撮影装置２から表示装置３ｂおよび表示装置３ｆまでの距離（距離Ｐ１，Ｐ２）は変わらないため、現実の被写体までの距離と、表示装置３ｂ，３ｆまでの距離とに不一致が生じ、視聴者にとって現実味のある奥行き感が得られなくなってしまう。

したがって、よりリアリティのある映像を提示することができる技術が求められている。

上記のような問題点に鑑みてなされた本開示の目的は、よりリアリティのある映像を提示することができる映像表示方法、映像表示装置およびプログラムを提供することにある。

上記課題を解決するため、本開示に係る映像表示方法は、第１の表示装置および前記第１の表示装置よりもユーザから見て手前に配置された第２の表示装置により、表示対象を表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置における映像表示方法であって、前記ユーザ側から見た前記表示対象の奥行き方向の距離を計測するステップと、前記計測された距離に基づき、前記表示対象を前記第１の表示装置および前記第２の表示装置のいずれかに表示するステップと、前記表示対象を表示する表示装置を切り替える場合、切り替えの前後の所定の期間において、前記表示対象の映像フレームを間引くステップと、を含む。

また、上記課題を解決するため、本開示に係る映像表示装置は、第１の表示装置および前記第１の表示装置よりもユーザから見て手前に配置された第２の表示装置により、表示対象を表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置であって、前記ユーザ側から見た前記表示対象の奥行き方向の距離を計測する計測部と、前記計測部により計測された距離に基づき、前記表示対象を前記第１の表示装置および前記第２の表示装置のいずれかに表示する表示制御部と、を備え、前記表示制御部は、前記表示対象を表示する表示装置を切り替える場合、切り替えの前後の所定の期間において、前記表示対象の映像フレームを間引く。

また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した映像表示装置として機能させる。

本開示に係る映像表示方法、映像表示装置およびプログラムによれば、よりリアリティのある映像を提示することができる。

本開示の第１の実施形態に係る映像表示装置として機能するコンピュータの概略構成を示すブロック図である。 本開示の第１の実施形態に係る映像表示装置を含む映像表示システムの構成例を示す図である。 図２に示す映像表示装置の動作の一例を示すフローチャートである。 被写体の移動の一例を示す図である。 被写体の移動の他の一例を示す図である。 図４Ａに示す被写体の移動に伴う、図２に示す映像表示装置の動作について説明するための図である。 図４Ｂに示す被写体の移動に伴う、図２に示す映像表示装置の動作について説明するための図である。 基準視聴位置と非基準視聴位置とでの見え方の違いについて説明するための図である。 被写体の表示先の切り替えに伴う、被写体の位置ずれについて説明するための図である。 本開示の第２の実施形態に係る映像表示装置の機能構成の一例を示す図である。 図８に示す映像表示装置の、表示装置３ｂへの表示の際の動作の一例を示すフローチャートである。 図８に示す映像表示装置の、表示装置３ｆへの表示の際の動作の一例を示すフローチャートである。 図８に示す映像表示装置による被写体の表示の一例を示す図である。 視聴者の位置に応じた被写体の位置ずれの違いについて説明するための図である。 図８に示す被写体映像間引き部による間引きパタンの例を示す図である。 撮影装置と被写体との配置の一例を示す図である。 従来の手法による被写体の表示について説明するための図である。 従来の手法による表示映像の一例を示す図である。 撮影装置と被写体との配置の他の一例を示す図である。

以下、本開示の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は、本開示の第１の実施形態に係る映像表示装置１０がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

図１に示すように、映像表示装置１０は、プロセッサ１１０、ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、ストレージ１４０、入力部１５０、表示部１６０および通信インタフェース（Ｉ／Ｆ）１７０を有する。各構成は、バス１９０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。

プロセッサ１１０は、各構成の制御、および各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２０またはストレージ１４０には、本開示に係るプログラムが格納されている。

プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

ＲＯＭ１２０は、各種プログラムおよび各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。

入力部１５０は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

表示部１６０は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６０は、タッチパネル方式を採用して、入力部１５０として機能してもよい。

通信インタフェース１７０は、外部装置（図示しない）などの他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

図２は、本実施形態に係る映像表示装置１０を含む映像表示システム１の機能構成の一例を示す図である。本実施形態に係る映像表示装置１０は、撮影装置２により撮影された映像中の被写体を、図１４に示すような、視聴者（ユーザ）から見て奥行き方向に並んだ複数の表示装置３ｆ，３ｂにより表示するものである。

図２に示すように、映像表示システム１は、撮影装置２と、表示装置３ｂ，３ｆと、映像表示装置１０とを備える。

撮影装置２は、所定の撮影範囲内の被写体を撮影するカメラであり、撮影映像を映像表示装置１０に出力する。

表示装置３ｂ，３ｆは、映像表示装置１０の制御に従い、映像を表示する。表示装置３ｆ，３ｂは、図１４に示すように、視聴者（ユーザ）から見て奥行き方向に並んで配置される。具体的には、表示装置３ｂが視聴者から見て奥側に、表示装置３ｆが視聴者から見て手前側に配置される。すなわち、表示装置３ｂは、視聴者から見て、表示装置３ｆよりも奥側に配置される。表示装置３ｂ，３ｆは、表示装置３ｂの表示映像と、表示装置３ｆの表示映像とが重畳して視聴者に視認されるような態様で映像を表示する。表示装置３ｂ，３ｆは、例えば、ホログラフィーにより映像を表示（投影）する。ただし、表示装置３ｂ、３ｆによる映像の表示方法は、これに限られるものではなく、表示装置３ｂの表示映像と、表示装置３ｆの表示映像とを重畳して視聴者に視認させることができれば、任意の方法を用いることができる。以下では、表示装置３ｂと表示装置３ｆとを区別しない場合には、表示装置３と称する。

本実施形態に係る映像表示装置１０は、撮影装置２が撮影した撮影映像を、表示装置３ｂ，３ｆにより表示する。具体的には、映像表示装置１０は、撮影装置２の撮影映像中の被写体を表示装置３ｂ，３ｆに表示し、表示装置３ｂの表示映像と表示装置３ｆの表示映像とを重畳して視聴者に視認させる。以下では、映像表示装置１０は、図１３に示すような、撮影装置２から見て奥側側に位置する被写体ｓ１および撮影装置２から見て手前側に位置する被写体ｓ２を表示対象として、表示装置３ｂ，３ｆに表示する例を用いて説明する。なお、映像表示装置１０は、撮影装置２の撮影映像だけでなく、再生装置により再生された映像に含まれる被写体を表示装置３ｂ，３ｆに表示してよい。従って、映像表示装置１０に表示対象を含む映像を入力するのは、撮影装置２に限られない。

次に、本実施形態に係る映像表示装置１０の機能構成について、図２を参照して説明する。

図２に示すように、本実施形態に係る映像表示装置１０は、被写体抽出部１１と、計測部としての被写体奥行計測部１２と、表示制御部としての表示先判定部１３とを備える。被写体抽出部１１、被写体奥行計測部１２および表示先判定部１３は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)など専用のハードウェアによって構成されてもよいし、上述したように１つ以上のプロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

被写体抽出部１１は、撮影装置２の撮影映像から、表示対象である被写体（被写体ｓ１，ｓ２）を抽出し、被写体奥行計測部１２に出力する。被写体抽出部１１による被写体の抽出は、任意の画像処理技術を用いて、あるいは、任意の深層学習技術により学習されたモデルを用いて行うことができる。

被写体奥行計測部１２は、所定の位置（例えば、撮影装置２の位置）からの被写体抽出部１１により抽出された被写体それぞれの奥行き方向の距離を計測する。被写体奥行計測部１２による被写体の奥行き方向の距離の計測は、任意の画像処理技術を用いて、あるいは、任意の深層学習技術により学習されたモデルを用いて行うことができる。被写体奥行計測部１２は、深度センサを用いて被写体の奥行き方向の距離を計測してもよい。被写体奥行計測部１２は、被写体それぞれの奥行き方向の距離の計測結果を表示先判定部１３に出力する。

表示先判定部１３は、被写体奥行計測部１２により計測された、表示対象である被写体の奥行き方向の計測結果に基づき、その被写体の表示先を、表示装置３ｂとするか、表示装置３ｆとするかを判定する。すなわち、表示制御部としての表示先判定部１３は、計測された被写体の奥行き方向の距離に基づき、その被写体を第１の表示装置としての表示装置３ｂおよび第２の表示装置としての表示装置３ｆのいずれかに表示する。

こうすることで、表示対象の奥行き方向の移動に伴って、表示対象が表示される表示装置３が切り替えられるので、現実味のある奥行き感が損なわれることなく、よりリアリティのある映像を提示することができる。

次に、本実施形態に係る映像表示装置１０の動作について説明する。図３は、本実施形態に係る映像表示装置１０の動作の一例を示すフローチャートであり、映像表示装置１０における映像表示方法について説明するための図である。

被写体抽出部１１は、撮影装置２の撮影映像から表示対象の被写体を抽出する（ステップＳ１１）。

被写体奥行計測部１２は、視聴者側から見た、抽出された被写体の奥行き方向の距離を計測する（ステップＳ１２）。

表示先判定部１３は、計測された被写体の奥行き方向の距離が所定の閾値Ｍより大きいか否かを判定する（ステップＳ１３）。閾値Ｍは、視聴者側から見た、表示装置３ｂと表示装置３ｆとの間の所定の地点までの距離である。

被写体の奥行き方向の距離が閾値Ｍより大きいと判定した場合（ステップＳ１３：Ｙｅｓ）、表示先判定部１３は、被写体の表示先を表示装置３ｂと判定し、被写体を表示装置３ｂに表示する（ステップＳ１４）。

被写体の奥行き方向の距離が閾値Ｍ以下であると判定した場合（ステップＳ１３：Ｎｏ）、表示先判定部１３は被写体の表示先を表示装置３ｆと判定し、被写体を表示装置３ｆに表示する（ステップＳ１５）。

図４Ａ～図５Ｂを参照して、本実施形態に係る映像表示装置１０の動作についてより具体的に説明する。以下では、図１３，１４に示すように、被撮影装置２から距離Ｔ１の位置に存在する被写体ｓ１が表示装置３ｂに表示され、撮影装置２から距離Ｔ２の位置に存在する被写体ｓ２が表示装置３ｆに表示された状態から、被写体ｓ１が撮影装置２に向かって移動した場合を考える。

この場合、図４Ａに示すように、被写体ｓ１の奥行き方向の距離Ｔ１’が閾値Ｍより大きい場合、表示先判定部１３は、図５Ａに示すように、被写体ｓ１を表示装置３ｂに表示する。

被写体ｓ１がさらに移動し、図４Ｂに示すように、被写体ｓ１の奥行き方向の距離Ｔ１’が閾値Ｍ以下になると、表示先判定部１３は、図５Ｂに示すように、被写体ｓ１を被写体ｓ２とともに、表示装置３ｆに表示する。

なお、図４Ａ～図５Ｂにおいては、被写体ｓ１の移動に伴って、被写体ｓ１の表示先を切り替える例を用いて説明したが、本開示はこれに限られるものではない。被写体ｓ２が奥側に向かって移動する場合には、被写体ｓ２の移動に伴って、被写体ｓ２の表示先を、表示装置３ｆから表示装置３ｂに切り替えてもよい。

このように、本実施形態に係る映像表示装置１０は、計測部としての被写体奥行計測部１２と、表示制御部としての表示先判定部１３とを備える。被写体奥行計測部１２は、視聴者（ユーザ）側から見た表示対象（被写体ｓ１，ｓ２）の奥行き方向の距離を計測する。表示先判定部１３は、計測された距離に基づき、表示対象を第１の表示装置としての表示装置３ｂおよび第２の表示装置としての表示装置３ｆのいずれかに表示する。

また、本実施形態に係る映像表示装置１０における映像表示方法は、計測するステップ（ステップＳ１２）と、表示するステップ（ステップＳ１３～Ｓ１５）とを含む。計測ステップでは、視聴者（ユーザ）側から見た表示対象（被写体ｓ１，ｓ２）の奥行き方向の距離を計測する。表示するステップでは、計測された距離に基づき、表示対象を第１の表示装置としての表示装置３ｂおよび第２の表示装置としての表示装置３ｆのいずれかに表示する。

視聴者側から見た表示対象の奥行き方向の距離に基づき、表示対象を表示装置３ｂおよび表示装置３ｆのいずれかに表示することで、表示対象の移動に伴って、その表示対象が表示される表示装置３が切り替えられるので、現実味のある奥行き感が損なわれることなく、よりリアリティのある映像を提示することができる。

（第２の実施形態）
第１の実施形態に係る映像表示装置１０においては、奥側の被写体ｓ１が手前側に連続的に移動した場合、ある時点で被写体ｓ１の表示先が表示装置３ｂから表示装置３ｆに切り替わる。表示先の切り替わる時点で、ある視聴者の位置（以下、「基準視聴位置」と称する）において、切り替わりの前後で被写体ｓ１の位置が変わらないように表示装置３ｂ，３ｆの位置を調整することで、基準視聴位置では、被写体ｓ１の位置ずれが生じるのを防ぐことができる。しかしながら、基準視聴位置から外れた位置（以下、「非基準視聴位置」と称する。）では、表示対象の表示先の切り替わりにより、視聴者が視認する表示対象の位置ずれが生じてしまう。

図６は、物理空間上の物体を表示装置３ｆと表示装置３ｂとに投影した状態を示す図である。図６において、番号が付された実線丸印は、物理空間上の物体を表示装置３ｂに投影した場合の位置を示し、番号が付された破線丸印は、物理空間上の物体を表示装置３ｆに投影した場合の位置を示す。また、図６において、同じ番号を付された黒線丸印と破線丸印とはそれぞれ、物理空間上の同じ物体を、表示装置３ｂに投影した位置と表示装置３ｆに投影した位置とを示している。

図６に示すように、基準視聴位置から見た場合、物理空間上の同じ位置の物体は、奥側の表示装置３ｂ・手前側の表示装置３ｆに関わらず、同じ位置に視認される。そのため、基準視聴位置では、表示対象の表示先の切り替わりの際に、視認される表示対象の位置ずれが生じない。一方、基準視聴位置該の非基準視聴位置では、物理空間上の同じ位置の物体であっても、奥側の表示装置３ｂと手前側の表示装置３ｆとで異なる位置で視認される。そのため、非基準視聴位置では、表示対象の表示先の切り替わりの際に、視認される表示対象の位置ずれが生じてしまう。そのため、非基準視聴位置から視聴する視聴者からは、表示対象の表示先の切り替わりの際に、図７に示すように、表示対象が非連続に移動するように見えてしまう。本実施形態では、この課題への対処を目的としている。

図８は、本開示の第２の実施形態に係る映像表示装置２０の機能構成の一例を示す図である。図８において、図２と同様の構成には同じ符号を付し、説明を省略する。

図８に示すように、本実施形態に係る映像表示装置２０は、被写体抽出部１１と、被写体奥行計測部１２と、表示先判定部１３と、被写体映像蓄積部２１と、被写体映像間引き部２２とを備える。本実施形態に係る映像表示装置２０は、第１の実施形態に係る映像表示装置１０と比較して、被写体映像蓄積部２１と、被写体映像間引き部２２とを追加した点が異なる。

被写体映像蓄積部２１は、表示対象である被写体の映像（映像フレーム）を蓄積し、所定時間だけ遅らせて被写体映像間引き部２２に出力する。

被写体映像間引き部２２は、表示先判定部１３により被写体の表示先を切り替えると判定されると、切り替えの前後の所定期間において、被写体映像蓄積部２１から出力された被写体の映像フレームを間引いて、表示先判定部１３により表示先と判定された表示装置３に出力する。すなわち、被写体映像間引き部２２は、表示対象を表示する表示装置３を切り替える場合、切り替えの前後の所定期間において、被写体の映像フレームを間引く。

被写体映像間引き部２２の動作について、より詳細に説明する。以下では、表示対象である被写体が奥側から手前側に向かって移動し、被写体の移動に伴って、被写体の映像の表示先を表示装置３ｂから表示装置３ｆに切り替える例を用いて説明する。

図９Ａは、表示装置３ｂから表示装置３ｆへの表示先の切り替えが行われる場合の、表示装置３ｂへの被写体の映像の表示に関する被写体映像間引き部２２の動作の一例を示すフローチャートである。

被写体映像間引き部２２は、Ｘ秒後に被写体の表示先の表示装置３ｂから表示装置３ｆへの切り替えが行われるか否かを判定する（ステップＳ２１）。

Ｘ秒後に被写体の表示先の切り替えが行われないと判定した場合（ステップＳ２１：Ｎｏ）、被写体映像間引き部２２は、ステップＳ２１の処理を繰り返す。

Ｘ秒後に被写体の表示先の切り替えが行われると判定した場合（ステップＳ２１：Ｙｅｓ）、被写体映像間引き部２２は、表示対象である被写体の映像フレームの間引き処理を行う（ステップＳ２２）。

図１０は、表示先の切り替え前後の被写体の表示の一例を示す図である。

図１０に示すように、被写体映像間引き部２２は、表示先の切り替わりよりも所定の時間（図１０の例では、６フレーム分）だけ前から、被写体の映像フレームの間引きを行う。そのため、間引かれた映像フレームに被写体は非表示となる。

図９Ａを再び参照すると、被写体映像間引き部２２は、Ｘ秒後に被写体の表示先の切り替えが行われると判定した後、Ｘ秒が経過すると、被写体の表示先が表示装置３ｂから表示装置３ｆに切り替えられるので、表示装置３ｂへの映像フレームの出力を停止する（ステップＳ２３）。

図９Ｂは、表示装置３ｂから表示装置３ｆへの表示先の切り替えが行われる場合の、表示装置３ｆへの被写体の映像の表示に関する被写体映像間引き部２２の動作の一例を示すフローチャートである。

被写体映像間引き部２２は、Ｘ秒後に被写体の表示先の表示装置３ｂから表示装置３ｆへの切り替えが行われるか否かを判定する（ステップＳ３１）。

Ｘ秒後に被写体の表示先の切り替えが行われないと判定した場合（ステップＳ３１：Ｎｏ）、被写体映像間引き部２２は、ステップＳ３１の処理を繰り返す。

Ｘ秒後に被写体の表示先の切り替えが行われると判定した場合（ステップＳ３１：Ｙｅｓ）、被写体映像間引き部２２は、Ｘ秒間待機する（ステップＳ３２）。

Ｘ秒後に被写体の表示先の切り替えが行われると判定した後、Ｘ秒間待機して、表示先の切り替えが行われると、被写体映像間引き部２２は、表示装置３ｆへの被写体の映像フレームの出力を開始する（ステップＳ３３）。

表示先の切り替えにより表示装置３ｆに被写体の映像フレームを出力する場合、被写体映像間引き部２２は、表示対象である被写体の映像フレームの間引き処理を行う（ステップＳ３４）。具体的には、被写体映像間引き部２２は、図１０に示すように、表示先の切り替え後、所定の時間（図１０の例では、６フレーム分）が経過するまで、被写体の映像フレームの間引きを行う。所定の時間が経過すると、被写体映像間引き部２２は、被写体の映像フレームの間引きを終了する。

図９Ａ，９Ｂおよび図１０を参照して説明したように、被写体映像間引き部２２は、表示対象である被写体を表示する表示装置３を切り替える場合、切り替えの前後の所定の期間において、表示対象の映像フレームを間引く。ここで、被写体映像間引き部２２は、図１０に示すように、被写体の表示先の切り替わりのタイミングに近づくほど、より頻繁に映像フレームを間引くようにする。こうすることで、非基準視聴位置において表示対象の被写体が非連続に移動するように視認される場合に、被写体の移動方向の位置の変化量を低減することができる。

なお、図１１に示すように、非基準視聴位置では、視聴者の視聴位置に応じて、被写体の表示先の切り替えによる被写体の位置ずれの見え方が異なる。以下では、非基準視聴位置において、被写体の表示先の切り替えに伴う被写体の位置ずれをさらに低減する方法について説明する。

被写体映像間引き部２２は、図１２に示すような、被写体の映像フレームを間引く複数の間引きパタン（パタン１～パタンＮ）を予め用意する。パタン１～パタンＮは、表示対象の映像フレームの間引き数および映像フレームを間引くタイミングの少なくとも一方が互いに異なるパタンである。

被写体映像間引き部２２は、複数の間引きパタンの中から、表示先の切り替えに伴う表示対象の移動方向の変化量および各間引きパタンにおける映像フレームの間引き数に基づき、一の間引きパタンを選択する。具体的には、被写体映像間引き部２２は、以下の評価関数を定義する。
評価関数（間引きパタンＮ）
＝切り替え時の被写体の移動方向の変化量の少なさ＋間引き量の多さ

上記の評価関数において、切り替え時の被写体の移動方向の変化量の少なさは、例えば、以下のように定義される。
｜sin（切り替え前の被写体の移動角度－切り替え時の被写体の移動角度）｜
この値が小さいほど、切り替えの前後で被写体の移動方向の変化が少ないため、視聴者にとってより現実味を損なわないようになる。また、間引きの量の多さは、例えば、各パタンにおいて映像フレームを間引く数である。

被写体映像間引き部２２は、以下の式（１）が最小となるＮを探索する。

式（１）において、視聴位置は、例えば、本開示に係る映像表示システム１を利用する会場の客席の位置群である。視聴位置の違いにより、表示装置３ｂに表示される被写体と、表示装置３ｆに表示される被写体との位置のずれ方が異なるため、全ての視聴位置における評価関数の値の加算値を最小化することで、全ての視聴者にとっての現実味を可能な限り高めることができる。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ 映像表示システム
２ 撮影装置
３ｂ 表示装置（第１の表示装置）
３ｆ 表示装置（第２の表示装置）
１０，２０ 映像表示装置
１１ 被写体抽出部
１２ 被写体奥行計測部（計測部）
１３ 表示先判定部（表示制御部）
２１ 被写体映像蓄積部
２２ 被写体映像間引き部（間引き部）
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 表示部
１７０ 通信Ｉ／Ｆ
１９０ バス

Claims (5)

1. 第１の表示装置および前記第１の表示装置よりもユーザから見て手前に配置された第２の表示装置により、表示対象を表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置における映像表示方法であって、
   前記ユーザ側から見た前記表示対象の奥行き方向の距離を計測するステップと、
   前記計測された距離に基づき、前記表示対象を前記第１の表示装置および前記第２の表示装置のいずれかに表示するステップと、
   前記表示対象を表示する表示装置を切り替える場合、切り替えの前後の所定の期間において、前記表示対象の映像フレームを間引くステップと、を含む映像表示方法。
2. 請求項１に記載の映像表示方法において、
   前記表示対象を表示する表示装置の切り替えに近づくほど、前記映像フレームの間引き数を多くする、映像表示方法。
3. 請求項１に記載の映像表示方法において、
   前記表示対象の映像フレームの間引き数および前記映像フレームを間引くタイミングの少なくとも一方が互いに異なる複数の間引きパタンの中から、前記切り替えに伴う前記表示対象の移動方向の変化量および各間引きパタンにおける前記映像フレームの間引き数に基づき、一の間引きパタンを選択し、該選択した間引きパタンに従い前記映像フレームを間引く、映像表示方法。
4. 第１の表示装置および前記第１の表示装置よりもユーザから見て手前に配置された第２の表示装置により、表示対象を表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置であって、
   前記ユーザ側から見た前記表示対象の奥行き方向の距離を計測する計測部と、
   前記計測部により計測された距離に基づき、前記表示対象を前記第１の表示装置および前記第２の表示装置のいずれかに表示する表示制御部と、を備え、
   前記表示制御部は、前記表示対象を表示する表示装置を切り替える場合、切り替えの前後の所定の期間において、前記表示対象の映像フレームを間引く、映像表示装置。
5. コンピュータを、請求項４に記載の映像表示装置として機能させるためのプログラム。

Images