JP2023124647A - Video display system, and video display method - Google Patents
Video display system, and video display method Download PDFInfo
- Publication number
- JP2023124647A JP2023124647A JP2022028537A JP2022028537A JP2023124647A JP 2023124647 A JP2023124647 A JP 2023124647A JP 2022028537 A JP2022028537 A JP 2022028537A JP 2022028537 A JP2022028537 A JP 2022028537A JP 2023124647 A JP2023124647 A JP 2023124647A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image quality
- area
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000004891 communication Methods 0.000 claims abstract description 185
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000009434 installation Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 4
- 238000003908 quality control method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 17
- 239000002131 composite material Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本開示は、映像表示システムおよび映像表示方法に関する。 The present disclosure relates to a video display system and a video display method.
特許文献１には、撮影手段と、撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、操作者が移動体を遠隔操作するための操作手段と、操作手段を操作する操作者が装着し、移動体の画質変更手段から送信された撮影データの画像のうち、操作者の向きに応じた所定範囲を切出し、切出した所定範囲の画像を操作者に対して表示する表示手段と、を備える、遠隔操作システムが開示されている。遠隔操作システムの画質変更手段は、移動体の移動速度が高くなる場合、および、操作手段を介して撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、撮影データのフレームレートを増加させ、フレームレートの増加に応じて、撮影手段の撮影データの解像度を低下させる。
近年、ユーザの周囲を上下前後左右といった全方位（つまり、３６０度の全天球の範囲）の映像（以下、全天球映像と称する。）を撮像可能なカメラ（以下、全天球カメラと称する。）が登場し始めている。また、特定の被写体をその被写体を囲むように全周囲方向（つまり、３６０度の範囲からその被写体を見る方向）の映像（以下、全周囲映像と称する。）を撮像可能な複数のカメラを用いた撮像システムが登場し始めている。全天球映像および全周囲映像のいずれからも、所定の画像処理を経ることで、ユーザが見たい方向（視野方向）の映像を切り出して表示することが可能である。 In recent years, a camera capable of capturing an image (hereinafter referred to as an omnidirectional image) in all directions (that is, a 360-degree omnidirectional range) around the user (hereinafter referred to as an omnidirectional camera) ) are beginning to emerge. In addition, a plurality of cameras capable of capturing an image (hereinafter referred to as a omnidirectional image) in all directions surrounding a specific subject (that is, the direction in which the subject is viewed from a 360-degree range) is used. imaging systems are beginning to emerge. By performing predetermined image processing on both the omnidirectional video and the omnidirectional video, it is possible to extract and display the video in the direction (viewing direction) that the user wants to see.
特許文献１では、全天球映像とヘッドマウントディスプレイとを用いた移動体を遠隔的に操作するための遠隔操作システムが開示されている。遠隔操作システムは、移動体の移動速度に応じてフレームレートと撮像データの解像度を調整することで、移動体が高速移動している際の没入感維持と通信負荷低減とを両立する。しかしながら、特許文献１では、移動体から送信される撮像データの通信帯域の考慮がなされていない。このため、例えば移動体から操作者が装着する表示手段までが不安定な無線環境では、設定した解像度に対し、所望のフレームレートが得られない場合があり、あるいは、利用可能な通信帯域が十分に活用されない（例えば、設定した解像度よりも高解像度な撮像データの送信が可能であるが、そのような設定がなされない）場合がある。
本開示は、上述した従来の状況に鑑みて案出され、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供する映像表示システムおよび映像表示方法を提供することを目的とする。 The present disclosure has been devised in view of the above-described conventional situation, appropriately determines the image quality of the video within and outside the user's viewing direction in consideration of the estimation result of the real-time communication band, and according to the communication environment. An object of the present invention is to provide an image display system and an image display method that provide an image that has been reproduced.
本開示は、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置と、前記映像処理装置と通信可能に接続された映像表示装置と、を備え、前記映像処理装置は、前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、前記映像表示装置との通信帯域を推定し、前記映像表示装置からユーザが見ている方向を取得し、前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、生成された前記第２の映像データを前記映像表示装置に送信する、映像表示システムを提供する。 The present disclosure includes a video processing device holding a plurality of image data captured by a plurality of cameras, and a video display device communicably connected to the video processing device, wherein the video processing device includes the plurality of generating first image data of an area where the plurality of cameras are installed using the imaging data of the image display device, estimating a communication band with the image display device, and acquiring a direction in which the user is looking from the image display device; , generating second image data according to the direction and the estimation result of the communication band from the first image data, and transmitting the generated second image data to the image display device; Provide a display system.
また、本開示は、映像表示装置と通信可能に接続され、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置により行われる映像表示方法であって、前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、前記映像表示装置との通信帯域を推定し、前記映像表示装置からユーザが見ている方向を取得し、前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、生成された前記第２の映像データを前記映像表示装置に送信する、映像表示方法を提供する。 Further, the present disclosure is a video display method performed by a video processing device that is communicably connected to a video display device and holds a plurality of image data captured by a plurality of cameras, wherein the image display method uses the plurality of image data. to generate first video data of the installation area of the plurality of cameras, estimate a communication band with the video display device, obtain the direction in which the user is looking from the video display device, A video display method for generating second video data according to the direction and the estimation result of the communication band from the video data, and transmitting the generated second video data to the video display device. .
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 In addition, these generic or specific aspects may be realized by systems, devices, methods, integrated circuits, computer programs, or recording media. may be realized by any combination of
本開示によれば、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供することができる。 According to the present disclosure, it is possible to appropriately determine the image quality of the video within and outside the user's visual field direction in consideration of the estimation result of the real-time communication band, and to provide the video according to the communication environment.
以下、図面を適宜参照して、本開示に映像表示システムおよび映像表示方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。 Hereinafter, embodiments specifically disclosing a video display system and a video display method in the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art. It should be noted that the accompanying drawings and the following description are provided to allow those skilled in the art to fully understand the present disclosure and are not intended to limit the subject matter of the claims.
図１は、本実施の形態の全天球カメラを用いた映像表示システムのシステム構成の一例を示す図である。図１に示すように、映像表示システム１は、カメラ２３（ここでは全天球カメラ２３Ａ）とプロセッサ２２とを少なくとも含む映像処理装置２と、携帯端末３００とヘッドマウントディスプレイ３０１とのうち少なくとも１つを含む映像表示装置３と、を含む。
FIG. 1 is a diagram showing an example of a system configuration of a video display system using an omnidirectional camera according to this embodiment. As shown in FIG. 1, a
カメラ２３は、例えば図１では、複数の異なる方向を光軸としたレンズ２００ａ、２００ｂを含む全天球カメラ２３Ａである。全天球カメラ２３Ａは、複数のレンズ２００ａ、２００ｂによって複数の異なる視野方向を撮像可能なカメラである。なお、カメラ２３は、全天球カメラ２３Ａに限られず、全周囲カメラ２３Ｂ（図３参照）でもよい。また、カメラ２３は、複数のカメラが一体的に構成される全天球カメラでもよい。全天球カメラ２３Ａは、広角な画角（例えば１２０度）を有する複数のレンズ２００ａおよび複数のイメージセンサ（不図示）により構成可能な撮像部を有する。なお、撮像部の画角は広角に限られるものではなく画角に応じて撮像部の数を増やすこともある。全天球カメラ２３Ａは、撮像部から得られたデータ（つまり、画像の電気信号）を用いて、人が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）形式の画像データまたはＹＵＶ（輝度、色差）形式の画像データを生成して記憶する。
For example, in FIG. 1, the
全天球カメラ２３Ａは、複数のレンズ２００ａの光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置される。レンズ２００ｂは天頂方向を撮像するために光軸が略垂直方向上向きとなるように配置されている。レンズ２００ａは、隣り合う２つのレンズの撮像エリアが一部重複するように配置されている。全天球カメラ２３Ａは、所定の位置に設置されてもよいし、移動体（例えば、ドローンまたは車など）に設置されてもよい。移動体に設置された場合は、移動体が移動したそれぞれの位置での映像を撮像することができる。
The
プロセッサ２２は、有線もしくは無線によって全天球カメラ２３Ａに通信可能に接続される（図３参照）。プロセッサ２２は、全天球カメラ２３Ａによって撮像された複数の画像データもしくは映像データ（以下、映像データと称する。）を合成処理して１つのパノラマ合成映像である全天球映像を生成する処理（つまり、スティッチング処理）をフレームごとに行う。プロセッサ２２は、映像表示装置３から取得したユーザの視線方向に基づき、全天球映像の所定の範囲の映像データを切り出した映像データ（以下、視聴映像データと称する）を生成する。視聴映像データの詳しい生成の処理方法については図６で後述する。また、プロセッサ２２の、ハードウェア構成および有する機能に関しては図５で後述する。
The
映像処理装置２は、無線通信を用いたネットワーク（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））を介してフレームごとの視聴映像データを映像表示装置３に送信する。映像処理装置２から映像表示装置３へのデータ送信には、無線通信を用いた
ネットワークを介した通信でもよいし、有線通信を用いたネットワークを介した通信でもよい。
The
映像表示装置３は、携帯端末３００もしくはヘッドマウントディスプレイ３０１の少なくとも１つを含む。また、携帯端末３００もしくはヘッドマウントディスプレイ３０１の代わりにパソコンあるいは視線方向を切り替えられるディスプレイを用いることもできる。映像表示装置３は、携帯端末３００とヘッドマウントディスプレイ３０１とをどちらも含み無線通信３０２を用いて通信可能に接続されてもよい。この無線通信３０２には有線通信を用いることもできる。
The
携帯端末３００は、ユーザによって携帯されるタブレットまたはスマートフォン等の端末装置である。携帯端末３００は、例えばジャイロセンサを有し、携帯端末３００の向き（つまり、どの方角を向いているか）をジャイロセンサにより検出して映像処理装置２に送信してもよい。映像処理装置２は、取得した携帯端末３００の向きの情報に基づいた視聴映像データを携帯端末３００に表示させる。
The
ヘッドマウントディスプレイ３０１は、例えばメガネのように左右一対に延伸した筐体フレームの一部がユーザの耳元付近にかけられた状態で装着されて使用される。言い換えると、ヘッドマウントディスプレイ３０１は、ユーザに装着された状態で使用される。ヘッドマウントディスプレイ３０１は、例えばジャイロセンサを有し、装着しているユーザの視線方向をジャイロセンサにより検出し映像処理装置２に送信する。映像処理装置２は、取得したユーザの視線方向の情報に基づき、ユーザの視線方向を中心方向として含む所定の範囲の視聴映像データをヘッドマウントディスプレイ３０１にリアルタイムに表示させる。
The head-mounted
次に、図２を参照して、本実施の形態の全天球映像の概念を説明する。図２は、本実施の形態の全天球映像の概念を示す図である。 Next, with reference to FIG. 2, the concept of omnidirectional video according to this embodiment will be described. FIG. 2 is a diagram showing the concept of omnidirectional video according to this embodiment.
合成映像４０は、全天球カメラ２３Ａにより撮像された映像データがスティッチング処理された全天球映像である。合成映像４０は、球の中心位置を視点（つまりカメラ２３の位置）としたときの全天球カメラ２３Ａの設置エリアの周囲の３６０度の範囲を有する映像データである。
The
人物ｈｍ１は、ヘッドマウントディスプレイ３０１を装着し、ヘッドマウントディスプレイ３０１の筐体フレーム上に表示される視聴映像データを視聴している。人物ｈｍ１は、合成映像４０の中心から視線方向に応じた視聴映像データを視聴することができるため、合成映像４０に対応する実空間上の中心に自身の視点があると仮定した場合の映像を視聴することができる。実際は、合成映像４０に対応する実空間上の中心には全天球カメラ２３Ａが存在し、人物ｈｍ１は任意の位置に存在してよい。
A person hm1 wears the head-mounted
部分映像４１は、人物ｈｍ１の視線方向に応じて切り出された視聴映像データである。部分風景４３は、人物ｈｍ１が視聴している部分映像４１の具体例である。なお、図２に係る部分風景４３は、一例でありこれに限定されない。
The
図３は、本実施の形態の全周囲カメラを用いた映像表示システムのシステム構成の一例を示す図である。図３に示すように、映像表示システム１は、カメラ２３（ここでは全周囲カメラ２３Ｂ）とプロセッサ２２とを少なくとも含む映像処理装置２と、携帯端末３００とヘッドマウントディスプレイ３０１とのうち少なくとも１つを含む映像表示装置３と、を含む。また、携帯端末３００もしくはヘッドマウントディスプレイ３０１の代わりにパソコンあるいは視線方向を切り替えられるディスプレイを用いることもできる。図１と同一の構成要素に関しては説明を一部省略する。
FIG. 3 is a diagram showing an example of a system configuration of a video display system using an omnidirectional camera according to this embodiment. As shown in FIG. 3, the
カメラ２３は、例えば図３では、複数のカメラ２０２を含む全周囲カメラである。全周囲カメラ２３Ｂを構成する複数のカメラ２０２は、広角な画角（例えば１２０度）を有するレンズ２０２ａおよびイメージセンサ（不図示）により構成可能な撮像部を有する。なお、撮像部の画角は広角に限られるものではなく画角に応じて撮像部の数を増やすこともある。全周囲カメラ２３Ｂは、複数のカメラ２０２のそれぞれの撮像部から得られたデータ（つまり、画像の電気信号）を用いて、人が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）形式の画像データまたはＹＵＶ（輝度、色差）形式の画像データを生成して記憶する。
The
全周囲カメラ２３Ｂは、複数のカメラ２０２が所定の空間内における同一の場面または人物等を撮影する。全周囲カメラ２３Ｂは、例えば、スポーツイベント等で用いられ、全周囲カメラ２３Ｂが設置された場所で行われる試合等を撮像する。なお、これは一例であり監視カメラを用いて監視される空間等であってもよい。
In the
複数のカメラ２０２のそれぞれは、所定の空間内において同一の場面を互いに異なる位置から撮像する。複数のカメラ２０２は、所定の間隔をあけて被写体（ここでは人物ｈｍ２）を囲んで複数の異なる場所に配置される。複数のカメラ２０２は、異なる位置から見た人物ｈｍ２を撮像することができる。なお、複数のカメラの配置はこれに限定されず例えば人物ｈｍ２の上方に配置されてもよい。カメラ２０２のレンズ２０２ａは上下左右に回転可能であってもよい。カメラ２０２は、撮像対象の動きに合わせて向きを変えることができる。また、２つのカメラ２０２の間を視点とした映像は両脇のカメラ２０２の撮像映像を合成して作成される。これにより、撮像対象に対して３６０度の全周囲の位置を視点とした映像データを生成することができる。これら全ての映像データを合わせて全周囲映像と称する。全周囲映像とは、複数のカメラ２０２のそれぞれの視野範囲に対応する視点からみた同一の被写体の映像を有する。
Each of the plurality of
プロセッサ２２は、全周囲映像の中で、映像表示装置３から取得した視点位置および視線方向の情報に基づき視聴映像データを生成する。プロセッサ２２は、生成した視聴映像データを映像表示装置３に送信する。なお、視点の情報は、映像処理装置２によって自動で設定されてもよいし（例えば、予め決められた時間間隔での変更）、映像処理装置２が管理者（例えば、コンサートの運営者など）による指示を取得し取得した指示に基づき変更を行ってもよい。
The
映像処理装置２は、無線通信を用いたネットワーク（例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））を介してフレームごとの視聴映像データを映像表示装置３に送信する。映像処理装置２から映像表示装置３へのデータ送信には、無線通信を用いたネットワークを介した通信でもよいし、有線通信を用いたネットワークを介した通信でもよい。
The
映像表示装置３は、携帯端末３００もしくはヘッドマウントディスプレイ３０１の少なくとも１つを含む。また、携帯端末３００もしくはヘッドマウントディスプレイ３０１の代わりにパソコンあるいはディスプレイを用いることもできる。映像表示装置３は、携帯端末３００とヘッドマウントディスプレイ３０１とをどちらも含み無線通信または有線通信を用いて通信可能に接続されてもよい。
The
携帯端末３００は、例えばジャイロセンサを有し、携帯端末３００の向き（どの方角を向いているか）をジャイロセンサにより検出して映像処理装置２に送信してもよい。携帯端末３００は、ユーザによって視点の変更に係る入力を受け付けてもよい。また、携帯端末３００の代わりにパソコンあるいはディスプレイを用い、ユーザによって視点 の変更に係る入力を受け付けてもよい。映像処理装置２は、取得した携帯端末３００の向きおよび視点の情報に基づいた視聴映像データを携帯端末３００に表示させる。
The
ヘッドマウントディスプレイ３０１は、例えばジャイロセンサを有し、装着しているユーザの視線方向をジャイロセンサにより検出し映像処理装置２に送信する。またヘッドマウントディスプレイ３０１は、ユーザによって視点の変更に係る入力を受け付けてもよい。映像処理装置２は、取得したユーザの視線方向および視点の情報に基づき、ユーザの視線方向を中心方向として含む所定の範囲の視聴映像データをヘッドマウントディスプレイ３０１にリアルタイムに表示させる。
The head-mounted
次に図４を参照して、本実施の形態の全周囲映像の概念を説明する。図４は、本実施の形態の全周囲映像の概念を示す図である。 Next, with reference to FIG. 4, the concept of the omnidirectional image according to this embodiment will be described. FIG. 4 is a diagram showing the concept of the omnidirectional video according to this embodiment.
合成映像５０は、帯状に３６０度方向の映像データを有する。合成映像５０は、全周囲映像の中で選択された視点の位置に基づく映像データである。
The
人物ｈｍ１は、ヘッドマウントディスプレイ３０１を装着し、ヘッドマウントディスプレイ３０１の筐体フレーム上に表示される視聴映像データを視聴している。人物ｈｍ１は、合成映像５０の側面の所定の位置に応じた視聴映像データを視聴することができる。人物ｈｍ１は、帯状の合成映像５０の端に自身の視点があると仮定した場合の視聴映像データを視聴することができる。実際は、人物ｈｍ１は任意の場所に存在してよい。
A person hm1 wears the head-mounted
部分映像５１は、人物ｈｍ１の視点および視線に応じて切り出された視聴映像データである。部分映像５１は、ヘッドマウントディスプレイ３０１の筐体に映し出される。
The
次に、図５を参照して本実施の形態の映像表示システムのハードウェア構成を説明する。図５は、本実施の形態の映像表示システムのブロック図である。映像表示システム１は、映像処理装置２と映像表示装置３とが通信可能に接続されて構成される。
Next, the hardware configuration of the image display system of this embodiment will be described with reference to FIG. FIG. 5 is a block diagram of the image display system of this embodiment. A
映像処理装置２は、通信Ｉ／Ｆ２１、プロセッサ２２、カメラ２３およびメモリ２４を少なくとも備えるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。なお、映像処理装置２としては、ＰＣに限らず、同様の機能を果たす他の映像処理装置（例えばサーバ、スマートフォン、タブレット端末等）を用いることもできる。また、映像処理装置２の機能の少なくとも一部を他の公知のハードウェアやネットワーク上のサーバによる処理によって代替してもよい。映像処理装置２は、カメラ２３により撮像された複数の撮像データを保持する。
The
通信Ｉ／Ｆ２１は、映像表示装置３の通信Ｉ／Ｆ３１との間で無線または有線で通信を行うネットワークインターフェース回路である。ここでＩ／Ｆは、インターフェースのことを表す。通信Ｉ／Ｆ２１は、通信Ｉ／Ｆ３１と無線通信を行う場合にネットワーク（不図示）、ネットワーク上に構成されたサーバ（不図示）、または基地局（不図示）を介してもよい。通信Ｉ／Ｆ２１は、カメラ２３により撮像されプロセッサ２２で処理された映像データを通信Ｉ／Ｆ３１に送信する。
The communication I/
プロセッサ２２は、映像処理装置２を統括的に制御し、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。プロセッサ２２は、映像処理部２２Ａ、帯域推定部２２Ｂおよび画質制御部２２Ｃのそれぞれの機能を実現する。プロセッサ２２は、動作中にメモリ２４のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を使用し、プロセッサ２２および各部が生成あるいは取得したデータもしくは情報をメモリ２４のＲＡＭに一時的に保存する。
The
処理部の一例としての映像処理部２２Ａは、カメラ２３で撮像された映像データを取得し全天球映像データもしくは全周囲映像データを生成する。映像処理部２２Ａは、映像表示装置３の視線方向検出部３２Ｂによって検出された視線に係る情報を通信Ｉ／Ｆ２１、３１を介して取得し、この情報に基づき視聴映像データを生成してもよい。映像処理部２２Ａは、全天球映像データもしくは全周囲映像データをメモリ２４に記憶する。映像処理部２２Ａは全天球映像データ、全周囲映像データまたは視聴映像データを通信Ｉ／Ｆ２１に出力する。
The
算出部の一例としての帯域推定部２２Ｂは、通信環境４の通信帯域を推定する。通信帯域とは、例えばデジタル通信においては１秒間に何ビット転送できるかを表し「ｂｐｓ」という単位を用いて表し、例えば電波状況やそのチャネルを共有する他のトラフィックの状況によって変動する。通信帯域が広いと、一度に送信できる情報が多くなり、通信帯域が狭いと一度に送信できる情報が少なくなる。このため通信帯域が広い場合には通信速度が速く、通信帯域が狭い場合には通信速度が遅くなる。帯域推定部２２Ｂは、例えば、容量の大きい信号（例えば、１Ｍｂｐｓの信号）を映像表示装置３に送信し、送信できた量の信号を測定することで通信帯域を推定する。なお、これは一例であり限られない。帯域推定部２２Ｂは、推定した通信帯域の結果を画質制御部に出力する。なお、帯域推定部２２Ｂは、通信帯域の結果をメモリ２４に出力し一時的に保存してもよい。
A
制御部の一例としての画質制御部２２Ｃは、映像データの画質を調整する。ここで画質とは、解像度、フレームレートおよび誤り訂正符号化量のうち少なくとも１つを表す。なお、これらは一例であり限定されない。画質制御部２２Ｃは、映像表示装置３から取得したユーザが見ている方向を基に映像データに高画質のエリアと低画質のエリア（以下、高画質エリアおよび低画質エリアと称する。）との領域の設定を行ってもよい。ここでユーザが見ている方向とは、視聴側ユーザの視点位置および視線の方向で決定されるユーザが見ている方向のことである。なお、この領域の設定をするのは、画質制御部２２Ｃに限られずプロセッサ２２の他の機能で行われてもよいし、ユーザによって予め設定されメモリ２４に記録されていてもよい。画質制御部２２Ｃは、帯域推定部２２Ｂから取得した通信帯域の結果より各領域の画質の設定を行う。
An image
カメラ２３は、設置場所を撮像するカメラである。カメラ２３は、例えば全天球カメラ２３Ａまたは全周囲カメラ２３Ｂである。カメラ２３は、通信Ｉ／Ｆ（不図示）、メモリ（不図示）、撮像部（不図示）およびプロセッサ（不図示）を備える。撮像部は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成され映像データを生成する。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子である。カメラ２３は撮像された複数の映像データをプロセッサ２２に出力する。
The
メモリ２４は、例えばＲＡＭとＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを用いて構成され、映像処理装置２の動作に必要なプログラム、さらには動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えばプロセッサ２２の動作中に使用されるワークメモリである。ＲＯＭは、例えば、プロセッサ２２を制御するためのプログラムを予め記憶して保持する。また、メモリ２４は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、映像データを記憶してよい。
The
通信環境４は、映像処理装置２と映像表示装置３と間の無線通信または有線通信の環境を概念的に示す。通信環境４での通信に使用される通信方式は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｏｏｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等である。
A
映像表示装置３は、映像処理装置２によって生成された映像データを表示する端末装置である。例えば、携帯端末３００またはヘッドマウントディスプレイ３０１などである。
The
通信Ｉ／Ｆ３１は、映像処理装置２の通信Ｉ／Ｆ２１との間で無線または有線で通信を行うネットワークインターフェース回路である。通信Ｉ／Ｆ３１は、映像処理装置２の指示を取得するまたは視線方向検出部３２Ｂで検出されたユーザの視線の方向に係る情報を送信する等を行う。
The communication I/
プロセッサ３２は、映像表示装置３を統括的に制御し、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡである。プロセッサ３２は、映像表示部３２Ａおよび視線方向検出部３２Ｂのそれぞれの機能を実現する。プロセッサ３２は、動作中にメモリ３４のＲＡＭを使用し、プロセッサ３２および各部が生成あるいは取得したデータもしくは情報をメモリ３４のＲＡＭに一時的に保存する。
The
制御部の一例としての映像表示部３２Ａは、映像処理装置２から通信Ｉ／Ｆ２１および通信Ｉ／Ｆ３１を介して映像データを取得しディスプレイ３３に表示させる制御を行う。映像データは、視聴映像データである。映像表示部３２Ａは、取得した映像データを基にディスプレイ３３に表示させる映像を生成する。例えば、映像表示部３２Ａは、全天球映像データを取得した場合、ユーザの視線の方向の情報に基づいた視聴映像データを生成する。ユーザの視線の方向の情報は、視線方向検出部３２Ｂから取得する。
The
検出部の一例としての視線方向検出部３２Ｂは、ユーザの視線の向きを検出する。例えば、ユーザがヘッドマウントディスプレイ３０１を装着している場合は、視線方向検出部３２Ｂは、ユーザの視線の方向の角度を検出する。この場合、一例としてジャイロセンサを用いる。ジャイロセンサは、ロール、ピッチ、ヨーの３軸に対応する値を検出し、ヘッドマウントディスプレイ３０１が向いている方向を算出する。なお、映像表示装置３は撮像部を更に備えユーザの目の周辺を撮像し、視線方向検出部３２Ｂは撮像された画像データ（もしくは映像データ）からユーザの視線の方向を検出してもよい。また、例えば、ユーザが携帯端末３００を使用している場合は、視線方向検出部３２Ｂは携帯端末３００の向きを取得する。携帯端末３００の向きは、携帯端末３００に内蔵されているジャイロセンサまたは磁気センサ等によって検出される。視線方向検出部３２Ｂは、検出した視線の方向に係る情報を通信Ｉ／Ｆ３１に出力する。なお、視線方向検出部３２Ｂは、検出した視線の方向に係る情報を映像表示部３２Ａに出力してもよいし、メモリ３４に一時的に保存してもよい。
The line-of-sight
ディスプレイ３３は、映像表示部３２Ａから取得した映像データを表示する。ディスプレイ３３は、例えば、ヘッドマウントディスプレイ３０１の筐体である。また、ディスプレイ３３は、例えば、携帯端末３００の画面である。
The
メモリ３４は、例えばＲＡＭとＲＯＭとを用いて構成され、映像表示装置３の動作に必要なプログラム、さらには動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えばプロセッサ３２の動作中に使用されるワークメモリである。ＲＯＭは、例えば、プロセッサ３２を制御するためのプログラムを予め記憶して保持する。また、メモリ３４は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、映像データを記憶してよい。
The
次に、図６を参照して、本実施の形態の映像処理装置の動作手順を説明する。図６は、本実施の形態の映像処理装置の動作手順の一例を説明するフローチャートである。図６に係るフローチャートの各処理は、主に映像処理装置２により実行され、一部の処理によっては映像処理装置２の処理に起因して映像表示装置３により実行されても構わない。
Next, with reference to FIG. 6, the operation procedure of the video processing device according to this embodiment will be described. FIG. 6 is a flowchart for explaining an example of the operation procedure of the video processing device of this embodiment. Each process in the flowchart of FIG. 6 is mainly executed by the
映像処理装置２は、利用可能な通信帯域に応じた高画質エリアおよび低画質エリアの指定および各エリアの画質の設定をメモリ２４から取得する（ステップＳ２０１）。高画質エリア、低画質エリアおよび各エリアの画質の設定はユーザによって予め設定されメモリ２４に保存されている。例えば、予め撮像対象がわかっている場合、撮像対象の動き方または動きの速さ等からユーザが初期値として高画質エリア、低画質エリアおよび各エリアの画質を設定しておく。なお、これらの設定は、カメラ２３によって撮像された複数の映像データをプロセッサ２２によって解析することで自動設定されてもよい。また、映像表示装置３の視線方向検出部３２Ｂによって検出された視線の移動または視点の切り替えをプロセッサ２２によって解析することで自動設定されてもよい。
The
映像処理装置２は、映像表示装置３との通信を開始する（ステップＳ２０２）。
The
カメラ２３は、設置場所の周辺映像を撮像する（ステップＳ２０３）。カメラ２３は、撮像した映像データを映像処理部２２Ａに出力する。映像処理部２２Ａは、複数の撮像データを用いて、複数のカメラ２３の設置エリアの第１の映像データを生成する。映像処理部２２Ａは、第１の映像データを画質制御部２２Ｃに出力する。
The
帯域推定部２２Ｂは、映像表示装置３との間の通信環境４における通信帯域を推定する（ステップＳ２０４）。帯域推定部２２Ｂは、推定した通信帯域の結果を画質制御部２２Ｃに出力する。
The
映像表示装置３の視線方向検出部３２Ｂは、ユーザの視線の方向を検出する。視線方向検出部３２Ｂは、検出した視線の方向に係る情報を通信Ｉ／Ｆ３１に出力する。通信Ｉ／Ｆ３１は、視線の方向に係る情報を通信Ｉ／Ｆ２１に送信する。通信Ｉ／Ｆ２１は、画質制御部２２Ｃに視線の方向に係る情報を送信する。画質制御部２２Ｃは、視線の方向に係る情報を取得する（ステップＳ２０５）。なお、映像表示装置３は、ディスプレイ３３からユーザの入力に基づいた視点に係る情報を取得してもよい。この場合、通信Ｉ／Ｆ３１は、視点に係る情報を通信Ｉ／Ｆ２１に送信する。通信Ｉ／Ｆ２１は、画質制御部２２Ｃに視点に係る情報を送信する。画質制御部２２Ｃは、視点に係る情報を取得する。なお、映像表示装置３は、ディスプレイ３３にユーザに視点を選択することを促す画面を表示させ、視点に関する情報を取得してもよい。この場合、映像表示装置３は、画質制御部２２Ｃに視点に関する情報を送信し、画質制御部２２Ｃは、視点に関する情報を取得する。
The line-of-
画質制御部２２Ｃは、取得した視線の方向に係る情報と推定された通信帯域の結果に基づき、視線を中心とした各エリア（高画質エリアおよび低画質エリア）の面積および画質を設定する（ステップＳ２０６）。画質制御部２２Ｃは、映像処理部２２Ａから取得した第１の映像データから、設定された各エリア（高画質エリアおよび低画質エリア）の面積および画質を用いて、高画質エリアの映像（言い換えると、ユーザが見ている方向に応じて第１の映像データから切り出した第２の映像データ）と低画質エリアの映像とを生成する。
The image
画質制御部２２Ｃは、ステップＳ２０６の処理で行った設定に応じて生成した各映像（高画質エリアの映像および低画質エリアの映像）を通信Ｉ／Ｆ２１に出力する。通信Ｉ／Ｆ２１は、画質制御部２２Ｃから取得した各映像を通信Ｉ／Ｆ３１に送信する。通信Ｉ／Ｆ３１は、通信Ｉ／Ｆ２１から取得した各映像を映像表示部３２Ａに送信する（ステップＳ２０７）。
22 C of image quality control parts output each image|video (image|video of a high image quality area and image|video of a low image quality area) produced|generated according to the setting performed by the process of step S206 to communication I/F21. Communication I/
画質制御部２２Ｃは、送信した各映像に基づき視線方向を中心とした領域の映像を表示させる信号を映像表示装置３に出力する（ステップＳ２０８）。
The image
映像処理装置２は、映像表示装置３と通信を継続するか否かを判定する（ステップＳ２０９）。映像処理装置２が映像表示装置３と通信を継続すると判定した場合（ステップＳ２０９，ＹＥＳ）、映像処理装置２の処理はステップＳ２０３の処理に戻る。
The
映像処理装置２は、映像表示装置３と通信を継続しないと判定した場合（ステップＳ２０９，ＮＯ）、通信を終了する（ステップＳ２１０）。
When the
カメラ２３は、撮像を終了する（ステップＳ２１１）。
The
次に、図７を参照して、本実施の形態の映像処理装置と映像表示装置との動作手順について説明する。図７は、本実施の形態の映像処理装置と映像表示装置との動作手順の一例を説明するシーケンス図である。 Next, with reference to FIG. 7, operation procedures of the video processing device and the video display device according to the present embodiment will be described. FIG. 7 is a sequence diagram illustrating an example of the operation procedure of the video processing device and the video display device according to this embodiment.
映像処理装置２は、利用可能な通信帯域に応じた高画質エリアおよび低画質エリアの指定および各エリアの画質の設定をメモリ２４から取得し（ステップＳ３０１）、映像表示装置３に通信開始を要求する（ステップＳ３０２１）。映像表示装置３は、映像処理装置２にステップＳ３０２１の処理に基づく通信開始の要求に応答を送信する（ステップＳ３０２２）。映像処理装置２は、映像表示装置３から、ステップＳ３０２１の処理に基づく通信開始の要求に応じた旨の信号を取得する。なお、ステップＳ３０２１の通信開始の要求を映像表示装置３から映像処理装置２に要求し、ステップＳ３０２２の通信開始の要求に応答を映像処理装置２が映像表示装置３に送信しても良い。
The
映像処理装置２のカメラ２３は、設置場所の周辺映像を撮像する（ステップＳ３０３）。カメラ２３は、撮像した映像データを映像処理部２２Ａに出力する。映像処理部２２Ａは、複数の撮像データを用いて、複数のカメラ２３の設置エリアの第１の映像データを生成する。映像処理部２２Ａは、撮像した映像データを画質制御部２２Ｃに出力する。
The
映像処理装置２の帯域推定部２２Ｂは、容量の大きい信号（例えば、１Ｍｂｐｓの信号）を映像表示装置３に送信する（ステップＳ３０３１）。映像表示装置３は、ステップＳ３０３１の処理で送信された信号を測定し映像処理装置２に送信する（ステップＳ３０３２）。映像処理装置２の帯域推定部２２Ｂは、ステップＳ３０３２の処理で取得した信号を基に通信帯域を推定する（ステップＳ３０４）なお、通信帯域の推定方法は一例でありこれに限られない。帯域推定部２２Ｂは、推定した通信帯域の結果を画質制御部２２Ｃに出力する。
The
映像処理装置２は、映像表示装置３にユーザの視線の方向を検出することを要求する（ステップＳ３０５１）。映像表示装置３の視線方向検出部３２Ｂは、ユーザの視線の方向を検出する（ステップＳ３０５）。映像表示装置３は、ステップＳ３０５の処理で検出された視線の方向の検出結果を映像処理装置２に送信する（ステップＳ３０５２）。映像処理装置２は、映像表示装置３から視線の方向の検出結果を取得する。なお、映像表示装置３は、ディスプレイ３３にユーザに視点を選択することを促す画面を表示させ、視点に関する情報を取得してもよい。この場合、映像表示装置３は、画質制御部２２Ｃに視点に関する情報を送信し、画質制御部２２Ｃは、視点に関する情報を取得する。
The
画質制御部２２Ｃは、取得した視線の方向に係る情報と推定された通信帯域の結果に基づき、視線を中心とした各エリア（高画質エリアおよび低画質エリア）の面積および画質を設定する（ステップＳ３０６）。画質制御部２２Ｃは、映像処理部２２Ａから取得した第１の映像データから、設定された各エリア（高画質エリアおよび低画質エリア）の面積および画質を用いて、高画質エリアの映像（言い換えると、ユーザが見ている方向に応じて第１の映像データから切り出した第２の映像データ）と低画質エリアの映像とを生成する。
The image
映像処理装置２の画質制御部２２Ｃは、ステップＳ３０６の処理で行った設定に応じた各映像（高画質エリアの映像および低画質エリアの映像）を映像表示装置３の映像表示部３２Ａに送信する（ステップＳ３０７２）。映像表示装置３の映像表示部３２Ａは、取得した各映像（視線方向を中心とした領域の映像）をディスプレイ３３に表示させる。映像表示装置３のディスプレイ３３は、視線方向を中心とした領域の映像を表示する（ステップＳ３０８）。
The image
映像表示システム１は、ステップＳ３０８の処理が終わると、映像処理装置２が映像表示装置３との通信を終了すると判定するまで、ステップＳ３０３の処理からステップＳ３０８までの処理を繰り替えし行う。
After completing the processing of step S308, the
映像処理装置２は、映像表示装置３との通信を終了すると判定すると、映像表示装置３に通信終了を要求する（ステップＳ３１０１）。映像表示装置３は、ステップＳ３１０１の処理に基づく通信終了の要求に応答する旨の信号を映像処理装置２に送信する（ステップＳ３１０２）。なお、ステップＳ３１０１の通信を終了する判定、映像処理装置２への通信終了の要求を映像表示装置３が行い、ステップＳ３１０２の通信終了の要求に応答する旨の信号を映像処理装置２が映像表示装置３に送信してもよい。
When
映像処理装置２のカメラ２３は、撮像を終了する（ステップＳ３１１）。
The
次に、図８を参照して、利用可能な通信帯域と高画質エリアの面積もしくは視点の数との関係を説明する。図８は、利用可能な通信帯域と高画質エリアの面積もしくは視点の数との関係を表した図である。なお、図８、９および１０に示された（１）および（２）は同一のケースを表し、同じ符合は同じ値を表している。 Next, referring to FIG. 8, the relationship between the available communication band and the area of the high image quality area or the number of viewpoints will be described. FIG. 8 is a diagram showing the relationship between the available communication band and the area of the high image quality area or the number of viewpoints. Note that (1) and (2) shown in FIGS. 8, 9 and 10 represent the same case, and the same reference sign represents the same value.
図８に示したグラフの縦軸は、高画質エリアの面積もしくは視点の数を表す。縦軸に示されたａは、縦軸に示されたｂよりも小さい値となる。図８に示したグラフの横軸は、利用可能な通信帯域を表す。横軸に示されたＸは、横軸に示されたＹよりも小さい値となる。 The vertical axis of the graph shown in FIG. 8 represents the area of the high image quality area or the number of viewpoints. The value a shown on the vertical axis is smaller than the value b shown on the vertical axis. The horizontal axis of the graph shown in FIG. 8 represents available communication bandwidth. X shown on the horizontal axis is a smaller value than Y shown on the horizontal axis.
まず（１）の場合の波形ＷＶ１について説明する。波形ＷＶ１において、利用可能な通信帯域が増加した場合Ｘまでは高画質エリアの面積または視点の数は一定値ａとなる。利用可能な通信帯域がＸとなると、高画質エリアの面積または視点の数は、階段状に増加しａとｂの間の値となる。利用可能な通信帯域がＸからＹまでの間は、高画質エリアの面積または視点の数はａとｂの間の値で一定値となる。利用可能な通信帯域Ｙとなると、高画質エリアの面積または視点の数は階段状に増加しｂとなる。 First, the waveform WV1 in case (1) will be described. In the waveform WV1, when the available communication band increases, up to X, the area of the high image quality area or the number of viewpoints becomes a constant value a. When the available communication band becomes X, the area of the high image quality area or the number of viewpoints increases stepwise to a value between a and b. When the available communication band ranges from X to Y, the area of the high image quality area or the number of viewpoints is a constant value between a and b. When the usable communication band becomes Y, the area of the high image quality area or the number of viewpoints increases stepwise to b.
一方（２）の場合の波形ＷＶ２では、利用可能な通信帯域が増加しても、高画質エリアの面積または視点の数は一定の値となる。 On the other hand, with waveform WV2 in case (2), even if the available communication band increases, the area of the high image quality area or the number of viewpoints remains constant.
次に図９を参照して、利用可能な通信帯域と高画質エリアの画質との関係を説明する。図９は、利用可能な通信帯域と高画質エリアの画質との関係を表した図である。 Next, with reference to FIG. 9, the relationship between the available communication band and the image quality in the high image quality area will be described. FIG. 9 is a diagram showing the relationship between the available communication band and the image quality in the high image quality area.
図９に示したグラフの縦軸は、高画質エリアの画質を表す。図９に示したグラフの横軸は、利用可能な通信帯域を表す。縦軸に示されたｃは、縦軸に示されたｄよりも小さい値となる。 The vertical axis of the graph shown in FIG. 9 represents the image quality of the high image quality area. The horizontal axis of the graph shown in FIG. 9 represents available communication bandwidth. c shown on the vertical axis is a smaller value than d shown on the vertical axis.
まず（２）の場合の波形ＷＶ３について説明する。波形ＷＶ３おいて、利用可能な通信帯域が増加した場合Ｘまでは高画質エリアの画質は一定値ｃとなる。利用可能な通信帯域がＸとなると、高画質エリアの画質は、階段状に増加しｃとｄの間の値となる。利用可能な通信帯域がＸからＹまでの間は、高画質エリアの画質はｃとｄの間の値で一定値となる。利用可能な通信帯域Ｙとなると、高画質エリアの画質は階段状に増加しｄとなる。 First, the waveform WV3 in case (2) will be described. In waveform WV3, when the available communication band increases, up to X, the image quality of the high image quality area becomes a constant value c. When the available communication band becomes X, the image quality in the high image quality area increases stepwise to a value between c and d. When the available communication band ranges from X to Y, the image quality in the high image quality area is a constant value between c and d. When the usable communication band becomes Y, the image quality in the high image quality area increases stepwise to d.
一方（１）の場合の波形ＷＶ４では、利用可能な通信帯域が増加しても、高画質エリアの画質は一定の値となる。 On the other hand, with waveform WV4 in case (1), the image quality in the high image quality area remains constant even if the available communication band increases.
次に、図１０を参照して、利用可能な通信帯域と低画質エリアの画質との関係を説明する。図１０は、利用可能な通信帯域と低画質エリアの画質との関係を表した図である。 Next, with reference to FIG. 10, the relationship between the available communication band and the image quality of the low image quality area will be described. FIG. 10 is a diagram showing the relationship between available communication bands and image quality in low image quality areas.
図１０に示したグラフの縦軸は、低画質エリアの画質を表す。図１０に示したグラフの横軸は、利用可能な通信帯域を表す。縦軸に示されたｃ’、ｃ、ｄ’およびｄの値の大きさの関係は、ｃ’が一番小さく、ｃがｃ’より大きく、ｄが一番大きくｄ’がｄより小さい値となる。なお、図１０ではｃよりｄ’が大きな値となっているがｃよりｄ’が小さな値となることもある。つまり、高画質エリアの画質ｃより低画質エリアのｄ’を小さな値とすることもある。 The vertical axis of the graph shown in FIG. 10 represents the image quality of the low image quality area. The horizontal axis of the graph shown in FIG. 10 represents available communication bandwidth. The relationship between the values of c', c, d' and d shown on the vertical axis is such that c' is the smallest, c is larger than c', d is the largest and d' is smaller than d. becomes. Although d' is larger than c in FIG. 10, d' may be smaller than c. In other words, d' in the low image quality area may be set to a smaller value than the image quality c in the high image quality area.
まず（２）の場合の波形ＷＶ５について説明する。波形ＷＶ５おいて、利用可能な通信帯域が増加した場合Ｘまでは低画質エリアの画質は一定値ｃ’となる。利用可能な通信帯域がＸとなると、低画質エリアの画質は、階段状に増加しｃ’とｄ’の間の値となる。利用可能な通信帯域がＸからＹまでの間は、低画質エリアの画質はｃ’とｄ’の間の値で一定値となる。利用可能な通信帯域Ｙとなると、高画質エリアの画質は階段状に増加しｄ’となる。なお、低画質エリアは画質を小さな値とする以外にも静止画像や無画像とすることもできる。 First, the waveform WV5 in case (2) will be described. In the waveform WV5, the image quality of the low image quality area becomes a constant value c' up to X when the available communication band increases. When the available communication band becomes X, the image quality of the low image quality area increases stepwise to a value between c' and d'. When the available communication band is from X to Y, the image quality of the low image quality area is a constant value between c' and d'. When the usable communication band becomes Y, the image quality in the high image quality area increases stepwise to d'. The low image quality area may be a still image or no image, instead of setting the image quality to a small value.
一方（１）の場合の波形ＷＶ６では、利用可能な通信帯域が増加しても、低画質エリアの画質は一定の値となる。 On the other hand, with waveform WV6 in case (1), the image quality in the low image quality area remains constant even if the available communication band increases.
図８から図１０に示された（１）のケースについて説明する。（１）のケースでは、利用可能な通信帯域が増加し通信帯域の結果が第１の所定値より広い広帯域となった場合に、高画質エリアおよび低画質エリアの画質は変更しない（図９および図１０参照）。一方、高画質エリアの面積を広げるもしくは視点の数を増やす（図８参照）。 Case (1) shown in FIGS. 8 to 10 will be described. In the case of (1), when the usable communication band increases and the result of the communication band becomes a wider band than the first predetermined value, the image quality of the high image quality area and the low image quality area are not changed (Fig. 9 and See Figure 10). On the other hand, the area of the high image quality area is expanded or the number of viewpoints is increased (see FIG. 8).
これはユーザの視線の変更量が大きい場合に用いられ、映像表示システム１はより広いエリア画質を高画質とすることができる。また、これはユーザの視点の変更量が大きい場合に用いられ、映像表示システム１は多くの視点に対応する映像を高画質とすることができる。
This is used when the amount of change in the line of sight of the user is large, and the
図８から図１０に示された（２）のケースについて説明する。（２）のケースでは、利用可能な通信帯域が増加し通信帯域の結果が第１の所定値より広い広帯域となった場合に、高画質エリアの面積または視点の数は変更しない（図８参照）。一方、高画質エリアおよび低画質エリアの両方もしくはどちらか一方の画質を向上させていく（図９および図１０参照）。 Case (2) shown in FIGS. 8 to 10 will be described. In the case of (2), when the usable communication band increases and the result of the communication band becomes a wider band than the first predetermined value, the area of the high image quality area or the number of viewpoints is not changed (see FIG. 8). ). On the other hand, the image quality of both or one of the high image quality area and the low image quality area is improved (see FIGS. 9 and 10).
これはユーザの視線の変更量が小さい場合に用いられ、映像表示システム１は現在ユーザが視聴している映像の画質を向上させることができる。また、これはユーザの視点の変更量が小さい場合に用いられ、映像表示システム１は現在のユーザの視点に基づいた映像の画質を向上させることができる。
This is used when the amount of change in the line of sight of the user is small, and the
このように、映像表示システム１は、ユーザの視線の動き、または視点の変化量に応じてユーザにとって最適と推測される画質の制御を行うことができる。
In this way, the
なお、映像表示システム１は、高画質エリアの面積および低画質エリアの面積は変更せず高画質エリアの画質だけを向上させてもよい。
Note that the
また、映像表示システム１は、低画質エリアの画質は変更せず、高画質エリアの面積を広くし、高画質エリアの画質を向上させてもよい。
Further, the
また、映像表示システム１は、高画質エリアの画質（または面積）に予め上限を設けておき、上限に到達するまでは画質（または面積）を向上させていき、上限に到達した後は他の条件を改善させていってもよい。
In addition, the
また、映像表示システム１は、図８、図９および図１０に係るグラフを階段状ではなく直線的に変化させてもよい。
Also, the
次に、図１１を参照して、通信帯域が広くなった場合の映像コンテンツ解析による制御例を説明する。図１１は、通信帯域が広くなった場合の映像コンテンツ解析による制御例を表す図である。なお、図１１および図１２のパターン（１）は図８、９および１０の（１）と紐づけられている。また、図１１および図１２のパターン（２）は図８、９および１０の（２）と紐づけられている。 Next, with reference to FIG. 11, an example of control by video content analysis when the communication band is widened will be described. FIG. 11 is a diagram showing an example of control by video content analysis when the communication band is widened. Pattern (1) in FIGS. 11 and 12 is associated with pattern (1) in FIGS. Also, pattern (2) in FIGS. 11 and 12 is associated with pattern (2) in FIGS.
パターン（１）は、注目される被写体の動きが速いケースである。パターン（１）では、視線の変更量または視点の切替頻度が大きいと想定される。そのため、利用可能な通信帯域が広くなった場合、映像表示システム１は高画質エリアの面積は広げて、高画質エリアおよび低画質エリアの画質は変更しない。つまり、映像処理装置２は、通信帯域の結果が第１の所定値より広い広帯域であり、かつユーザの見ている方向の変化量が第２の所定値より大きい場合、高画質エリアの面積を拡張する。
Pattern (1) is a case in which the subject of interest moves quickly. In pattern (1), it is assumed that the amount of change in line of sight or the frequency of viewpoint switching is large. Therefore, when the available communication band becomes wider, the
パターン（２）は、注目される被写体の動きが遅いケースである。パターン（２）は、視線の変更量または視点の切替頻度が大きいと想定される。そのため、利用可能な通信帯域が広くなった場合、映像表示システム１は高画質エリアの面積は変更せず、高画質エリアおよび低画質エリアの画質を向上させる。つまり、映像処理装置２は、通信帯域の結果が第１の所定値より広い広帯域であり、かつユーザの見ている方向の変化量が第２の所定値以下の場合、高画質エリアおよび低画質エリアの両方もしくはどちらか一方の画質を向上させる。
Pattern (2) is a case in which the subject of interest moves slowly. In pattern (2), it is assumed that the amount of change in line of sight or the frequency of viewpoint switching is large. Therefore, when the available communication band becomes wider, the
このように、映像表示システム１は注目される被写体の動きに対応して、高画質エリアの設定および画質の制御を行うことができる。
In this manner, the
次に、図１２を参照して、通信帯域が広くなった場合の、視聴側の視線移動もしくは視点切替解析による制御例を説明する。図１２は、通信帯域が広くなった場合の、視聴側の視線移動もしくは視点切替解析による制御例を表した図である。 Next, with reference to FIG. 12, an example of control based on analysis of line-of-sight movement or viewpoint switching on the viewing side when the communication band is widened will be described. 12A and 12B are diagrams showing an example of control based on analysis of line-of-sight movement or viewpoint switching on the viewing side when the communication band is widened.
パターン（１）は、視聴側の視線の移動量が大きいまたは視点の切替の頻度が多い場合のケースである。パターン（１）では、高画質エリアの面積を広げて、高画質エリアおよび低画質エリアの画質は変更しない。 Pattern (1) is a case in which the amount of movement of the line of sight on the viewing side is large or the frequency of viewpoint switching is high. In pattern (1), the area of the high image quality area is expanded, and the image quality of the high image quality area and the low image quality area are not changed.
パターン（２）は、視聴側の視線の移動量が小さいまたは視点の切替の頻度が少ない場合のケースである。パターン（２）では、高画質エリアの面積は変更せず、高画質エリアの画質および低画質エリアの画質は向上させる。 Pattern (2) is a case in which the amount of movement of the line of sight on the viewing side is small or the frequency of viewpoint switching is low. In pattern (2), the area of the high image quality area is not changed, and the image quality of the high image quality area and the image quality of the low image quality area are improved.
次に、図１３を参照して、全天球映像の高画質エリアと低画質エリアとの概念を説明する。図１３は、全天球映像の高画質エリアと低画質エリアとを表した図である。 Next, with reference to FIG. 13, the concept of the high image quality area and the low image quality area of the omnidirectional video will be described. FIG. 13 is a diagram showing a high image quality area and a low image quality area of an omnidirectional image.
図１３は、図２に係る合成映像４０を天頂方向から見た場合の断面図を表している。
FIG. 13 shows a cross-sectional view of the synthesized
人物ｈｍ１は、例えばヘッドマウントディスプレイを装着し合成映像４０を視聴している人物である。人物ｈｍ１から伸びる点線の矢印は、人物ｈｍ１の視線の方向を表す。
The person hm1 is, for example, a person wearing a head-mounted display and viewing the
エリアＲＥ１は、合成映像４０の中で、高画質で表示されるエリア（つまり、高画質エリア）である。エリアＲＥ１は、人物ｈｍ１の視線の方向に基づきプロセッサ２２によって自動で設定される。例えば、プロセッサ２２は、人間の視野に対する部分を高画質エリアにしてもよいし、人間の視野に所定の角度加えた角度で人物ｈｍ１の視線を中心とした部分を高画質エリアにしてもよい。上述した所定の角度とは、例えば６０度などである。なお、これは一例であり限定されない。
The area RE1 is an area displayed with high image quality (that is, a high image quality area) in the
エリアＲＥ２は、合成映像４０の中で、低画質で表示されるエリア（つまり、低画質エリア）である。エリアＲＥ２は、人物ｈｍ１の視線の方向に基づきプロセッサ２２によって自動で設定される。
The area RE2 is an area displayed with low image quality (that is, a low image quality area) in the
図１３に示した合成映像４０は、人物ｈｍ１の視線を中心としておよそ２４０度の範囲が高画質エリアのエリアＲＥ１となっている。合成映像４０の中で、高画質エリア以外のおよそ１２０度の範囲が低画質エリアとなっている。人物ｈｍ１の視野よりも広いエリアが高画質エリアとなっているため、人物ｈｍ１が視線を多少動かしたとしても（例えば、左右にそれぞれ５０度程度）、人物ｈｍ１は高画質な映像を見ることができる。
In the
図１３に示したエリアＲＥ１の面積および画質と、エリアＲＥ２の面積および画質とは、図１１および図１２で示したパターン（１）および（２）のようにプロセッサ２２によって制御されてもよい。
The area and image quality of area RE1 shown in FIG. 13 and the area and image quality of area RE2 may be controlled by
次に、図１４を参照して、全周囲映像の各視点の高画質エリアと低画質エリアとの概念を説明する。図１４は、全周囲映像の各視点の高画質エリアと低画質エリアとを表した図である。 Next, with reference to FIG. 14, the concept of the high image quality area and the low image quality area at each viewpoint of the omnidirectional video will be described. FIG. 14 is a diagram showing a high image quality area and a low image quality area at each viewpoint of the omnidirectional image.
図１４は、図４に係る合成映像５０を人物ｈｍ３の頭上から見た場合の断面図を表している。
FIG. 14 shows a cross-sectional view of the
人物ｈｍ３は、複数存在する視点の中でｎ番目の視点（以下、ｎ番目の視点のことを視点ｎと称する。なお、ｎ－１番目およびｎ＋１番目の視点についても同様である。）からの映像を視聴している。人物ｈｍ３から伸びる直線は、人物ｈｍ３の視野を表す。 The person hm3 is viewed from the n-th viewpoint (the n-th viewpoint is hereinafter referred to as the viewpoint n. The same applies to the (n-1)th and (n+1)th viewpoints) among a plurality of viewpoints. are watching a video. A straight line extending from the person hm3 represents the field of view of the person hm3.
エリアＲＥ３は、視点ｎに係る映像を人物ｈｍ３が視聴する場合の、人物ｈｍ３の視野に対応するエリアである。 The area RE3 is an area corresponding to the field of view of the person hm3 when the person hm3 views the video related to the viewpoint n.
エリアＲＥ４は、視点ｎ＋１に係る映像を人物ｈｍ３が視聴する場合の、人物ｈｍ３の視野に対するエリアである。 The area RE4 is an area for the visual field of the person hm3 when the person hm3 views the video associated with the viewpoint n+1.
エリアＲＥ５は、視点ｎ－１に係る映像を人物ｈｍ３が視聴する場合の、人物ｈｍ３の視野に対するエリアである。 The area RE5 is an area for the field of view of the person hm3 when the person hm3 views the video associated with the viewpoint n−1.
人物ｈｍ３が視点ｎに係る映像を視聴する場合、エリアＲＥ３を高画質エリアとする。通信帯域が所定の値より小さい場合には、視点ｎの隣の視点である視点ｎ＋１のエリアＲＥ４と視点ｎ－１のエリアＲＥ５とは低画質エリアとする。この場合、人物ｈｍ３が視点を隣の視点に変更をした後に低画質エリアの画質を高画質に変更するので処理に時間がかかってしまう。 When the person hm3 views the video related to the viewpoint n, the area RE3 is set as the high image quality area. When the communication band is smaller than a predetermined value, the area RE4 of the viewpoint n+1 and the area RE5 of the viewpoint n-1, which are neighboring viewpoints of the viewpoint n, are regarded as low image quality areas. In this case, the image quality of the low image quality area is changed to high image quality after the person hm3 changes the viewpoint to the adjacent viewpoint, so the processing takes time.
一方、通信帯域が所定の値より大きい場合には、視点ｎの隣の視点である視点ｎ＋１のエリアＲＥ４と視点ｎ－１のエリアＲＥ５とも高画質エリアとする。この場合、人物ｈｍ３が視点を隣の視点に変更しても、隣の視点に係る視聴エリア（エリアＲＥ４またはエリアＲＥ５）は既に高画質であるため、人物ｈｍ３はスムーズな視点移動が可能となる。 On the other hand, when the communication band is larger than a predetermined value, both the area RE4 of the viewpoint n+1 and the area RE5 of the viewpoint n-1, which are neighboring viewpoints of the viewpoint n, are set as high image quality areas. In this case, even if the person hm3 changes the viewpoint to the adjacent viewpoint, the viewing area (area RE4 or area RE5) related to the adjacent viewpoint already has high image quality, so the person hm3 can smoothly move the viewpoint. .
また、通信帯域がさらに広い場合に、視点ｎ＋１および視点ｎ－１の視点のさらに外側の複数の視点に係る映像を高画質で送信することができる。この場合、人物ｈｍ３は、より多くの視点にスムーズに変更することが可能となる。 Also, if the communication band is wider, it is possible to transmit high-quality images of a plurality of viewpoints outside the viewpoints n+1 and n−1. In this case, the person hm3 can smoothly change to more viewpoints.
高画質とする視点の数と高画質エリアおよび低画質エリアの画質とは、図１１および図１２で示したパターン（１）および（２）のようにプロセッサ２２によって制御されてもよい。ここで、図１１および図１２の高画質エリアの面積を拡げることは、高画質で送信する視点の数を増やすことに対応する。
The number of high image quality viewpoints and the image quality of the high image quality area and the low image quality area may be controlled by the
以上により、映像表示システム１は、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置２と、映像処理装置２と通信可能に接続された映像表示装置３と、を備える。映像処理装置２は、複数の撮像データを用いて、複数のカメラの設置エリアの第１の映像データを生成する。映像処理装置２は、映像表示装置３との通信帯域を推定し、映像表示装置３からユーザが見ている方向を取得する。映像処理装置２は、第１の映像データから、ユーザが見ている方向と通信帯域の推定結果とに応じた第２の映像データを生成し、生成された第２の映像データを映像表示装置３に送信する。
As described above, the
これにより、映像表示システム１は、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供することができる。
As a result, the
また、映像処理装置２は、映像表示装置３から取得したユーザが見ている方向を基に、第２の映像データに高画質エリアと高画質エリア外である低画質エリアとを指定し、通信帯域の推定結果を基に、高画質エリアおよび低画質エリアの画質を制御する。これにより、映像表示システム１は、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供することができる
Further, the
また、映像処理装置２は、通信帯域の推定結果が第１の所定値より広い広帯域である場合、高画質エリアおよび前記低画質エリアの両方もしくはどちらか一方の画質を向上させる。これにより、映像表示システム１は、リアルタイムの通信帯域が広帯域であると推定される場合、より高画質の映像を提供することができる。
Further, when the estimation result of the communication band is a broadband wider than the first predetermined value, the
また、映像処理装置２は、前記通信帯域の推定結果が第１の所定値より広い広帯域であり、かつ前記ユーザの見ている前記方向の変化量が第２の所定値以下の場合、前記高画質エリアおよび前記低画質エリアの両方もしくはどちらか一方の画質を向上させる。これにより、映像表示システム１は、ユーザの見ている方向の変化量が少ない場合には、映像データの画質を向上させることでユーザの映像に対する没入感を向上させることができる。
Further, when the estimation result of the communication band is a broadband wider than a first predetermined value and the amount of change in the direction viewed by the user is equal to or less than a second predetermined value, the
また、映像処理装置２は、映像表示装置３から取得したユーザが見ている方向を基に、第２の映像データに高画質エリアと高画質エリア外である低画質エリアとを指定し、通信帯域の推定結果を基に、高画質エリアの面積を制御する。これにより、映像表示システム１は、通信帯域がより広帯域になった場合には、より広い面積のエリアを高画質エリアとすることができる。これにより、映像表示システム１は、ユーザが見ている方向の変化量に応じて高画質エリアの面積を制御することができる。
Further, the
また、映像処理装置２は、通信帯域の推定結果が第１の所定値より広い広帯域である場合、高画質エリアの面積を拡張する。これにより、映像表示システム１は、通信帯域の変化に対応して高画質エリアの面積を広げるように制御することができ、ユーザの見ている方向の変化量に応じた最適と推測される画質の映像を映像表示装置３に表示させることができる。
Further, when the estimation result of the communication band is a broadband wider than the first predetermined value, the
また、映像処理装置２は、通信帯域の推定結果が第１の所定値より広い広帯域であり、かつユーザの見ている方向の変化量が第２の所定値より大きい場合、高画質エリアの面積を拡張する。これにより、映像表示システム１は、ユーザの見ている方向の変化量の多い場合には、高画質エリアの面積を拡張することで、ユーザの映像に対する没入感を向上させることができる。
In addition, if the result of estimation of the communication band is a broadband that is wider than the first predetermined value and the amount of change in the direction in which the user is looking is greater than the second predetermined value, the
また、本実施の形態に係る第１の映像データは、複数の異なる視野方向を撮像可能な前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データである。これにより、映像表示システム１は、全天球映像データを生成することでユーザが実世界と見る風景と同じような映像を映像表示装置３に表示することができる。
Further, the first video data according to the present embodiment is omnidirectional video data having a 360-degree range around the installation area of the plurality of cameras capable of capturing images in a plurality of different viewing directions. As a result, the
また、本実施の形態に係る第１の映像データは、同一の被写体がその被写体を囲んで複数の異なる場所に設置された複数のカメラを用いて撮像され、複数のカメラのそれぞれの視野範囲に対応する視点からみた同一の被写体の映像を有する全周囲映像データである。これにより、映像表示システム１は、全周囲映像データを生成することで様々な視点から同一の場面を見た場合の映像を映像表示装置３に表示することができる。
In addition, the first image data according to the present embodiment is obtained by imaging the same subject using a plurality of cameras installed at a plurality of different locations surrounding the subject, and capturing the images in the respective view ranges of the plurality of cameras. It is omnidirectional image data having images of the same subject viewed from corresponding viewpoints. As a result, the
また、本実施の形態に係る画質とは、解像度、フレームレートおよび誤り訂正符号化量のうち少なくとも１つである。これにより、映像表示システム１は、解像度、フレームレートまたは誤り訂正符号化量を制御することで画質を制御することができる。
Also, the image quality according to the present embodiment is at least one of resolution, frame rate, and error correction coding amount. Thereby, the
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。 Although the embodiments have been described above with reference to the accompanying drawings, the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications, modifications, substitutions, additions, deletions, and equivalents within the scope of the claims. It is understood that it belongs to the technical scope of the present disclosure. Also, the components in the above-described embodiments may be combined arbitrarily without departing from the spirit of the invention.
本開示の技術は、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供する映像表示システムおよび映像表示方法として有用である。 The technology of the present disclosure provides a video display system and video that appropriately determines the image quality of video within and outside the user's visual field direction in consideration of real-time communication band estimation results, and provides video in accordance with the communication environment. It is useful as a display method.
１ 映像表示システム
２ 映像処理装置
３ 映像表示装置
４ 通信環境
２１，３１ 通信Ｉ／Ｆ
２２，３２ プロセッサ
映像処理部 ２２Ａ
帯域推定部 ２２Ｂ
画質制御部 ２２Ｃ
２３，２０２ カメラ
２３Ａ 全天球カメラ
２３Ｂ 全周囲カメラ
２４，３４ メモリ
３２Ａ 映像表示部
３２Ｂ 視線方向検出部３２Ｂ
３３ ディスプレイ
４０，５０ 合成映像
４１，５１ 部分映像
４３ 部分風景
２００ａ，２００ｂ，２０２ａ レンズ
３００ 携帯端末
３０１ ヘッドマウントディスプレイ
３０２ 無線通信
ｈｍ１，ｈｍ２，ｈｍ３ 人物
ＷＶ１，ＷＶ２，ＷＶ３，ＷＶ４，ＷＶ５，ＷＶ６ 波形
ＲＥ１，ＲＥ２，ＲＥ３，ＲＥ４，ＲＥ５ エリア
1
22, 32 Processor
Image
23, 202
33
Claims (11)
前記映像処理装置と通信可能に接続された映像表示装置と、を備え、
前記映像処理装置は、
前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、
前記映像表示装置との通信帯域を推定し、
前記映像表示装置からユーザが見ている方向を取得し、
前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、
生成された前記第２の映像データを前記映像表示装置に送信する、
映像表示システム。 a video processing device that holds a plurality of image data captured by a plurality of cameras;
a video display device communicably connected to the video processing device,
The video processing device is
generating first image data of an installation area of the plurality of cameras using the plurality of imaging data;
estimating a communication band with the video display device;
Acquiring the direction in which the user is looking from the video display device;
generating second video data according to the direction and the estimation result of the communication band from the first video data;
transmitting the generated second video data to the video display device;
video display system.
前記映像表示装置から取得した前記ユーザが見ている前記方向を基に、前記第２の映像データに高画質エリアと前記高画質エリア外である低画質エリアとを指定し、
前記通信帯域の推定結果を基に、前記高画質エリアおよび前記低画質エリアの画質を制御する、
請求項１に記載の映像表示システム。 The video processing device is
Designating a high image quality area and a low image quality area outside the high image quality area in the second image data based on the direction in which the user is looking obtained from the image display device;
Controlling the image quality of the high image quality area and the low image quality area based on the estimation result of the communication band;
The image display system according to claim 1.
請求項２に記載の映像表示システム。 When the estimation result of the communication band is a broadband wider than a first predetermined value, the video processing device improves the image quality of both or one of the high image quality area and the low image quality area.
3. The image display system according to claim 2.
請求項２に記載の映像表示システム。 When the estimation result of the communication band is a broadband wider than a first predetermined value, and the amount of change in the direction in which the user is looking is equal to or less than a second predetermined value, the image processing device determines the high image quality area. and improving the image quality of both or either of said low image quality areas;
3. The image display system according to claim 2.
前記映像表示装置から取得した前記ユーザが見ている前記方向を基に、前記第２の映像データに高画質エリアと前記高画質エリア外である低画質エリアとを指定し、
前記通信帯域の推定結果を基に、前記高画質エリアの面積を制御する、
請求項１に記載の映像表示システム。 The video processing device is
Designating a high image quality area and a low image quality area outside the high image quality area in the second image data based on the direction in which the user is looking obtained from the image display device;
controlling the area of the high image quality area based on the estimation result of the communication band;
The image display system according to claim 1.
請求項５に記載の映像表示システム。 The video processing device expands the area of the high image quality area when the estimation result of the communication band is a broadband wider than a first predetermined value.
The image display system according to claim 5.
請求項５に記載の映像表示システム。 The video processing device determines that the communication band is a broadband wider than a first predetermined value, and that the amount of change in the direction in which the user is looking is greater than a second predetermined value, the high image quality area expand the area of
The image display system according to claim 5.
請求項１から請求項５のうちいずれか１項に記載の映像表示システム。 The first video data is omnidirectional video data having a 360-degree range around an installation area of the plurality of cameras capable of capturing images in a plurality of different viewing directions,
The image display system according to any one of claims 1 to 5.
請求項１から請求項５のうちいずれか１項に記載の映像表示システム。 The first image data is captured by using the plurality of cameras in which the same subject surrounds the subject and is installed in a plurality of different locations, and is viewed from viewpoints corresponding to the respective viewing ranges of the plurality of cameras. omnidirectional image data having an image of the same subject,
The image display system according to any one of claims 1 to 5.
請求項２から請求項４のうちいずれか１項に記載の映像表示システム。 The image quality is at least one of resolution, frame rate and error correction coding amount,
The image display system according to any one of claims 2 to 4.
前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、
前記映像表示装置との通信帯域を推定し、
前記映像表示装置からユーザが見ている方向を取得し、
前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、
生成された前記第２の映像データを前記映像表示装置に送信する、
映像表示方法。 A video display method performed by a video processing device communicably connected to a video display device and holding a plurality of image data captured by a plurality of cameras,
generating first image data of an installation area of the plurality of cameras using the plurality of imaging data;
estimating a communication band with the video display device;
Acquiring the direction in which the user is looking from the video display device;
generating second video data according to the direction and the estimation result of the communication band from the first video data;
transmitting the generated second video data to the video display device;
Image display method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022028537A JP2023124647A (en) | 2022-02-25 | 2022-02-25 | Video display system, and video display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022028537A JP2023124647A (en) | 2022-02-25 | 2022-02-25 | Video display system, and video display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023124647A true JP2023124647A (en) | 2023-09-06 |
Family
ID=87885962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022028537A Pending JP2023124647A (en) | 2022-02-25 | 2022-02-25 | Video display system, and video display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023124647A (en) |
-
2022
- 2022-02-25 JP JP2022028537A patent/JP2023124647A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8553099B2 (en) | Imaging terminal, display terminal, display method, and imaging system | |
| JP6344723B2 (en) | Video display system, video display device, and video display method | |
| US11284014B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
| CN111066059A (en) | Local tone mapping | |
| KR102386385B1 (en) | Electronic device and method for compressing image thereof | |
| CN107211089B (en) | Tracking system, terminal device, camera device, tracking photographing method, and program | |
| JP2004266317A (en) | Monitoring apparatus | |
| KR20120108747A (en) | Monitoring camera for generating 3 dimensional scene and method thereof | |
| KR102375688B1 (en) | Imaging device, shooting system and shooting method | |
| JP2014007653A (en) | Imaging device, imaging method, imaging system, and program | |
| JP2017060078A (en) | Image recording system, user attachment device, imaging apparatus, image processing system, image recording method, and program | |
| JP5838852B2 (en) | Imaging system, imaging apparatus, imaging method, and program | |
| JP6525740B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD FOR INFORMATION PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, AND PROGRAM | |
| JP6678313B2 (en) | Image display system, image display device, and image display method | |
| US20230069407A1 (en) | Remote operation apparatus and computer-readable medium | |
| JP2023124647A (en) | Video display system, and video display method | |
| JP6004978B2 (en) | Subject image extraction device and subject image extraction / synthesis device | |
| JP2013070129A (en) | Image information extraction apparatus, image transmission apparatus using the same, image receiving apparatus, and image transmission system | |
| US11843846B2 (en) | Information processing apparatus and control method therefor | |
| KR101237975B1 (en) | Image processing apparatus | |
| JP6459517B2 (en) | Imaging device, video transmission device, and video transmission / reception system | |
| JP2016039409A (en) | Image processing device, its control method, program, and storage medium | |
| JP2014236313A (en) | Display controller, display control system, program | |
| KR101204093B1 (en) | Image processing apparatus and controlling method of the same | |
| US10070056B2 (en) | Omnidirectional camera system |