JP2018082318A - Visual saliency map generation device, visual saliency map generation method, and program - Google Patents
Visual saliency map generation device, visual saliency map generation method, and program Download PDFInfo
- Publication number
- JP2018082318A JP2018082318A JP2016223469A JP2016223469A JP2018082318A JP 2018082318 A JP2018082318 A JP 2018082318A JP 2016223469 A JP2016223469 A JP 2016223469A JP 2016223469 A JP2016223469 A JP 2016223469A JP 2018082318 A JP2018082318 A JP 2018082318A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- map
- static
- weighting coefficient
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims description 21
- 238000009826 distribution Methods 0.000 claims abstract description 118
- 230000003068 static effect Effects 0.000 claims abstract description 104
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 9
- 230000002093 peripheral effect Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 230000004397 blinking Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000009434 installation Methods 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 38
- 230000000875 corresponding effect Effects 0.000 description 31
- 210000001508 eye Anatomy 0.000 description 27
- 238000003860 storage Methods 0.000 description 13
- 238000009877 rendering Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、両眼視差画像を生成することで立体画像をヘッドマウントディスプレイへ掲示する方法に関するもので、特には、観察者の視覚特性に基づいた視覚的顕著性マップを生成する視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムに関する。 The present invention relates to a method for displaying a stereoscopic image on a head-mounted display by generating a binocular parallax image, and in particular, a visual saliency for generating a visual saliency map based on the visual characteristics of an observer. The present invention relates to a map generation device, a visual saliency map generation method, and a program.
近年、コンピュータグラフィックス(以下、CGと示す)による映像コンテンツの提示方法の1つとして、左右の眼に独立して両眼視差画像を生成し提示することで立体感を持った映像を提示する立体映像技術が用いられている。ここで、両眼視差画像は、人間の左右の眼が離間していることにより生じる、見えの位置ずれを反映させた画像である。
上述した立体映像技術において、観察者が映像として映しだされた世界に入り込んで没頭する感覚である没入感を、より強く得られるように、例えば、HMD(Head Mounted Display;ヘッドマウントディスプレイ)が用いられている。このHMDは、観察者の左右の眼を覆うレンズに対して、上述した両眼視差画像を提示することにより、広い視野に対応した映像を観察者に対して観察させる装置である。
In recent years, as a method of presenting video content by computer graphics (hereinafter referred to as CG), a stereoscopic image is presented by generating and presenting binocular parallax images independently for the left and right eyes. Stereoscopic image technology is used. Here, the binocular parallax image is an image in which the positional deviation of the appearance caused by the separation of the left and right eyes of a human is reflected.
In the above-described stereoscopic image technology, for example, an HMD (Head Mounted Display) is used so that an immersive feeling, which is a sense of immersing the viewer in the world projected as an image, can be obtained more strongly. It has been. This HMD is a device that allows an observer to observe a video corresponding to a wide visual field by presenting the above-described binocular parallax image to a lens that covers the left and right eyes of the observer.
しかし、HMDにおけるCGで作成した映像コンテンツの提示においては、没入感を維持するために、リアルタイムな立体画像としての映像の提示が必要でとなる。
また、一方、HMDにおける左右の眼を覆うレンズの各々に対して、それぞれ異なる2つ分の両眼視差画像を生成するため、この両眼視差画像の生成の処理を行なう画像生成時間が増加するといった問題が生じている。
However, when presenting video content created by CG in the HMD, it is necessary to present a video as a real-time stereoscopic image in order to maintain an immersive feeling.
On the other hand, since two different binocular parallax images are generated for each of the lenses covering the left and right eyes in the HMD, the image generation time for performing this binocular parallax image generation process increases. Such a problem has arisen.
このため、HMDに視線検出装置を搭載することにより、CGで作成した映像コンテンツを提示する際に、観察者の視線検出を行い、映像コンテンツ上の注視している領域を推定している。そして、推定された注視領域を高解像度とし、注視領域以外の周辺部などを低解像度で画像生成を行う手法(Foveated Renderingと呼ばれる手法)が提案されている(例えば、非特許文献1を参照」)。 For this reason, by mounting a line-of-sight detection device on the HMD, when presenting video content created by CG, the line of sight of the observer is detected to estimate the area being watched on the video content. Then, there has been proposed a method (a method called Foveated Rendering) in which an estimated gaze area is set to a high resolution and a peripheral part other than the gaze area is generated at a low resolution (for example, refer to Non-Patent Document 1). ).
人間の眼は、中心窩と呼ばれる網膜の奥にある窪みにより、中心視野の狭い領域において詳細に画像を検出することができる。一方、中心視野となる注視領域の周辺部の視野領域は、色や動きに反応することができるが、詳細に画像を検出する精度が中心視野に比較して低くなる特徴がある。
したがって、提供する映像コンテンツにおける画像を、注視領域を高解像度として、注視領域以外の周辺部などを低解像度とすることにより、観察者の没入感に影響を与えずに、映像コンテンツの画像の生成速度を向上させることが可能となる。
The human eye can detect an image in detail in a narrow region of the central visual field by a recess at the back of the retina called a central fovea. On the other hand, the visual field area around the gaze area, which is the central visual field, can react to colors and movements, but has a feature that accuracy in detecting an image in detail is lower than that of the central visual field.
Therefore, generating images of video content without affecting the viewer's immersive feeling by providing high-resolution images in the video content provided and low-resolution peripheral areas other than the gaze region. The speed can be improved.
また、注視領域の推定のために、上記非特許文献1と異なり、視線検出装置を用いずに、映像コンテンツの画像に対する観察者の視覚的顕著性を算出する手法もある。この場合、算出された視覚的顕著性の数値に基づき、視覚的顕著性の数値が高い領域を高解像度とし、視覚的顕著性の数値が低い領域を低解像度として、画像生成の際に、画像の領域ごとの精度を変化させる(例えば、非特許文献2を参照)。これにより、非特許文献1と同様に、映像コンテンツにおける画像の生成速度を向上させることができる。
In addition, unlike the
しかしながら、上述した非特許文献1においては、観察者の注視領域推定を行なうための視線検出装置をHMDへと装着する必要があり、視線検出装置を装着するための費用が増加してしまう。
However, in
また、HMDにおけるCGにより生成した映像コンテンツの提示においては、両眼を覆うことで広い視野に対応したレンズを使用している。このため、通常のモニターによる提示よりも、HMDにおいては、中心視野と周辺視野といった視覚特性による注視領域への影響が観察者に対して大きくなる。さらに、観察者の頭部が自由に回転可能であるため、頭部を回転する際の観察者の眼における眼球の移動も考慮する必要がある。
したがって、HMDにおいては、観察者の上述した視覚特性や頭部の回転を考慮して、観察者の画像における各領域の視覚的顕著性の数値を算出する必要がある。非特許文献2における視覚的顕著性の算出方法では、算出された視覚的顕著性の数値の精度が不十分となり、画像の解像度を調整するための判定が十分に行えないという課題がある。
Further, in the presentation of video content generated by CG in the HMD, a lens corresponding to a wide field of view is used by covering both eyes. For this reason, in the HMD, the effect on the gaze area due to the visual characteristics such as the central visual field and the peripheral visual field becomes larger for the observer than the presentation by the normal monitor. Furthermore, since the observer's head can freely rotate, it is necessary to consider the movement of the eyeball in the observer's eye when the head is rotated.
Therefore, in the HMD, it is necessary to calculate the numerical value of the visual saliency of each region in the image of the observer in consideration of the above-described visual characteristics of the observer and the rotation of the head. In the method of calculating visual saliency in
本発明は、このような状況に鑑みてなされたものであり、HMDに対して視線検出装置を装着することなく、かつ観察者の視覚特性や頭部の回転を考慮し、映像コンテンツの両眼視差画像の解像度を調整する視覚的顕著性マップを生成することができる視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a situation, and it is possible to use both eyes of video content without wearing a line-of-sight detection device with respect to the HMD and taking into consideration the visual characteristics of the observer and the rotation of the head. An object of the present invention is to provide a visual saliency map generation device, a visual saliency map generation method, and a program capable of generating a visual saliency map that adjusts the resolution of a parallax image.
上述した課題を解決するために、本発明の視覚的顕著性マップ生成装置は、立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置であり、3次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出部と、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成部と、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成部と、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成部とを備えることを特徴とする。 In order to solve the above-described problem, the visual saliency map generation apparatus of the present invention generates a binocular parallax image of a moving image for displaying a stereoscopic image on a head-mounted display. A visual saliency map generation device that generates a visual saliency map set for each region, and a feature extraction unit that extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data; A static weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in human visual characteristics, a weighting coefficient distribution creating unit for obtaining each of the dynamic weighting coefficient distribution maps, and a feature amount of the static feature map, A static feature-specific saliency map is generated by adjusting the weighting factor of the static weighting factor distribution map, and the feature amount of the dynamic feature map is added to the dynamic weighting A feature-specific saliency map generation unit that generates a saliency map by dynamic feature by adjusting with a weighting coefficient of a coefficient distribution map, and synthesizes each of the saliency map by static feature and the saliency map by dynamic feature And a visual saliency map generation unit for generating a visual saliency map.
本発明の視覚的顕著性マップ生成装置は、前記特徴別顕著性マップ生成部が、前記静的特徴マップの画素の特徴量に対し、前記静的重み付け係数分布マップの重み付け係数を乗算し、前記動的特徴マップの画素の特徴量に対し、前記動的重み付け係数分布マップの重み付け係数を乗算して、静的特徴別顕著性マップ、動的特別徴顕著性マップを生成することを特徴とする。 In the visual saliency map generation device of the present invention, the feature-specific saliency map generation unit multiplies the feature amount of a pixel of the static feature map by a weighting coefficient of the static weighting coefficient distribution map, and A feature amount of a pixel of a dynamic feature map is multiplied by a weighting factor of the dynamic weighting factor distribution map to generate a static feature-specific saliency map and a dynamic special feature saliency map. .
本発明の視覚的顕著性マップ生成装置は、3次元立体データから前記両眼視差画像に対応し、より低分解能の低分解能画像を生成する低解像度画像生成部をさらに備え、前記特徴抽出部が、前記低分解能画像から前記静的特徴マップ及び前記動的特徴マップを抽出することを特徴とする。 The visual saliency map generation apparatus of the present invention further includes a low-resolution image generation unit that generates a lower-resolution image corresponding to the binocular parallax image from three-dimensional stereoscopic data, and the feature extraction unit includes The static feature map and the dynamic feature map are extracted from the low resolution image.
本発明の視覚的顕著性マップ生成装置は、前記重み付け係数分布作成部が、前記ヘッドマウントディスプレイの回転動作に応じて、前記静的重み付け係数分布マップ及び動的重み付け係数分布マップの各々の重み付け係数の分布の形状を生成することを特徴とする。 In the visual saliency map generation device according to the present invention, the weighting coefficient distribution creating unit is configured so that each of the weighting coefficients of the static weighting coefficient distribution map and the dynamic weighting coefficient distribution map corresponds to a rotation operation of the head mounted display. It is characterized in that the shape of the distribution is generated.
本発明の視覚的顕著性マップ生成装置は、前記静的特徴が少なくとも輝度特徴、色彩特徴、方向特徴を含み、前記動的特徴が少なくとも点滅特徴、運動特徴を含んでいることを特徴とする。 The visual saliency map generating apparatus of the present invention is characterized in that the static feature includes at least a luminance feature, a color feature, and a direction feature, and the dynamic feature includes at least a blinking feature and a motion feature.
本発明の視覚的顕著性マップ生成装置は、前記静的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に低く設定され、前記動的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に高く設定されていることを特徴とする。 In the visual saliency map generation device of the present invention, in the static weighting coefficient distribution map, the weighting coefficient is gradually set lower from the central part toward the outer peripheral part, and in the dynamic weighting coefficient distribution map, the weighting coefficient is in the center. It is characterized by being gradually set higher from the outer part to the outer peripheral part.
本発明の視覚的顕著性マップ生成方法は、立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成方法であり、特徴抽出部が、3次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出過程と、重み付け係数分布作成部が、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成過程と、特徴別顕著性マップ生成部が、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成過程と、視覚的顕著性マップ生成部が、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成過程とを含むことを特徴とする。 According to the visual saliency map generation method of the present invention, when creating a binocular parallax image of a moving image for displaying a stereoscopic image on a head-mounted display, the visual saliency is set for each region in the resolution of the binocular parallax image. A visual saliency map generation method for generating a map, wherein a feature extraction unit extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data, and weighting coefficient distribution A weighting coefficient distribution creating process for obtaining a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in human visual characteristics, and a feature-specific saliency map generating section. Adjusts the feature quantity of the static feature map by the weighting coefficient of the static weighting coefficient distribution map to generate a saliency map for each static feature, A feature-specific saliency map generation process for generating a saliency map by dynamic feature by adjusting a feature amount of the dynamic feature map by a weighting coefficient of the dynamic weighting coefficient distribution map, and a visual saliency map generation unit, And a visual saliency map generation process for generating a visual saliency map by synthesizing each of the static feature-specific saliency map and the dynamic feature-specific saliency map.
本発明のプログラムは、立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置の機能をコンピュータに実行させるプログラムであり、前記コンピュータを、3次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出手段、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成手段、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成手段、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成手段として機能させるためのプログラムである。 The program of the present invention generates a visual saliency map that sets the resolution of the binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. A program for causing a computer to execute the function of a saliency map generation device, wherein the computer extracts feature extraction means for extracting a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data, human vision Static weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in characteristics, weighting coefficient distribution creating means for obtaining each of dynamic weighting coefficient distribution maps, and feature quantity of static feature map A saliency map for each static feature is generated by adjusting the weighting coefficient of the distribution map, and the feature amount of the dynamic feature map is A feature-specific saliency map generating means for generating a saliency map classified by dynamic features by adjusting with a weighting coefficient of the dynamic weighting factor distribution map, a saliency map classified by static features, and a saliency map classified by dynamic features It is a program for combining each of them to function as a visual saliency map generation means for generating a visual saliency map.
以上説明したように、本発明によれば、HMDに対して視線検出装置を装着することなく、かつ観察者の視覚特性や頭部の回転を考慮し、映像コンテンツの両眼視差画像の解像度を調整する視覚的顕著性マップを生成することができる視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムを提供することができる。 As described above, according to the present invention, the resolution of the binocular parallax image of the video content can be reduced without wearing the line-of-sight detection device with respect to the HMD and taking into consideration the visual characteristics of the observer and the rotation of the head. A visual saliency map generation apparatus, a visual saliency map generation method, and a program capable of generating a visual saliency map to be adjusted can be provided.
以下、本発明の視覚的顕著性マップ生成装置の実施形態について図面を用いて説明する。図1は、本発明の一実施形態である視覚的顕著性マップ生成装置を用いた両眼視差画像生成システムの概略構成を示すブロック図である。両眼視差画像生成システム100は、視覚的顕著性マップ生成装置1と、操作部101と、両眼視差画像生成部102及び画像記憶部103の各々を備えている。
Hereinafter, an embodiment of a visual saliency map generation apparatus of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a binocular parallax image generation system using a visual saliency map generation apparatus according to an embodiment of the present invention. The binocular parallax
視覚的顕著性マップ生成装置1は、両眼視差画像生成部102が3次元空間における3次元画像(立体画像)データから両眼視差画像を生成する際に用いる視覚的顕著性マップを生成する。
操作部101は、観察者により入力される操作情報に対応して、映像コンテンツの選択などを行なう。
両眼視差画像生成部102は、操作情報に対応した映像コンテンツを生成するため、3次元画像データを画像記憶部103から読み出す。そして、両眼視差画像生成部102は、視覚的顕著性マップ生成装置1から供給される視覚的顕著性マップに対応し、解像度が領域毎に設定された両眼視差画像を3次元画像データから、3次元空間における頭部の姿勢や位置に対応した視点(観察者の視点)に応じて生成する。
画像記憶部103は、映像コンテンツとしての両眼視差画像を生成するための複数の3次元画像データが予め書き込まれて記憶されている。
The visual saliency
The
The binocular parallax
In the
HMD200は、頭部情報取得部210と、表示部220との各々を備えている。頭部情報取得部210は、HMD200の回転情報、すなわちHMD200を装着している観察者の頭部の回転の動き状態を示す情報(回転速度、回転方向などの)としての回転情報を検出する。そして、頭部情報取得部210は、検出した回転情報を視覚的顕著性マップ生成装置1に対して出力する。表示部220は、両眼視差画像生成システム100から供給される両眼視差画像を、左右各々の表示画面に表示する。
The HMD 200 includes a head
また、視覚的顕著性マップ生成装置1は、低解像度画像生成部11、特徴抽出部12、重み付け係数分布作成部13、重み付け特徴マップ生成部14、特徴別顕著性マップ生成部15、視覚的顕著性マップ生成部16及び重み付け係数分布記憶部17の各々を備えている。
低解像度画像生成部11は、画像記憶部103における3次元画像データを参照し、上記視点に対応した両眼視差画像を求める3次元画像データから、実際に作成する両眼視差画像より低解像度の低解像度画像を生成する。本実施形態においては、ガウシアンピラミッドを生成するため、同一の両眼視差画像に対応した7解像度分(σ∈{2,3,4,5,6,7,8})の低解像度画像を生成する。ここで、σ=0の画像は、両眼視差画像に対応している。σ=n(n≠0)の低解像度画像は、σ=n−1の画像においてガウシアンフィルタによるぼかし処理と縦横それぞれの画素において一つ置きにサンプリングとを行なった画像である。例えば、σ=2は、縦横それぞれの解像度が1/4となり、画像全体としては1/16のデータ量となっている。本実施形態においては、3次元画像データからσ=2の低解像度画像を生成し、ぼかし処理とダウンサンプリングとによりσ∈{3,4,5,6,7,8}の低解像度画像を生成する。
The visual saliency
The low-resolution
特徴抽出部12は、低解像度画像生成部11の生成した各解像度の低解像度画像の各々から、それぞれ静的特徴及び動的特徴を抽出する。ここで、静的特徴とは、輝度特徴、色彩特徴(Lab色空間におけるa:赤色−緑色、b:青色−黄色)、方向特徴(上下左右の領域におけるエッジの位置)である。輝度特徴が1種類、色彩特徴が2種類、方向特徴が4種類であるため、静的特徴は7種類の特徴を有している。また、動的特徴とは、点滅特徴(点滅を示す画像)、運動特徴(上下左右の領域における変化)である。点滅特徴が1種類であり、運動特徴が4種類であるため、動的特徴は、5種類の特徴を示している。
The
また、特徴抽出部12は、それぞれの解像度の組合わせ毎に、上述した特徴を抽出して特徴別のガウシアンピラミッド(特徴別ガウシアンピラミッド)を生成する。そして、特徴抽出部12は、静的特徴及び動的特徴の特徴別ガウシアンピラミッドに基づき、解像度の組合わせが6種類であり、特徴が静的特徴及び動的特徴を合わせて12種類である、全体で72種類の特徴マップを生成する。ここで、解像度の組合わせとは、組み合わせる解像度をcとsとした場合、c={2,3,4}と、s=c+δ(δ={3,4})との低解像度画像の6種類の組合わせである。
The
上述した低解像度画像生成部11及び特徴抽出部12の各々による低解像度画像からの特徴抽出において、静的特徴の抽出については、文献1(A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998)の方法に基づいている。また、静的特徴に対して動的特徴の抽出については、文献2(Realistic Avatar Eye and Head Animation Using a Neurobiological Model of Visual Attention, In: Proc. SPIE 48th Annual International Symposium on Optical Science and Technology, Vol. 5200, pp. 64-78, 2003)の方法に基づいている。
In the feature extraction from the low-resolution image by each of the above-described low-resolution
重み付け係数分布作成部13は、人間の視覚特性及びHMD200の回転情報に応じた特徴マップ重み付け係数分布マップの生成を行なう。ここで、視覚特性は、人間の眼における錐体細胞と桿体細胞との分布の違いから、中心視野領域と周辺視野領域とで反応しやすい特徴が異なる特性である。例えば、中心視野領域においては輝度特徴、色彩特徴、方向特徴といった静的特徴に強く反応し、周辺視野領域においては運動特徴や点滅特徴といった動的特徴に強く反応するという特性を有している。
The weighting coefficient
図2は、HMD200を装着した観察者の頭部が静止状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。図2において、静的重み付け係数分布マップ500が左眼用であり、静的重み付け係数分布マップ600が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。上述したように、中心視野領域501、601が周辺視野領域502、503、602、603に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなる。本実施形態においては、静的重み付け係数分布マップ500及び静的重み付け係数分布マップ600の各々が中心に対して円上の分布として形成されているが、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなるように設定されていれば、分布はどのような形状でも良い。
FIG. 2 is a diagram showing a static weighting coefficient distribution map for a feature map of static features when the head of an observer wearing the
また、観察者の頭部が静止状態であれば、文献3(周辺視野特性を考慮した顕著性マップの作成,情報処理学会第78回全国大会,2016年)に示されているように、コントラスト感度特性(Contrast Sensitivity Function:CSF)と皮質拡大係数(Cortical Magnification Factor:CMF)とに基づいて、重み付け係数を計算する。また、観察者の頭部が静止状態である際の動的特徴の特徴マップには、図2に示すような画像中心部に向かうほど円形に特徴マップの値を減少させる重み付け係数となる静的重み付け係数分布マップ600を使用する。
If the observer's head is still, as shown in Reference 3 (Creation of saliency map considering peripheral visual field characteristics, IPSJ 78th National Convention, 2016), contrast is shown. A weighting factor is calculated based on a sensitivity characteristic (Contrast Sensitivity Function: CSF) and a cortical magnification factor (CMF). Further, in the feature map of the dynamic feature when the observer's head is in a stationary state, a static weight that becomes a weighting coefficient that decreases the value of the feature map in a circle toward the center of the image as shown in FIG. A weighting
図3は、HMD200を装着した観察者の頭部が静止状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。図3において、動的重み付け係数分布マップ550が左眼用であり、動的重み付け係数分布マップ650が右眼用である。図2の場合と同様に、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。上述したように、中心視野領域551、651が周辺視野領域552、553、652、653に比較して重み付け係数が低く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が高くなる。本実施形態においては、動的重み付け係数分布マップ550及び静的重み付け係数分布マップ650の各々が中心に対して円上の分布として形成されているが、図2と同様に、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなるように設定されていれば、分布はどのような形状でも良い。
FIG. 3 is a diagram showing a dynamic weighting coefficient distribution map for a feature map of dynamic features when the head of an observer wearing the
図4は、HMD200を装着した観察者の頭部が回転状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。図4において、静的重み付け係数分布マップ520が左眼用であり、静的重み付け係数分布マップ620が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。図2の場合と同様に、中心視野領域521、621が周辺視野領域522、523、622、623に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなる。本実施形態においては、観察者が頭部を回転させる際の回転角速度に応じて、重み付け係数の分布の形状を変化させている。図4の場合、観察者が頭部を右方向に回転させている、すなわちHMD200が右方向に回転している状態を示している。
FIG. 4 is a diagram showing a static weighting coefficient distribution map for a feature map of static features when the head of an observer wearing the
頭部回転の特性としては、HMD200の装着時は、頭部を自由に回転可能であるという点と、基本的に頭部と眼球とは協調して動くという点から、観察者の頭部の動き(回転)が少ない場合には、HMD200の方向(レンズ中心に対応する)と視線方向(中心視野領域)とはほぼ一致している特性とする(図2の場合)。一方、観察者の頭部の動きが大きい場合には、HMD200の動きの方向(レンズ中心からHMDの加速度に応じて移動した位置に対応する)に視線方向(中心視野領域)がずれるという特性とする(図4の場合には右側)。したがって、回転角速度の大きさ(回転状態)によって、観察者の視点が頭部の動く方向(図4の場合には右側)にずれているため、重み付け係数分布作成部13は、図4に示すように回転角速度に対応した静的重み付け係数分布マップを準備するか、その都度、所定の演算式により静的重み付け係数分布マップを算出して求める。
The characteristics of the head rotation are that when the
図5は、HMD200を装着した観察者の頭部が回転状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。図5において、動的重み付け係数分布マップ570が左眼用であり、動的重み付け係数分布マップ670が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。図4の場合と同様に、中心視野領域571、671が周辺視野領域572、573、672、673に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が高くなる。本実施形態においては、図4の場合と同様に、観察者が頭部を回転させる際の回転角速度に応じて、重み付け係数の分布の形状を変化させている。図5の場合、観察者が頭部を右方向に回転させている、すなわちHMD200が右方向に回転している状態を示している。
FIG. 5 is a diagram showing a dynamic weighting coefficient distribution map for a feature map of dynamic features when the head of the observer wearing the
上述したように、観察者の頭部が回転している際の特徴マップには、図5および図6に示すような頭部の角速度に基づいて円形の重み付け係数の分布をずらした重み付け係数分布マップを算出する。例えば、観察者の頭部回転におけるロール軸とヨー軸の角速度を、画像上の向きと大きさに対応付けることで、円形の分布の中心位置をずらすように移動させる。 As described above, in the feature map when the observer's head is rotating, the weighting coefficient distribution in which the distribution of the circular weighting coefficients is shifted based on the angular velocity of the head as shown in FIGS. Calculate the map. For example, the angular velocity of the roll axis and the yaw axis in the observer's head rotation is correlated with the orientation and size on the image, and the center position of the circular distribution is shifted.
図1に戻り、重み付け特徴マップ生成部14は、静的特徴の特徴マップに対し、静的重み付け係数分布マップを加重し、静的特徴の特徴マップの特徴量を調整して静的特徴の重み付け特徴マップを作成する。また、重み付け特徴マップ生成部14は、動的特徴の特徴マップに対し、動的重み付け係数分布マップを加重し、動的特徴の特徴マップの特徴量を調整して動的特徴の重み付け特徴マップを作成する。重み付け特徴マップ生成部14は、例えば、特徴マップの各画素の特徴量に対して、この画素の領域に対応する重み付け係数を乗算し、ガウシアンピラミッドに対応させて、すなわち、(c,s)=(2,5)、(2,6)、(3,6)、(3,7)、(4,7)、(4,8)の組合わせに対応して、静的及び動的の各々の重み付け特徴マップを作成する。
Returning to FIG. 1, the weighting feature
特徴別顕著性マップ生成部15は、特徴(静的特徴及び動的特徴)毎に、それぞれガウシアンピラミッドにおける各階層、すなわち(c,s)=(2,5)、(2,6)、(3,6)、(3,7)、(4,7)、(4,8)の組合わせに対応した重み付け特徴マップを合成する。ここで、特徴マップは、解像度が大きい方に合わせて算出して生成するため、ガウシアンピラミッドとしては、σ={2,3,4}における階層と対応している。このとき、特徴別顕著性マップ生成部15は、各解像度の重み付け特徴マップを両眼視差画像の縦横に合わせた解像度の画素数に拡張し、かつ文献1及び文献2に示されているように、正規化を行なった後に、それぞれの画素毎の対応する重み付けされた特徴量を積算することで、特徴別顕著性マップを生成する。ここで、正規化とは、例えば、両眼視差画像の縦横に合わせた解像度の画素数に拡張した重み付け特徴マップにおいて、特徴量が均一な場合に特徴量を所定の数値に平滑化し、一方、特徴量が他の領域に比較して高い領域がある場合、その領域の特徴量を所定の割合で高くするなどの処理である。
For each feature (static feature and dynamic feature), the feature-specific saliency
視覚的顕著性マップ生成部16は、特徴別顕著性マップ生成部15の生成した特徴(静的特徴及び動的特徴)毎の特徴別顕著性マップを合成し、視覚的顕著性マップを生成する。このとき、視覚的顕著性マップ生成部16は、すでに述べた特徴別顕著性マップ生成部15による特徴別顕著性マップの生成の場合と同様に、各特徴の特徴別顕著性マップの正規化を行なった後に、それぞれの画素毎の対応する特徴量を積算することで、視覚的顕著性マップを生成する。
The visual saliency
図6は、本実施形態の視覚的顕著性マップ生成装置1による視覚的顕著性マップを生成する処理の動作例を示すフローチャートである。以下、図1及び図6を用いて、視覚的顕著性マップ生成装置1による視覚的顕著性マップを生成する処理の説明を行なう。
ステップS1:
低解像度画像生成部11は、操作部101から供給される観察者の選択した映像コンテンツの動画像に対応する3次元画像データを画像記憶部103から読み込む。
そして、低解像度画像生成部11は、読み出した3次元画像データから、観察者の視点方向に対応した画像として、σ=2の低解像度画像を生成し、ぼかし処理とダウンサンプリングとにより、σ=3からσ=8までの計7種類の解像度の低解像度画像の各々を生成する。
FIG. 6 is a flowchart showing an operation example of processing for generating a visual saliency map by the visual saliency
Step S1:
The low-resolution
Then, the low-resolution
ステップS2:
特徴抽出部12は、低解像度画像生成部11が生成した低解像度画像の各々から、画像の静的特徴及び動的特徴、すなわち12種類の特徴別のガウシアンピラミッドを生成する。
Step S2:
The
ステップS3:
そして、特徴抽出部12は、生成した特徴別ガウシアンピラミッドから、それぞれの特徴の特徴マップを、解像度の組合わせに対応させて生成する。
Step S3:
The
ステップS4:
重み付け係数分布作成部13は、HMD200の頭部情報取得部210から、HMD200の回転状態(すなわち、観察者の頭部の回転状態)を示す回転情報を読み込む。
そして、重み付け係数分布作成部13は、重み付け係数分布記憶部17の重み付けテーブルから、上記回転状態に応じた動的及び静的の各々の重み付け係数分布マップを読み出す。
Step S4:
The weighting coefficient
Then, the weighting coefficient
図7は、重み付け係数分布記憶部17に記憶されている重み付けテーブルの構成を示す図である。図7(a)は、静的特徴に対する重み付け係数分布マップの重み付けテーブルである。この図7(a)の重み付けテーブルには、レコード毎に、回転状態に対応した輝度特徴、色彩特徴(a:赤色−青色)、色彩特徴(b:青色−黄色)、方向特徴(上)、方向特徴(下)、方向特徴(左)、方向特徴(右)の各々の重み付け係数分布マップが設定されている。
また、図7(b)は、動的特徴に対する重み付け係数分布マップの重み付けテーブルである。この図7(b)の重み付けテーブルには、レコード毎に、回転状態に対応した点滅特徴、運動特徴(上)、運動特徴(下)、運動特徴(左)、運動特徴(右)の各々の重み付け係数分布マップが設定されている。
FIG. 7 is a diagram illustrating a configuration of a weighting table stored in the weighting coefficient
FIG. 7B is a weighting table of a weighting coefficient distribution map for dynamic features. In the weighting table of FIG. 7B, for each record, each of the blinking feature, motion feature (up), motion feature (bottom), motion feature (left), and motion feature (right) corresponding to the rotation state is recorded. A weighting coefficient distribution map is set.
本実施形態においては、重み付け係数分布作成部13の行なう重み付け係数分布マップの作成を、重み付けテーブルの参照を例として説明したが、所定の関係式により、それぞれの特徴に対応した重み付け係数分布マップを生成する構成としても良い。また、静的特徴の各々と動的特徴の各々とに対して重み付け係数分布マップを設ける構成としたが、性的特徴と動的特徴との各々に対応して一個ずつの重み付け係数分布マップを設ける構成としても良い。
In the present embodiment, the creation of the weighting coefficient distribution map performed by the weighting coefficient
ステップS5:
重み付け特徴マップ生成部14は、静的特徴の特徴マップの各々に対して、それぞれの特徴に対応する重み付け係数分布マップを加重して(図2から図5の各々)、静的特徴の各々の重み付け特徴マップを生成する。同様に、重み付け特徴マップ生成部14は、動的特徴の特徴マップの各々に対して、それぞれの特徴に対応する重み付け係数分布マップを加重して、動的特徴の各々の重み付け特徴マップを生成する。
Step S5:
The weighting feature
ステップS6:
特徴別顕著性マップ生成部15は、静的特徴及び動的特徴における特徴毎に、それぞれの重み付け特徴マップを正規化し、正規化した重み付け特徴マップを合成し、特徴別顕著性マップを生成する。
Step S6:
The feature-specific saliency
ステップS7:
視覚的顕著性マップ生成部16は、静的特徴及び動的特徴における特徴毎の特徴別顕著性マップを正規化し、正規化した特徴別顕著性マップを合成し、視覚的顕著性マップを生成する。
Step S7:
The visual saliency
そして、視覚的顕著性マップ生成装置1は、両眼視差画像生成部102が映像コンテンツの動画像として、3次元画像データをレンダリングして両眼視差画像を生成する際に、画像の各領域の解像度を調整するために用いる視覚的顕著性マップを生成する。
そして、両眼視差画像生成部102は、両眼視差画像をレンダリングする際、この両眼視差画像に対応して生成された視覚的顕著性マップに示された視覚的顕著性の数値の分布に応じて、領域毎に解像度の異なる両眼視差画像を生成する。
また、解像度を調整するのではなく、視覚的顕著性マップに対応させて、両眼視差画像の各領域のレンダリングにおいて、光の反射などの表現の品質を調整する構成としても良い。すなわち、視覚的顕著性の低い領域は、視覚的顕著性の高い領域に比較して、レンダリングの品質を低下させ、レンダリングのパフォーマンスを向上(レンダリング時間の短縮)させる。
Then, when the binocular parallax
Then, when rendering the binocular parallax image, the binocular parallax
Further, instead of adjusting the resolution, the quality of expression such as light reflection may be adjusted in rendering each region of the binocular parallax image in correspondence with the visual saliency map. That is, a region with low visual saliency reduces rendering quality and improves rendering performance (rendering time is shortened) compared to a region with high visual saliency.
上述したように、本実施形態においては、静的特徴及び動的特徴の各々に対して、人間の眼の視覚特性に対応した重み付け係数を用い、この重み付け係数の分布を観察者の頭部の回転状態により変更するため、人間の視覚特性に対応し、かつ観察者の視線方向に対応した視覚的顕著性を示す視覚的顕著性マップを容易に作成することができる。
これにより、本実施形態においては、上述した視覚的顕著性マップを用いることにより、HMDに対して供給する両眼視差画像を、HMDに対して視線検出装置を設けず、観察者の視線方向に精度良く対応した解像度(視覚的顕著性の低い領域が視覚的顕著性の高い領域に比較して解像度を低く生成した)の領域からなる両眼視差画像を、レンダリング時間を短縮することで、リアルタイムにHMDに対して供給することができる。
As described above, in the present embodiment, the weighting coefficient corresponding to the visual characteristic of the human eye is used for each of the static feature and the dynamic feature, and the distribution of this weighting factor is calculated on the head of the observer. Since it changes depending on the rotation state, a visual saliency map corresponding to human visual characteristics and showing visual saliency corresponding to the viewing direction of the observer can be easily created.
Thereby, in this embodiment, by using the above-described visual saliency map, the binocular parallax image supplied to the HMD is not provided with a line-of-sight detection device for the HMD, and is in the direction of the observer's line of sight. Real-time binocular parallax images consisting of areas with resolutions that correspond with high precision (areas with low visual saliency are generated with lower resolution than areas with high visual saliency) by reducing rendering time Can be supplied to the HMD.
なお、本発明における図1の視覚的顕著性マップ生成装置1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視覚的顕著性マップを生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
Note that a program for realizing the function of the visual saliency
The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせを含む。
The embodiment of the present invention has been described so far. However, the above embodiment is merely an example, and the present invention is not limited to the above-described embodiment, and may be implemented in various forms within the scope of the technical idea. Needless to say, it is good.
In addition, the scope of the present invention is not limited to the illustrated and described exemplary embodiments, and includes all embodiments that provide the same effects as those intended by the present invention. Furthermore, the scope of the invention is not limited to the combinations of features of the invention defined by the claims, but includes any desired combination of specific features among all the disclosed features.
観察者が頭部を自由に回転させ、観察者の視点を移動させることが出来るリアルタイム3次元映像は、医療分野やエンターテイメント業界でインタラクティブな映像コンテンツを提示する際に大いに需要がある。
このような背景の中、より没入感を観察者に与えるためには、リアルタイムに高精細な立体画像を提示する必要がある。本発明により、視線検出装置を使用せずに、ヒトの視覚特性に基づいて必要性の少ない画像生成のコストを削減することが可能であり、リアルタイム性の確保に貢献できる。
Real-time three-dimensional images that allow an observer to freely rotate the head and move the observer's viewpoint are in great demand when presenting interactive video content in the medical field or entertainment industry.
In such a background, it is necessary to present a high-definition stereoscopic image in real time in order to give the viewer a more immersive feeling. According to the present invention, it is possible to reduce the cost of image generation that is less necessary based on human visual characteristics without using a line-of-sight detection device, and contribute to securing real-time performance.
1…視覚的顕著性マップ生成装置
11…低解像度画像生成部
12…特徴抽出部
13…重み付け係数分布作成部
14…重み付け特徴マップ生成部
15…特徴別顕著性マップ生成部
16…視覚的顕著性マップ生成部
17…重み付け係数分布記憶部
100…両眼視差画像生成システム
101…操作部
102…両眼視差画像生成部
103…画像記憶部
200…HMD
210…頭部情報取得部
220…表示部
DESCRIPTION OF
210: Head
Claims (8)
3次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出部と、
人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成部と、
前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成部と、
前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成部と
を備えることを特徴とする視覚的顕著性マップ生成装置。 A visual saliency map generation device that generates a visual saliency map that sets a resolution of each binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. Yes,
A feature extraction unit that extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data;
A weighting coefficient distribution creating unit for obtaining a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in human visual characteristics;
The feature quantity of the static feature map is adjusted by the weighting coefficient of the static weighting coefficient distribution map to generate a saliency map for each static feature, and the feature quantity of the dynamic feature map is converted to the dynamic weighting coefficient. A feature-specific saliency map generation unit that generates a saliency map by dynamic feature by adjusting the weighting coefficient of the distribution map;
A visual saliency map generating unit that synthesizes each of the static feature-specific saliency map and the dynamic feature-specific saliency map to generate a visual saliency map; Sex map generator.
ことを特徴とする請求項1に記載の視覚的顕著性マップ生成装置。 The feature-specific saliency map generation unit multiplies the feature amount of the pixel of the static feature map by the weighting factor of the static weighting factor distribution map, and for the feature amount of the pixel of the dynamic feature map, The visual saliency map generation according to claim 1, wherein the saliency map by static feature and the saliency map by dynamic feature are generated by multiplying the weighting factors of the dynamic weighting factor distribution map. apparatus.
前記特徴抽出部が、前記低分解能画像から前記静的特徴マップ及び前記動的特徴マップを抽出する
ことを特徴とする請求項1または請求項2に記載の視覚的顕著性マップ生成装置。 A low-resolution image generation unit that corresponds to the binocular parallax image from three-dimensional stereoscopic data and generates a low-resolution low-resolution image;
The visual saliency map generation device according to claim 1 or 2, wherein the feature extraction unit extracts the static feature map and the dynamic feature map from the low-resolution image.
ことを特徴とする請求項1から請求項3のいずれか一項に記載の視覚的顕著性マップ生成装置。 The weighting coefficient distribution creating unit generates a weighting coefficient distribution shape of each of the static weighting coefficient distribution map and the dynamic weighting coefficient distribution map in accordance with a rotation operation of the head mounted display. The visual saliency map generation device according to any one of claims 1 to 3.
ことを特徴とする請求項1から請求項4のいずれか一項に記載の視覚的顕著性マップ生成装置。 The static feature includes at least a luminance feature, a color feature, and a direction feature, and the dynamic feature includes at least a blinking feature and a motion feature. The visual saliency map generator described.
ことを特徴とする請求項1から請求項5のいずれか一項に記載の視覚的顕著性マップ生成装置。 In the static weighting coefficient distribution map, the weighting coefficient is set gradually lower from the central part to the outer peripheral part, and in the dynamic weighting coefficient distribution map, the weighting coefficient is set gradually higher from the central part to the outer peripheral part. The visual saliency map generation device according to any one of claims 1 to 5, wherein the visual saliency map generation device is provided.
特徴抽出部が、3次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出過程と、
重み付け係数分布作成部が、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成過程と、
特徴別顕著性マップ生成部が、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成過程と、
視覚的顕著性マップ生成部が、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成過程と
を含むことを特徴とする視覚的顕著性マップ生成方法。 A visual saliency map generation method for generating a visual saliency map that sets a resolution of the binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. Yes,
A feature extraction process in which a feature extraction unit extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data;
A weighting coefficient distribution creating unit that obtains a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of static and dynamic features in human visual characteristics;
A feature-specific saliency map generation unit generates a static feature-specific saliency map by adjusting a feature amount of the static feature map by a weighting coefficient of the static weighting coefficient distribution map, and A feature-specific saliency map generation process in which a feature amount is adjusted by a weighting coefficient of the dynamic weighting coefficient distribution map to generate a saliency map by dynamic characteristics;
A visual saliency map generating unit that generates a visual saliency map by synthesizing each of the static feature-specific saliency map and the dynamic feature-specific saliency map; A visual saliency map generation method comprising:
前記コンピュータを、
3次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出手段、
人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成手段、
前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成手段、
前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成手段
として機能させるためのプログラム。 A visual saliency map generation device that generates a visual saliency map that sets a resolution of a binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. A program that causes a computer to execute functions,
The computer,
Feature extraction means for extracting a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data;
A weighting coefficient distribution creating means for obtaining a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of a static feature and a dynamic feature in human visual characteristics,
The feature quantity of the static feature map is adjusted by the weighting coefficient of the static weighting coefficient distribution map to generate a saliency map for each static feature, and the feature quantity of the dynamic feature map is converted to the dynamic weighting coefficient. A feature-specific saliency map generating means for generating a dynamic feature-specific saliency map by adjusting the weighting coefficient of the distribution map;
A program for functioning as visual saliency map generation means for generating a visual saliency map by synthesizing each of the static feature-specific saliency map and the dynamic feature-specific saliency map.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016223469A JP6844210B2 (en) | 2016-11-16 | 2016-11-16 | Visual saliency map generator, visual saliency map generation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016223469A JP6844210B2 (en) | 2016-11-16 | 2016-11-16 | Visual saliency map generator, visual saliency map generation method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018082318A true JP2018082318A (en) | 2018-05-24 |
JP6844210B2 JP6844210B2 (en) | 2021-03-17 |
Family
ID=62197926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016223469A Active JP6844210B2 (en) | 2016-11-16 | 2016-11-16 | Visual saliency map generator, visual saliency map generation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6844210B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042807A (en) * | 2018-09-06 | 2020-03-19 | 株式会社ソニー・インタラクティブエンタテインメント | Foveated rendering system and method |
WO2020085549A1 (en) * | 2018-10-26 | 2020-04-30 | Samsung Electronics Co., Ltd. | Method and device for adjusting resolution of hmd apparatus |
CN112767546A (en) * | 2021-01-22 | 2021-05-07 | 湖南大学 | Binocular image-based visual map generation method for mobile robot |
WO2022198175A1 (en) * | 2021-03-16 | 2022-09-22 | Argo AI, LLC | Systems and methods for generating object detection labels using foveated image magnification for autonomous driving |
US11733651B2 (en) | 2020-08-28 | 2023-08-22 | Samsung Electronics Co., Ltd. | Holographic display apparatus and operating method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039778A (en) * | 2009-08-11 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | Moving image content evaluation device and computer program |
JP2012249038A (en) * | 2011-05-27 | 2012-12-13 | Hitachi Consumer Electronics Co Ltd | Image signal processing apparatus and image signal processing method |
JP2014222874A (en) * | 2008-10-09 | 2014-11-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for converting 2d image to 3d image based on visual attention |
WO2015193287A1 (en) * | 2014-06-17 | 2015-12-23 | Thomson Licensing | A method and a display device with pixel repartition optimization |
-
2016
- 2016-11-16 JP JP2016223469A patent/JP6844210B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014222874A (en) * | 2008-10-09 | 2014-11-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for converting 2d image to 3d image based on visual attention |
JP2011039778A (en) * | 2009-08-11 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | Moving image content evaluation device and computer program |
JP2012249038A (en) * | 2011-05-27 | 2012-12-13 | Hitachi Consumer Electronics Co Ltd | Image signal processing apparatus and image signal processing method |
WO2015193287A1 (en) * | 2014-06-17 | 2015-12-23 | Thomson Licensing | A method and a display device with pixel repartition optimization |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042807A (en) * | 2018-09-06 | 2020-03-19 | 株式会社ソニー・インタラクティブエンタテインメント | Foveated rendering system and method |
JP7420510B2 (en) | 2018-09-06 | 2024-01-23 | 株式会社ソニー・インタラクティブエンタテインメント | Foveated rendering system and method |
WO2020085549A1 (en) * | 2018-10-26 | 2020-04-30 | Samsung Electronics Co., Ltd. | Method and device for adjusting resolution of hmd apparatus |
US11416964B2 (en) | 2018-10-26 | 2022-08-16 | Samsung Electronics Co., Ltd. | Method and device for adjusting resolution of HMD apparatus |
US11733651B2 (en) | 2020-08-28 | 2023-08-22 | Samsung Electronics Co., Ltd. | Holographic display apparatus and operating method thereof |
CN112767546A (en) * | 2021-01-22 | 2021-05-07 | 湖南大学 | Binocular image-based visual map generation method for mobile robot |
CN112767546B (en) * | 2021-01-22 | 2022-08-02 | 湖南大学 | Binocular image-based visual map generation method for mobile robot |
WO2022198175A1 (en) * | 2021-03-16 | 2022-09-22 | Argo AI, LLC | Systems and methods for generating object detection labels using foveated image magnification for autonomous driving |
Also Published As
Publication number | Publication date |
---|---|
JP6844210B2 (en) | 2021-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107317987B (en) | Virtual reality display data compression method, device and system | |
US11577159B2 (en) | Realistic virtual/augmented/mixed reality viewing and interactions | |
EP3051525B1 (en) | Display | |
JP6844210B2 (en) | Visual saliency map generator, visual saliency map generation method and program | |
EP3035681B1 (en) | Image processing method and apparatus | |
US20210065432A1 (en) | Method and system for generating an image of a subject in a scene | |
JP2019079552A (en) | Improvements in and relating to image making | |
JP5515301B2 (en) | Image processing apparatus, program, image processing method, recording method, and recording medium | |
US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
US9721385B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
JP7386888B2 (en) | Two-shot composition of the speaker on the screen | |
US9911214B2 (en) | Display control method and display control apparatus | |
CN106464854A (en) | Image encoding and display | |
US11294535B2 (en) | Virtual reality VR interface generation method and apparatus | |
JP7201869B1 (en) | Generate new frames with rendered and unrendered content from the previous eye | |
CN114026603B (en) | Rendering computer-generated real text | |
WO2019043025A1 (en) | Zooming an omnidirectional image or video | |
US20210037225A1 (en) | Method of modifying an image on a computational device | |
JP7426413B2 (en) | Blended mode three-dimensional display system and method | |
JP2023505235A (en) | Virtual, Augmented, and Mixed Reality Systems and Methods | |
WO2022086580A1 (en) | Dynamic resolution of depth conflicts in telepresence | |
US10083675B2 (en) | Display control method and display control apparatus | |
EP4030752A1 (en) | Image generation system and method | |
EP4261768A1 (en) | Image processing system and method | |
WO2022086486A1 (en) | Rendering format selection based on virtual distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161117 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6844210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |