JP2018082318A - Visual saliency map generation device, visual saliency map generation method, and program - Google Patents

Visual saliency map generation device, visual saliency map generation method, and program Download PDF

Info

Publication number
JP2018082318A
JP2018082318A JP2016223469A JP2016223469A JP2018082318A JP 2018082318 A JP2018082318 A JP 2018082318A JP 2016223469 A JP2016223469 A JP 2016223469A JP 2016223469 A JP2016223469 A JP 2016223469A JP 2018082318 A JP2018082318 A JP 2018082318A
Authority
JP
Japan
Prior art keywords
feature
map
static
weighting coefficient
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016223469A
Other languages
Japanese (ja)
Other versions
JP6844210B2 (en
Inventor
次郎 中島
Jiro Nakajima
次郎 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2016223469A priority Critical patent/JP6844210B2/en
Publication of JP2018082318A publication Critical patent/JP2018082318A/en
Application granted granted Critical
Publication of JP6844210B2 publication Critical patent/JP6844210B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a visual saliency map generation device that generates a visual saliency map that adjusts resolution of a binocular parallax image in consideration of visual characteristics of an observer and head rotation without installation of a gaze detection device on a head mounted display (HMD).SOLUTION: A device according to the present invention generates a visual saliency map used to generate binocular parallax images of video images for presentation of a stereoscopic image to an HMD includes a feature extraction unit that extracts static and dynamic feature maps of binocular disparity images from a three-dimensional stereoscopic data, a weighting coefficient distribution creation unit that obtains each of static and dynamic weighting coefficient distribution maps corresponding to human visual characteristics, a feature-based saliency map generation that adjusts a feature amount of a static feature map by a static weighting coefficient to generate a static feature-based saliency map and adjusts a feature amount of a dynamic feature map by a dynamic weighting factor to generate a dynamic feature-based saliency map, and a visual saliency map generation unit that synthesizes the static and dynamic feature saliency maps to generate a visual saliency map.SELECTED DRAWING: Figure 1

Description

本発明は、両眼視差画像を生成することで立体画像をヘッドマウントディスプレイへ掲示する方法に関するもので、特には、観察者の視覚特性に基づいた視覚的顕著性マップを生成する視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムに関する。   The present invention relates to a method for displaying a stereoscopic image on a head-mounted display by generating a binocular parallax image, and in particular, a visual saliency for generating a visual saliency map based on the visual characteristics of an observer. The present invention relates to a map generation device, a visual saliency map generation method, and a program.

近年、コンピュータグラフィックス（以下、ＣＧと示す）による映像コンテンツの提示方法の１つとして、左右の眼に独立して両眼視差画像を生成し提示することで立体感を持った映像を提示する立体映像技術が用いられている。ここで、両眼視差画像は、人間の左右の眼が離間していることにより生じる、見えの位置ずれを反映させた画像である。
上述した立体映像技術において、観察者が映像として映しだされた世界に入り込んで没頭する感覚である没入感を、より強く得られるように、例えば、ＨＭＤ（Head Mounted Display；ヘッドマウントディスプレイ）が用いられている。このＨＭＤは、観察者の左右の眼を覆うレンズに対して、上述した両眼視差画像を提示することにより、広い視野に対応した映像を観察者に対して観察させる装置である。 In recent years, as a method of presenting video content by computer graphics (hereinafter referred to as CG), a stereoscopic image is presented by generating and presenting binocular parallax images independently for the left and right eyes. Stereoscopic image technology is used. Here, the binocular parallax image is an image in which the positional deviation of the appearance caused by the separation of the left and right eyes of a human is reflected.
In the above-described stereoscopic image technology, for example, an HMD (Head Mounted Display) is used so that an immersive feeling, which is a sense of immersing the viewer in the world projected as an image, can be obtained more strongly. It has been. This HMD is a device that allows an observer to observe a video corresponding to a wide visual field by presenting the above-described binocular parallax image to a lens that covers the left and right eyes of the observer.

しかし、ＨＭＤにおけるＣＧで作成した映像コンテンツの提示においては、没入感を維持するために、リアルタイムな立体画像としての映像の提示が必要でとなる。
また、一方、ＨＭＤにおける左右の眼を覆うレンズの各々に対して、それぞれ異なる２つ分の両眼視差画像を生成するため、この両眼視差画像の生成の処理を行なう画像生成時間が増加するといった問題が生じている。 However, when presenting video content created by CG in the HMD, it is necessary to present a video as a real-time stereoscopic image in order to maintain an immersive feeling.
On the other hand, since two different binocular parallax images are generated for each of the lenses covering the left and right eyes in the HMD, the image generation time for performing this binocular parallax image generation process increases. Such a problem has arisen.

このため、ＨＭＤに視線検出装置を搭載することにより、ＣＧで作成した映像コンテンツを提示する際に、観察者の視線検出を行い、映像コンテンツ上の注視している領域を推定している。そして、推定された注視領域を高解像度とし、注視領域以外の周辺部などを低解像度で画像生成を行う手法（Foveated Renderingと呼ばれる手法）が提案されている（例えば、非特許文献１を参照」）。   For this reason, by mounting a line-of-sight detection device on the HMD, when presenting video content created by CG, the line of sight of the observer is detected to estimate the area being watched on the video content. Then, there has been proposed a method (a method called Foveated Rendering) in which an estimated gaze area is set to a high resolution and a peripheral part other than the gaze area is generated at a low resolution (for example, refer to Non-Patent Document 1). ).

人間の眼は、中心窩と呼ばれる網膜の奥にある窪みにより、中心視野の狭い領域において詳細に画像を検出することができる。一方、中心視野となる注視領域の周辺部の視野領域は、色や動きに反応することができるが、詳細に画像を検出する精度が中心視野に比較して低くなる特徴がある。
したがって、提供する映像コンテンツにおける画像を、注視領域を高解像度として、注視領域以外の周辺部などを低解像度とすることにより、観察者の没入感に影響を与えずに、映像コンテンツの画像の生成速度を向上させることが可能となる。 The human eye can detect an image in detail in a narrow region of the central visual field by a recess at the back of the retina called a central fovea. On the other hand, the visual field area around the gaze area, which is the central visual field, can react to colors and movements, but has a feature that accuracy in detecting an image in detail is lower than that of the central visual field.
Therefore, generating images of video content without affecting the viewer's immersive feeling by providing high-resolution images in the video content provided and low-resolution peripheral areas other than the gaze region. The speed can be improved.

また、注視領域の推定のために、上記非特許文献１と異なり、視線検出装置を用いずに、映像コンテンツの画像に対する観察者の視覚的顕著性を算出する手法もある。この場合、算出された視覚的顕著性の数値に基づき、視覚的顕著性の数値が高い領域を高解像度とし、視覚的顕著性の数値が低い領域を低解像度として、画像生成の際に、画像の領域ごとの精度を変化させる（例えば、非特許文献２を参照）。これにより、非特許文献１と同様に、映像コンテンツにおける画像の生成速度を向上させることができる。   In addition, unlike the non-patent document 1, there is also a method for calculating the visual saliency of the viewer with respect to the image of the video content without using the line-of-sight detection device in order to estimate the gaze area. In this case, based on the calculated visual saliency value, an area having a high visual saliency value is set to high resolution, and an area having a low visual saliency value is set to low resolution. The accuracy for each area is changed (for example, see Non-Patent Document 2). Thereby, like the nonpatent literature 1, the generation speed of the image in the video content can be improved.

Perceptually-Based Foveated Virtual Reality, ACM SIGGRAPH 2016 Emerging Technologies, Article 17, 2016Perceptually-Based Foveated Virtual Reality, ACM SIGGRAPH 2016 Emerging Technologies, Article 17, 2016 A GPU based saliency map for high-fidelity selective rendering, Proceedings of the 4th International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa, pp. 21-29, 2006A GPU based saliency map for high-fidelity selective rendering, Proceedings of the 4th International Conference on Computer Graphics, Virtual Reality, Visualization and Interaction in Africa, pp. 21-29, 2006

しかしながら、上述した非特許文献１においては、観察者の注視領域推定を行なうための視線検出装置をＨＭＤへと装着する必要があり、視線検出装置を装着するための費用が増加してしまう。   However, in Non-Patent Document 1 described above, it is necessary to attach a visual line detection device for estimating the observer's gaze area to the HMD, and the cost for mounting the visual line detection device increases.

また、ＨＭＤにおけるＣＧにより生成した映像コンテンツの提示においては、両眼を覆うことで広い視野に対応したレンズを使用している。このため、通常のモニターによる提示よりも、ＨＭＤにおいては、中心視野と周辺視野といった視覚特性による注視領域への影響が観察者に対して大きくなる。さらに、観察者の頭部が自由に回転可能であるため、頭部を回転する際の観察者の眼における眼球の移動も考慮する必要がある。
したがって、ＨＭＤにおいては、観察者の上述した視覚特性や頭部の回転を考慮して、観察者の画像における各領域の視覚的顕著性の数値を算出する必要がある。非特許文献２における視覚的顕著性の算出方法では、算出された視覚的顕著性の数値の精度が不十分となり、画像の解像度を調整するための判定が十分に行えないという課題がある。 Further, in the presentation of video content generated by CG in the HMD, a lens corresponding to a wide field of view is used by covering both eyes. For this reason, in the HMD, the effect on the gaze area due to the visual characteristics such as the central visual field and the peripheral visual field becomes larger for the observer than the presentation by the normal monitor. Furthermore, since the observer's head can freely rotate, it is necessary to consider the movement of the eyeball in the observer's eye when the head is rotated.
Therefore, in the HMD, it is necessary to calculate the numerical value of the visual saliency of each region in the image of the observer in consideration of the above-described visual characteristics of the observer and the rotation of the head. In the method of calculating visual saliency in Non-Patent Document 2, there is a problem that the accuracy of the calculated numerical value of visual saliency is insufficient, and determination for adjusting the resolution of the image cannot be performed sufficiently.

本発明は、このような状況に鑑みてなされたものであり、ＨＭＤに対して視線検出装置を装着することなく、かつ観察者の視覚特性や頭部の回転を考慮し、映像コンテンツの両眼視差画像の解像度を調整する視覚的顕著性マップを生成することができる視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムを提供することを目的とする。   The present invention has been made in view of such a situation, and it is possible to use both eyes of video content without wearing a line-of-sight detection device with respect to the HMD and taking into consideration the visual characteristics of the observer and the rotation of the head. An object of the present invention is to provide a visual saliency map generation device, a visual saliency map generation method, and a program capable of generating a visual saliency map that adjusts the resolution of a parallax image.

上述した課題を解決するために、本発明の視覚的顕著性マップ生成装置は、立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置であり、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出部と、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成部と、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成部と、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成部とを備えることを特徴とする。   In order to solve the above-described problem, the visual saliency map generation apparatus of the present invention generates a binocular parallax image of a moving image for displaying a stereoscopic image on a head-mounted display. A visual saliency map generation device that generates a visual saliency map set for each region, and a feature extraction unit that extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data; A static weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in human visual characteristics, a weighting coefficient distribution creating unit for obtaining each of the dynamic weighting coefficient distribution maps, and a feature amount of the static feature map, A static feature-specific saliency map is generated by adjusting the weighting factor of the static weighting factor distribution map, and the feature amount of the dynamic feature map is added to the dynamic weighting A feature-specific saliency map generation unit that generates a saliency map by dynamic feature by adjusting with a weighting coefficient of a coefficient distribution map, and synthesizes each of the saliency map by static feature and the saliency map by dynamic feature And a visual saliency map generation unit for generating a visual saliency map.

本発明の視覚的顕著性マップ生成装置は、前記特徴別顕著性マップ生成部が、前記静的特徴マップの画素の特徴量に対し、前記静的重み付け係数分布マップの重み付け係数を乗算し、前記動的特徴マップの画素の特徴量に対し、前記動的重み付け係数分布マップの重み付け係数を乗算して、静的特徴別顕著性マップ、動的特別徴顕著性マップを生成することを特徴とする。   In the visual saliency map generation device of the present invention, the feature-specific saliency map generation unit multiplies the feature amount of a pixel of the static feature map by a weighting coefficient of the static weighting coefficient distribution map, and A feature amount of a pixel of a dynamic feature map is multiplied by a weighting factor of the dynamic weighting factor distribution map to generate a static feature-specific saliency map and a dynamic special feature saliency map. .

本発明の視覚的顕著性マップ生成装置は、３次元立体データから前記両眼視差画像に対応し、より低分解能の低分解能画像を生成する低解像度画像生成部をさらに備え、前記特徴抽出部が、前記低分解能画像から前記静的特徴マップ及び前記動的特徴マップを抽出することを特徴とする。   The visual saliency map generation apparatus of the present invention further includes a low-resolution image generation unit that generates a lower-resolution image corresponding to the binocular parallax image from three-dimensional stereoscopic data, and the feature extraction unit includes The static feature map and the dynamic feature map are extracted from the low resolution image.

本発明の視覚的顕著性マップ生成装置は、前記重み付け係数分布作成部が、前記ヘッドマウントディスプレイの回転動作に応じて、前記静的重み付け係数分布マップ及び動的重み付け係数分布マップの各々の重み付け係数の分布の形状を生成することを特徴とする。   In the visual saliency map generation device according to the present invention, the weighting coefficient distribution creating unit is configured so that each of the weighting coefficients of the static weighting coefficient distribution map and the dynamic weighting coefficient distribution map corresponds to a rotation operation of the head mounted display. It is characterized in that the shape of the distribution is generated.

本発明の視覚的顕著性マップ生成装置は、前記静的特徴が少なくとも輝度特徴、色彩特徴、方向特徴を含み、前記動的特徴が少なくとも点滅特徴、運動特徴を含んでいることを特徴とする。   The visual saliency map generating apparatus of the present invention is characterized in that the static feature includes at least a luminance feature, a color feature, and a direction feature, and the dynamic feature includes at least a blinking feature and a motion feature.

本発明の視覚的顕著性マップ生成装置は、前記静的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に低く設定され、前記動的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に高く設定されていることを特徴とする。   In the visual saliency map generation device of the present invention, in the static weighting coefficient distribution map, the weighting coefficient is gradually set lower from the central part toward the outer peripheral part, and in the dynamic weighting coefficient distribution map, the weighting coefficient is in the center. It is characterized by being gradually set higher from the outer part to the outer peripheral part.

本発明の視覚的顕著性マップ生成方法は、立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成方法であり、特徴抽出部が、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出過程と、重み付け係数分布作成部が、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成過程と、特徴別顕著性マップ生成部が、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成過程と、視覚的顕著性マップ生成部が、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成過程とを含むことを特徴とする。   According to the visual saliency map generation method of the present invention, when creating a binocular parallax image of a moving image for displaying a stereoscopic image on a head-mounted display, the visual saliency is set for each region in the resolution of the binocular parallax image. A visual saliency map generation method for generating a map, wherein a feature extraction unit extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data, and weighting coefficient distribution A weighting coefficient distribution creating process for obtaining a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in human visual characteristics, and a feature-specific saliency map generating section. Adjusts the feature quantity of the static feature map by the weighting coefficient of the static weighting coefficient distribution map to generate a saliency map for each static feature, A feature-specific saliency map generation process for generating a saliency map by dynamic feature by adjusting a feature amount of the dynamic feature map by a weighting coefficient of the dynamic weighting coefficient distribution map, and a visual saliency map generation unit, And a visual saliency map generation process for generating a visual saliency map by synthesizing each of the static feature-specific saliency map and the dynamic feature-specific saliency map.

本発明のプログラムは、立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置の機能をコンピュータに実行させるプログラムであり、前記コンピュータを、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出手段、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成手段、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成手段、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成手段として機能させるためのプログラムである。   The program of the present invention generates a visual saliency map that sets the resolution of the binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. A program for causing a computer to execute the function of a saliency map generation device, wherein the computer extracts feature extraction means for extracting a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data, human vision Static weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in characteristics, weighting coefficient distribution creating means for obtaining each of dynamic weighting coefficient distribution maps, and feature quantity of static feature map A saliency map for each static feature is generated by adjusting the weighting coefficient of the distribution map, and the feature amount of the dynamic feature map is A feature-specific saliency map generating means for generating a saliency map classified by dynamic features by adjusting with a weighting coefficient of the dynamic weighting factor distribution map, a saliency map classified by static features, and a saliency map classified by dynamic features It is a program for combining each of them to function as a visual saliency map generation means for generating a visual saliency map.

以上説明したように、本発明によれば、ＨＭＤに対して視線検出装置を装着することなく、かつ観察者の視覚特性や頭部の回転を考慮し、映像コンテンツの両眼視差画像の解像度を調整する視覚的顕著性マップを生成することができる視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラムを提供することができる。   As described above, according to the present invention, the resolution of the binocular parallax image of the video content can be reduced without wearing the line-of-sight detection device with respect to the HMD and taking into consideration the visual characteristics of the observer and the rotation of the head. A visual saliency map generation apparatus, a visual saliency map generation method, and a program capable of generating a visual saliency map to be adjusted can be provided.

本発明の一実施形態である視覚的顕著性マップ生成装置を用いた両眼視差画像生成システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the binocular parallax image generation system using the visual saliency map generation apparatus which is one Embodiment of this invention. ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。It is a figure which shows the static weighting coefficient distribution map with respect to the feature map of a static feature when the head of the observer wearing HMD200 is in a stationary state. ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。It is a figure which shows the dynamic weighting coefficient distribution map with respect to the feature map of a dynamic feature when the head of the observer wearing HMD200 is in a stationary state. ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。It is a figure which shows the static weighting coefficient distribution map with respect to the feature map of a static feature when the head of the observer wearing HMD200 is in a rotating state. ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の動的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。It is a figure which shows the static weighting coefficient distribution map with respect to the feature map of the dynamic feature in case the head of the observer wearing HMD200 is in the rotation state. 本実施形態の視覚的顕著性マップ生成装置１による視覚的顕著性マップを生成する処理の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the process which produces | generates the visual saliency map by the visual saliency map production | generation apparatus 1 of this embodiment. 重み付け係数分布記憶部１７に記憶されている重み付けテーブルの構成を示す図である。It is a figure which shows the structure of the weighting table memorize | stored in the weighting coefficient distribution storage part.

以下、本発明の視覚的顕著性マップ生成装置の実施形態について図面を用いて説明する。図１は、本発明の一実施形態である視覚的顕著性マップ生成装置を用いた両眼視差画像生成システムの概略構成を示すブロック図である。両眼視差画像生成システム１００は、視覚的顕著性マップ生成装置１と、操作部１０１と、両眼視差画像生成部１０２及び画像記憶部１０３の各々を備えている。   Hereinafter, an embodiment of a visual saliency map generation apparatus of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a binocular parallax image generation system using a visual saliency map generation apparatus according to an embodiment of the present invention. The binocular parallax image generation system 100 includes a visual saliency map generation apparatus 1, an operation unit 101, a binocular parallax image generation unit 102, and an image storage unit 103.

視覚的顕著性マップ生成装置１は、両眼視差画像生成部１０２が３次元空間における３次元画像（立体画像）データから両眼視差画像を生成する際に用いる視覚的顕著性マップを生成する。
操作部１０１は、観察者により入力される操作情報に対応して、映像コンテンツの選択などを行なう。
両眼視差画像生成部１０２は、操作情報に対応した映像コンテンツを生成するため、３次元画像データを画像記憶部１０３から読み出す。そして、両眼視差画像生成部１０２は、視覚的顕著性マップ生成装置１から供給される視覚的顕著性マップに対応し、解像度が領域毎に設定された両眼視差画像を３次元画像データから、３次元空間における頭部の姿勢や位置に対応した視点（観察者の視点）に応じて生成する。
画像記憶部１０３は、映像コンテンツとしての両眼視差画像を生成するための複数の３次元画像データが予め書き込まれて記憶されている。 The visual saliency map generation device 1 generates a visual saliency map used when the binocular parallax image generation unit 102 generates a binocular parallax image from 3D image (stereoscopic image) data in a 3D space.
The operation unit 101 selects video content in response to operation information input by an observer.
The binocular parallax image generation unit 102 reads out three-dimensional image data from the image storage unit 103 in order to generate video content corresponding to the operation information. Then, the binocular parallax image generation unit 102 corresponds to the visual saliency map supplied from the visual saliency map generation device 1 and converts the binocular parallax image in which the resolution is set for each region from the three-dimensional image data. It is generated according to the viewpoint (observer's viewpoint) corresponding to the posture and position of the head in the three-dimensional space.
In the image storage unit 103, a plurality of three-dimensional image data for generating a binocular parallax image as video content is written and stored in advance.

ＨＭＤ２００は、頭部情報取得部２１０と、表示部２２０との各々を備えている。頭部情報取得部２１０は、ＨＭＤ２００の回転情報、すなわちＨＭＤ２００を装着している観察者の頭部の回転の動き状態を示す情報（回転速度、回転方向などの）としての回転情報を検出する。そして、頭部情報取得部２１０は、検出した回転情報を視覚的顕著性マップ生成装置１に対して出力する。表示部２２０は、両眼視差画像生成システム１００から供給される両眼視差画像を、左右各々の表示画面に表示する。   The HMD 200 includes a head information acquisition unit 210 and a display unit 220. The head information acquisition unit 210 detects rotation information as rotation information of the HMD 200, that is, information indicating a rotation state of the head of the observer wearing the HMD 200 (such as rotation speed and rotation direction). The head information acquisition unit 210 then outputs the detected rotation information to the visual saliency map generation device 1. The display unit 220 displays the binocular parallax images supplied from the binocular parallax image generation system 100 on the left and right display screens.

また、視覚的顕著性マップ生成装置１は、低解像度画像生成部１１、特徴抽出部１２、重み付け係数分布作成部１３、重み付け特徴マップ生成部１４、特徴別顕著性マップ生成部１５、視覚的顕著性マップ生成部１６及び重み付け係数分布記憶部１７の各々を備えている。
低解像度画像生成部１１は、画像記憶部１０３における３次元画像データを参照し、上記視点に対応した両眼視差画像を求める３次元画像データから、実際に作成する両眼視差画像より低解像度の低解像度画像を生成する。本実施形態においては、ガウシアンピラミッドを生成するため、同一の両眼視差画像に対応した７解像度分（σ∈｛２，３，４，５，６，７，８｝）の低解像度画像を生成する。ここで、σ＝０の画像は、両眼視差画像に対応している。σ＝ｎ（ｎ≠０）の低解像度画像は、σ＝ｎ−１の画像においてガウシアンフィルタによるぼかし処理と縦横それぞれの画素において一つ置きにサンプリングとを行なった画像である。例えば、σ＝２は、縦横それぞれの解像度が１／４となり、画像全体としては１／１６のデータ量となっている。本実施形態においては、３次元画像データからσ＝２の低解像度画像を生成し、ぼかし処理とダウンサンプリングとによりσ∈｛３，４，５，６，７，８｝の低解像度画像を生成する。 The visual saliency map generation device 1 includes a low-resolution image generation unit 11, a feature extraction unit 12, a weighting coefficient distribution generation unit 13, a weighted feature map generation unit 14, a feature-specific saliency map generation unit 15, a visual saliency. Each of the sex map generation unit 16 and the weighting coefficient distribution storage unit 17 is provided.
The low-resolution image generation unit 11 refers to the three-dimensional image data in the image storage unit 103, and has a lower resolution than the binocular parallax image actually created from the three-dimensional image data for obtaining the binocular parallax image corresponding to the viewpoint. Generate a low resolution image. In this embodiment, in order to generate a Gaussian pyramid, low resolution images corresponding to the same binocular parallax image corresponding to 7 resolutions (σ∈ {2, 3, 4, 5, 6, 7, 8}) are generated. To do. Here, an image with σ = 0 corresponds to a binocular parallax image. A low-resolution image with σ = n (n ≠ 0) is an image obtained by performing blurring processing by a Gaussian filter on an image with σ = n−1 and sampling every other pixel in the vertical and horizontal directions. For example, when σ = 2, the vertical and horizontal resolutions are 1/4, and the entire image has a data amount of 1/16. In this embodiment, a low-resolution image of σ = 2 is generated from three-dimensional image data, and a low-resolution image of σ∈ {3,4,5,6,7,8} is generated by blurring processing and downsampling. To do.

特徴抽出部１２は、低解像度画像生成部１１の生成した各解像度の低解像度画像の各々から、それぞれ静的特徴及び動的特徴を抽出する。ここで、静的特徴とは、輝度特徴、色彩特徴（Ｌａｂ色空間におけるａ：赤色−緑色、ｂ：青色−黄色）、方向特徴（上下左右の領域におけるエッジの位置）である。輝度特徴が１種類、色彩特徴が２種類、方向特徴が４種類であるため、静的特徴は７種類の特徴を有している。また、動的特徴とは、点滅特徴（点滅を示す画像）、運動特徴（上下左右の領域における変化）である。点滅特徴が１種類であり、運動特徴が４種類であるため、動的特徴は、５種類の特徴を示している。   The feature extraction unit 12 extracts a static feature and a dynamic feature from each of the low resolution images of each resolution generated by the low resolution image generation unit 11. Here, the static feature is a luminance feature, a color feature (a: red-green, b: blue-yellow in the Lab color space), and a direction feature (edge position in the upper, lower, left, and right areas). Since there are one type of luminance feature, two types of color features, and four types of direction features, the static features have seven types of features. The dynamic features are blinking features (images showing blinking) and motion features (changes in the vertical and horizontal regions). Since there are one type of blinking feature and four types of motion features, the dynamic features show five types of features.

また、特徴抽出部１２は、それぞれの解像度の組合わせ毎に、上述した特徴を抽出して特徴別のガウシアンピラミッド（特徴別ガウシアンピラミッド）を生成する。そして、特徴抽出部１２は、静的特徴及び動的特徴の特徴別ガウシアンピラミッドに基づき、解像度の組合わせが６種類であり、特徴が静的特徴及び動的特徴を合わせて１２種類である、全体で７２種類の特徴マップを生成する。ここで、解像度の組合わせとは、組み合わせる解像度をｃとｓとした場合、ｃ＝｛２，３，４｝と、ｓ＝ｃ＋δ（δ＝｛３，４｝）との低解像度画像の６種類の組合わせである。   The feature extraction unit 12 extracts the above-described features for each combination of resolutions, and generates a feature-specific Gaussian pyramid (feature-specific Gaussian pyramid). The feature extraction unit 12 has six types of resolution combinations based on the feature-specific Gaussian pyramids of static features and dynamic features, and has 12 types of features including static features and dynamic features. A total of 72 types of feature maps are generated. Here, the combination of resolutions is 6 for low-resolution images of c = {2, 3, 4} and s = c + δ (δ = {3, 4}), where c and s are combined resolutions. It is a combination of types.

上述した低解像度画像生成部１１及び特徴抽出部１２の各々による低解像度画像からの特徴抽出において、静的特徴の抽出については、文献１（A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998）の方法に基づいている。また、静的特徴に対して動的特徴の抽出については、文献２（Realistic Avatar Eye and Head Animation Using a Neurobiological Model of Visual Attention, In: Proc. SPIE 48th Annual International Symposium on Optical Science and Technology, Vol. 5200, pp. 64-78, 2003）の方法に基づいている。   In the feature extraction from the low-resolution image by each of the above-described low-resolution image generation unit 11 and feature extraction unit 12, static feature extraction is described in Reference 1 (A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998). For the extraction of dynamic features from static features, see Reference 2 (Realistic Avatar Eye and Head Animation Using a Neurobiological Model of Visual Attention, In: Proc. SPIE 48th Annual International Symposium on Optical Science and Technology, Vol. 5200, pp. 64-78, 2003).

重み付け係数分布作成部１３は、人間の視覚特性及びＨＭＤ２００の回転情報に応じた特徴マップ重み付け係数分布マップの生成を行なう。ここで、視覚特性は、人間の眼における錐体細胞と桿体細胞との分布の違いから、中心視野領域と周辺視野領域とで反応しやすい特徴が異なる特性である。例えば、中心視野領域においては輝度特徴、色彩特徴、方向特徴といった静的特徴に強く反応し、周辺視野領域においては運動特徴や点滅特徴といった動的特徴に強く反応するという特性を有している。   The weighting coefficient distribution creating unit 13 generates a feature map weighting coefficient distribution map according to human visual characteristics and rotation information of the HMD 200. Here, the visual characteristic is a characteristic in which features that are likely to react in the central visual field region and the peripheral visual field region are different due to the difference in the distribution of the cone cells and the rod cells in the human eye. For example, the central visual field region has a characteristic of strongly reacting to static features such as a luminance feature, a color feature, and a direction feature, and the peripheral visual region region has a characteristic of strongly responding to dynamic features such as a motion feature and a blinking feature.

図２は、ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。図２において、静的重み付け係数分布マップ５００が左眼用であり、静的重み付け係数分布マップ６００が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。上述したように、中心視野領域５０１、６０１が周辺視野領域５０２、５０３、６０２、６０３に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなる。本実施形態においては、静的重み付け係数分布マップ５００及び静的重み付け係数分布マップ６００の各々が中心に対して円上の分布として形成されているが、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなるように設定されていれば、分布はどのような形状でも良い。   FIG. 2 is a diagram showing a static weighting coefficient distribution map for a feature map of static features when the head of an observer wearing the HMD 200 is in a stationary state. In FIG. 2, the static weighting coefficient distribution map 500 is for the left eye, and the static weighting coefficient distribution map 600 is for the right eye. As in the present embodiment, different weighting coefficient distributions may be prepared for the left and right eyes, or the same weighting coefficient distribution may be prepared for the left and right eyes. As described above, the central visual field regions 501 and 601 are set to have higher weighting coefficients than the peripheral visual field regions 502, 503, 602, and 603. That is, the weighting coefficient gradually decreases from the central visual field region to the peripheral visual field region closer to the outer periphery. In the present embodiment, each of the static weighting coefficient distribution map 500 and the static weighting coefficient distribution map 600 is formed as a distribution on a circle with respect to the center, but the peripheral visual field area near the outer periphery from the central visual field area. As long as the weighting coefficient is set so as to gradually decrease, the distribution may have any shape.

また、観察者の頭部が静止状態であれば、文献３（周辺視野特性を考慮した顕著性マップの作成，情報処理学会第78回全国大会，2016年）に示されているように、コントラスト感度特性（Contrast Sensitivity Function：ＣＳＦ）と皮質拡大係数（Cortical Magnification Factor：ＣＭＦ）とに基づいて、重み付け係数を計算する。また、観察者の頭部が静止状態である際の動的特徴の特徴マップには、図２に示すような画像中心部に向かうほど円形に特徴マップの値を減少させる重み付け係数となる静的重み付け係数分布マップ６００を使用する。   If the observer's head is still, as shown in Reference 3 (Creation of saliency map considering peripheral visual field characteristics, IPSJ 78th National Convention, 2016), contrast is shown. A weighting factor is calculated based on a sensitivity characteristic (Contrast Sensitivity Function: CSF) and a cortical magnification factor (CMF). Further, in the feature map of the dynamic feature when the observer's head is in a stationary state, a static weight that becomes a weighting coefficient that decreases the value of the feature map in a circle toward the center of the image as shown in FIG. A weighting coefficient distribution map 600 is used.

図３は、ＨＭＤ２００を装着した観察者の頭部が静止状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。図３において、動的重み付け係数分布マップ５５０が左眼用であり、動的重み付け係数分布マップ６５０が右眼用である。図２の場合と同様に、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。上述したように、中心視野領域５５１、６５１が周辺視野領域５５２、５５３、６５２、６５３に比較して重み付け係数が低く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が高くなる。本実施形態においては、動的重み付け係数分布マップ５５０及び静的重み付け係数分布マップ６５０の各々が中心に対して円上の分布として形成されているが、図２と同様に、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなるように設定されていれば、分布はどのような形状でも良い。   FIG. 3 is a diagram showing a dynamic weighting coefficient distribution map for a feature map of dynamic features when the head of an observer wearing the HMD 200 is in a stationary state. In FIG. 3, the dynamic weighting coefficient distribution map 550 is for the left eye, and the dynamic weighting coefficient distribution map 650 is for the right eye. Similar to the case of FIG. 2, different weighting coefficient distributions may be prepared for the left and right eyes, or the same weighting coefficient distribution may be prepared for the left and right eyes. As described above, the center visual field regions 551 and 651 are set to have a lower weighting coefficient than the peripheral visual field regions 552, 553, 652, and 653. That is, the weighting coefficient gradually increases from the central visual field region to the peripheral visual field region close to the outer periphery. In the present embodiment, each of the dynamic weighting coefficient distribution map 550 and the static weighting coefficient distribution map 650 is formed as a distribution on a circle with respect to the center. The distribution may have any shape as long as the weighting coefficient is set to be gradually lower as the peripheral visual field region is closer to the part.

図４は、ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の静的特徴の特徴マップに対する静的重み付け係数分布マップを示す図である。図４において、静的重み付け係数分布マップ５２０が左眼用であり、静的重み付け係数分布マップ６２０が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。図２の場合と同様に、中心視野領域５２１、６２１が周辺視野領域５２２、５２３、６２２、６２３に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が低くなる。本実施形態においては、観察者が頭部を回転させる際の回転角速度に応じて、重み付け係数の分布の形状を変化させている。図４の場合、観察者が頭部を右方向に回転させている、すなわちＨＭＤ２００が右方向に回転している状態を示している。   FIG. 4 is a diagram showing a static weighting coefficient distribution map for a feature map of static features when the head of an observer wearing the HMD 200 is in a rotating state. In FIG. 4, the static weighting coefficient distribution map 520 is for the left eye, and the static weighting coefficient distribution map 620 is for the right eye. As in the present embodiment, different weighting coefficient distributions may be prepared for the left and right eyes, or the same weighting coefficient distribution may be prepared for the left and right eyes. As in the case of FIG. 2, the central visual field areas 521 and 621 are set to have higher weighting coefficients than the peripheral visual field areas 522, 523, 622, and 623. That is, the weighting coefficient gradually decreases from the central visual field region to the peripheral visual field region closer to the outer periphery. In the present embodiment, the weighting coefficient distribution shape is changed according to the rotational angular velocity when the observer rotates the head. In the case of FIG. 4, the observer is rotating the head in the right direction, that is, the HMD 200 is rotating in the right direction.

頭部回転の特性としては、ＨＭＤ２００の装着時は、頭部を自由に回転可能であるという点と、基本的に頭部と眼球とは協調して動くという点から、観察者の頭部の動き（回転）が少ない場合には、ＨＭＤ２００の方向（レンズ中心に対応する）と視線方向（中心視野領域）とはほぼ一致している特性とする（図２の場合）。一方、観察者の頭部の動きが大きい場合には、ＨＭＤ２００の動きの方向（レンズ中心からＨＭＤの加速度に応じて移動した位置に対応する）に視線方向（中心視野領域）がずれるという特性とする（図４の場合には右側）。したがって、回転角速度の大きさ（回転状態）によって、観察者の視点が頭部の動く方向（図４の場合には右側）にずれているため、重み付け係数分布作成部１３は、図４に示すように回転角速度に対応した静的重み付け係数分布マップを準備するか、その都度、所定の演算式により静的重み付け係数分布マップを算出して求める。   The characteristics of the head rotation are that when the HMD 200 is worn, the head can be freely rotated, and basically the head and the eyeball move in a coordinated manner. When the movement (rotation) is small, the direction of the HMD 200 (corresponding to the center of the lens) and the line-of-sight direction (center visual field region) are approximately matched (in the case of FIG. 2). On the other hand, when the movement of the observer's head is large, the line-of-sight direction (central visual field region) is shifted in the direction of movement of the HMD 200 (corresponding to the position moved from the lens center according to the acceleration of the HMD). (Right side in the case of FIG. 4). Therefore, since the observer's viewpoint is shifted in the moving direction of the head (right side in the case of FIG. 4) depending on the magnitude (rotation state) of the rotational angular velocity, the weighting coefficient distribution creating unit 13 is shown in FIG. In this way, a static weighting coefficient distribution map corresponding to the rotational angular velocity is prepared or calculated each time by calculating a static weighting coefficient distribution map using a predetermined arithmetic expression.

図５は、ＨＭＤ２００を装着した観察者の頭部が回転状態にある場合の動的特徴の特徴マップに対する動的重み付け係数分布マップを示す図である。図５において、動的重み付け係数分布マップ５７０が左眼用であり、動的重み付け係数分布マップ６７０が右眼用である。本実施形態のように、左右の眼に異なる重み付け係数の分布を用意しても良いし、左右の眼に同一の重み係数の分布を用意しても良い。図４の場合と同様に、中心視野領域５７１、６７１が周辺視野領域５７２、５７３、６７２、６７３に比較して重み付け係数が高く設定してある。すなわち、中心視野領域から外周部に近い周辺視野領域となるに従い、徐々に重み付け係数が高くなる。本実施形態においては、図４の場合と同様に、観察者が頭部を回転させる際の回転角速度に応じて、重み付け係数の分布の形状を変化させている。図５の場合、観察者が頭部を右方向に回転させている、すなわちＨＭＤ２００が右方向に回転している状態を示している。   FIG. 5 is a diagram showing a dynamic weighting coefficient distribution map for a feature map of dynamic features when the head of the observer wearing the HMD 200 is in a rotating state. In FIG. 5, the dynamic weighting coefficient distribution map 570 is for the left eye, and the dynamic weighting coefficient distribution map 670 is for the right eye. As in the present embodiment, different weighting coefficient distributions may be prepared for the left and right eyes, or the same weighting coefficient distribution may be prepared for the left and right eyes. As in the case of FIG. 4, the central visual field regions 571 and 671 are set to have higher weighting coefficients than the peripheral visual field regions 572, 573, 672 and 673. That is, the weighting coefficient gradually increases from the central visual field region to the peripheral visual field region close to the outer periphery. In the present embodiment, as in the case of FIG. 4, the shape of the distribution of the weighting coefficients is changed according to the rotational angular velocity when the observer rotates the head. In the case of FIG. 5, the observer is rotating the head in the right direction, that is, the HMD 200 is rotating in the right direction.

上述したように、観察者の頭部が回転している際の特徴マップには、図５および図６に示すような頭部の角速度に基づいて円形の重み付け係数の分布をずらした重み付け係数分布マップを算出する。例えば、観察者の頭部回転におけるロール軸とヨー軸の角速度を、画像上の向きと大きさに対応付けることで、円形の分布の中心位置をずらすように移動させる。   As described above, in the feature map when the observer's head is rotating, the weighting coefficient distribution in which the distribution of the circular weighting coefficients is shifted based on the angular velocity of the head as shown in FIGS. Calculate the map. For example, the angular velocity of the roll axis and the yaw axis in the observer's head rotation is correlated with the orientation and size on the image, and the center position of the circular distribution is shifted.

図１に戻り、重み付け特徴マップ生成部１４は、静的特徴の特徴マップに対し、静的重み付け係数分布マップを加重し、静的特徴の特徴マップの特徴量を調整して静的特徴の重み付け特徴マップを作成する。また、重み付け特徴マップ生成部１４は、動的特徴の特徴マップに対し、動的重み付け係数分布マップを加重し、動的特徴の特徴マップの特徴量を調整して動的特徴の重み付け特徴マップを作成する。重み付け特徴マップ生成部１４は、例えば、特徴マップの各画素の特徴量に対して、この画素の領域に対応する重み付け係数を乗算し、ガウシアンピラミッドに対応させて、すなわち、（ｃ，ｓ）＝（２，５）、（２，６）、（３，６）、（３，７）、（４，７）、（４，８）の組合わせに対応して、静的及び動的の各々の重み付け特徴マップを作成する。   Returning to FIG. 1, the weighting feature map generation unit 14 weights the static weighting feature distribution map with respect to the feature map of the static feature, adjusts the feature amount of the feature map of the static feature, and weights the static feature. Create a feature map. The weighting feature map generation unit 14 weights the dynamic weighting feature distribution map with respect to the feature map of the dynamic feature, adjusts the feature amount of the feature map of the dynamic feature, and generates the weighting feature map of the dynamic feature. create. For example, the weighting feature map generation unit 14 multiplies the feature amount of each pixel of the feature map by a weighting coefficient corresponding to the area of this pixel, and corresponds to the Gaussian pyramid, that is, (c, s) = Corresponding to the combination of (2,5), (2,6), (3,6), (3,7), (4,7), (4,8), each of static and dynamic Create a weighted feature map.

特徴別顕著性マップ生成部１５は、特徴（静的特徴及び動的特徴）毎に、それぞれガウシアンピラミッドにおける各階層、すなわち（ｃ，ｓ）＝（２，５）、（２，６）、（３，６）、（３，７）、（４，７）、（４，８）の組合わせに対応した重み付け特徴マップを合成する。ここで、特徴マップは、解像度が大きい方に合わせて算出して生成するため、ガウシアンピラミッドとしては、σ＝｛２，３，４｝における階層と対応している。このとき、特徴別顕著性マップ生成部１５は、各解像度の重み付け特徴マップを両眼視差画像の縦横に合わせた解像度の画素数に拡張し、かつ文献１及び文献２に示されているように、正規化を行なった後に、それぞれの画素毎の対応する重み付けされた特徴量を積算することで、特徴別顕著性マップを生成する。ここで、正規化とは、例えば、両眼視差画像の縦横に合わせた解像度の画素数に拡張した重み付け特徴マップにおいて、特徴量が均一な場合に特徴量を所定の数値に平滑化し、一方、特徴量が他の領域に比較して高い領域がある場合、その領域の特徴量を所定の割合で高くするなどの処理である。   For each feature (static feature and dynamic feature), the feature-specific saliency map generation unit 15 stores each layer in the Gaussian pyramid, that is, (c, s) = (2, 5), (2, 6), ( 3,6), (3,7), (4,7), and (4,8) are combined with a weighted feature map. Here, since the feature map is calculated and generated in accordance with the higher resolution, the Gaussian pyramid corresponds to the hierarchy at σ = {2, 3, 4}. At this time, the feature-specific saliency map generation unit 15 expands the weighted feature map of each resolution to the number of pixels of the resolution matched to the vertical and horizontal of the binocular parallax image, and as shown in Document 1 and Document 2 Then, after normalization, the feature-specific saliency map is generated by integrating the corresponding weighted feature values for each pixel. Here, normalization is, for example, in a weighted feature map expanded to the number of pixels of resolution matched to the vertical and horizontal of the binocular parallax image, when the feature amount is uniform, the feature amount is smoothed to a predetermined numerical value, When there is a region having a higher feature amount than other regions, the feature amount of the region is increased by a predetermined ratio.

視覚的顕著性マップ生成部１６は、特徴別顕著性マップ生成部１５の生成した特徴（静的特徴及び動的特徴）毎の特徴別顕著性マップを合成し、視覚的顕著性マップを生成する。このとき、視覚的顕著性マップ生成部１６は、すでに述べた特徴別顕著性マップ生成部１５による特徴別顕著性マップの生成の場合と同様に、各特徴の特徴別顕著性マップの正規化を行なった後に、それぞれの画素毎の対応する特徴量を積算することで、視覚的顕著性マップを生成する。   The visual saliency map generation unit 16 combines the feature-specific saliency maps generated by the features (static features and dynamic features) generated by the feature-specific saliency map generation unit 15 to generate a visual saliency map. . At this time, the visual saliency map generation unit 16 normalizes the feature-specific saliency map of each feature as in the case of the feature-specific saliency map generation by the feature-specific saliency map generation unit 15 described above. After this is done, a visual saliency map is generated by integrating the corresponding feature quantities for each pixel.

図６は、本実施形態の視覚的顕著性マップ生成装置１による視覚的顕著性マップを生成する処理の動作例を示すフローチャートである。以下、図１及び図６を用いて、視覚的顕著性マップ生成装置１による視覚的顕著性マップを生成する処理の説明を行なう。
ステップＳ１：
低解像度画像生成部１１は、操作部１０１から供給される観察者の選択した映像コンテンツの動画像に対応する３次元画像データを画像記憶部１０３から読み込む。
そして、低解像度画像生成部１１は、読み出した３次元画像データから、観察者の視点方向に対応した画像として、σ＝２の低解像度画像を生成し、ぼかし処理とダウンサンプリングとにより、σ＝３からσ＝８までの計７種類の解像度の低解像度画像の各々を生成する。 FIG. 6 is a flowchart showing an operation example of processing for generating a visual saliency map by the visual saliency map generation device 1 of the present embodiment. Hereinafter, a process of generating a visual saliency map by the visual saliency map generation device 1 will be described with reference to FIGS. 1 and 6.
Step S1:
The low-resolution image generation unit 11 reads, from the image storage unit 103, three-dimensional image data corresponding to the moving image of the video content selected by the observer supplied from the operation unit 101.
Then, the low-resolution image generation unit 11 generates a low-resolution image with σ = 2 as an image corresponding to the viewpoint direction of the observer from the read three-dimensional image data, and σ = Each of the low resolution images having a total of seven types of resolution from 3 to σ = 8 is generated.

ステップＳ２：
特徴抽出部１２は、低解像度画像生成部１１が生成した低解像度画像の各々から、画像の静的特徴及び動的特徴、すなわち１２種類の特徴別のガウシアンピラミッドを生成する。 Step S2:
The feature extraction unit 12 generates, from each of the low resolution images generated by the low resolution image generation unit 11, static features and dynamic features of the image, that is, 12 types of Gaussian pyramids for each feature.

ステップＳ３：
そして、特徴抽出部１２は、生成した特徴別ガウシアンピラミッドから、それぞれの特徴の特徴マップを、解像度の組合わせに対応させて生成する。 Step S3:
The feature extraction unit 12 then generates a feature map of each feature from the generated feature-specific Gaussian pyramid corresponding to the combination of resolutions.

ステップＳ４：
重み付け係数分布作成部１３は、ＨＭＤ２００の頭部情報取得部２１０から、ＨＭＤ２００の回転状態（すなわち、観察者の頭部の回転状態）を示す回転情報を読み込む。
そして、重み付け係数分布作成部１３は、重み付け係数分布記憶部１７の重み付けテーブルから、上記回転状態に応じた動的及び静的の各々の重み付け係数分布マップを読み出す。 Step S4:
The weighting coefficient distribution creation unit 13 reads rotation information indicating the rotation state of the HMD 200 (that is, the rotation state of the observer's head) from the head information acquisition unit 210 of the HMD 200.
Then, the weighting coefficient distribution creation unit 13 reads the dynamic and static weighting coefficient distribution maps corresponding to the rotation state from the weighting table of the weighting coefficient distribution storage unit 17.

図７は、重み付け係数分布記憶部１７に記憶されている重み付けテーブルの構成を示す図である。図７（ａ）は、静的特徴に対する重み付け係数分布マップの重み付けテーブルである。この図７（ａ）の重み付けテーブルには、レコード毎に、回転状態に対応した輝度特徴、色彩特徴（ａ：赤色−青色）、色彩特徴（ｂ：青色−黄色）、方向特徴（上）、方向特徴（下）、方向特徴（左）、方向特徴（右）の各々の重み付け係数分布マップが設定されている。
また、図７（ｂ）は、動的特徴に対する重み付け係数分布マップの重み付けテーブルである。この図７（ｂ）の重み付けテーブルには、レコード毎に、回転状態に対応した点滅特徴、運動特徴（上）、運動特徴（下）、運動特徴（左）、運動特徴（右）の各々の重み付け係数分布マップが設定されている。 FIG. 7 is a diagram illustrating a configuration of a weighting table stored in the weighting coefficient distribution storage unit 17. FIG. 7A is a weighting table of a weighting coefficient distribution map for static features. In the weighting table of FIG. 7A, for each record, a luminance feature corresponding to the rotation state, a color feature (a: red-blue), a color feature (b: blue-yellow), a direction feature (upper), Each weighting coefficient distribution map of the direction feature (bottom), the direction feature (left), and the direction feature (right) is set.
FIG. 7B is a weighting table of a weighting coefficient distribution map for dynamic features. In the weighting table of FIG. 7B, for each record, each of the blinking feature, motion feature (up), motion feature (bottom), motion feature (left), and motion feature (right) corresponding to the rotation state is recorded. A weighting coefficient distribution map is set.

本実施形態においては、重み付け係数分布作成部１３の行なう重み付け係数分布マップの作成を、重み付けテーブルの参照を例として説明したが、所定の関係式により、それぞれの特徴に対応した重み付け係数分布マップを生成する構成としても良い。また、静的特徴の各々と動的特徴の各々とに対して重み付け係数分布マップを設ける構成としたが、性的特徴と動的特徴との各々に対応して一個ずつの重み付け係数分布マップを設ける構成としても良い。   In the present embodiment, the creation of the weighting coefficient distribution map performed by the weighting coefficient distribution creating unit 13 has been described with reference to the weighting table as an example. However, the weighting coefficient distribution map corresponding to each feature is represented by a predetermined relational expression. It is good also as a structure to produce | generate. In addition, the weighting coefficient distribution map is provided for each of the static characteristics and each of the dynamic characteristics. However, one weighting coefficient distribution map is provided for each of the sexual characteristics and the dynamic characteristics. It is good also as a structure to provide.

ステップＳ５：
重み付け特徴マップ生成部１４は、静的特徴の特徴マップの各々に対して、それぞれの特徴に対応する重み付け係数分布マップを加重して（図２から図５の各々）、静的特徴の各々の重み付け特徴マップを生成する。同様に、重み付け特徴マップ生成部１４は、動的特徴の特徴マップの各々に対して、それぞれの特徴に対応する重み付け係数分布マップを加重して、動的特徴の各々の重み付け特徴マップを生成する。 Step S5:
The weighting feature map generation unit 14 weights each feature map of static features with a weighting coefficient distribution map corresponding to each feature (each of FIGS. 2 to 5), and each of the static features. Generate a weighted feature map. Similarly, the weighting feature map generation unit 14 weights each of the dynamic feature feature maps with the weighting coefficient distribution map corresponding to each feature to generate each weighting feature map of the dynamic feature. .

ステップＳ６：
特徴別顕著性マップ生成部１５は、静的特徴及び動的特徴における特徴毎に、それぞれの重み付け特徴マップを正規化し、正規化した重み付け特徴マップを合成し、特徴別顕著性マップを生成する。 Step S6:
The feature-specific saliency map generation unit 15 normalizes each weighted feature map for each feature in the static feature and the dynamic feature, synthesizes the normalized weighted feature map, and generates a feature-specific saliency map.

ステップＳ７：
視覚的顕著性マップ生成部１６は、静的特徴及び動的特徴における特徴毎の特徴別顕著性マップを正規化し、正規化した特徴別顕著性マップを合成し、視覚的顕著性マップを生成する。 Step S7:
The visual saliency map generation unit 16 normalizes the feature-specific saliency map for each feature in the static feature and the dynamic feature, synthesizes the normalized feature-specific saliency map, and generates a visual saliency map. .

そして、視覚的顕著性マップ生成装置１は、両眼視差画像生成部１０２が映像コンテンツの動画像として、３次元画像データをレンダリングして両眼視差画像を生成する際に、画像の各領域の解像度を調整するために用いる視覚的顕著性マップを生成する。
そして、両眼視差画像生成部１０２は、両眼視差画像をレンダリングする際、この両眼視差画像に対応して生成された視覚的顕著性マップに示された視覚的顕著性の数値の分布に応じて、領域毎に解像度の異なる両眼視差画像を生成する。
また、解像度を調整するのではなく、視覚的顕著性マップに対応させて、両眼視差画像の各領域のレンダリングにおいて、光の反射などの表現の品質を調整する構成としても良い。すなわち、視覚的顕著性の低い領域は、視覚的顕著性の高い領域に比較して、レンダリングの品質を低下させ、レンダリングのパフォーマンスを向上（レンダリング時間の短縮）させる。 Then, when the binocular parallax image generation unit 102 generates the binocular parallax image by rendering the three-dimensional image data as the moving image of the video content, the visual saliency map generation device 1 generates the binocular parallax image. Generate a visual saliency map that is used to adjust the resolution.
Then, when rendering the binocular parallax image, the binocular parallax image generation unit 102 uses the distribution of the numerical values of visual saliency shown in the visual saliency map generated corresponding to the binocular parallax image. In response, binocular parallax images having different resolutions for each region are generated.
Further, instead of adjusting the resolution, the quality of expression such as light reflection may be adjusted in rendering each region of the binocular parallax image in correspondence with the visual saliency map. That is, a region with low visual saliency reduces rendering quality and improves rendering performance (rendering time is shortened) compared to a region with high visual saliency.

上述したように、本実施形態においては、静的特徴及び動的特徴の各々に対して、人間の眼の視覚特性に対応した重み付け係数を用い、この重み付け係数の分布を観察者の頭部の回転状態により変更するため、人間の視覚特性に対応し、かつ観察者の視線方向に対応した視覚的顕著性を示す視覚的顕著性マップを容易に作成することができる。
これにより、本実施形態においては、上述した視覚的顕著性マップを用いることにより、ＨＭＤに対して供給する両眼視差画像を、ＨＭＤに対して視線検出装置を設けず、観察者の視線方向に精度良く対応した解像度（視覚的顕著性の低い領域が視覚的顕著性の高い領域に比較して解像度を低く生成した）の領域からなる両眼視差画像を、レンダリング時間を短縮することで、リアルタイムにＨＭＤに対して供給することができる。 As described above, in the present embodiment, the weighting coefficient corresponding to the visual characteristic of the human eye is used for each of the static feature and the dynamic feature, and the distribution of this weighting factor is calculated on the head of the observer. Since it changes depending on the rotation state, a visual saliency map corresponding to human visual characteristics and showing visual saliency corresponding to the viewing direction of the observer can be easily created.
Thereby, in this embodiment, by using the above-described visual saliency map, the binocular parallax image supplied to the HMD is not provided with a line-of-sight detection device for the HMD, and is in the direction of the observer's line of sight. Real-time binocular parallax images consisting of areas with resolutions that correspond with high precision (areas with low visual saliency are generated with lower resolution than areas with high visual saliency) by reducing rendering time Can be supplied to the HMD.

なお、本発明における図１の視覚的顕著性マップ生成装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視覚的顕著性マップを生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 Note that a program for realizing the function of the visual saliency map generation device 1 of FIG. 1 in the present invention is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read into a computer system. , Processing for generating a visual saliency map may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせを含む。 The embodiment of the present invention has been described so far. However, the above embodiment is merely an example, and the present invention is not limited to the above-described embodiment, and may be implemented in various forms within the scope of the technical idea. Needless to say, it is good.
In addition, the scope of the present invention is not limited to the illustrated and described exemplary embodiments, and includes all embodiments that provide the same effects as those intended by the present invention. Furthermore, the scope of the invention is not limited to the combinations of features of the invention defined by the claims, but includes any desired combination of specific features among all the disclosed features.

観察者が頭部を自由に回転させ、観察者の視点を移動させることが出来るリアルタイム３次元映像は、医療分野やエンターテイメント業界でインタラクティブな映像コンテンツを提示する際に大いに需要がある。
このような背景の中、より没入感を観察者に与えるためには、リアルタイムに高精細な立体画像を提示する必要がある。本発明により、視線検出装置を使用せずに、ヒトの視覚特性に基づいて必要性の少ない画像生成のコストを削減することが可能であり、リアルタイム性の確保に貢献できる。 Real-time three-dimensional images that allow an observer to freely rotate the head and move the observer's viewpoint are in great demand when presenting interactive video content in the medical field or entertainment industry.
In such a background, it is necessary to present a high-definition stereoscopic image in real time in order to give the viewer a more immersive feeling. According to the present invention, it is possible to reduce the cost of image generation that is less necessary based on human visual characteristics without using a line-of-sight detection device, and contribute to securing real-time performance.

１…視覚的顕著性マップ生成装置
１１…低解像度画像生成部
１２…特徴抽出部
１３…重み付け係数分布作成部
１４…重み付け特徴マップ生成部
１５…特徴別顕著性マップ生成部
１６…視覚的顕著性マップ生成部
１７…重み付け係数分布記憶部
１００…両眼視差画像生成システム
１０１…操作部
１０２…両眼視差画像生成部
１０３…画像記憶部
２００…ＨＭＤ
２１０…頭部情報取得部
２２０…表示部 DESCRIPTION OF SYMBOLS 1 ... Visual saliency map production | generation apparatus 11 ... Low-resolution image production | generation part 12 ... Feature extraction part 13 ... Weighting coefficient distribution creation part 14 ... Weighting feature map production | generation part 15 ... Feature-specific saliency map production | generation part 16 ... Visual saliency Map generation unit 17 ... Weighting coefficient distribution storage unit 100 ... Binocular parallax image generation system 101 ... Operation unit 102 ... Binocular parallax image generation unit 103 ... Image storage unit 200 ... HMD
210: Head information acquisition unit 220 ... Display unit

Claims (8)

立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置であり、
３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出部と、
人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成部と、
前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成部と、
前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成部と
を備えることを特徴とする視覚的顕著性マップ生成装置。 A visual saliency map generation device that generates a visual saliency map that sets a resolution of each binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. Yes,
A feature extraction unit that extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data;
A weighting coefficient distribution creating unit for obtaining a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of static characteristics and dynamic characteristics in human visual characteristics;
The feature quantity of the static feature map is adjusted by the weighting coefficient of the static weighting coefficient distribution map to generate a saliency map for each static feature, and the feature quantity of the dynamic feature map is converted to the dynamic weighting coefficient. A feature-specific saliency map generation unit that generates a saliency map by dynamic feature by adjusting the weighting coefficient of the distribution map;
A visual saliency map generating unit that synthesizes each of the static feature-specific saliency map and the dynamic feature-specific saliency map to generate a visual saliency map; Sex map generator. 前記特徴別顕著性マップ生成部が、前記静的特徴マップの画素の特徴量に対し、前記静的重み付け係数分布マップの重み付け係数を乗算し、前記動的特徴マップの画素の特徴量に対し、前記動的重み付け係数分布マップの重み付け係数を乗算して、静的特徴別顕著性マップ、動的特徴別顕著性マップを生成する
ことを特徴とする請求項１に記載の視覚的顕著性マップ生成装置。 The feature-specific saliency map generation unit multiplies the feature amount of the pixel of the static feature map by the weighting factor of the static weighting factor distribution map, and for the feature amount of the pixel of the dynamic feature map, The visual saliency map generation according to claim 1, wherein the saliency map by static feature and the saliency map by dynamic feature are generated by multiplying the weighting factors of the dynamic weighting factor distribution map. apparatus. ３次元立体データから前記両眼視差画像に対応し、より低分解能の低分解能画像を生成する低解像度画像生成部をさらに備え、
前記特徴抽出部が、前記低分解能画像から前記静的特徴マップ及び前記動的特徴マップを抽出する
ことを特徴とする請求項１または請求項２に記載の視覚的顕著性マップ生成装置。 A low-resolution image generation unit that corresponds to the binocular parallax image from three-dimensional stereoscopic data and generates a low-resolution low-resolution image;
The visual saliency map generation device according to claim 1 or 2, wherein the feature extraction unit extracts the static feature map and the dynamic feature map from the low-resolution image. 前記重み付け係数分布作成部が、前記ヘッドマウントディスプレイの回転動作に応じて、前記静的重み付け係数分布マップ及び前記動的重み付け係数分布マップの各々の重み付け係数の分布の形状を生成する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の視覚的顕著性マップ生成装置。 The weighting coefficient distribution creating unit generates a weighting coefficient distribution shape of each of the static weighting coefficient distribution map and the dynamic weighting coefficient distribution map in accordance with a rotation operation of the head mounted display. The visual saliency map generation device according to any one of claims 1 to 3. 前記静的特徴が少なくとも輝度特徴、色彩特徴、方向特徴を含み、前記動的特徴が少なくとも点滅特徴、運動特徴を含んでいる
ことを特徴とする請求項１から請求項４のいずれか一項に記載の視覚的顕著性マップ生成装置。 The static feature includes at least a luminance feature, a color feature, and a direction feature, and the dynamic feature includes at least a blinking feature and a motion feature. The visual saliency map generator described. 前記静的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に低く設定され、前記動的重み付け係数分布マップにおいて、重み付け係数が中央部から外周部に向かい徐々に高く設定されている
ことを特徴とする請求項１から請求項５のいずれか一項に記載の視覚的顕著性マップ生成装置。 In the static weighting coefficient distribution map, the weighting coefficient is set gradually lower from the central part to the outer peripheral part, and in the dynamic weighting coefficient distribution map, the weighting coefficient is set gradually higher from the central part to the outer peripheral part. The visual saliency map generation device according to any one of claims 1 to 5, wherein the visual saliency map generation device is provided. 立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成方法であり、
特徴抽出部が、３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出過程と、
重み付け係数分布作成部が、人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成過程と、
特徴別顕著性マップ生成部が、前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成過程と、
視覚的顕著性マップ生成部が、前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成過程と
を含むことを特徴とする視覚的顕著性マップ生成方法。 A visual saliency map generation method for generating a visual saliency map that sets a resolution of the binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. Yes,
A feature extraction process in which a feature extraction unit extracts a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data;
A weighting coefficient distribution creating unit that obtains a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of static and dynamic features in human visual characteristics;
A feature-specific saliency map generation unit generates a static feature-specific saliency map by adjusting a feature amount of the static feature map by a weighting coefficient of the static weighting coefficient distribution map, and A feature-specific saliency map generation process in which a feature amount is adjusted by a weighting coefficient of the dynamic weighting coefficient distribution map to generate a saliency map by dynamic characteristics;
A visual saliency map generating unit that generates a visual saliency map by synthesizing each of the static feature-specific saliency map and the dynamic feature-specific saliency map; A visual saliency map generation method comprising: 立体画像をヘッドマウントディスプレイへ掲示する動画像の両眼視差画像を作成する際、前記両眼視差画像の解像度を領域毎に設定する視覚的顕著性マップを生成する視覚的顕著性マップ生成装置の機能をコンピュータに実行させるプログラムであり、
前記コンピュータを、
３次元立体データから前記両眼視差画像における静的特徴マップ及び動的特徴マップを抽出する特徴抽出手段、
人間の視覚特性における静的特徴及び動的特徴の各々応じた静的重み付け係数分布マップ、動的重み付け係数分布マップそれぞれを求める重み付け係数分布作成手段、
前記静的特徴マップの特徴量を、前記静的重み付け係数分布マップの重み付け係数により調整して静的特徴別顕著性マップを生成し、前記動的特徴マップの特徴量を、前記動的重み付け係数分布マップの重み付け係数により調整して動的特徴別顕著性マップを生成する特徴別顕著性マップ生成手段、
前記静的特徴別顕著性マップ及び前記動的特徴別顕著性マップの各々を合成して、視覚的顕著性マップを生成する視覚的顕著性マップ生成手段
として機能させるためのプログラム。 A visual saliency map generation device that generates a visual saliency map that sets a resolution of a binocular parallax image for each region when creating a binocular parallax image of a moving image that displays a stereoscopic image on a head-mounted display. A program that causes a computer to execute functions,
The computer,
Feature extraction means for extracting a static feature map and a dynamic feature map in the binocular parallax image from three-dimensional stereoscopic data;
A weighting coefficient distribution creating means for obtaining a static weighting coefficient distribution map and a dynamic weighting coefficient distribution map corresponding to each of a static feature and a dynamic feature in human visual characteristics,
The feature quantity of the static feature map is adjusted by the weighting coefficient of the static weighting coefficient distribution map to generate a saliency map for each static feature, and the feature quantity of the dynamic feature map is converted to the dynamic weighting coefficient. A feature-specific saliency map generating means for generating a dynamic feature-specific saliency map by adjusting the weighting coefficient of the distribution map;
A program for functioning as visual saliency map generation means for generating a visual saliency map by synthesizing each of the static feature-specific saliency map and the dynamic feature-specific saliency map.
JP2016223469A 2016-11-16 2016-11-16 Visual saliency map generator, visual saliency map generation method and program Active JP6844210B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016223469A JP6844210B2 (en) 2016-11-16 2016-11-16 Visual saliency map generator, visual saliency map generation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016223469A JP6844210B2 (en) 2016-11-16 2016-11-16 Visual saliency map generator, visual saliency map generation method and program

Publications (2)

Publication Number Publication Date
JP2018082318A true JP2018082318A (en) 2018-05-24
JP6844210B2 JP6844210B2 (en) 2021-03-17

Family

ID=62197926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016223469A Active JP6844210B2 (en) 2016-11-16 2016-11-16 Visual saliency map generator, visual saliency map generation method and program

Country Status (1)

Country Link
JP (1) JP6844210B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042807A (en) * 2018-09-06 2020-03-19 株式会社ソニー・インタラクティブエンタテインメント Foveated rendering system and method
WO2020085549A1 (en) * 2018-10-26 2020-04-30 Samsung Electronics Co., Ltd. Method and device for adjusting resolution of hmd apparatus
CN112767546A (en) * 2021-01-22 2021-05-07 湖南大学 Binocular image-based visual map generation method for mobile robot
WO2022198175A1 (en) * 2021-03-16 2022-09-22 Argo AI, LLC Systems and methods for generating object detection labels using foveated image magnification for autonomous driving
US11733651B2 (en) 2020-08-28 2023-08-22 Samsung Electronics Co., Ltd. Holographic display apparatus and operating method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039778A (en) * 2009-08-11 2011-02-24 Nippon Hoso Kyokai <Nhk> Moving image content evaluation device and computer program
JP2012249038A (en) * 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd Image signal processing apparatus and image signal processing method
JP2014222874A (en) * 2008-10-09 2014-11-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Apparatus and method for converting 2d image to 3d image based on visual attention
WO2015193287A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222874A (en) * 2008-10-09 2014-11-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Apparatus and method for converting 2d image to 3d image based on visual attention
JP2011039778A (en) * 2009-08-11 2011-02-24 Nippon Hoso Kyokai <Nhk> Moving image content evaluation device and computer program
JP2012249038A (en) * 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd Image signal processing apparatus and image signal processing method
WO2015193287A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042807A (en) * 2018-09-06 2020-03-19 株式会社ソニー・インタラクティブエンタテインメント Foveated rendering system and method
JP7420510B2 (en) 2018-09-06 2024-01-23 株式会社ソニー・インタラクティブエンタテインメント Foveated rendering system and method
WO2020085549A1 (en) * 2018-10-26 2020-04-30 Samsung Electronics Co., Ltd. Method and device for adjusting resolution of hmd apparatus
US11416964B2 (en) 2018-10-26 2022-08-16 Samsung Electronics Co., Ltd. Method and device for adjusting resolution of HMD apparatus
US11733651B2 (en) 2020-08-28 2023-08-22 Samsung Electronics Co., Ltd. Holographic display apparatus and operating method thereof
CN112767546A (en) * 2021-01-22 2021-05-07 湖南大学 Binocular image-based visual map generation method for mobile robot
CN112767546B (en) * 2021-01-22 2022-08-02 湖南大学 Binocular image-based visual map generation method for mobile robot
WO2022198175A1 (en) * 2021-03-16 2022-09-22 Argo AI, LLC Systems and methods for generating object detection labels using foveated image magnification for autonomous driving

Also Published As

Publication number Publication date
JP6844210B2 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN107317987B (en) Virtual reality display data compression method, device and system
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
EP3051525B1 (en) Display
JP6844210B2 (en) Visual saliency map generator, visual saliency map generation method and program
EP3035681B1 (en) Image processing method and apparatus
US20210065432A1 (en) Method and system for generating an image of a subject in a scene
JP2019079552A (en) Improvements in and relating to image making
JP5515301B2 (en) Image processing apparatus, program, image processing method, recording method, and recording medium
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US9721385B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP7386888B2 (en) Two-shot composition of the speaker on the screen
US9911214B2 (en) Display control method and display control apparatus
CN106464854A (en) Image encoding and display
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
JP7201869B1 (en) Generate new frames with rendered and unrendered content from the previous eye
CN114026603B (en) Rendering computer-generated real text
WO2019043025A1 (en) Zooming an omnidirectional image or video
US20210037225A1 (en) Method of modifying an image on a computational device
JP7426413B2 (en) Blended mode three-dimensional display system and method
JP2023505235A (en) Virtual, Augmented, and Mixed Reality Systems and Methods
WO2022086580A1 (en) Dynamic resolution of depth conflicts in telepresence
US10083675B2 (en) Display control method and display control apparatus
EP4030752A1 (en) Image generation system and method
EP4261768A1 (en) Image processing system and method
WO2022086486A1 (en) Rendering format selection based on virtual distance

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161117

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210208

R150 Certificate of patent or registration of utility model

Ref document number: 6844210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250