JP5121081B1 - Stereoscopic display - Google Patents

Stereoscopic display Download PDF

Info

Publication number
JP5121081B1
JP5121081B1 JP2011205511A JP2011205511A JP5121081B1 JP 5121081 B1 JP5121081 B1 JP 5121081B1 JP 2011205511 A JP2011205511 A JP 2011205511A JP 2011205511 A JP2011205511 A JP 2011205511A JP 5121081 B1 JP5121081 B1 JP 5121081B1
Authority
JP
Japan
Prior art keywords
image
parallax
value
evaluation
parallax angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011205511A
Other languages
Japanese (ja)
Other versions
JP2013070127A (en
Inventor
竜二 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011205511A priority Critical patent/JP5121081B1/en
Priority to PCT/JP2012/058978 priority patent/WO2013042392A1/en
Application granted granted Critical
Publication of JP5121081B1 publication Critical patent/JP5121081B1/en
Publication of JP2013070127A publication Critical patent/JP2013070127A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

【課題】従来の方式では、最前面と最背面の視差の値の単純な差分や、その時間的な累積値のみで立体映像の安全性や快適性を判定しているため、現実的に快適に視聴できるにもかかわらず、快適でないという誤った評価結果が出力される場合があった。
【解決手段】本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得し、立体画像の視差角分布を取得し、当該視差角分布に基づいて立体画像の見やすさを評価する構成を有するものである。当該構成を有することによって、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【選択図】図７PROBLEM TO BE SOLVED: In the conventional method, since the safety and comfort of a stereoscopic video are judged only by the simple difference of the value of the parallax between the front and the back and the temporally accumulated value, it is practically comfortable. In spite of being able to view it, the wrong evaluation result that it is not comfortable may be output.
The present invention acquires an image for the left eye and an image for the right eye constituting a stereoscopic image, acquires a parallax angle distribution of the stereoscopic image, and determines the legibility of the stereoscopic image based on the parallax angle distribution. It has a configuration to be evaluated. By having the said structure, it becomes possible to output more appropriate evaluation result regarding the safety | security and comfort of a stereo image.
[Selected figure] Figure 7

Description

本発明は、立体画像の見やすさを評価する立体画像評価装置に関する。   The present invention relates to a stereoscopic image evaluation device for evaluating the visibility of a stereoscopic image.

従来、３次元画像を表示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。この方式は、両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ左眼用画像、右眼用画像という）を用意し、それぞれ独立に左右の目に投影することにより立体視を行うことができる。   Heretofore, various methods have been proposed for displaying three-dimensional images. Among them, what is generally used is one called “binocular type” using binocular parallax. In this method, an image for the left eye and an image for the right eye (hereinafter referred to as an image for the left eye and an image for the right eye, respectively) having binocular parallax are prepared and projected independently to the left and right eyes. Stereoscopic vision can be performed.

非特許文献１においては、両眼視差を用いた３次元画像（以下、３Ｄ画像という）を作成するための３ＤＣ安全ガイドラインが記載されている。両眼視差を用いた３Ｄ画像では、立体の飛び出し感、奥行き感は視差の調整で制御できるが、瞳孔間間隔の狭い人や子供は立体感を強く感じやすい。また、３Ｄ画像をディスプレイ面の後方に表示する場合、ディスプレイ上で両眼瞳孔間間隔を超える視差があると、眼精疲労や、斜位や斜視などの症状を引き起こす可能性があり、このような大きな視差をつけることは可能な限り避ける必要がある。   Non-Patent Document 1 describes a 3DC safety guideline for creating a three-dimensional image (hereinafter referred to as a 3D image) using binocular parallax. In a 3D image using binocular parallax, the sense of popping out of a solid and the sense of depth can be controlled by adjusting the parallax, but a person or a child with a narrow inter-pupil distance tends to feel strongly stereoscopic. In addition, when a 3D image is displayed behind the display surface, if there is parallax exceeding the interocular pupil distance on the display, symptoms such as eye strain and obliqueness and strabismus may be caused. It should be avoided as much as possible to create a large disparity.

３ＤＣ安全ガイドラインでは、安全を考慮して、６歳児の瞳孔間間隔（５ｃｍ程度）を子供の代表値としている。また、３ＤＣ安全ガイドラインにおいては、３Ｄ画像を快適に視聴するための条件として、１画面内の奥行範囲を視差角で１度以内とし、時間的・空間的な視差角の変化を１度以内とする必要があることが述べられている。また、安全に視聴する条件として、立体視の融合限界を２度程度とする必要があることが述べられている。   In the 3DC Safety Guidelines, the interpupillary distance (about 5 cm) of a 6-year-old child is used as a representative value of children in consideration of safety. Furthermore, in the 3DC safety guidelines, as a condition for viewing 3D images comfortably, the depth range in one screen is within 1 degree of parallax angle, and the temporal and spatial change of parallax angle is within 1 degree. It is stated that it is necessary to Moreover, it is stated that it is necessary to set the fusion limit of stereoscopic vision to about 2 degrees as a condition for viewing safely.

ここで、２眼式の代表的な方式としてフレームシーケンシャル方式や視差バリア方式等が提案されている。以下、各方式についてその概念図を用いて詳述する。図１は、フレームシーケンシャル方式を説明するための概念図である。フレームシーケンシャル方式のシステムは、高速に画像フレームを切り替えて表示するディスプレイと、ディスプレイの表示に同期して左右のレンズを交互に開閉するアクティブ・シャッターメガネとから構成される。図１の例においては、左眼用画像０１００と右眼用画像０１０１が短い時間間隔で交互にディスプレイに表示される。そのタイミングに合わせて、アクティブ・シャッターメガネ０１０２は、左眼用画像０１００がディスプレイに表示される際には、左眼用のレンズシャッター０１０３が光を透過するように制御し、右眼用のレンズシャッター０１０４が光を遮断するように制御する。逆に、右眼用画像０１０１がディスプレイに表示される際には、右眼用のレンズシャッター０１０４が光を透過するように制御し、左眼用のレンズシャッター０１０３が光を遮断するように制御する。このように、左右それぞれの目に合わせた映像を時分割で表示することにより、視聴者は立体映像を観察することができる。   Here, a frame sequential method, a parallax barrier method, and the like have been proposed as representative methods of the two-lens system. Hereinafter, each method will be described in detail using its conceptual diagram. FIG. 1 is a conceptual diagram for explaining a frame sequential method. The frame sequential system comprises a display that switches and displays image frames at high speed, and active shutter glasses that alternately open and close the left and right lenses in synchronization with the display on the display. In the example of FIG. 1, the image for left eye 0100 and the image for right eye 0101 are alternately displayed on the display at short time intervals. At the same time, when the left-eye image 0100 is displayed on the display, the active shutter glasses 0102 control the left-eye lens shutter 0103 to transmit light, and the right-eye lens The shutter 0104 is controlled to block the light. Conversely, when the right-eye image 0101 is displayed on the display, the right-eye lens shutter 0104 controls to transmit light, and the left-eye lens shutter 0103 controls to block light Do. Thus, the viewer can observe the stereoscopic video by displaying the video matched with the left and right eyes in a time division manner.

また、図２は、視差バリア方式を説明するための概念図である。図２（ａ）は、視差が生じる原理を示す図である。一方、図２（ｂ）は、パララクスバリア方式で表示される画面の例を示す図である。図２（ｂ）においては、左眼用画像と右眼用画像とが水平方向において１画素おきに交互に並んだ配置構成の画像が示されている。また、図２（ａ）においては、図２（ｂ）の画像を画像表示パネル０２００に表示する構成が示されている。図２（ａ）の構成においては、同一視点の画素の間隔よりも狭い間隔のスリットを持つパララクスバリア０２０１を画像表示パネル０２００の前面（視点側）に設置する。このようにすることにより、左眼用画像は左眼０２０２のみで観察し、右眼用画像は右眼０２０３のみで観察することができ、立体視することが可能となる。   Moreover, FIG. 2 is a conceptual diagram for demonstrating a parallax barrier system. FIG. 2A is a diagram showing the principle of occurrence of parallax. On the other hand, FIG. 2B is a diagram showing an example of a screen displayed by the parallax barrier method. FIG. 2B shows an image of an arrangement configuration in which the left-eye image and the right-eye image are alternately arranged at every other pixel in the horizontal direction. Further, FIG. 2A shows a configuration for displaying the image of FIG. 2B on the image display panel 0200. In the configuration of FIG. 2A, a parallax barrier 0201 having slits at an interval smaller than the interval between pixels of the same viewpoint is installed on the front surface (viewpoint side) of the image display panel 0200. By doing this, the image for the left eye can be observed only with the left eye 0202, and the image for the right eye can be observed only with the right eye 0203, and stereoscopic vision can be realized.

なお、特許文献１には、オプティカルフローを求める画像処理を用いて、同時刻に表示される左眼用画像と右眼用画像との対応点間の視差量を求め、最前面に立体表示される被写体の視差や、最背面に立体表示される被写体の視差、最前面と最背面の視差の差や、それらの時系列の変化や、累積値などを抽出し、時間的な視差の累積値から、立体映像の安全性に関する限界値として定めたしきい値を比較し、立体映像の安全性を判断し、視差の差から立体映像の快適性に関する限界値として定めたしきい値を比較し、立体映像の快適性を判断する立体映像評価装置や立体映像チューナが開示されている。   In Patent Document 1, the amount of parallax between corresponding points of the image for the left eye and the image for the right eye displayed at the same time is determined using image processing for determining the optical flow, and stereoscopic display is performed on the foreground. The parallax of the subject being photographed, the parallax of the subject being stereoscopically displayed in the backmost, the difference between the parallaxes of the foremost and the backmost, their time series changes, the accumulated value, etc. From the above, the threshold value defined as the limit value for the safety of stereoscopic video is compared, the safety of the stereoscopic image is judged, and the threshold value defined as the limit value for the comfort of stereoscopic video from the difference in parallax is compared. A stereoscopic video evaluation device and a stereoscopic video tuner for judging the comfort of a stereoscopic video are disclosed.

また、特許文献２には、立体映像から所定値以上の値を持つ視差角の変化量と、視差角の変化に要する変化時間と、視差角が変化した変化回数とを把握し、変化量、変化時間及び変化回数に基づき目の疲労度に相当する評価値を算出して、評価値が所定の範囲となるように、視差調整を行った立体映像を作成し、エンコードして記録媒体に記録する立体映像記録方法が開示されている。   Further, in Patent Document 2, the amount of change in the parallax angle having a value equal to or more than a predetermined value from the stereoscopic video, the change time required for the change in the parallax angle, and the number of changes in the change of the parallax angle are grasped. An evaluation value corresponding to the degree of eye fatigue is calculated based on the change time and the number of changes, and a stereoscopic image subjected to parallax adjustment is created and encoded so as to fall within a predetermined range, and recorded on a recording medium Methods for recording stereoscopic images are disclosed.

特許第４４６９１５９号公報Patent No. 4469159 gazette 特開２００９−１３５６８６号公報JP, 2009-135686, A

"３ＤＣ安全ガイドライン"、［online］、平成２２年４月２０日、３Ｄコンソーシアム安全ガイドライン部会、［平成２２年９月１５日検索］、インターネット〈URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉"3DC Safety Guidelines", [online], April 20, 2010, 3D Consortium Safety Guidelines Committee, [September 15, 2010 Search], Internet <URL: http://www.3dc.gr.jp /jp/scmt_wg_rep/3dc_guideJ_20100420.pdf>

一方、立体映像には特有の現象として、「枠張り付き効果」や、「ぼけによる快適な視差角のしきい値の変化」という現象が知られている。「枠張り付き効果」とは、ディスプレイ面より手前に表示される被写体がディスプレイの上下左右のフレームにかかるような場合、被写体がフレームより手前の位置に見えなければならないのが、被写体がフレームに張り付いて見えてしまう現象である。また、「ぼけによる快適な視差角のしきい値の変化」とは、画像にボケがある場合とそうでない場合とで被写界深度（ピントが合う範囲）が異なり、輻輳と調節の一致する視差角の範囲が変化するという現象である。   On the other hand, as a phenomenon peculiar to three-dimensional video, a phenomenon called "frame sticking effect" or "change in threshold value of comfortable parallax angle due to blurring" is known. The “frame sticking effect” means that when the subject displayed in front of the display surface is on the top, bottom, left, and right frames of the display, the subject must appear in front of the frame. It is a phenomenon that can be seen. Also, “a change in the threshold of a comfortable parallax angle due to blurring” means that the depth of field (the range in which the image is in focus) differs depending on whether the image is blurred or not, and convergence and adjustment match This is a phenomenon that the range of the parallax angle changes.

特許文献１の方式では、最前面と最背面の視差の値を求め、それらの差や時間的な累積値のみで立体映像の安全性や快適性を判定している。このため、上記の枠張り付き効果により視聴者が感じる違和感については考慮されていないという問題がある。また、特許文献１の方式では、快適性の判断の際に最前面と最背面の画面上の位置を考慮していないため、最前面の領域と最背面の領域が画面上にて隣接しない場合（例えば、最背面が空であり、最前面の地面である場合）には妥当でない判断が出される可能性がある。つまり、最前面と最背面の画面上の位置が離れているような場合には快適に視聴できるにもかかわらず、快適でないと誤って判断される可能性があった。   In the method of Patent Document 1, the parallax value between the frontmost and the backmost is determined, and the safety and comfort of the stereoscopic video are determined only by the difference between them and the temporally accumulated value. For this reason, there is a problem that the sense of incongruity felt by the viewer is not taken into consideration by the above-described frame sticking effect. Further, in the method of Patent Document 1, the frontmost area and the rearmost area are not adjacent to each other on the screen because the positions on the frontmost and rearmost screens are not taken into consideration when determining comfort. An unreasonable decision may be made (e.g., if the back most surface is empty and the top ground). That is, there is a possibility that it may be erroneously determined to be not comfortable although viewing can be performed comfortably when the positions on the front and back screens are far apart.

また、視聴者はピントの合った領域を注視する可能性が高いが、上記特許文献１の方式では画面全体の視差の時間的な累積値のみから立体映像の安全性を判定しているため、ボケのある領域を含むような立体画像を見る場合には適さないという問題がある。また、上記特許文献２の方式においても、枠張り付き効果やボケによる被写界深度の変化が考慮されておらず、目の疲労度に相当する評価が実際とは異なる場合があった。   In addition, although the viewer is highly likely to gaze at an area in focus, the method of Patent Document 1 determines the safety of the stereoscopic image only from the temporally cumulative value of the parallax of the entire screen. There is a problem that it is not suitable when viewing a stereoscopic image that includes a blurred area. Also in the method of Patent Document 2 described above, changes in the depth of field due to frame sticking effects and blurring are not taken into consideration, and evaluations corresponding to the degree of eye fatigue may differ from actual evaluations.

本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データの特徴量から、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報を算出し、立体映像の安全性や快適性を視聴者にわかりやすく示すことによって、安全で快適な視聴を行うことを可能にすることにある。   The present invention has been made to solve the above-mentioned problems, and its object is to view an image viewed in three-dimensional form from feature quantities of image data for three-dimensional display. Make it possible to perform safe and comfortable viewing by calculating information that expresses the safety and comfort related to fatigue to the eyes of the person, and showing the safety and comfort of stereoscopic video to the viewer in an easy-to-understand manner It is in.

以上の課題を解決するために、本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、を有する立体画像評価装置を提案する。   In order to solve the above problems, according to the present invention, a three-dimensional image acquisition unit for acquiring a left-eye image and a right-eye image constituting a three-dimensional image, and the acquired left-eye image and right-eye image A stereo image evaluation device is proposed having a parallax angle distribution acquisition unit that acquires a parallax angle distribution of a stereoscopic image, and an evaluation unit that evaluates the visibility of the stereoscopic image based on the acquired parallax angle distribution.

以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。   Since the present invention having the above configuration considers not only the value of the parallax angle but also the distribution of the values of the parallax angle, it is possible to output more appropriate evaluation results regarding the safety and comfort of the stereoscopic image. It will be possible.

フレームシーケンシャル方式を説明するための概念図Conceptual diagram to explain the frame sequential method 視差バリア方式を説明するための概念図Conceptual diagram for explaining the parallax barrier method 立体画像の視差を説明する図A diagram for explaining the parallax of a stereoscopic image 画面を見た場合の輻輳角について説明する図Diagram for explaining the convergence angle when viewing the screen 立体映像が画面より手前に表示される場合の視差による輻輳角を説明する図A diagram for explaining the convergence angle due to parallax when stereoscopic video is displayed in front of the screen 立体映像が画面より奥に表示される場合の視差による輻輳角を説明する図A diagram for explaining the convergence angle due to parallax when a stereoscopic video is displayed behind the screen 実施形態１の立体画像評価装置の機能ブロック図Functional block diagram of stereoscopic image evaluation apparatus according to the first embodiment 実施形態１の立体画像評価装置のハードウェア構成の一例を示す図The figure which shows an example of the hardware constitutions of the three-dimensional image evaluation apparatus of Embodiment 1. 実施形態１の立体画像評価装置の動作についてのフローチャート図Flowchart of the operation of the stereoscopic image evaluation apparatus according to the first embodiment 最も手前に位置する被写体の視差角をもつブロックと最も奥に位置する被写体の視差角をもつブロックが、離れた位置にある場合の画像例について説明するための図A diagram for describing an example of an image when the block having the parallax angle of the object located in the foremost position and the block having the parallax angle of the object positioned in the farmost position are separated. 水平方向に隣接するブロックの視差角の例を示す図A diagram showing an example of parallax angles of horizontally adjacent blocks 垂直方向に隣接するブロックの視差角の例を示す図A diagram showing an example of parallax angles of vertically adjacent blocks 実施形態２の立体画像評価装置の機能ブロック図Functional block diagram of stereoscopic image evaluation apparatus according to the second embodiment 実施形態２の立体画像評価装置の動作についてのフローチャート図Flowchart of the operation of the stereoscopic image evaluation apparatus of the second embodiment 実施形態３の立体画像評価装置の機能ブロック図Functional block diagram of three-dimensional image evaluation device of the third embodiment 実施形態３の項目別評価値を算出するためのテーブルの一例を示す図The figure which shows an example of the table for calculating the evaluation value classified by item of Embodiment 3. 実施形態３の立体画像評価装置の動作についてのフローチャート図Flowchart of the operation of the stereoscopic image evaluation apparatus of the third embodiment 実施形態４の立体画像評価装置の機能ブロック図Functional block diagram of three-dimensional image evaluation device of the fourth embodiment 飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す図A diagram showing an example of a three-dimensional image when the popped-out subject is positioned at the left and right ends of the screen 飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す図A diagram showing an example of a stereoscopic image in the case where a popped-out subject is positioned at the upper and lower ends of the screen 実施形態４の項目別評価値を算出するためのテーブルの一例を示す図The figure which shows an example of the table for calculating the itemized evaluation value of Embodiment 4. 実施形態４の立体画像評価装置の動作についてのフローチャート図Flowchart of the operation of the stereoscopic image evaluation apparatus of the fourth embodiment 実施形態５の立体画像評価装置の機能ブロック図Functional block diagram of stereoscopic image evaluation apparatus according to the fifth embodiment 背景領域がぼけている画像の一例を示す図A diagram showing an example of an image in which the background area is blurred 実施形態５の立体画像評価装置の動作についてのフローチャート図Flowchart of the operation of the stereoscopic image evaluation apparatus of the fifth embodiment 実施形態６の立体画像評価装置の機能ブロック図Functional block diagram of stereoscopic image evaluation apparatus according to the sixth embodiment 実施形態６の立体画像評価装置の動作についてのフローチャート図The flowchart figure about operation of the stereo image evaluation system of Embodiment 6 本発明の立体画像評価装置を立体テレビに搭載した例を示す図The figure which shows the example which mounted the three-dimensional image evaluation apparatus of this invention in three-dimensional television. 表示用立体画像データの一例（１）を示す図A diagram showing an example (1) of stereoscopic image data for display 表示用立体画像データの一例（２）を示す図A diagram showing an example (2) of stereoscopic image data for display

以下、各実施形態の立体画像評価装置の説明に入る前に、発明のポイントとなる視差と視差角について説明する。なお、以下の説明では、立体映像がディスプレイの画面より飛び出して見えることを飛び出し、立体映像がディスプレイの画面より奥に引っ込んで見えることを奥行という。   Hereinafter, before describing the stereoscopic image evaluation device of each embodiment, the parallax and the parallax angle, which are points of the invention, will be described. In the following description, it is called depth that a stereoscopic video appears to pop out from the screen of the display, and that a stereoscopic video looks to be drawn behind the screen of the display.

図３は、立体画像の視差を説明する図である。図３（ａ）は左眼用画像データ０３００を示す。ここで、立体表示をした際に最も遠くに見える領域が最遠点０３０１、最も近くに見える領域が最近点０３０２としている。図３（ｂ）は右眼用画像データ０３０３を示す。ここで、最遠点０３０４は、立体表示をした際の左眼用画像データ９の最遠点１０の対応点である。また、最近点０３０５は、立体表示をした際の左眼用画像データ０３００の最近点０３０２の対応点である。このとき、左眼用画像データ９の左端から最遠点０３０１までの距離を「ｄｆＬ１」とし、最近点０３０２までの距離を「ｄｎＬ１」とする。また、右眼用画像データ０３０３の左端から、最遠点０３０４までの距離を「ｄｆＲ１」とし、左最近点０３０５までの距離を「ｄｎＲ１」とする。   FIG. 3 is a diagram for explaining the parallax of a stereoscopic image. FIG. 3A shows image data 0300 for the left eye. Here, the farthest point 0301 is the area that appears farthest when three-dimensional display is performed, and the nearest point 0302 is the area that appears closest. FIG. 3 (b) shows right eye image data 0303. Here, the farthest point 0304 is a corresponding point of the farthest point 10 of the left-eye image data 9 when stereoscopic display is performed. The closest point 0305 is a corresponding point of the closest point 0302 of the left-eye image data 0300 when stereoscopic display is performed. At this time, the distance from the left end of the left-eye image data 9 to the farthest point 0301 is "dfL1", and the distance to the nearest point 0302 is "dnL1". Further, the distance from the left end of the right-eye image data 0303 to the farthest point 0304 is "dfR1", and the distance to the left closest point 0305 is "dnR1".

この場合、左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も遠くに見える部分の視差を最遠景視差とすると、その値は「ｄｆＬ１−ｄｆＲ１」となる。同じく左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も近くに見える部分の視差を最近景視差とすると、その値は「ｄｎＬ１−ｄｎＲ１」となる。   In this case, when stereoscopic display is performed using the left-eye image data 0300 and the right-eye image data 0303, if the parallax of the portion that appears to the farthest to the viewer is the farthest view parallax, the value is “dfL1-dfR1. It becomes ". Similarly, when stereoscopic display is performed using the left-eye image data 0300 and the right-eye image data 0303, assuming that the parallax of the portion that appears closest to the viewer is the view parallax, the value is “dnL1-dnR1”. Become.

上記の最遠景視差と最近景視差は画素単位で求まるが、表示画面サイズ情報を用いて、実際に画面上で表示される際の距離情報に変換することも可能である。表示画面サイズ情報としては、具体的には、立体画像を表示する際の表示エリアの水平方向の画素サイズと、水平方向の分解能の情報が挙げられる。また、視差を画面水平方向の大きさに対する割合で表す場合は、表示画面サイズ情報として立体画像を表示する際の表示エリアの水平方向の実際の大きさを用いる。なお、視差の値がマイナスの場合は、表示される領域の位置がディスプレイ面よりも奥にあることを示し、視差の値がプラスの場合は、表示される領域の位置がディスプレイ面よりも手前にあることを示す。   Although the above-mentioned most distant view parallax and the latest view parallax can be obtained in pixel units, it is also possible to convert it into distance information when actually displayed on the screen using display screen size information. Specific examples of the display screen size information include the pixel size in the horizontal direction of the display area when displaying a stereoscopic image, and information on the resolution in the horizontal direction. When the parallax is expressed as a ratio to the size in the horizontal direction of the screen, the actual size of the display area in the horizontal direction when displaying a stereoscopic image is used as the display screen size information. In addition, when the value of the parallax is negative, it indicates that the position of the displayed area is behind the display surface, and when the value of the parallax is positive, the position of the displayed area is in front of the display surface Indicates that it is

次に、視差角について説明する。視差角とは、立体ディスプレイに表示された立体映像を視聴する際に視聴者がディスプレイ面を見るときの輻輳角と、ディスプレイ面から離れた空間に提示された立体像を観察する際の輻輳角と、の差分の絶対値である。図４は、画面を見た場合の輻輳角について説明する図である。ここで、視聴者が左眼０４００と右眼０４０１を通じて画面０４０２の１点である点０４０３を見た場合、点０４０３から左眼０４００に降ろした点を点０４０４とし、点０４０３から右眼０４０１に降ろした点を点０４０５とする。また、点０４０４と点０４０５を結んだ線分に直行するように点０４０３から降ろした点を点０４０６とする。このとき、点０４０６の位置は、点０４０４と点０４０５で結ばれた線分の中央に位置する。また、点０４０４と点０４０５を結んだ線分は左眼と右眼の間の距離である両眼間隔を表し、その長さをＴとする。また、点０４０３と点０４０６を結んだ線分は視聴者から画面までの視聴距離を表し、その長さをＬとする。また、点０４０３と点０４０４を結んだ線分と点０４０３と点０４０５を結んだ線分がなす角を、輻輳角αとする。   Next, the parallax angle will be described. The parallax angle is the convergence angle when the viewer looks at the display surface when viewing a stereoscopic image displayed on a stereoscopic display, and the convergence angle when observing a stereoscopic image presented in a space away from the display surface. The absolute value of the difference between and. FIG. 4 is a diagram for explaining the convergence angle when the screen is viewed. Here, when the viewer sees a point 0403 which is one point of the screen 0402 through the left eye 0400 and the right eye 0401, the point dropped from the point 0403 to the left eye 0400 is set as a point 0404 and the point 0403 to the right eye 0401 Let the point dropped down be point 0405. Further, a point dropped from the point 0403 so as to be orthogonal to a line segment connecting the point 0404 and the point 0405 is taken as a point 0406. At this time, the position of the point 0406 is located at the center of the line segment connected by the point 0404 and the point 0405. Further, a line segment connecting the point 0404 and the point 0405 represents an inter-eye distance which is a distance between the left eye and the right eye, and the length thereof is assumed to be T. Further, a line segment connecting the point 0403 and the point 0406 represents a viewing distance from the viewer to the screen, and the length thereof is L. Further, an angle formed by a line segment connecting the point 0403 and the point 0404 and a line segment connecting the point 0403 and the point 0405 is defined as a convergence angle α.

以上のように定義すると、三角形の相似関係から、（数１）のような関係が導かれる。

Figure 0005121081
（数１）より、輻輳角αは、（数２）のように表される。
Figure 0005121081
 By defining as described above, a relationship such as (Equation 1) is derived from the similarity relation of triangles.
Figure 0005121081
 From (Equation 1), the convergence angle α is expressed as (Equation 2).
Figure 0005121081

図５は、立体映像が画面よりも手前に表示される場合の視差による輻輳角について説明する図である。図５において、視聴者が、左眼０５００で画面０５０２にある左眼用画像の１点である点０５０７を見て、右眼０５０１で点０５０７に対応する右眼用画像の１点である点０５０８を見た場合、画面より手前の位置に点０５０９が立体像として提示される。また、点０５０５と点０５０９を結んだ線分は視聴者から立体映像が提示される位置までの距離を表し、その値をｍとする。また、点０５０７と点０５０８の間隔は視差を表し、その長さをｄ１とする。   FIG. 5 is a diagram for explaining the convergence angle due to the parallax when the stereoscopic video is displayed in front of the screen. In FIG. 5, the viewer sees a point 0507 which is one point of the image for the left eye on the screen 0502 with the left eye 0500, and a point which is one point of the image for the right eye corresponding to the point 0507 with the right eye 0501 When viewing 0508, a point 0509 is presented as a stereoscopic image at a position in front of the screen. Further, a line segment connecting the point 0505 and the point 0509 represents the distance from the viewer to the position where the stereoscopic video is presented, and the value is m. Further, the distance between the point 0507 and the point 0508 represents parallax, and the length thereof is d1.

このとき、点０５０３と点０５０９を結んだ線分と点０５０４と点０５０９を結んだ線分がなす角を輻輳角β１とすると、三角形の相似関係から、（数３）のような関係が導かれる。

Figure 0005121081
（数３）より、輻輳角β１は、（数４）のように表される。
Figure 0005121081
 また同様に、三角形の相似関係から、（数５）のような関係が導かれる。
Figure 0005121081
 （数４）、（数５）より、輻輳角β１は、（数６）のように表される。 At this time, assuming that an angle formed by a line segment connecting point 0503 and point 0509 and a line segment connecting point 0504 and point 0509 is a convergence angle β1, the relationship as shown in equation 3 is derived from the similarity relation of triangles. It is eaten.
Figure 0005121081
 From (Equation 3), the convergence angle β1 is expressed as (Equation 4).
Figure 0005121081
 Similarly, from the similarity relationship of triangles, a relationship such as equation (5) is derived.
Figure 0005121081
 From (Equation 4) and (Equation 5), the convergence angle β1 is expressed as (Equation 6).

Figure 0005121081
ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β１の差分の絶対値を、画面より手前に飛出す方向の視差に対する視差角γ１と定義する。この場合、画面より手前に飛出す方向の視差に対する視差角γ１は、（数７）のように表される。
Figure 0005121081
Figure 0005121081
 Here, the absolute value of the difference between the convergence angle α when the viewer looks at the screen and the convergence angle β1 when viewing a stereoscopic video with parallax in the direction of jumping out to the front of the screen It defines as parallax angle (gamma) 1 with respect to the parallax of the direction to take out. In this case, the parallax angle γ1 with respect to the parallax in the direction of coming out to the front side of the screen is expressed as Expression (7).
Figure 0005121081

図６は、立体映像が画面よりも奥に表示される場合の視差による輻輳角について説明する図である。図６において、視聴者が、左眼０６００で画面０６０２にある左眼用画像の１点である点０６０７を見て、右眼０６０１で点０６０７に対応する右眼用画像の１点である点０６０８を見た場合、画面より奥の位置に点０６０９が立体像として提示される。また、点０６０５と点０６０９を結んだ線分は視聴者から立体映像の距離を表し、その長さを（Ｌ＋ｎ）とする。また、点０６０７と点０６０８の間隔は視差を表し、その長さをｄ２とする。   FIG. 6 is a diagram for explaining a convergence angle due to parallax when a stereoscopic video is displayed behind the screen. In FIG. 6, the viewer sees a point 0607 which is one point of the image for the left eye on the screen 0602 with the left eye 0600, and a point which is one point of the image for the right eye corresponding to the point 0607 with the right eye 0601 When viewing 0608, a point 0609 is presented as a stereoscopic image at a position behind the screen. Further, a line segment connecting the point 0605 and the point 0609 represents the distance from the viewer to the stereoscopic video, and the length thereof is taken as (L + n). Further, the distance between the point 0607 and the point 0608 represents parallax, and the length thereof is d2.

このとき、点０６０３と点０６０９を結んだ線分と点０６０４と点０６０９を結んだ線分がなす角を輻輳角β２とする。三角形の相似関係から、（数８）のような関係が導かれる。

Figure 0005121081
（数８）より、輻輳角β２は、（数９）のように表される。
Figure 0005121081
 また同様に、三角形の相似関係から、（数１０）のような関係が導かれる。
Figure 0005121081
 （数９）、（数１０）より、輻輳角β２は、（数１１）のように表される。
Figure 0005121081
 At this time, an angle formed by a line segment connecting the points 0603 and 0609 and a line segment connecting the points 0604 and 0609 is defined as a convergence angle β2. From the similarity relation of triangles, a relation such as equation (8) is derived.
Figure 0005121081
 From (Equation 8), the convergence angle β2 is expressed as (Equation 9).
Figure 0005121081
 Similarly, from the similarity relation of triangles, a relation such as (Equation 10) is derived.
Figure 0005121081
 From Equations 9 and 10, the convergence angle β2 is expressed as Equation 11.
Figure 0005121081

ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β２の差分の絶対値と画面より奥に飛出す方向の視差に対する視差角γ２と定義する。この場合、画面より奥に飛出す方向の視差に対する視差角γ２は、（数１２）のように表される。

Figure 0005121081
Here, the absolute value of the difference between the convergence angle α when the viewer looks at the screen and the convergence angle β2 when viewing a stereoscopic video with parallax in the direction of jumping out to the front of the screen and jumping out from the screen It defines as parallax angle (gamma) 2 with respect to the parallax of direction. In this case, the parallax angle γ2 with respect to the parallax in the direction of jumping out to the back of the screen is expressed as (Equation 12).
Figure 0005121081

なお、視差角は通常絶対値で表現されるが、以下では、画面より手前に飛出す方向の視差に対する視差角と、画面より奥に飛出す方向の視差に対する視差角とを区別するために、画面より奥に飛出す方向の視差に対する視差角はマイナスの値とし、画面より手前に飛び出す方向の視差に対する視差角をプラスの値とする。   In addition, although the parallax angle is usually expressed by an absolute value, in the following, in order to distinguish the parallax angle for the parallax in the direction of jumping out of the screen and the parallax angle for the parallax in the direction of jumping out of the screen The parallax angle with respect to the parallax in the direction of jumping out from the screen is a negative value, and the parallax angle with respect to the parallax in the direction of jumping out of the screen is a positive value.

以下に、本発明にかかる立体画像評価装置の実施形態を説明する。実施形態と請求項の相互の関係は、以下のとおりである。実施形態１では主に請求項１について説明し、実施形態２では主に請求項２について説明し、実施形態３では主に請求項３について説明し、実施形態４では主に請求項４、５について説明し、実施形態５では主に請求項６、７、８について説明し、実施形態６では主に請求項９について説明する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、種々なる態様で実施しうる。   Hereinafter, an embodiment of a three-dimensional image evaluation apparatus according to the present invention will be described. The relationship between the embodiment and the claims is as follows. The first embodiment will mainly describe claim 1, the second embodiment will mainly describe claim 2, the third embodiment will mainly describe claim 3, and the fourth embodiment will mainly describe claims 4 and 5 In the fifth embodiment, claims 6, 7, and 8 will be mainly described, and in the sixth embodiment, claim 9 will be mainly described. The present invention is not limited to these embodiments, and can be practiced in various forms without departing from the scope of the invention.

<<実施形態１>> << First Embodiment >>

<概要>
本実施形態の立体画像評価装置は、立体画像を構成する左眼用画像と右眼用画像とを取得して、立体画像の視差角分布に基づいて立体画像の見やすさを評価する評価する構成を有する。当該構成を有することにより、立体画像の安全性や快適性に関してより適切な評価を出力することが可能になる。 <Overview>
The stereoscopic image evaluation apparatus according to the present embodiment is configured to obtain an image for the left eye and an image for the right eye constituting a stereoscopic image, and evaluate the visibility of the stereoscopic image based on the parallax angle distribution of the stereoscopic image. Have. By having the said structure, it becomes possible to output more appropriate evaluation regarding the safety | security and comfort of a stereo image.

<構成>
図７は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」０７００は、「立体画像取得部」０７０１と、「視差角分布取得部」０７０２と、「評価部」０７０３と、を有する。 <Configuration>
FIG. 7 is a diagram showing an example of functional blocks of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the “stereoscopic image evaluation device” 0700 includes a “stereoscopic image acquisition unit” 0701, a “parallax angle distribution acquisition unit” 0702, and an “evaluation unit” 0703.

「立体画像取得部」は、立体画像を構成する左眼用画像と右眼用画像とを取得する機能を有する。ここで、立体画像取得部は、左眼用画像と右眼用画像が一体となった立体画像データを取得する場合は、デコード処理を行って左眼用画像と右眼用画像に分離する。ただし、テレビなどの視聴装置において当該デコード処理が実行されている場合は、左眼用画像と右眼用画像をそのまま取得すればよい。なお、立体画像は、視聴装置から取得する他に、通信Ｉ／Ｆを介して外部サーバ等から取得してもよいし、内部記憶装置から取得してもよい。   The “stereoscopic image acquisition unit” has a function of acquiring an image for the left eye and an image for the right eye that constitute a stereoscopic image. Here, when acquiring the stereoscopic image data in which the image for the left eye and the image for the right eye are integrated, the stereoscopic image acquisition unit performs a decoding process to separate the image for the left eye and the image for the right eye. However, when the decoding process is performed in a viewing device such as a television, the left eye image and the right eye image may be acquired as they are. The three-dimensional image may be acquired from an external server or the like via the communication I / F, or may be acquired from an internal storage device, in addition to acquisition from the viewing device.

「視差角分布取得部」は、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する機能を有する。なお、視差と視差角の関係は、上記（数６）で示したように、表示画面のサイズや視聴距離、両眼間隔の長さから一意に定まるものであるため、視差角分布に代えて視差分布を用いることも可能である。以下では、説明の簡略化のために、視差角分布を用いて説明する。   The “parallax angle distribution acquiring unit” has a function of acquiring a parallax angle distribution of a stereoscopic image from the acquired image for the left eye and the image for the right eye. In addition, since the relationship between the parallax and the parallax angle is uniquely determined from the size of the display screen, the viewing distance, and the distance between the two eyes as shown in (Equation 6) above, instead of the parallax angle distribution It is also possible to use a parallax distribution. Below, in order to simplify explanation, it explains using parallax angle distribution.

視差角を算出するために、まず左眼用画像と右眼用画像の対応点同士の視差を算出する。具体的には、左眼用画像と右眼用画像を複数のブロックに分け、ブロック単位で左眼用画像と右眼用画像の対応点検索を行い、対応点間の画素数（視差）を算出する。ここでは、視差を求める際に、左眼用画像に対して右眼用画像の対応点を検索することによって視差を算出しているが、右眼用画像に対して左眼用画像の対応点の検索をすることによって視差を算出してもよい。また、視差を算出する際の対応点検索の方法はどのような方法であってもよい。例えば、左眼用画像データと右眼用画像データに対して、画素単位でステレオマッチングを行い、画素単位で視差を算出することも可能であるし、その他の公知の方法を用いることも可能である。   In order to calculate the parallax angle, first, the parallax between corresponding points of the image for the left eye and the image for the right eye is calculated. Specifically, the image for the left eye and the image for the right eye are divided into a plurality of blocks, corresponding points of the image for the left eye and the image for the right eye are searched in block units, and the number of pixels (parallax) between corresponding points is determined. calculate. Here, when obtaining the parallax, the parallax is calculated by searching the corresponding point of the image for the right eye with respect to the image for the left eye, but the corresponding point of the image for the left eye with respect to the image for the right eye The parallax may be calculated by searching for In addition, any method may be used as the method of searching for corresponding points when calculating the parallax. For example, stereo matching can be performed in pixel units on the image data for the left eye and the image data for the right eye, and parallax can be calculated in pixel units, and other known methods can also be used. is there.

また、上記のように視差を画素単位で算出することも可能であるが、実際に表示される際の画面上の距離に変換して算出してもよいし、画面の水平方向の大きさに対する割合に変換して算出してもよい。また、左眼用画像及び右眼用画像を分割する単位となるブロックの大きさには特に規定はなく、各画像を画素単位のブロックで分割してもよいし、所定の画素数（例えば、１０画素）を縦横の長さとするブロックで分割してもよい。また、画面全体を一つのブロックとみなすことも可能である。   In addition, although it is possible to calculate the parallax in pixel units as described above, the parallax may be calculated by converting it to the distance on the screen when it is actually displayed, or it may be calculated with respect to the horizontal size of the screen. It may be calculated by converting it into a percentage. Further, there is no particular limitation on the size of a block which is a unit for dividing the image for the left eye and the image for the right eye, and each image may be divided into blocks in pixel units, or a predetermined number of pixels (for example, It may be divided into blocks each having a length of 10 pixels). Moreover, it is also possible to regard the whole screen as one block.

次に、視差角分布（視差角マップ）を求めるために、上記（数６）と、画像データを表示する際の画面サイズの情報と視聴者からディスプレイ面までの距離の情報に基づいて各ブロックの視差を視差角に変換する。なお、画面サイズの情報などは、予め内部記憶装置に保持されていてもよいし、操作入力機器を介してユーザからの操作入力を受け付けてもよい。   Next, in order to obtain a parallax angle distribution (parallax angle map), each block is based on the above (Equation 6), information of the screen size when displaying the image data, and information of the distance from the viewer to the display surface Transform the parallax of the image into the parallax angle. Information on the screen size may be stored in advance in the internal storage device, or an operation input from the user may be received via the operation input device.

「評価部」は、取得した視差角分布に基づいて立体画像の見やすさを評価する機能を有する。つまり、視差角の値の情報だけでなく、その視差角の値が生じている画面上の位置の情報を考慮して、立体画像の見やすさを示す評価を出力する。   The “evaluation unit” has a function of evaluating the legibility of a stereoscopic image based on the acquired parallax angle distribution. That is, not only the information of the value of the parallax angle but also the information of the position on the screen where the value of the parallax angle is generated, the evaluation indicating the legibility of the stereoscopic image is output.

例えば、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成とすることが考えられる。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる（実施形態２にて詳述する）。   For example, it may be considered that the parallax angle difference between image blocks adjacent to each other in a stereoscopic image is calculated from the acquired parallax angle distribution, and the visibility of the stereoscopic image is evaluated using the parallax angle difference. Be Specifically, it is conceivable to output the itemized evaluation value based on a table in which the magnitude of each parallax angle difference is associated with the itemized evaluation value (described in detail in the second embodiment).

また、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態３にて詳述する）。   In addition, the parallax angle difference peak value which is the maximum value and / or the minimum value of the parallax angle difference between image blocks adjacent to each other in the stereoscopic image is calculated from the acquired parallax angle distribution, and the parallax angle difference peak value is calculated It is also possible to use it to evaluate the legibility of a stereoscopic image. Specifically, the maximum value and / or the minimum value of parallax angle differences between image blocks adjacent to each other in a stereoscopic image is calculated, and a table in which the peak value of the parallax angle differences is associated with the itemized evaluation value The itemized evaluation value is output based on the result (described in detail in the third embodiment).

また、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態４にて詳述する）。   Further, an end parallax angle which is a parallax angle of an image block at an inner end of the stereoscopic image is acquired from the acquired parallax angle distribution, and the legibility of the end parallax angle is used to evaluate the legibility of the stereoscopic image. Is also possible. Specifically, a table in which the ratio of the image of the image block at the end image formation to the front of the display screen is calculated using the parallax angle of the end in the stereoscopic image, and the ratio is associated with the itemized evaluation value The itemized evaluation value is output based on (in detail in the fourth embodiment).

また、立体画像の画像内位置に応じた画像品質（例えば、鮮鋭度）の情報を取得して、立体画像の画像内位置に応じた画像品質の情報をさらに利用して立体画像の見やすさを評価する構成も可能である。具体的には、立体画像の見やすさの評価結果について、前記取得する立体画像内の画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る（実施形態５にて詳述する）。   In addition, the information of the image quality (for example, the sharpness) according to the position in the image of the stereoscopic image is acquired, and the information of the image quality according to the position in the image of the stereoscopic image is further used Configurations to be evaluated are also possible. Specifically, regarding the evaluation result of the visibility of the stereoscopic image, as the image block having the higher image quality in the acquired stereoscopic image is weighted more heavily, the evaluation result is obtained (the fifth embodiment). To detail).

また、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが当該視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する構成も可能である。具体的には、立体画像内の画像ブロックの視差角が許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態６にて詳述する）。   It is also possible to maintain the tolerance value of the parallax angle that can be regarded as a good evaluation, and evaluate the visibility of the stereoscopic image according to the ratio of the image block in the stereoscopic image satisfying the allowable value of the parallax angle. Specifically, the ratio by which the parallax angle of the image block in the stereoscopic image satisfies the allowable value is calculated, and the item-by-item evaluation value is output based on a table in which the ratio is associated with the item-by-item evaluation value (Embodiment 6) Will be described in detail).

また、動き予測を用いて時間の異なるフレーム間で対応するブロックを求め、対応ブロック間における時間方向の視差角差分の最大値である視差角時間差分ピーク値を算出し、当該視差角時間差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、視差角時間差分ピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。   In addition, motion prediction is used to obtain corresponding blocks between frames having different times, and a parallax angle time difference peak value, which is the maximum value of the parallax angle difference in the time direction between corresponding blocks, is calculated. It is also possible to use a configuration to evaluate the legibility of a stereoscopic image using values. Specifically, the itemized evaluation value is output based on a table in which the disparity angle time difference peak value and the itemized evaluation value are associated.

以上のような処理によって得られた各項目別評価値に基づいて、最終的な評価値を算出する。例えば、各項目別評価値に対して、以下の（数１３）で示すように所定の重みづけを行い、総和を取ることによって最終評価値を算出する。（数１３）において、Ｅｉは各項目別評価値を表し、Ｗｉは、重みづけの値を表す。なお、各項目別評価値は、最大値が１００、最小値が０となるように正規化を行ってもよい。

Figure 0005121081
The final evaluation value is calculated based on the itemized evaluation value obtained by the above processing. For example, predetermined evaluation is performed on each itemized evaluation value as shown in the following (Equation 13), and the final evaluation value is calculated by calculating the sum. In equation (13), E i represents an itemized evaluation value, and W i represents a weighting value. Each itemized evaluation value may be normalized such that the maximum value is 100 and the minimum value is 0.
Figure 0005121081

最終評価値は、表示装置を介して表示してもよいし、内部記憶装置に保存したり、通信装置を介して他の装置に対して送信したりすることも考えられる。これらの態様については特に限定されるものではなく、種々なる態様が可能である。また、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報をリアルタイムで算出して、表示装置や通信装置などを介して現在表示されている立体映像の安全性や快適性を視聴者に通知することによって、常に安全で快適な視聴を行うことが可能になる。   The final evaluation value may be displayed via a display device, may be stored in an internal storage device, or may be transmitted to another device via a communication device. These aspects are not particularly limited, and various aspects are possible. In addition, it calculates in real time information that expresses safety and comfort related to fatigue of the viewer's eyes when viewing a three-dimensionally displayed image, and displays a solid currently displayed via a display device, a communication device, etc. By notifying the viewer of the safety and comfort of the image, it is possible to always perform safe and comfortable viewing.

上記では、本発明の立体画像評価装置１の取り扱う対象の立体画像データとして、右眼用画像と、左眼用画像という２視点の画像データに対してのみ、説明を行ったが、３視点以上の視点画像データであっても構わない。その際、視差を求める対象として、２視点を選択すれば、後は同じようにして、最終評価値を算出することができる。   In the above, only stereo image data to be handled by the stereo image evaluation device 1 according to the present invention has been described with respect to image data of two viewpoints such as an image for right eye and an image for left eye It may be viewpoint image data of At that time, if two viewpoints are selected as a target for which parallax is to be obtained, the final evaluation value can be calculated in the same manner thereafter.

また、複数の２視点の画像の組み合わせで視差を求め、複数の最終評価値を算出する場合は、すべての最終評価値に対して、平均をとったものを改めて最終評価値としてもよいし、中央値を改めて最終評価値としても構わない。   In addition, in the case where parallax is determined by a combination of a plurality of images of two viewpoints and a plurality of final evaluation values are calculated, the average of all the final evaluation values may be used as the final evaluation value. The median may be used as the final evaluation value again.

上記で説明した本実施形態の立体画像評価装置は、立体画像データを取り扱う装置であれば、どのような装置にでも搭載することが可能である。例えば、テレビなどの一般的な視聴装置やパーソナルコンピュータ、携帯端末、携帯ゲーム機器、カーナビゲーション機能を搭載した車載表示装置など種々のものに対して搭載することが可能である。   The three-dimensional image evaluation device of the present embodiment described above can be mounted on any device that handles three-dimensional image data. For example, the present invention can be installed in various things such as a general viewing device such as a television, a personal computer, a portable terminal, a portable game device, an on-vehicle display device equipped with a car navigation function.

<具体的な構成>
図８は、本実施形態の立体画像評価装置の具体的なハードウェア構成の一例を示す図である。この図にあるように、立体画像評価装置は、「ＣＰＵ」０８０１、「ＲＡＭ」０８０２、「長期記憶装置（ＲＯＭ、ハードディスク、不揮発性メモリ等）」０８０３、「通信Ｉ／Ｆ」０８０４、「操作Ｉ／Ｆ」０８０５、「表示装置」０８０６、等から構成される。各ハードウェアは、システムバスによって連結され、相互に信号のやり取りを行うことが可能である。 <Specific configuration>
FIG. 8 is a diagram showing an example of a specific hardware configuration of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the stereoscopic image evaluation device includes a "CPU" 0801, a "RAM" 0802, a "long-term storage device (ROM, hard disk, non-volatile memory, etc.)" 0803, a "communication I / F" 0804, an "operation I / F “0805,“ display device ”0806, and the like. Each piece of hardware is connected by a system bus and can exchange signals with each other.

長期記憶装置には、立体画像取得部、視差角分布取得部、評価部の機能を実現する立体画像取得プログラム、視差角分布取得プログラム、評価プログラムなどが保持されており、必要に応じてＲＡＭに読み出され、ＣＰＵにてその処理が実行される。また、通信Ｉ／Ｆは、立体画像取得部の機能を実現するものであり、外部装置から立体画像のデータ入力を受け付けたり、その他、処理に必要な情報の入力を受け付けたりする。また、操作Ｉ／Ｆは、必要に応じてユーザからの操作の入力を受け付ける。例えば、視聴者の両眼の間隔の情報や、視聴者から画面までの距離の情報を数値の入力又は選択操作によって受け付けることが考えられる。また、表示装置は、立体画像を表示したり、立体画像評価装置によって出力される評価の情報を表示したりすることが可能である。なお、上記の構成は必須の構成ではなく、操作Ｉ／Ｆや表示装置を省略することも可能である。   The long-term storage device holds a stereoscopic image acquisition program, a parallax angle distribution acquisition program, a parallax angle distribution acquisition program, an evaluation program, and the like that realize the functions of the parallax angle distribution acquisition unit and the evaluation unit. It is read out and executed by the CPU. The communication I / F implements the function of a stereoscopic image acquisition unit, and accepts data input of a stereoscopic image from an external device, and accepts input of other information necessary for processing. Also, the operation I / F receives an input of an operation from the user as necessary. For example, it is conceivable to receive information on the distance between the viewer's eyes and information on the distance from the viewer to the screen by numerical input or selection operation. In addition, the display device can display a stereoscopic image or can display information of the evaluation output by the stereoscopic image evaluation device. In addition, said structure is not an essential structure, and it is also possible to abbreviate | omit operation I / F and a display apparatus.

図９は、立体画像評価装置の動作についてのフローチャートの一例を示す図であり、これに沿って動作の説明をする。まず、図のステップＳ０９０１において、立体画像評価装置の電源がＯＮにされ、ステップＳ０９０２に進む。次に、ステップＳ０９０２において、ＣＰＵは、視聴情報取得プログラムを実行して、表示画面サイズ情報と視聴距離、両眼間隔の長さの情報を取得してＲＡＭに格納する。ここで、視聴者情報は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよい。   FIG. 9 is a diagram showing an example of a flowchart of the operation of the three-dimensional image evaluation apparatus, and the operation will be described along this. First, in step S0901 in the figure, the power of the stereoscopic image evaluation apparatus is turned on, and the process proceeds to step S0902. Next, in step S0902, the CPU executes a viewing information acquisition program to obtain display screen size information, viewing distance, and information about the length of the inter-eye interval, and stores the information in the RAM. Here, the viewer information may be acquired from the long-term storage device, or may be acquired via the communication I / F or the operation I / F.

次に、ステップＳ０９０３において、ＣＰＵは、立体画像取得プログラムを実行して、立体画像データを取得し、左眼用画像データと右眼用画像データに分離してＲＡＭに格納する。ここで、立体画像データの取得は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆを介して取得してもよい。   Next, in step S0903, the CPU executes a stereoscopic image acquisition program to acquire stereoscopic image data, and separates the image data for the left eye and the image data for the right eye and stores them in the RAM. Here, acquisition of stereoscopic image data may be acquired from a long-term storage device, or may be acquired via a communication I / F.

次に、ステップＳ０９０４において、ＣＰＵは、視差角分布取得プログラム内の視差算出処理を実行して、入力された左眼用画像データと右眼用画像データを所定のブロックに分け、左眼用画像データ内の各ブロックと右眼用画像データ内の各ブロックとのステレオマッチングを行い、対応するブロック間の視差を算出する。当該視差の算出は、全てのブロックについて行うことが主として考えられるが、一部のブロックについてのみ行ってもよい。   Next, in step S0904, the CPU executes disparity calculation processing in the disparity angle distribution acquisition program to divide the input left-eye image data and right-eye image data into predetermined blocks, and the left-eye image Stereo matching is performed between each block in the data and each block in the right-eye image data to calculate the parallax between corresponding blocks. The calculation of the parallax is mainly considered to be performed for all the blocks, but may be performed for only some of the blocks.

次に、ステップＳ０９０５において、ＣＰＵは、視差角分布取得プログラム内の変換処理を実行して、視聴者情報（視差距離、両眼間隔の長さ等）を用いて、ステップＳ０９０４にて求めた視差分布を視差角分布に変換する。なお、当該変換処理は必ずしも行う必要はなく、視差分布に基づいて以下の処理を行うことも可能である。   Next, in step S0905, the CPU executes conversion processing in the parallax angle distribution acquisition program, and uses the viewer information (parallax distance, inter-eye distance length, etc.) to obtain the parallax determined in step S0904. Transform the distribution into a parallax angle distribution. Note that the conversion process does not have to be necessarily performed, and the following process can also be performed based on the parallax distribution.

ステップＳ０９０６において、ＣＰＵは、評価プログラム内の項目別評価値算出処理を実行して、視差角分布のデータに基づいて、立体画像の見やすさを示す一又は複数の項目別評価値を算出する。   In step S0906, the CPU executes item-by-item evaluation value calculation processing in the evaluation program to calculate one or more item-by-item evaluation values indicating the legibility of the stereoscopic image based on the data of the parallax angle distribution.

ステップＳ０９０７において、ＣＰＵは、評価プログラム内の最終評価値算出処理を実行し、ステップＳ０９０６にて算出した項目別評価値に対して、（数１３）で示したように所定の重みづけを行って最終評価値を算出する。   In step S0907, the CPU executes final evaluation value calculation processing in the evaluation program, and performs predetermined weighting on the itemized evaluation values calculated in step S0906 as shown in (Equation 13). Calculate the final evaluation value.

ステップＳ０９０７において、ＣＰＵは、評価値出力プログラムを実行し、算出した最終評価値の情報を出力して、処理を終了する。ここで、最終評価値の情報は、ディスプレイ機器を介して表示出力してもよいし、長期記憶装置に格納したり、通信機器を介して他の装置に対して送信したりしてもよい。   In step S0907, the CPU executes an evaluation value output program, outputs information on the calculated final evaluation value, and ends the processing. Here, the information on the final evaluation value may be displayed and output via a display device, may be stored in a long-term storage device, or may be transmitted to another device via a communication device.

<効果>
以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。 <Effect>
Since the present invention having the above configuration considers not only the value of the parallax angle but also the distribution of the values of the parallax angle, it is possible to output more appropriate evaluation results regarding the safety and comfort of the stereoscopic image. It will be possible.

<<実施形態２>> << Embodiment 2 >>

<概要>
本実施形態の立体画像評価装置は、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成を有する。 <Overview>
The stereoscopic image evaluation device of the present embodiment calculates the parallax angle difference between image blocks adjacent to each other in the stereoscopic image from the parallax angle distribution, and evaluates the visibility of the stereoscopic image using the parallax angle difference. It has composition.

<着想点>
本実施形態の構成を具体的に説明する前に、着想点について説明する。図１０は、最も手前に位置する被写体が含まれるブロックと、最も奥に位置する被写体が含まれるブロックが、それぞれ離れた位置にある場合の画像の例を示す。図１０（ａ）では、左眼用画像１０００内に、背景領域１００１と塀１００２と塀１００３と地面１００４がある。この場合、左眼用画像１０００のうち、下に位置する領域ほど手前に提示され、背景領域１００１が最も奥に提示される。また、図１０（ｂ）では、左眼用画像１００５内に、背景領域１００６と地面１００７がある。この場合も、左眼用画像１００５のうち、下に位置する領域ほど手前に提示され、背景領域１００６が最も奥に提示される。 <Thinking point>
Before specifically describing the configuration of the present embodiment, an idea point will be described. FIG. 10 shows an example of an image in the case where the block including the subject positioned in the foremost position and the block including the subject positioned in the farthest position are respectively away from each other. In FIG. 10A, in the image 1000 for the left eye, there are a background area 1001, a ridge 1002, a ridge 1003, and a ground 1004. In this case, the lower region of the left-eye image 1000 is presented in front, and the background region 1001 is presented in the back. Further, in FIG. 10B, a background region 1006 and a ground 1007 are included in the left-eye image 1005. Also in this case, the lower region of the left-eye image 1005 is presented in front, and the background region 1006 is presented in the back.

図１０（ａ）及び（ｂ）のような場合は、最も手前に位置する被写体と、最も奥に位置する被写体は画面内にて離れた位置にあり、表示する画像のサイズや個人の目の画角の大きさによっては、両方の被写体が同時に目の注視範囲に入らない場合もある。このため、最も手前に位置する被写体の視差角と最も奥に位置する被写体の視差角の差分を単純に取るだけでは、立体視の見やすさや安全性を評価するには不十分である。   In the case of FIGS. 10 (a) and 10 (b), the farthest object in the screen and the farthest object are at different positions in the screen, and the size of the image to be displayed or the eye of the individual Depending on the size of the angle of view, both objects may not simultaneously fall within the eye gaze range. For this reason, it is not sufficient to evaluate the visibility and the safety of stereoscopic vision simply by simply taking the difference between the parallax angle of the object located in the foremost position and the parallax angle of the object located in the innermost position.

図１１は、水平方向に隣接するブロックの視差角の例を示す図である。図１１（ａ）において、例えば、左眼用画像１１００内に、最も手前に位置する被写体１１０１と、最も奥に位置する被写体１１０２があり、ブロック１１０３に被写体１１０１の一部が含まれ、ブロック１１０３に隣接するブロック１１０４に被写体１１０２の一部が含まれる。ここで、ブロック１１０３は画面左端から「ｄｎＬ２」の位置にあり、ブロック１１０４は画面左端から「ｄｆＬ２」の位置にある。一方、図１１（ｂ）の右眼画像１１０５において、ブロック１１０３に対応するブロック１１０６は画面左端から「ｄｎＲ２」の位置にあり、ブロック１１０４に対応するブロック１１０７は画面左端から「ｄｆＲ２」の位置にある。   FIG. 11 is a diagram illustrating an example of parallax angles of blocks adjacent in the horizontal direction. In FIG. 11A, for example, in the left-eye image 1100, there is a subject 1101 located at the front and a subject 1102 located at the back, and part of the subject 1101 is included in the block 1103; block 1103 The adjacent block 1104 includes a part of the subject 1102. Here, the block 1103 is at the position "dnL2" from the left end of the screen, and the block 1104 is at the position "dfL2" from the left end of the screen. On the other hand, in the right-eye image 1105 of FIG. 11B, the block 1106 corresponding to the block 1103 is at the position "dnR2" from the left end of the screen, and the block 1107 corresponding to the block 1104 is at the position "dfR2" from the left end is there.

この場合、ブロック１１０３の視差は「ｄｎＬ２−ｄｎＲ２」で表され、ブロック１１０４の視差は「ｄｆＬ２−ｄｆＲ２」と表される。ブロック１１０３の視差角とブロック１１０４の視差角の差分は、上記各ブロックの視差を視差角に変換した後に差分することによって、求めることが可能である。   In this case, the disparity of block 1103 is represented by "dnL2-dnR2", and the disparity of block 1104 is represented by "dfL2-dfR2". The difference between the parallax angle of block 1103 and the parallax angle of block 1104 can be obtained by converting the parallax of each block into a parallax angle and then calculating the difference.

図１１のように、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、手前の被写体の視差角と奥にある被写体の視差角との差が大きくなる。この場合、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる可能性がある。   As shown in FIG. 11, when the subject jumping out to the front of the screen and the subject presented behind the screen are horizontally adjacent to each other, the difference between the parallax angle of the front subject and the parallax angle of the back subject is large. Become. In this case, the depth of field, which is the adjustment range of the eye, may be exceeded and it may be very difficult to view.

また、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、片方の目では奥の被写体が見えても、もう一方の目では、奥の被写体の一部が手前の被写体によって見えなくなってしまうことがある（対応点の消滅）。これによって、視野闘争と呼ばれる現象が発生し、立体映像として見づらくなってしまう。また、見えなくなってしまう領域の大きさによっては、被写体が２重に見えて立体視ができないことがある。   In addition, when the subject that pops out to the front of the screen and the subject presented to the back of the screen are horizontally adjacent, one of the eyes sees the back of the subject while the other sees the one of the back of the screen. The section may be obscured by the subject in front of it (disappearance of corresponding points). As a result, a phenomenon called visual field battle occurs, which makes it difficult to see as a stereoscopic image. In addition, depending on the size of the area which is not visible, the subject may appear double and stereo vision may not be possible.

図１２は、上下方向に隣接するブロックの視差角の例を示す図である。図１２において、左眼用画像１２００内において最も手前に位置する被写体１２０１と、最も奥に位置する背景領域１２０２（点線で囲まれた領域）が垂直方向に隣接している。この場合、被写体１２０１は飛出し方向に提示され、背景領域１２０２は奥行方向に提示されて、被写体１２０１と背景領域１２０２の境界付近に視差角差が発生する。当該視差角差が大きくなれば、水平方向の場合と同様に、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる。   FIG. 12 is a diagram illustrating an example of parallax angles of blocks adjacent in the vertical direction. In FIG. 12, a subject 1201 located at the frontmost position in the left-eye image 1200 and a background area 1202 (area surrounded by a dotted line) located at the rearmost position are vertically adjacent to each other. In this case, the subject 1201 is presented in the pop-out direction, the background area 1202 is presented in the depth direction, and a parallax angle difference occurs near the boundary between the subject 1201 and the background area 1202. If the parallax angle difference is large, as in the case of the horizontal direction, the depth of field, which is the adjustment range of the eye, is exceeded and it becomes very difficult to see.

以上のような点を鑑みて、本実施形態の立体画像評価装置の構成の着想に至ったものである。以下、本実施形態の立体画像評価装置の構成について説明する。   In view of the above-described points, the idea of the configuration of the stereoscopic image evaluation device of the present embodiment has been reached. Hereinafter, the configuration of the stereoscopic image evaluation device of the present embodiment will be described.

<構成>
図１３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１３００は、「立体画像取得部」１３０１と、「視差角分布取得部」１３０２と、「評価部」１３０３と、「視差角差分算出部」１３０４とを有し、「評価部」は「視差角差分評価手段」１３０５を有する。以下、「視差角差分算出部」と「視差角差分評価手段」について説明する。 <Configuration>
FIG. 13 is a diagram showing an example of functional blocks of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the “stereoscopic image evaluation device” 1300 includes a “stereoscopic image acquisition unit” 1301, a “parallax angle distribution acquisition unit” 1302, an “evaluation unit” 1303, and a “parallax angle difference calculation unit” 1304. And the “evaluation unit” has “disparity angle difference evaluation means” 1305. Hereinafter, the “parallax angle difference calculating unit” and the “parallax angle difference evaluating unit” will be described.

「視差角差分算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する機能を有する。ここで、画像ブロック同士が立体画像内にて互いに近隣にあるとは、画像ブロック同士が左眼用画像又は右眼用画像のいずれかにおいて隣接する又は所定の範囲内にあることを意味する。また、画像ブロック同士は、水平方向や垂直方向に位置する場合の他に、斜め方向に位置する場合も含む。   The “parallax angle difference calculation unit” has a function of calculating a parallax angle difference between image blocks adjacent to each other in the stereoscopic image from the acquired parallax angle distribution. Here, that the image blocks are adjacent to each other in the stereoscopic image means that the image blocks are adjacent to each other or in a predetermined range in either the left-eye image or the right-eye image. In addition to the case where the image blocks are positioned in the horizontal direction or the vertical direction, the case where they are positioned in an oblique direction is also included.

「視差角差分評価手段」は、前記視差角差分を利用して立体画像の見やすさを評価する機能を有する。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる。一般的に視差角差分は、最も手前に位置する被写体の視差角と、最も奥に位置する被写体の視差角の差分とされるが、上記のように、視差角の相対的な位置関係を考慮することによって、目の注視範囲を考慮に入れつつ、より正確、かつ適切に立体画像の見やすさや安全性を評価することができる。特に、水平方向に近接する視差角の差を最終評価値に反映することもできるため、オクルージョンを考慮した、より正確な立体画像の評価を行うことができる。   The “parallax angle difference evaluation unit” has a function of evaluating the visibility of a stereoscopic image using the parallax angle difference. Specifically, it is conceivable to output the itemized evaluation value based on a table in which the magnitude of each parallax angle difference is associated with the itemized evaluation value. Generally, the parallax angle difference is taken as the difference between the parallax angle of the object located in the foremost position and the parallax angle of the object located in the innermost position, but as described above, the relative positional relationship of the parallax angles is considered By doing this, the visibility and safety of the stereoscopic image can be evaluated more accurately and appropriately while taking into consideration the eye gaze range. In particular, it is possible to reflect the difference in parallax angles close in the horizontal direction to the final evaluation value, so it is possible to perform more accurate evaluation of a stereoscopic image in consideration of occlusion.

<具体的な構成> <Specific configuration>

本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。なお、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分算出部の機能を実現する視差角差分算出プログラムが保持されていることを特徴とする。   The specific hardware configuration of the stereoscopic image evaluation device of the present embodiment is the same as that described in FIG. 8 of the first embodiment. The three-dimensional image evaluation apparatus of the present embodiment is characterized in that a parallax angle difference calculation program for realizing the function of the parallax angle difference calculation unit is held in the long-term storage device.

図１４は、上記立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１にて説明した事項については説明を省略する。   FIG. 14 is a diagram showing an example of a flowchart of the operation of the three-dimensional image evaluation apparatus. Hereinafter, the description of the items described in the first embodiment will be omitted.

ステップＳ１４０５において、ＣＰＵは、視差角差分算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他のブロックとの視差角との差分（視差角差分）を算出する。   In step S1405, the CPU executes the parallax angle difference calculation program, and the parallax angle of each block of the left-eye image is at a distance within a predetermined number of blocks (for example, two blocks) in the horizontal direction or the vertical direction. The difference between the block and the parallax angle (parallax angle difference) is calculated.

ステップＳ１４０６において、ＣＰＵは、評価プログラム内の視差角差分評価処理を実行し、近隣のブロックとの視差角差分の絶対値が所定の閾値未満であるブロックの数と所定の閾値以上であるブロックの数の比率を算出し、当該比率の値を項目別評価値として算出する。なお、全ての視差角差分の絶対値の総和を算出する処理を行い、当該総和を項目別評価値として算出することも可能であるし、以下の実施形態３で示すように、視差角差分の最大値や最小値を項目別評価値として算出することも可能である。   In step S1406, the CPU executes disparity angle difference evaluation processing in the evaluation program, and the number of blocks whose absolute value of disparity angle difference with neighboring blocks is less than a predetermined threshold and the number of blocks having a predetermined threshold or more. The ratio of the numbers is calculated, and the value of the ratio is calculated as an itemized evaluation value. Note that it is also possible to calculate the sum of the absolute values of all the parallax angle differences, and calculate the sum as an itemized evaluation value, as shown in the third embodiment below. It is also possible to calculate the maximum value or the minimum value as an itemized evaluation value.

また、上記では、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差分を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差分を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。   Also, in the above description, the parallax angle difference is calculated between blocks in a predetermined range in the horizontal direction or the vertical direction, but the parallax angle difference is calculated between blocks in a predetermined range in the oblique direction. You may use for calculation of an evaluation value. Further, it is also possible to calculate only the parallax angle difference between adjacent blocks as between blocks within a predetermined range.

<効果>
本実施形態の立体画像評価装置は、近隣の視差角の差を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。 <Effect>
The three-dimensional image evaluation device of the present embodiment can reflect the difference between neighboring parallax angles in the final evaluation value, and therefore can evaluate three-dimensional images more accurately.

<<実施形態３>> << Third Embodiment >>

<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１、２と同様であるが、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価することを特徴とする。 <Overview>
The three-dimensional image evaluation device of this embodiment is basically the same as in the first and second embodiments, but from the parallax angle distribution, the maximum value of the parallax angle difference between image blocks adjacent to each other in the stereoscopic image or / and A parallax angle difference peak value which is a minimum value is calculated, and the parallax angle difference peak value is used to evaluate the legibility of the stereoscopic image.

<構成>
図１５は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１５００は、「立体画像取得部」１５０１と、「視差角分布取得部」１５０２と、「評価部」１５０３と、「視差角差分ピーク値算出部」１５０４と、を有し、「評価部」は「視差角差分ピーク値評価手段」１５０５を有する。以下、「視差角差分ピーク値算出部」と「視差角差分ピーク値評価手段」について説明する。 <Configuration>
FIG. 15 is a diagram showing an example of functional blocks of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the “stereoscopic image evaluation device” 1500 includes a “stereoscopic image acquisition unit” 1501, a “parallax angle distribution acquisition unit” 1502, an “evaluation unit” 1503, and a “parallax angle difference peak value calculation unit”. 1504, and the “evaluation unit” has “disparity angle difference peak value evaluation means” 1505. Hereinafter, the “disparity angle difference peak value calculation unit” and the “disparity angle difference peak value evaluation unit” will be described.

「視差角差分ピーク値算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する機能を有する。   The “disparity angle difference peak value calculation unit” calculates a disparity angle difference peak value which is the maximum value or / and the minimum value of disparity angle differences between image blocks adjacent to each other in a stereoscopic image from the obtained disparity angle distribution Have a function to

「視差角差分ピーク値評価手段」は、前記視差角差分ピーク値を利用して立体画像の見やすさを評価する機能を有する。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する   The “disparity angle difference peak value evaluation unit” has a function of evaluating the visibility of a stereoscopic image using the disparity angle difference peak value. Specifically, the maximum value and / or the minimum value of parallax angle differences between image blocks adjacent to each other in a stereoscopic image is calculated, and a table in which the peak value of the parallax angle differences is associated with the itemized evaluation value Output the itemized evaluation value based on

図１６は、視差角差分のピーク値（絶対値）と項目別評価値を関連付けたテーブルの一例を示す図である。図１６（ａ）は、水平方向に隣接するブロック同士の視差角差のピーク値（絶対値）に対する項目別評価値の一例を示す。また、図１６（ｂ）は、垂直方向に隣接するブロック同士の視差角差のピーク値Ｈ（絶対値）に対する項目別評価値の一例を示す。この図の例では、視差角差分ピーク値評価手段は、図１６（ａ）に示すテーブルを参照して、水平視差角差のピーク値Ｖ（絶対値）に対する項目別評価値を算出し、また、図１６（ｂ）に示すテーブルを参照して、垂直視差角差のピーク値（絶対値）に対する項目別評価値を算出する。なお、図１６は、項目別評価値が高い程見にくい立体画像である場合を示しているが、その逆とすることも可能である（以下、同様である）。   FIG. 16 is a diagram showing an example of a table in which the peak value (absolute value) of the disparity angle difference is associated with the itemized evaluation value. FIG. 16A shows an example of the itemized evaluation value with respect to the peak value (absolute value) of the parallax angle difference between blocks adjacent in the horizontal direction. FIG. 16B shows an example of the itemized evaluation value of the peak value H (absolute value) of the parallax angle difference between blocks adjacent in the vertical direction. In the example of this figure, the parallax angle difference peak value evaluation means calculates the itemized evaluation value for the peak value V (absolute value) of the horizontal parallax angle difference with reference to the table shown in FIG. The itemized evaluation value for the peak value (absolute value) of the vertical parallax angle difference is calculated with reference to the table shown in FIG. Note that FIG. 16 shows a case in which the higher the item-by-item evaluation value, the more difficult it is to view a stereoscopic image, but the opposite is also possible (the same applies hereinafter).

<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分ピーク値算出部の機能を実現する視差角差分ピーク値算出プログラムや視差角差分の最大値と項目別評価値を関連付けたテーブル、視差角差分の最小値と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。 <Specific configuration>
The specific hardware configuration of the stereoscopic image evaluation device of the present embodiment is the same as that described in FIG. 8 of the first embodiment. However, in the stereoscopic image evaluation device of the present embodiment, the parallax angle difference peak value calculation program for realizing the function of the parallax angle difference peak value calculation unit, the maximum parallax angle difference value, and the itemized evaluation value An associated table is characterized in that a table in which the minimum value of the parallax angle difference and the itemized evaluation value are associated is held.

<処理の流れ>
図１７は、本実施形態による立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１、２との相違点となる処理について説明する。 <Flow of processing>
FIG. 17 is a diagram showing an example of a flowchart of the operation of the three-dimensional image evaluation apparatus according to the present embodiment. Hereinafter, processing that is different from the first and second embodiments will be described.

ステップＳ１７０５において、ＣＰＵは、視差角差分ピーク値算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他の全てのブロックの視差角との差分（視差角差分）を算出し、水平方向と垂直方向について視差角差分の最大値と最小値を取得する。   In step S1705, the CPU executes a parallax angle difference peak value calculation program, and the parallax angle of each block of the image for the left eye is within a predetermined number of blocks (for example, two blocks) in the horizontal direction or the vertical direction. The differences (disparity angle differences) with the parallax angles of all the other blocks are calculated, and the maximum value and the minimum value of the parallax angle differences in the horizontal direction and the vertical direction are obtained.

ここで、水平方向と垂直方向の視差角差分の最大値と最小値の取得処理は、各視差角差分を算出しながら、バッファ内に保持される視差角差分の最大値と最小値を随時更新していくことも可能であるし、全ての視差角差分を算出した後に、バッファ内に保持された複数の視差角差分を比較して視差角の最大値と最小値を取得することも可能である。   Here, acquisition processing of the maximum value and the minimum value of the parallax angle difference in the horizontal direction and the vertical direction updates the maximum value and the minimum value of the parallax angle difference held in the buffer as needed while calculating each parallax angle difference. It is also possible to calculate the maximum and minimum values of the parallax angle by comparing the plurality of parallax angle differences held in the buffer after calculating all the parallax angle differences. is there.

ステップＳ１７０６において、ＣＰＵは、評価プログラム内の視差角差分ピーク値評価処理を実行し、視差角差分の最大値と項目別評価値を関連付けたテーブルと、視差角差分の最小値と項目別評価値を関連付けたテーブルに基づいて、視差角差分の最大値と最小値にそれぞれ対応する項目別評価値を取得する。   In step S1706, the CPU executes disparity angle difference peak value evaluation processing in the evaluation program, and a table in which the maximum value of disparity angle difference and itemized evaluation value are associated, the minimum value of disparity angle difference and itemized evaluation value Item-by-item evaluation values respectively corresponding to the maximum value and the minimum value of the parallax angle difference are acquired based on the table in which

上記では、水平方向と垂直方向を分けずに視差角差分の最大値と最小値を取得したが、それぞれの方向について最大値と最小値を取得して、それぞれに対応する項目別評価値を算出してもよい。   In the above, although the maximum value and the minimum value of the parallax angle difference are acquired without dividing the horizontal direction and the vertical direction, the maximum value and the minimum value are acquired in each direction, and the itemized evaluation value corresponding to each is calculated. You may

また、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。   Moreover, although the parallax angle difference was calculated between blocks in the predetermined range in the horizontal direction or the vertical direction, the parallax angle difference is calculated between the blocks in the predetermined range in the oblique direction, and the itemized evaluation value You may use for calculation. Further, it is also possible to calculate only the parallax angle difference between adjacent blocks as between blocks within a predetermined range.

<効果>
本実施形態の立体画像評価装置は、近隣の視差角の差のピーク値を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。 <Effect>
The three-dimensional image evaluation device of the present embodiment can reflect the peak value of the difference between adjacent parallax angles in the final evaluation value, and therefore can evaluate three-dimensional images more accurately.

<<実施形態４>> << Embodiment 4 >>

<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１から３と同様であるが、視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価することを特徴とする。 <Overview>
The three-dimensional image evaluation device of this embodiment is basically the same as in the first to third embodiments, but acquires an end parallax angle which is a parallax angle of an image block at the inner end of the three-dimensional image from the parallax angle distribution The end parallax angle is used to evaluate the legibility of the stereoscopic image.

<構成>
図１８は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１８００は、「立体画像取得部」１８０１と、「視差角分布取得部」１８０２と、「評価部」１８０３と、「端部視差角取得部」１８０４と、を有し、「評価部」は「端部視差角評価手段」１８０５を有する。以下、「端部視差角取得部」と、「端部視差角評価手段」について説明する。 <Configuration>
FIG. 18 is a diagram showing an example of functional blocks of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the “stereoscopic image evaluation device” 1800 includes a “stereoscopic image acquisition unit” 1801, a “parallax angle distribution acquisition unit” 1802, an “evaluation unit” 1803, and an “end parallax angle acquisition unit”. 1804 and the “evaluation unit” has “end parallax angle evaluation means” 1805. Hereinafter, the “end parallax angle acquisition unit” and the “end parallax angle evaluation unit” will be described.

「端部視差角取得部」は、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する機能を有する。ここで、立体画像内端部とは、立体画像のフレームの左右端や上下端をいうものである。   The “end parallax angle acquisition unit” has a function of acquiring an end parallax angle which is a parallax angle of the image block at the inner end of the stereoscopic image from the acquired parallax angle distribution. Here, the inner end portion of the stereoscopic image refers to the left and right ends and the upper and lower ends of the frame of the stereoscopic image.

図１９は、飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す。例えば、図１９（ａ）において、左眼用画像１９００の右側に、飛び出し方向に位置する被写体１９０１が、図１９（ｂ）において、右眼用画像１９０２の右側に、被写体１９０１に対応する飛び出し方向に位置する被写体１９０３が、それぞれある場合、被写体が画像の右端にかかる領域１９０４が、フレームの左右端の領域となる。   FIG. 19 shows an example of a stereoscopic image in the case where the popped-out subject is positioned at the left and right ends of the screen. For example, in FIG. 19A, the subject 1901 positioned in the pop-out direction on the right side of the left-eye image 1900 corresponds to the pop-up direction corresponding to the subject 1901 on the right side of the right-eye image 1902 in FIG. When there are subjects 1903 positioned at, the area 1904 where the subject is on the right end of the image is the area of the left and right ends of the frame.

図２０は、飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す。例えば、図２０（ａ）において、左眼用画像２０００の下端にかかる領域２００２に、飛び出し方向に位置する被写体２００１が、図２０（ｂ）において、右眼用画像２００３の上端にかかる領域２００５に、被写体２００１に対応する飛び出し方向に位置する被写体２００４が、それぞれある場合、被写体の画像の上端・下端にかかる領域２００２、２００５が、フレームの上下端の領域となる。   FIG. 20 shows an example of a stereoscopic image in the case where the popped-out subject is positioned at the upper and lower ends of the screen. For example, in FIG. 20 (a), an area 2002 covering the lower end of the left-eye image 2000, an object 2001 positioned in the pop-out direction, an area 2005 covering the upper end of the right-eye image 2003 in FIG. When the subject 2004 positioned in the pop-out direction corresponding to the subject 2001 is present, areas 2002 and 2005 applied to the upper and lower ends of the image of the subject become the areas at the upper and lower ends of the frame.

「端部視差角評価手段」は、前記端部視差角を利用して立体画像の見やすさを評価する機能を有する。例えば、端部視差角の値に応じて立体画像の見やすさを評価することが考えられる。具体的には、立体画像内の端部の視差角の値を取得して、当該端部視差角の値と項目別評価基準値を関連付けたテーブルに基づいてその項目別評価基準値を算出する。   The “end parallax angle evaluation means” has a function of evaluating the legibility of a stereoscopic image using the end parallax angle. For example, it is conceivable to evaluate the legibility of a stereoscopic image according to the value of the end parallax angle. Specifically, the value of the parallax angle of the end in the stereoscopic image is acquired, and the item-by-item evaluation reference value is calculated based on a table in which the value of the end parallax angle is associated with the item-by-item evaluation reference value. .

図２１は、立体画像内の端部視差角の値と項目別評価基準値を関連付けたテーブルの一例を示す図である。なお、項目別評価基準値の総和を取ったものが項目別評価値になるものとする。図２１（ａ）は、フレームの左右端のブロックの視差角の値ＲＬに対する項目別評価基準値の一例を示す。また、図２１（ｂ）は、フレームの上下端のブロックの視差角の値ＴＢに対する項目別評価基準値の一例を示す。   FIG. 21 is a diagram illustrating an example of a table in which the value of the end parallax angle in the stereoscopic image is associated with the item-by-item evaluation reference value. The sum of the itemized evaluation reference values is the itemized evaluation value. FIG. 21A shows an example of the item-by-item evaluation reference value with respect to the value RL of the parallax angle of the block at the left and right ends of the frame. FIG. 21B shows an example of the item-by-item evaluation reference value with respect to the value TB of the parallax angle of the block at the upper and lower ends of the frame.

図２１（ａ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの左右端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。また、図２１（ｂ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの上下端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。   In the example of FIG. 21A, the end parallax angle evaluation unit refers to the table to acquire item-by-item evaluation reference values for all the blocks located at the left and right ends of the frame, and sums the reference values. Itemized value is the itemized evaluation value. Further, in the example of FIG. 21 (b), the end parallax angle evaluation means acquires item-by-item evaluation reference values for all blocks located at the upper and lower ends of the frame by referring to the table, and the reference values Let the value which added up be an itemized evaluation value.

なお、前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合に応じて立体画像の見やすさを評価することも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。   The end parallax angle evaluation means can also evaluate the legibility of the stereoscopic image according to the rate at which the image of the image block at the inner end of the stereoscopic image is formed in front of the display screen. Specifically, a table in which the ratio of the image of the image block at the end image formation to the front of the display screen is calculated using the parallax angle of the end in the stereoscopic image, and the ratio is associated with the itemized evaluation value Output the itemized evaluation value based on.

<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、端部視差角取得部の機能を実現する端部視差角取得プログラムや立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。 <Specific configuration>
The specific hardware configuration of the stereoscopic image evaluation device of the present embodiment is the same as that described in FIG. 8 of the first embodiment. However, in the stereoscopic image evaluation apparatus according to the present embodiment, the long-term storage device includes an end parallax angle acquisition program for realizing the function of the end parallax angle acquisition unit or an image of an image block of the inner end of the stereoscopic image from the display screen. It is characterized in that a table in which the ratio of image formation to the front side and the itemized evaluation value are associated is held.

<処理の流れ>
図２２は、端部視差角取得プログラム及び項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２２０１において、ＣＰＵは左眼画像データ又は右眼用画像データの左右端部にあるブロックの視差角を取得する。次に、ステップＳ２２０２において、ＣＰＵは左右端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、左右端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０３において、ＣＰＵは左右端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。次に、ステップＳ２２０４において、ＣＰＵは左眼画像データ又は右眼用画像データ内の上下端部にあるブロックの視差角を取得する。次に、ステップＳ２２０５において、ＣＰＵは上下端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、上下端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０６において、ＣＰＵは上下端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。なお、上記において画像ブロックの像が表示画面より手前に結像する場合として、視差角が０となる場合（視差か発生しない場合）を含んでいてもよい。 <Flow of processing>
FIG. 22 is a diagram showing a specific example of the itemized evaluation value calculation process in the end parallax angle acquisition program and the itemized evaluation value step evaluation program. First, in step S2201, the CPU obtains parallax angles of blocks at the left and right ends of left-eye image data or right-eye image data. Next, in step S2202, the CPU determines whether the value of the parallax angle of each block is the value in the pop-out direction for all blocks at the left and right ends, and the image of the image block at the left and right ends is the display screen Calculate the ratio of imaging to the front. Next, in step S 2203, the CPU obtains a corresponding item-by-item evaluation value by referring to a table in which the ratio of the image block image at the left and right ends to form an image in front of the display screen Do. Next, in step S2204, the CPU obtains parallax angles of blocks at upper and lower ends in the left-eye image data or the right-eye image data. Next, in step S2205, the CPU determines whether or not the value of the parallax angle of each block is the value in the pop-up direction for all blocks at the upper and lower ends, and the image of the image block at the upper and lower ends is the display screen Calculate the ratio of imaging to the front. Next, in step S2206, the CPU refers to a table in which the rate at which the image of the image block at the upper and lower ends forms an image in front of the display screen is associated with the itemized evaluation value to obtain the corresponding itemized evaluation value. Do. In the above, the case where the image of the image block is formed in front of the display screen may include the case where the parallax angle is 0 (when parallax does not occur).

<効果>
本実施形態の立体画像評価装置は、枠張り付き効果という立体映像特有の現象により視聴者が感じる違和感を立体画像の評価に反映することができ、より正確な立体画像の評価を行うことができる。 <Effect>
The stereoscopic image evaluation device of the present embodiment can reflect the discomfort felt by the viewer due to the phenomenon unique to the stereoscopic image, that is, the frame sticking effect, in the evaluation of the stereoscopic image, and can perform more accurate evaluation of the stereoscopic image.

<<実施形態５>> << Embodiment 5 >>

<概要>
本実施形態の立体画像評価装置は、左眼用画像又は／及び右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得し、当該情報をさらに利用して立体画像の見やすさを評価することを特徴とする。 <Overview>
The stereoscopic image evaluation device of the present embodiment acquires information on image quality as a planar image according to the position in the image of the left eye image and / or the right eye image, and further utilizes the information to obtain a stereoscopic image It is characterized by evaluating the legibility.

<構成>
図２３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２３００は、「立体画像取得部」２３０１と、「視差角分布取得部」２３０２と、「評価部」２３０３と、「画像品質取得部」２３０４と、を有し、「評価部」は「画像品質評価手段」２３０５を有する。 <Configuration>
FIG. 23 is a diagram showing an example of functional blocks of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the “stereoscopic image evaluation device” 2300 includes a “stereoscopic image acquisition unit” 2301, a “parallax angle distribution acquisition unit” 2302, an “evaluation unit” 2303, and an “image quality acquisition unit” 2304. , And the “evaluation unit” has “image quality evaluation means” 2305.

「画像品質取得部」は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する機能を有する。ここで、画像品質取得部は、例えば前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することが考えられる。なお、鮮鋭度とはいわゆるピントの度合いを示す指標であり、鮮鋭度が高い程ピントがあっており、鮮鋭度が低い程画像がぼけているといえる。   The “image quality acquisition unit” has a function of acquiring information of image quality as a planar image according to the position in the image of the acquired left-eye image or right-eye image. Here, it is conceivable that the image quality acquisition unit acquires, for example, information on the sharpness according to the position in the image of the acquired left-eye image or right-eye image. The degree of sharpness is an index indicating the degree of focus, and it can be said that the higher the degree of sharpness, the more in focus, and the lower the degree of sharpness, the more blurred the image.

ここで、画像内位置に応じた鮮鋭度の情報（合焦領域の位置の情報など）は、例えばオートフォーカス等の機能を備えるデジタルカメラなどから取得することも可能である。デジタルカメラで撮影されたＥＸＩＦの画像データ内にはメタデータとして合焦点位置情報が記載されるため、当該情報を取得するものである。なお、立体画像評価装置の内部処理によって左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を抽出することも可能であるし、操作入力機器を介してユーザからピントがあっている領域とそうでない領域を指定する操作入力を受け付けてもよい。   Here, the information on the sharpness (such as the information on the position of the in-focus area) according to the position in the image can also be acquired from, for example, a digital camera having a function such as autofocus. Since in-focus position information is described as metadata in the image data of EXIF captured by a digital camera, the information is acquired. In addition, it is also possible to extract the information of the sharpness according to the position in the image of the image for the left eye or the image for the right eye by internal processing of the three-dimensional image evaluation device. An operation input may be received to specify an area that is present and an area that is not.

「画像品質評価手段」は、前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する機能を有する。画像品質評価手段は、例えば前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることが考えられる。   The "image quality evaluation means" has a function of evaluating the legibility of a stereoscopic image by further utilizing the information of the image quality as the planar image. It is conceivable that the image quality evaluation means obtains an evaluation result by, for example, weighting the evaluation more heavily as the image block is higher in image quality as the planar image with respect to the evaluation result of the visibility of the three-dimensional image.

視聴者がボケのある領域を含む立体画像を見る場合、ピントの合った領域を注視する可能性が高く、ボケによる被写界深度の変化を考慮に入れることが重要になる。図２４は、背景領域がぼけている画像の一例を示す図である。この図において、左眼用画像データ２４００内の前景の被写体２４０１以外の背景領域はぼけている。このように画像内にぼけがある場合、視聴者はぼけのない領域（合焦点領域）を注視するため、当該領域にあるブロックの視差角は、立体画像の見やすさや安全性を評価するに当たり、他のブロックの視差角よりも重要性が高くなる。   When a viewer views a stereoscopic image including an area with blur, it is highly likely to look at a focused area, and it is important to take into consideration changes in the depth of field due to blur. FIG. 24 is a view showing an example of an image in which the background area is blurred. In this figure, background areas other than the foreground subject 2401 in the left-eye image data 2400 are blurred. Thus, when there is blur in the image, the viewer gazes at a region without blur (focused region), so the parallax angle of the block in the region is used to evaluate the visibility and safety of the stereoscopic image. It is more important than the parallax angle of other blocks.

平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る方法としては、種々考えられる。例えば、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得することが考えられる。また、非合焦点領域の視差角の値に対応する項目別評価値の全体評価値に対する重みづけを小さくすることも可能である。   There are various conceivable methods for obtaining an evaluation result by weighting the evaluation more heavily as an image block having higher image quality as a planar image. For example, it is conceivable to obtain an itemized evaluation value corresponding to the value of the parallax angle of the in-focus area based on a table in which the value of the parallax angle of the block of the in-focus area is associated with the itemized evaluation value. In addition, it is possible to reduce the weight of the itemized evaluation value corresponding to the value of the parallax angle of the non-in-focus area on the entire evaluation value.

<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、画像品質取得部の機能を実現する画像品質取得プログラムや合焦点位置の視差角と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。 <Specific configuration>
The specific hardware configuration of the stereoscopic image evaluation device of the present embodiment is the same as that described in FIG. 8 of the first embodiment. However, an image quality acquisition program for realizing the function of the image quality acquisition unit and a table in which the parallax angle of the in-focus position and the itemized evaluation value are associated are stored in the long-term storage device of the stereoscopic image evaluation device of this embodiment. It is characterized by

<処理の流れ>
図２５は、画像品質取得プログラムと項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２５０１において、ＣＰＵは、左眼用画像（又は右眼用画像、以下同様）の画像内における合焦点領域の情報を取得する。当該情報は、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよいし、長期記憶装置から取得してもよい。次にステップＳ２５０２において、ＣＰＵは、合焦点領域の情報に基づいて、左眼用画像の画像内の合焦点領域の視差角の値を取得する。このとき、合焦点領域にあるブロックが複数存在する場合は、各ブロックの視差角の値を取得する。次に、ステップＳ２５０３において、ＣＰＵは、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得する。なお、合焦点領域にあるブロックが複数ある場合は、各ブロックの視差角の値の平均値を利用してもよいし、最も絶対値が大きい視差角の値を利用してもよいし、最も頻度が高い視差角の区分を利用してもよい。 <Flow of processing>
FIG. 25 is a diagram showing a specific example of item-by-item evaluation value calculation processing in the image quality acquisition program and the item-by-item evaluation value step evaluation program. First, in step S2501, the CPU acquires information of a focused area in an image for a left eye image (or an image for a right eye, and the same applies to the following). The said information may be acquired via communication I / F or operation I / F, and may be acquired from a long-term storage device. Next, in step S2502, the CPU obtains the value of the parallax angle of the in-focus area in the image for the left eye image based on the information of the in-focus area. At this time, when there are a plurality of blocks in the in-focus area, the value of the parallax angle of each block is acquired. Next, in step S2503, the CPU obtains an itemized evaluation value corresponding to the value of the parallax angle of the in-focus area based on a table in which the value of the parallax angle of the block in the in-focus area is associated with the itemized evaluation value. Do. When there are a plurality of blocks in the in-focus area, the average value of the parallax angles of each block may be used, or the parallax angle with the largest absolute value may be used. Division of parallax angles with high frequency may be used.

<効果>
本実施形態の立体画像評価装置は、視聴者が注視する可能性の高い合焦点領域など情報をさらに利用することによって、さらに的確な立体画像の評価を出力することが可能になる。 <Effect>
The three-dimensional image evaluation apparatus of the present embodiment can output more accurate three-dimensional image evaluation by further using information such as an in-focus area where the viewer is likely to gaze.

<<実施形態６>> << Embodiment 6 >>

<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１から４に記載の立体画像評価装置と同様であるが、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが視差角の許容値を満たす割合に応じて立体画像の見やすさを評価することを特徴とする。 <Overview>
The three-dimensional image evaluation apparatus of this embodiment is basically the same as the three-dimensional image evaluation apparatus described in the first to fourth embodiments, but holds an acceptable value of the parallax angle that can be evaluated favorably and an image block in the three-dimensional image. Is characterized in that the visibility of the stereoscopic image is evaluated in accordance with the rate at which the parallax angle tolerance is satisfied.

<構成>
図２６は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２６００は、「立体画像取得部」２６０１と、「視差角分布取得部」２６０２と、「評価部」２６０３と、を有し、「評価部」は「許容値保持部手段」２６０４と「許容値評価手段」２６０５を有する。 <Configuration>
FIG. 26 is a diagram showing an example of functional blocks of the three-dimensional image evaluation device of the present embodiment. As shown in this figure, the “stereoscopic image evaluation device” 2600 includes a “stereoscopic image acquisition unit” 2601, a “parallax angle distribution acquisition unit” 2602, and an “evaluation unit” 2603 and is an “evaluation unit”. Has an “acceptable value holding means” 2604 and an “acceptable value evaluating means” 2605.

「許容値保持手段」は、良い評価とできる視差角の許容値を保持する機能を有する。ここで、良い評価とできる視差角の許容値としては、飛び出し方向の視差角に対する許容値や奥行方向の視差角に対する許容値、立体画像内端部の画像ブロックの視差角に対する許容値、合焦点領域にある画像ブロックの視差角に対する許容値など種々のものが考えられる。   The "permissible value holding means" has a function of holding the allowable value of the parallax angle that can be regarded as a good evaluation. Here, as the allowable value of the parallax angle that can be regarded as a good evaluation, the allowable value for the parallax angle in the pop-out direction, the allowable value for the parallax angle in the depth direction, the allowable value for the parallax angle of the image block at the inner end of the stereoscopic image, the in-focus point Various things can be considered such as an allowance for the parallax angle of the image block in the area.

「許容値評価手段」は、前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する機能を有する。具体的には、立体画像内の画像ブロックが視差角の許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。   The “permissible value evaluation unit” has a function of evaluating the visibility of the stereoscopic image according to the ratio of the image block in the stereoscopic image satisfying the allowable value of the parallax angle. Specifically, the rate at which the image block in the stereoscopic image satisfies the tolerance value of the parallax angle is calculated, and the item-by-item evaluation value is output based on a table in which the rate is associated with the item-by-item evaluation value.

また、立体画像内の画像ブロックの視差角の値が第一の閾値より小さい割合（例えば、奥行方向の視差角の値が許容値より小さい割合など）を算出し、さらに立体画像内の画像ブロックの視差角の値が第二の閾値より大きい割合（飛び出し方向の視差角の値が許容値より大きい割合など）を算出し、それぞれの割合と項目別評価値を関連付けたテーブルに基づいて、それぞれ項目別評価値を出力することも考えられる。   In addition, the ratio of the parallax angle of the image block in the stereoscopic image to be smaller than the first threshold (for example, the ratio of the parallax angle in the depth direction to be smaller than the allowable value) is calculated. The ratio of the value of the parallax angle is larger than the second threshold (for example, the ratio of the value of the parallax angle in the pop-out direction is larger than the allowable value), and each ratio is associated with the itemized evaluation value. It is also conceivable to output an itemized evaluation value.

また、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値を取得し、許容値を満たす（又は満たさない）画像ブロックの全てに対して、視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得し、当該項目別評価基準値を全て加算した値を項目別評価値として出力することが考えられる。   In addition, the parallax angle value of the image block in the stereoscopic image that satisfies (or does not satisfy) the tolerance value is acquired, and the parallax angle value and the item are divided for all the image blocks that satisfy (or not satisfy) the tolerance value. It is conceivable to obtain item-by-item evaluation reference values with reference to a table in which evaluation reference values are associated, and to output a value obtained by adding all the item-by-item evaluation reference values as item-by-item evaluation values.

また、前記視差角の許容値を満たす（又は満たさない）画像ブロックの立体画像内の分布状況に応じて、立体画像の見やすさを評価することも可能である。例えば、視差角の許容値を満たす（又は満たさない）画像ブロックが立体画像内のピントの合った領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能であるし、立体画像内の被写体が存在する領域や立体画像内の中心領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能である。   It is also possible to evaluate the legibility of the stereoscopic image according to the distribution state in the stereoscopic image of the image block satisfying (or not satisfying) the tolerance value of the parallax angle. For example, a configuration is possible in which item-by-item evaluation values are calculated according to how often image blocks that meet (or do not meet) the tolerance of the parallax angle exist in the in-focus area of the stereoscopic image. A configuration is also possible in which item-by-item evaluation values are calculated according to how often they are present in an area where a subject in a stereoscopic image is present or in a central area in a stereoscopic image.

<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値と項目別評価基準値を関連付けたテーブルが保持されていることを特徴とする。 <Specific configuration>
The specific hardware configuration of the stereoscopic image evaluation device of the present embodiment is the same as that described in FIG. 8 of the first embodiment. However, in the long-term storage device of the three-dimensional image evaluation device of the present embodiment, a table in which the values of the parallax angles of image blocks in the three-dimensional image that satisfy (or not satisfy) the tolerance value It is characterized by

<処理の流れ>
図２７は、項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２７０１において、ＣＰＵは長期記憶装置に保持されている良い評価とできる視差角の許容値（第一の閾値、第二の閾値）の情報をＲＡＭに読み出す。次に、ステップＳ２７０２において、ＣＰＵは視差角の値が第一の閾値より小さな値となる画像ブロックを抽出する。次に、ステップＳ２７０３において、ＣＰＵは第一の閾値より小さな視差角の値をもつ画像ブロックの全てに対して、第一の閾値より小さな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０４において、ＣＰＵは、ステップＳ２７０３にて取得された項目別評価基準値を全て加算した値を奥行方向の視差角に関する項目別評価値とする。次に、ステップＳ２７０５において、ＣＰＵは第二の閾値より大きな視差角の値をもつ画像ブロックを抽出する。次に、ステップＳ２７０６において、ＣＰＵは、第二の閾値より大きな視差角の値をもつ画像ブロックの全てに対して、第二の閾値より大きな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０７において、ＣＰＵは、ステップＳ２７０６にて取得された項目別評価基準値を全て加算した値を飛び出し方向の視差角に関する項目別評価値とする。 <Flow of processing>
FIG. 27 is a diagram showing a specific example of item-by-item evaluation value calculation processing in the item-by-item evaluation value step evaluation program. First, in step S2701, the CPU reads out, to the RAM, the information of the allowable value (first threshold, second threshold) of the parallax angle which can be evaluated and held in the long-term storage device. Next, in step S2702, the CPU extracts an image block in which the value of the parallax angle is smaller than the first threshold. Next, in step S2703, the CPU relates a table in which the parallax angle value smaller than the first threshold and the item-by-item evaluation reference value are associated with all the image blocks having the parallax angle value smaller than the first threshold. Acquire item-by-item evaluation reference values by reference. Next, in step S2704, the CPU sets a value obtained by adding all the item-by-item evaluation reference values acquired in step S2703 as an item-wise evaluation value regarding the parallax angle in the depth direction. Next, in step S2705, the CPU extracts an image block having a parallax angle value larger than the second threshold. Next, in step S2706, the CPU relates the item-by-item evaluation reference value to the parallax angle value larger than the second threshold value for all image blocks having parallax angle values larger than the second threshold value. Refer to to obtain itemized evaluation criteria. Next, in step S2707, the CPU sets a value obtained by adding all of the item-by-item evaluation reference values acquired in step S2706 as an item-wise evaluation value regarding the parallax angle in the pop-out direction.

<効果>
本実施形態の立体画像評価装置は、立体画像内の画像ブロックが視差角の許容値を満たす割合を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。 <Effect>
The three-dimensional image evaluation device of the present embodiment can reflect the rate at which the image block in the three-dimensional image satisfies the tolerance value of the parallax angle on the final evaluation value, so that more accurate three-dimensional image evaluation can be performed.

図２８は、本発明の立体画像評価装置２８００を、立体テレビに搭載した例を示す。図２８において、圧縮立体画像データは立体テレビ２８０１に入力される。また、テレビの表示画面サイズ、想定される視聴距離、想定される両眼間隔の情報は視聴情報手段２８０２により保持されており、立体画像評価装置２８００はこれらの情報を入力する。なお、想定される両眼間隔は、日本人の平均である６３ｍｍ〜６５ｍｍ等としてもよいし、子供を考慮した値である５０ｍｍとしてもよい。   FIG. 28 shows an example in which the stereoscopic image evaluation device 2800 of the present invention is mounted on a stereoscopic television. In FIG. 28, compressed stereoscopic image data is input to a stereoscopic television 2801. Also, information on the display screen size of the television, the assumed viewing distance, and the assumed inter-eye distance information is held by the viewing information means 2802, and the stereoscopic image evaluation device 2800 inputs these pieces of information. The assumed inter-ocular distance may be 63 mm to 65 mm, which is the average of Japanese, or may be 50 mm, which is a value considering children.

立体テレビ２８０１に入力された圧縮立体画像データは、デコード手段２８０３によりデコードされ、左眼用画像データ及び右眼用画像データとして出力される。左眼用画像データ及び右眼用画像データは、視差調整手段２８０４を介して立体画像評価装置２８００に入力される。   The compressed stereoscopic image data input to the stereoscopic television 2801 is decoded by the decoding unit 2803 and output as left-eye image data and right-eye image data. The image data for the left eye and the image data for the right eye are input to the stereoscopic image evaluation device 2800 via the parallax adjustment unit 2804.

立体画像評価装置２８００は、入力された表示画面サイズ・視聴距離・両眼間隔などの情報と、左眼用画像データ及び右眼用画像データから、最終評価値データを作成して出力する。   The stereoscopic image evaluation device 2800 creates and outputs final evaluation value data from the input information such as the display screen size, the viewing distance, and the inter-ocular distance, and the image data for the left eye and the image data for the right eye.

左眼用画像データ及び右眼用画像データと最終評価値データが画像重畳手段２８０５に入力され、画像重畳手段２８０５は、左眼用画像データと右眼用画像データから表示用立体画像データを生成し、当該表示用立体画像データに対して最終評価値の情報を重畳表示した表示用立体画像データを生成し、表示手段２８０６に対して出力する。   The image data for the left eye, the image data for the right eye, and the final evaluation value data are input to the image superimposing means 2805, and the image superposing means 2805 generates stereoscopic image data for display from the image data for left eye and the image data for right eye Then, display stereoscopic image data in which information of the final evaluation value is superimposed and displayed on the display stereoscopic image data is generated and output to the display unit 2806.

図２９は、表示用立体画像データの一例を示す図である。図２９において、表示用立体画像データ２９００は、視差のない背景部分と、視差のある前景部分と、最終評価値を表示する領域２９０１とから構成される。また、前景部分には、右眼にのみ表示される被写体像２９０２と左眼にのみ表示される被写体像２９０３が含まれる。   FIG. 29 is a diagram showing an example of display stereoscopic image data. In FIG. 29, the display stereoscopic image data 2900 includes a background portion without parallax, a foreground portion with parallax, and an area 2901 for displaying a final evaluation value. Further, the foreground portion includes a subject image 2902 displayed only to the right eye and a subject image 2903 displayed only to the left eye.

表示手段２８０６は、入力された表示用立体画像データを用いて立体表示を行う。ここで、視差調整手段２８０４は、自動または手動で視差調整を行う手段である。このとき、自動で視差調整を行う場合には立体画像評価装置２８００で算出された最終評価値が小さくなるように視差調整を行うようにしても構わない。また、手動で視差調整を行う場合、立体画像評価装置２８００で算出された最終評価値を画面上に表示して、視聴者が最終評価値を見ながら値が小さくなるように視差調整を行うようにしても構わない。   The display unit 2806 performs stereoscopic display using the input display stereoscopic image data. Here, the parallax adjustment unit 2804 is a unit that performs parallax adjustment automatically or manually. At this time, when the parallax adjustment is automatically performed, the parallax adjustment may be performed so that the final evaluation value calculated by the stereoscopic image evaluation device 2800 becomes small. In addition, when performing parallax adjustment manually, the final evaluation value calculated by the stereoscopic image evaluation device 2800 is displayed on the screen, and parallax adjustment is performed so that the viewer reduces the value while watching the final evaluation value. It does not matter.

このとき、視差調整は画面全体を左右にずらすことにより行うが、どちらにずらしたら最終評価値が小さくなるかを予測して、当該値が小さくなる方向にずらすよう視聴者に通知してもよい。具体的には、画面全体をずらす方向を画面上に矢印などで指示することが考えられる。図３０は、表示用立体画像データの一例を示す図である。この図の例では、最終評価値を表示する領域３００１の上部に、ずらすべき方向を矢印３００２によって明示している。ここで、視差ずらしの操作を行うリモコン等のボタンの位置に、矢印の方向を合わせて表示してもよい。   At this time, parallax adjustment is performed by displacing the entire screen to the left or right, but it may be notified to the viewer to predict in which direction the final evaluation value will be reduced if it is shifted to which direction. . Specifically, it is conceivable to indicate the direction in which the entire screen is shifted with an arrow or the like on the screen. FIG. 30 is a view showing an example of display stereoscopic image data. In the example of this figure, the arrow 3002 clearly indicates the direction to be shifted at the top of the area 3001 where the final evaluation value is displayed. Here, the direction of the arrow may be displayed in alignment with the position of the button of the remote controller or the like for performing the parallax shift operation.

このように、立体視に固有のパラメータを考慮に入れて算出された立体画像の最終評価値を画面上に表示することによって、視聴者は現在立体表示されている映像の評価値を直感的に把握することが可能になる。また、視聴者は簡易に視差の調整を行うことが可能になる。   Thus, by displaying on the screen the final evaluation value of the stereoscopic image calculated taking into consideration the parameters unique to stereoscopic vision, the viewer intuitively displays the evaluation value of the image currently stereoscopically displayed. It becomes possible to grasp. Also, the viewer can easily adjust the parallax.

また、立体画像内の各画像ブロックの視差角の符号の情報から、提示される立体映像が、飛び出して提示される立体映像なのか、又は画面より奥に提示される立体映像なのか、あるいは飛出し方向にも奥行方向にも提示される立体映像なのかを判別し、その判別結果に応じて表示する最終評価値の色を変えてもよい。例えば、立体映像が全て飛び出して提示される場合は赤色で最終評価値を表示し、全て画面より奥に提示される場合は青色で表示し、飛び出し方向にも奥行方向にも提示される場合は黒色に表示する。   Also, based on the information of the code of the parallax angle of each image block in the stereoscopic image, whether the presented stereoscopic image is a stereoscopic image presented popping out, or a stereoscopic image presented behind the screen, or flying It may be determined whether it is a stereoscopic video presented in both the direction of extension and the direction of depth, and the color of the final evaluation value to be displayed may be changed according to the determination result. For example, the final evaluation value is displayed in red when all stereoscopic video is presented in a pop-up, and displayed in blue when all is presented behind the screen, and is presented in a pop-up direction as well as a depth direction. Display in black.

また、上記判別結果に応じて最終評価値に符号を付けて表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値にプラス符号を付けて表示し、全て画面より奥に提示される場合は最終評価値にマイナス符号を付けて表示し、飛び出し方向にも奥行方向にも提示される場合は符号なしで評価値を表示する。   In addition, the final evaluation value may be displayed with a sign in accordance with the determination result. For example, when all stereoscopic video is presented in a pop-up, the final evaluation value is displayed with a plus sign, and in the case where all is presented behind the screen, a final evaluation value is displayed with a minus sign displayed. When presented in either depth direction, the evaluation value is displayed without a sign.

また、最終評価値の近傍に、追加メッセージを表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値の近傍に「飛び出し映像」と表示し、全て画面より奥に提示される場合は最終評価値の近傍に「奥行映像」と表示を行い、飛び出し方向にも奥行方向にも提示される場合は追加メッセージを表示しない。   Further, an additional message may be displayed near the final evaluation value. For example, if all stereoscopic video is presented in a pop-up, "pop-out video" is displayed near the final evaluation value, and if all is presented in the back of the screen, "depth video" is displayed in the vicinity of the final evaluation value. Yes, do not display additional messages if presented in the pop-up or depth direction.

また、視聴距離と両眼間隔から、視差分布（視差マップ）を視聴者から立体映像が立体で提示される位置までの距離であるデプスマップに変換してもよい。生成されたデプスマップは、縦軸に発生頻度、横軸にデプスを取って、グラフ化して表示してもよい。このとき、画面の位置がグラフの横軸上のどの点に対応するのかわかるように、対応する点に印をつけるなどして表示してもよい。   Further, the parallax distribution (parallax map) may be converted to a depth map which is a distance from the viewer to a position where a stereoscopic video is presented in three dimensions, from the viewing distance and the inter-eye interval. The generated depth map may be graphed and displayed with the frequency of occurrence on the vertical axis and the depth on the horizontal axis. At this time, in order to know which point on the horizontal axis of the graph corresponds to the position of the screen, the corresponding points may be marked and displayed.

また、奥行方向の視差角の最小値や飛び出し方向の視差角の最大値、ピントの合った領域（合焦領域）の視差角、視差角の許容値（第一の閾値、第二の閾値など）をそれぞれデプスに変換して、グラフ上に印をつけて表示してもよい。   In addition, the minimum value of the parallax angle in the depth direction, the maximum value of the parallax angle in the protrusion direction, the parallax angle of the in-focus area (in-focus area), the allowable parallax value (first threshold, second threshold, etc.) ) May be converted to depth and marked on the graph for display.

また、本発明は、上記で説明した立体テレビのような立体画像データ表示装置だけでなく、立体デジタルカメラ、立体デジタルムービー、立体デジタルビデオレコーダー、立体携帯型ムービープレイヤー、立体携帯電話、立体カーナビゲーションシステム、立体携帯型ＤＶＤプレイヤー、立体ＰＣ等の立体映像信号を出力又は表示可能な機器についても広く適用でき、そこで取り扱われる画像データに対して、最終評価値を算出し、表示することができる。   The present invention is not limited to stereoscopic image data display devices such as stereoscopic television described above, but also stereoscopic digital cameras, stereoscopic digital movies, stereoscopic digital video recorders, stereoscopic portable movie players, stereoscopic mobile phones, stereoscopic car navigation systems The present invention can be widely applied to devices capable of outputting or displaying a stereoscopic video signal such as a system, a portable portable DVD player, and a stereoscopic PC, and final evaluation values can be calculated and displayed for image data handled there.

０７００…立体画像評価装置、０７０１…立体画像取得部、０７０２…視差角分布取得部、０７０３…評価部、０８０１…ＣＰＵ、０８０２…ＲＡＭ、０８０３…長期記憶装置、０８０４…通信Ｉ／Ｆ、０８０５…操作Ｉ／Ｆ、０８０６…表示装置、１３０４…視差角差分算出部、１３０５…視差角差分評価手段、１５０４…視差角差分ピーク値算出部、１５０５…視差角差分ピーク値評価手段、１８０４…端部視差角取得部、１８０５…端部視差角評価手段、２３０４…画像品質取得部、２３０５…画像品質評価手段、２６０４…許容値保持手段、２６０５…許容値評価手段、２８００…立体画像評価装置、２８０１…立体テレビ、２８０２…視差情報手段、２８０３…デコード手段、２８０４…視差調整手段、２８０５…画像重畳手段、２８０６…表示手段 0700 ... 3D image evaluation device, 0701 ... 3D image acquisition unit, 0702 ... parallax angle distribution acquisition unit, 0703 ... evaluation unit, 0801 ... CPU, 0802 ... RAM, 0803 ... long-term storage device, 0804 ... communication I / F, 0805 ... Operation I / F, 0806 ... display device, 1304 ... parallax angle difference calculation unit, 1305 ... parallax angle difference evaluation means, 1504 ... parallax angle difference peak value calculation section, 1505 ... parallax angle difference peak value evaluation means, 1804 ... end portion Parallax angle acquisition unit, 1805 ... end parallax angle evaluation unit, 2304 ... image quality acquisition unit, 2305 ... image quality evaluation unit, 2604 ... tolerance value holding unit, 2605 ... tolerance value evaluation unit, 2800 ... 3D image evaluation device, 2801 ... 3D television, 2802 ... parallax information means, 2803 ... decoding means, 2804 ... parallax adjustment means, 2805 ... image superposition means, 806 ... display means

Claims (6)

立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、
取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、
取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する視差角差分算出部と、
前記近隣にある画像ブロックの位置関係に基づいて、前記視差角差分に対して立体画像としての見やすさを評価した数値を評価値として算出する評価部と、
前記評価値がより見やすい評価であることを示す値となるように、左眼用画像と右眼用画像の表示位置を左右にずらすことにより視差調整を行う視差調整部と、
前記視差調整した左眼用画像と右眼用画像とを表示する表示部と、
を有する立体画像表示装置。 A stereoscopic image acquisition unit that acquires an image for the left eye and an image for the right eye that constitute a stereoscopic image;
A parallax angle distribution acquisition unit that acquires a parallax angle distribution of a stereoscopic image from the acquired left-eye image and right-eye image;
A parallax angle difference calculation unit that calculates parallax angle differences between image blocks adjacent to each other in a stereoscopic image from the acquired parallax angle distribution;
An evaluation unit that calculates, as an evaluation value, a numerical value obtained by evaluating the visibility as a stereoscopic image with respect to the parallax angle difference based on the positional relationship between the image blocks in the vicinity ;
A parallax adjustment unit that performs parallax adjustment by shifting the display positions of the left-eye image and the right-eye image to the left and right so that the evaluation value is a value indicating that the evaluation value is an easily viewable evaluation;
A display unit that displays the left-eye image and the right-eye image whose parallax has been adjusted;
A stereoscopic image display apparatus having: 前記近隣にある画像ブロックの位置関係は、水平方向、または垂直方向、または斜め方向であり、
前記評価部は、水平方向の画像ブロック同士の視差角差分と、垂直方向の画像ブロック同士の視差角差分と、または斜め方向の画像ブロック同士の視差角差分の、それぞれに対する立体画像の見やすさの評価値を算出し、算出した各評価値に対して重みづけを行い、最終評価値を算出する
請求項１記載の立体画像表示装置。 The positional relationship between the adjacent image blocks is horizontal, vertical, or diagonal,
The evaluation unit is configured to easily view a stereoscopic image of each of parallax angle difference between image blocks in the horizontal direction, parallax angle difference between image blocks in the vertical direction, or parallax angle difference between image blocks in the diagonal direction. The stereoscopic image display apparatus according to claim 1, wherein an evaluation value is calculated, weighting is performed on each of the calculated evaluation values, and a final evaluation value is calculated . 前記視差調整部は、
手動により視差調整を行う場合は、前記最終評価値がより見やすい評価であることを示す値となるような、視差調整方向を示す誘導表示を行う
請求項２に記載の立体画像表示装置。 The disparity adjustment unit
When performing the parallax adjustment manually, the final evaluation value that is a value indicating a more legible evaluation, three-dimensional image display according to <br/> claim 2 for guidance display indicating the parallax adjustment direction Device . 取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する視差角差分ピーク値算出部をさらに有し、
前記評価部は、
前記視差角差分ピーク値を利用して立体画像の見やすさを評価する視差角差分ピーク値評価手段を有する請求項１から３のいずれか一に記載の立体画像表示装置。 The parallax angle difference peak value calculation unit for calculating the parallax angle difference peak value that is the maximum value and / or the minimum value of the parallax angle differences between image blocks adjacent to each other in the stereoscopic image from the acquired parallax angle distribution is further included And
The evaluation unit
The stereoscopic image display apparatus according to any one of claims 1 to 3, further comprising a parallax angle difference peak value evaluation unit that evaluates the visibility of the stereoscopic image using the parallax angle difference peak value. 前記評価値を表示する際、表示する立体画像の視差角分布に応じて、異なる色で表示する請求項１から４に記載の立体画像表示装置。 The stereoscopic image display device according to any one of claims 1 to 4, wherein when the evaluation value is displayed, different colors are displayed according to the parallax angle distribution of the stereoscopic image to be displayed . 前記評価部は、
良い評価とできる視差角の許容値を保持する許容値保持手段と、
前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する許容値評価手段を有する請求項１から５のいずれか一に記載の立体画像表示装置。 The evaluation unit
Tolerance holding means for holding a parallax angle tolerance that can be regarded as a good evaluation;
The stereoscopic image display apparatus according to any one of claims 1 to 5, further comprising tolerance value evaluation means for evaluating the visibility of the stereoscopic image according to a ratio at which the image block in the stereoscopic image satisfies the tolerance value of the parallax angle. .
JP2011205511A 2011-09-21 2011-09-21 Stereoscopic display Expired - Fee Related JP5121081B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011205511A JP5121081B1 (en) 2011-09-21 2011-09-21 Stereoscopic display
PCT/JP2012/058978 WO2013042392A1 (en) 2011-09-21 2012-04-02 Three-dimensional image evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011205511A JP5121081B1 (en) 2011-09-21 2011-09-21 Stereoscopic display

Publications (2)

Publication Number Publication Date
JP5121081B1 true JP5121081B1 (en) 2013-01-16
JP2013070127A JP2013070127A (en) 2013-04-18

Family

ID=47692858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011205511A Expired - Fee Related JP5121081B1 (en) 2011-09-21 2011-09-21 Stereoscopic display

Country Status (2)

Country Link
JP (1) JP5121081B1 (en)
WO (1) WO2013042392A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015509292A (en) * 2012-02-02 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Generation method, encoding method, decoding method, and display method of 3D media data using disparity information, and generation device, encoding device, decoding device, and display device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944165B (en) * 2019-11-13 2021-02-19 宁波大学 Stereoscopic image visual comfort level improving method combining perceived depth quality
CN112738501B (en) * 2020-12-29 2022-05-17 杭州电子科技大学 Three-dimensional image comfort level testing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245451A (en) * 2001-02-19 2002-08-30 Nippon Hoso Kyokai <Nhk> Stereoscopic image evaluating device
JP4061305B2 (en) * 2002-08-20 2008-03-19 一成 江良 Method and apparatus for creating stereoscopic image
JP4469159B2 (en) * 2003-11-06 2010-05-26 学校法人早稲田大学 3D image evaluation apparatus and 3D image tuner
JP2010268097A (en) * 2009-05-13 2010-11-25 Fujifilm Corp Three-dimensional display device and three-dimensional display method
WO2011099166A1 (en) * 2010-02-15 2011-08-18 スカパーＪｓａｔ株式会社 Three-dimensional-image processing device
JP5432365B2 (en) * 2010-03-05 2014-03-05 パナソニック株式会社 Stereo imaging device and stereo imaging method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015509292A (en) * 2012-02-02 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Generation method, encoding method, decoding method, and display method of 3D media data using disparity information, and generation device, encoding device, decoding device, and display device

Also Published As

Publication number Publication date
WO2013042392A1 (en) 2013-03-28
JP2013070127A (en) 2013-04-18

Similar Documents

Publication Publication Date Title
JP6308513B2 (en) Stereoscopic image display apparatus, image processing apparatus, and stereoscopic image processing method
JP6380881B2 (en) Stereoscopic image display apparatus, image processing apparatus, and stereoscopic image processing method
JP5515301B2 (en) Image processing apparatus, program, image processing method, recording method, and recording medium
TWI508519B (en) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
EP2332340B1 (en) A method of processing parallax information comprised in a signal
WO2011122177A1 (en) 3d-image display device, 3d-image capturing device and 3d-image display method
JP2005167310A (en) Photographing apparatus
US11240479B2 (en) Viewer-adjusted stereoscopic image display
JP2014500674A (en) Method and system for 3D display with adaptive binocular differences
KR20120030005A (en) Image processing device and method, and stereoscopic image display device
KR20130116075A (en) Video display device
CN102271266A (en) 2d quality enhancer in polarized 3d systems for 2d-3d co-existence
JP5396877B2 (en) Image processing apparatus, program, image processing method, and recording method
JP2011172172A (en) Stereoscopic video processing device and method, and program
JP5121081B1 (en) Stereoscopic display
JP5347987B2 (en) Video processing device
JP2015043187A (en) Image generation device and image generation program
JP2014053782A (en) Stereoscopic image data processor and stereoscopic image data processing method
JP2011254176A (en) Image processor and control method thereof
KR101192121B1 (en) Method and apparatus for generating anaglyph image using binocular disparity and depth information
CN107329255A (en) Asymmetric high-resolution VR Helmet Mounted Displays
JPWO2012131937A1 (en) Measuring device, stereoscopic image display device, and measuring method
JP2004279743A (en) Three dimensional display device
US20060152580A1 (en) Auto-stereoscopic volumetric imaging system and method
JP5428723B2 (en) Image generating apparatus, image generating method, and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees