JP2012049920A - Image processing device and method for controlling the same - Google Patents
Image processing device and method for controlling the same Download PDFInfo
- Publication number
- JP2012049920A JP2012049920A JP2010191380A JP2010191380A JP2012049920A JP 2012049920 A JP2012049920 A JP 2012049920A JP 2010191380 A JP2010191380 A JP 2010191380A JP 2010191380 A JP2010191380 A JP 2010191380A JP 2012049920 A JP2012049920 A JP 2012049920A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- pixel
- eye image
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、画像処理装置及びその制御方法に関する。 The present invention relates to an image processing apparatus and a control method thereof.
視差のある右眼画像（右眼用の画像）と左眼画像（左眼用の画像）を表示装置で表示することにより立体映像を再現する３Ｄ画像装置が知られている。
また、立体映像の立体感を向上するために、物体が手前にあるほど画像処理の度合い（以下、画像処理強度）を強くする方法が特許文献１に開示されている。具体的には、特許文献１には、手前にある物体ほど、輪郭補正の補正強度を強くしたり、コントラストを高めたり、色を濃くしたりする方法が開示されている。
また、右眼画像と左眼画像とで対応が取れている領域（奥行き（視差）が正しく検出された領域；一致領域）と取れていない領域（奥行きが正しく検出されなかった領域；不一致領域）を検出する方法が特許文献２に開示されている。
There is known a 3D image device that reproduces a stereoscopic image by displaying a parallax right-eye image (right-eye image) and left-eye image (left-eye image) on a display device.
Also,
In addition, an area where the correspondence between the right eye image and the left eye image (area where the depth (parallax) is correctly detected; matching area) and an area where the correspondence is not possible (area where the depth is not correctly detected; mismatch area)
しかしながら、特許文献１に開示の技術では、不一致領域に対して画像処理強度を決定することができない。なぜならば、奥行きは左眼画像と右眼画像の視差により判断することができるが、不一致領域は一方の画像にしか映っていない領域（他方の画像では死角となっている領域）であるため、その領域の奥行きを判断できないからである。図１２を用いて詳しく説明する。
However, with the technique disclosed in
図１２は、左眼画像と右眼画像を得るための装置及び被写体の一例を示す模式図である。具体的には、図１２は、左眼用撮影装置１２０１と右眼用撮影装置１２０２により背景１２０３と物体１２０４を撮影している様子を表している。物体１２０４は、背景１２０３より手前（撮影装置側）にある物体である。左眼用撮影装置１２０１は左眼画像を得るための撮影装置であり、右眼用撮影装置１２０２は右眼画像を得るための撮影装置である。図中、Ｃ，Ｄ，Ｅ領域は物体の領域であり、Ａ，Ｂ，Ｆ，Ｇ領域は背景の領域である。
FIG. 12 is a schematic diagram illustrating an example of a device and a subject for obtaining a left eye image and a right eye image. Specifically, FIG. 12 illustrates a situation where the
Ａ〜Ｇ領域のそれぞれについて以下に示す。
・Ａ領域：右眼用撮影装置及び左眼用撮影装置で撮影される背景の領域
・Ｂ領域：右眼用撮影装置によってのみ撮影される背景の領域
・Ｃ領域：右眼用撮影装置によってのみ撮影される物体の領域
・Ｄ領域：右眼用撮影装置及び左眼用撮影装置で撮影される物体の領域
・Ｅ領域：左眼用撮影装置によってのみ撮影される物体の領域
・Ｆ領域：左眼用撮影装置によってのみ撮影される背景の領域
・Ｇ領域：右眼用撮影装置及び左眼用撮影装置で撮影される背景の領域
ここで、Ａ，Ｄ，Ｇ領域は両方の撮影装置で撮影されるため、視差（奥行き）を判断することができる。しかし、Ｂ，Ｃ，Ｅ，Ｆ領域は一方の撮影装置によってのみ撮影される領域（他方の撮影装置の位置からは死角となる領域）であるため、視差を判断することができない。
そして、不一致領域に対して一様な画像処理強度を割り当てると、不一致領域と一致領
域との間で画像処理強度が極端に変わる虞がある。例えば、不一致領域であるＥ，Ｆ領域に対して、Ｇ領域に対する画像処理強度を割り当てると、不一致領域のＥ，Ｆ領域と一致領域のＤ領域との間で画像処理強度が極端に変化してしまう。その結果、画像に違和感が生じ、立体感が低減してしまう。
Each of the A to G regions is shown below.
Area A: background area photographed by the right eye photographing apparatus and left eye photographing apparatus. B area: background area photographed only by the right eye photographing apparatus. C area: only by the right eye photographing apparatus. Object area / D area: Object area photographed by right eye photographing apparatus and left eye photographing apparatus / E area: Object area photographed only by left eye photographing apparatus / F area: Left Background region / G region photographed only by the eye photographing device: Background region photographed by the right eye photographing device and the left eye photographing device Here, the A, D, and G regions are photographed by both photographing devices. Therefore, the parallax (depth) can be determined. However, since the B, C, E, and F regions are regions that are captured only by one imaging device (regions that are blind spots from the position of the other imaging device), the parallax cannot be determined.
If a uniform image processing intensity is assigned to the mismatch area, the image processing intensity may change extremely between the mismatch area and the matching area. For example, if the image processing intensity for the G area is assigned to the E and F areas that are inconsistent areas, the image processing intensity changes extremely between the E and F areas of the inconsistent area and the D area of the matched area. End up. As a result, the image is uncomfortable and the stereoscopic effect is reduced.
本発明は、立体映像において、位置によって画像処理強度が極端に変わることを抑制し、ひいては、立体感を向上することのできる技術を提供することを目的とする。 An object of the present invention is to provide a technique capable of suppressing an extreme change in image processing intensity depending on a position in a stereoscopic image, and thus improving the stereoscopic effect.
本発明の画像処理装置は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、前記左眼画像と前記右眼画像の両方に存在する領域である一致領域と、一方の画像には存在し、他方の画像では死角となる領域である不一致領域とを検出する領域検出手段と、前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出する視差検出手段と、前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する決定手段と、前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す画像処理手段と、を有する。 The image processing apparatus according to the present invention includes a matching region, which is a region existing in both the left eye image and the right eye image, for each of a predetermined number of lines of the left eye image and the right eye image constituting the stereoscopic video. And a parallax between the left-eye image and the right-eye image for each pixel of the matching region, and a region detection unit that detects a non-matching region that is a blind spot in the other image. For each pixel in the matching area, the parallax detection means to detect and determine the image processing intensity representing the degree of image processing according to the parallax detected for the pixel, and for each pixel in the mismatch area, the mismatch The image gradually changes from the image processing intensity determined for the pixels in the matching area adjacent to one end of the area to the image processing intensity determined for the pixels in the matching area adjacent to the other end. A determination means for determining a processing intensity; and the left For each pixel in the image and the right-eye image includes an image processing means for performing image processing by the image processing intensity is determined for that pixel, a.
本発明の画像処理装置の制御方法は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、前記左眼画像と前記右眼画像の両方に存在する領域である一致領域と、一方の画像には存在し、他方の画像では死角となる領域である不一致領域とを検出するステップと、前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出するステップと、前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定するステップと、前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施すステップと、を有する。 According to the control method of the image processing apparatus of the present invention, for each predetermined number of lines of the left eye image and the right eye image constituting the stereoscopic video, a matching area that is an area existing in both the left eye image and the right eye image Detecting a non-matching region that is a blind spot in the other image and is a blind spot in the other image, and a parallax between the left-eye image and the right-eye image for each pixel of the matching region For each pixel in the matching region, and determining an image processing intensity representing a degree of image processing according to the parallax detected for the pixel, and for each pixel in the mismatching region, the mismatching region The image processing intensity gradually changes from the image processing intensity determined for the pixel in the matching area adjacent to one end of the image to the image processing intensity determined for the pixel in the matching area adjacent to the other end. Determining the intensity; and For each pixel of the eye image and the right-eye image, having the steps of performing image processing by the image processing intensity is determined for that pixel.
本発明によれば、立体映像において、位置によって画像処理強度が極端に変わることを抑制し、ひいては、立体感を向上することができる。 According to the present invention, it is possible to suppress an image processing intensity from changing extremely depending on the position in a stereoscopic image, and to improve the stereoscopic effect.
以下、図面を参照しながら、本発明の実施形態に係る画像処理装置及びその制御方法について説明する。図１に示すように、本実施形態に係る画像処理装置は、画素マッチング検出部１０３、左眼境界検出部１０４、右眼境界検出部１０５、左眼画像処理強度決定部１０６、右眼画像処理強度決定部１０７、左眼画像処理部１０８、右眼画像処理部１０９などを有する。
Hereinafter, an image processing apparatus and a control method thereof according to an embodiment of the present invention will be described with reference to the drawings. As shown in FIG. 1, the image processing apparatus according to this embodiment includes a pixel
画素マッチング検出部１０３は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、一致領域と不一致領域を検出し、検出結果を一致／不一致領域情報として出力する（領域検出手段）。一致領域は、左眼画像と右眼画像の両方に存在する領域（右眼画像と左眼画像とで対応が取れている領域）である。不一致領域は、一方の画像には存在し、他方の画像では死角となる領域（右眼画像と左眼画像とで対応が取れていない領域）である。
また、画素マッチング検出部１０３は、一致領域の画素毎に、左眼画像と右眼画像の間の視差を検出し、検出結果を視差情報として出力する（視差検出手段）。
The pixel
Further, the pixel
図１２に示す左眼用撮影装置１２０１及び右眼用撮影装置１２０２で得られた各画像の１ライン分を図２に示す。図２のＡ〜Ｇ領域は、それぞれ、図１２のＡ〜Ｇ領域に対応している（即ち、Ａ，Ｂ，Ｆ，Ｇ領域は背景１２０３の領域、Ｃ，Ｄ，Ｅ領域は物体１２０４の領域である）。そして、図２に示すように、左眼画像では、左から順番にＧ，Ｆ，Ｅ，Ｄ，Ａ領域が撮影されており、右眼画像では、左から順番にＧ，Ｄ，Ｃ，Ｂ，Ａ領域が撮影されている。
FIG. 2 shows one line of each image obtained by the left-
画素マッチング検出部１０３は、１ライン分の左眼画像と右眼画像を画素毎に比較し、画像の一致／不一致領域の検出と対応する領域間の視差の検出を行う。
画素マッチング検出部１０３は、まず、左眼画像の一致領域及び不一致領域を検出する。一致／不一致領域は、例えば、特許文献２に開示の方法のようにブロックマッチングにより、画素毎に検出すれば良い。以下では画像の一致／不一致領域の検出は１ライン毎に行う場合について説明するが、数ライン毎に行ってもよい。また、本実施形態ではライン方向が水平方向である場合について説明するが、ライン方向は垂直方向であってもよい。水平方向、垂直方向の両方について、それぞれ、ライン毎に画像の一致／不一致領域の検出を行ってもよい。
例えば、特許文献２に開示の方法により、左眼画像のＧ領域の画素毎に、右眼画像の各画素と比較すると、左眼画像のＧ領域が右眼画像のＧ領域と一致することが検出できる。即ち、左眼画像のＧ領域が、右眼画像のＧ領域に対応する一致領域として検出される。同様に、左眼画像のＤ，Ａ領域が、それぞれ、右眼画像のＤ，Ａ領域に対応する一致領域として検出される。また、左眼画像のＦ，Ｅ領域が不一致領域として検出される。
画素マッチング検出部１０３は、同様に、右眼画像の一致領域及び不一致領域を検出する。その結果、右眼画像のＧ，Ｄ，Ａ領域が、それぞれ、左眼画像のＧ，Ｄ，Ａ領域に対応する一致領域として検出され、Ｂ，Ｃ領域が不一致領域として検出される。
The pixel
The pixel
For example, the G region of the left eye image matches the G region of the right eye image when compared with each pixel of the right eye image for each pixel of the G region of the left eye image by the method disclosed in
Similarly, the pixel matching
次に、左眼画像と右眼画像の一致領域の検出結果に基づいて、視差を検出する。図２の例では、Ｇ，Ａ領域の画素位置は左眼画像と右眼画像とで同じ位置となり、Ｄ領域の画素位置は左眼画像と右眼画像とで異なる位置となる。本実施形態では、一致領域の画素位置が左眼画像と右眼画像とで同じ場合、該画素位置の視差として０を設定する。また、一致領域の画素位置が左眼画像と右眼画像とで異なる場合、視差として画素位置のずれ量（左眼画像と右眼画像の間でずれている画素数）を設定する。 Next, the parallax is detected based on the detection result of the matching region between the left eye image and the right eye image. In the example of FIG. 2, the pixel positions of the G and A areas are the same positions for the left eye image and the right eye image, and the pixel positions of the D area are different positions for the left eye image and the right eye image. In this embodiment, when the pixel position of the matching region is the same between the left eye image and the right eye image, 0 is set as the parallax of the pixel position. In addition, when the pixel position of the matching region is different between the left eye image and the right eye image, a shift amount of the pixel position (the number of pixels shifted between the left eye image and the right eye image) is set as the parallax.
但し、画素位置間の位置関係から、その画素位置が、立体視した際に、視差が０の位置よりも手前となるのか否かを判断し、手前となる場合には視差を正の値とし、そうでない場合には視差を負の値とするものとする。
例えば、右眼画像のＤ領域の画素位置が左眼画像の対応する画素位置（Ｄ領域の画素位置）に対し左側へ５画素ずれている場合には、それらの画素位置が立体視した際にＧ，Ａ領域（視差が０の領域）よりも手前となると判断し、視差として＋５を設定する。右眼画像のＤ領域の画素位置が左眼画像の対応する画素位置に対し左側へ１０,３０画素ずれて
いる場合には、視差として＋１０，＋３０を設定する。右眼画像のＤ領域の画素位置が左眼画像の対応する画素位置に対し右側へ５画素ずれている場合には、Ｄ領域の部分の画像は立体視した際にＧ，Ａ領域よりも奥の位置に知覚されると判断し、視差として−５を設定する。
However, from the positional relationship between the pixel positions, it is determined whether or not the pixel position is in front of the position where the parallax is zero when stereoscopically viewed. Otherwise, the parallax shall be a negative value.
For example, when the pixel position of the D area of the right eye image is shifted by 5 pixels to the left with respect to the corresponding pixel position of the left eye image (pixel position of the D area), when these pixel positions are stereoscopically viewed It is determined that it is in front of the G and A regions (regions where parallax is 0), and +5 is set as the parallax. When the pixel position of the D region of the right eye image is shifted by 10,30 pixels to the left with respect to the corresponding pixel position of the left eye image, +10, +30 is set as the parallax. When the pixel position of the D area of the right eye image is shifted by 5 pixels to the right with respect to the corresponding pixel position of the left eye image, the image of the D area portion is deeper than the G and A areas when stereoscopically viewed. And -5 is set as the parallax.
左眼境界検出部１０４及び右眼境界検出部１０５は、不一致領域の中から物体の境界を検出する。即ち、本実施形態では、左眼境界検出部１０４と右眼境界検出部１０５により、本発明の境界検出手段が実現される。以下、左眼境界検出部１０４及び右眼境界検出部１０５の機能について詳しく説明する。
The left eye
左眼境界検出部１０４は、左眼画像の一致／不一致領域情報（左眼一致／不一致領域情報）を用いて、左眼画像の不一致領域の中から物体の境界を検出し、検出結果を左眼境界位置情報として出力する。図２の例では、左眼境界検出部１０４により、不一致領域内に存在するＥ領域とＦ領域との境界が検出される。境界の検出方法について、図２及び図３を用いて説明する。図３は、左眼境界検出部１０４の処理の流れの一例を示すフローチャートである。
The left eye
まず、左眼境界検出部１０４は、不一致領域の画素毎に、その画素の値（画素値）と、その画素に隣接する画素（隣接画素）の値との差分の絶対値を算出する。画素値としては例えば輝度値やＲ値、Ｇ値、Ｂ値等があげられる。そして、算出された絶対値の最大値を抽出する（Ｓ３０１）。図２の例では、左眼画像のＦ領域とＥ領域を併せた領域の画素毎に、その画素の値と隣接画素の値との差分の絶対値が算出され、算出された絶対値の最大値ｂが抽出される。
First, the left eye
次に、左眼境界検出部１０４は、最大値ｂと所定の閾値ａを比較する（Ｓ３０２）。最大値ｂが閾値ａより大きい場合には（Ｓ３０２：ＹＥＳ）、左眼境界検出部１０４は、不一致領域内に境界が存在すると判断し、最大値ｂが算出された画素位置を物体の境界の位置（左眼境界位置）として検出する（Ｓ３０３）。図２の例では、背景１２０３と物体１２０４の境界である、Ｆ領域とＥ領域の境界の位置が左眼境界位置として検出される。最大値ｂが閾値ａ以下である場合には（Ｓ３０２：ＮＯ）、左眼境界検出部１０４は、境界が存在しないと判断する（Ｓ３０４）。
Next, the left eye
右眼境界検出部１０５は、右眼画像の一致／不一致領域情報（右眼一致／不一致領域情報）を用いて、右眼画像の不一致領域の中から物体の境界を検出し、検出結果を右眼境界位置情報として出力する。境界の検出方法は左眼境界検出部１０４による検出方法（図３）と同様であるため、その説明は省略する。図２の例では、背景１２０３と物体１２０４の境界である、Ｂ領域とＣ領域の境界の位置が物体の境界の位置（右眼境界位置）として検出される。
The right eye
左眼画像処理強度決定部１０６及び右眼画像処理強度決定部１０７は、一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定する。また、不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する。即ち、本実施形態では、左眼画像処理強度決定部１０６と右眼画像処理強度決定部１０７により、本発明の決定手段が実現される。
The left-eye image processing
更に、本実施形態では、不一致領域内の境界が検出され、且つ、不一致領域の一方の端に隣接する一致領域の画素（第１画素）の視差より、他方の端に隣接する一致領域の画素（第２画素）の視差が大きい場合に、以下の処理を行う。
・一方の端から境界までの各画素に対し、第１画素に対する画像処理強度を割り当てる。
・境界から他方の端までの各画素に対し、第１画素に対する画像処理強度から第２画素に対する画像処理強度へ徐々に変化するように画像処理強度を決定する。
以下、左眼画像処理強度決定部１０６及び右眼画像処理強度決定部１０７の機能について詳しく説明する。
Furthermore, in the present embodiment, a boundary in the mismatch region is detected, and a pixel in the matching region adjacent to the other end is detected based on the parallax of the pixel in the matching region (first pixel) adjacent to one end of the mismatch region. When the parallax of (second pixel) is large, the following processing is performed.
Assign image processing intensity for the first pixel to each pixel from one end to the boundary.
The image processing intensity is determined so as to gradually change from the image processing intensity for the first pixel to the image processing intensity for the second pixel for each pixel from the boundary to the other end.
Hereinafter, functions of the left eye image processing
左眼画像処理強度決定部１０６は、視差情報、左眼境界位置情報、及び、左眼一致／不一致領域情報より、左眼画像の画像処理強度（左眼画像処理強度）を決定する。左眼画像処理強度の決定方法について、図４及び図５を用いて説明する。図４は、左眼画像処理強度決定部１０６の処理の流れの一例を示すフローチャートである。図５は、図２に示す左眼画像に対して決定された左眼画像処理強度の一例を示す図である。
The left eye image processing
まず、左眼画像処理強度決定部１０６は、視差情報と左眼一致／不一致領域情報を用いて、立体視した際に手前になるほど強くなるように、一致領域の各画素に対して画像処理強度を決定する（Ｓ４０１）。図５の例では、Ａ領域とＧ領域の各画素の画像処理強度は、視差が０であるため、０とされる。また、Ｄ領域の各画素の画像処理強度は、視差が＋５であるため、＋５とされる。視差が＋１００以上の場合は、画像処理強度は＋１００とされ、視差−１００以下の場合は、画像処理強度は−１００とされる。
なお、画像処理強度の決定方法はこれに限らない。視差と画像処理強度は異なる値であってもよい。本実施形態では、立体視した際に手前になるほど強くなるように画像処理強度を決定しているが、立体視した際に手前になるほど弱くなるように、画像処理強度が決定されてもよい。
First, the left-eye image processing
The method for determining the image processing intensity is not limited to this. The parallax and the image processing intensity may be different values. In the present embodiment, the image processing intensity is determined so as to increase toward the front when stereoscopically viewed, but the image processing intensity may be determined so as to decrease toward the front when stereoscopically viewed.
そして、左眼画像処理強度決定部１０６は、左眼境界検出部１０４で検出された左眼境界位置をα点として設定する（Ｓ４０２）。左眼境界位置は、左眼画像の不一致領域内の境界位置であり、図５の例ではＦ領域とＥ領域の境界（物体１２０４と背景１２０３の境界）の位置である。この左眼境界位置がα点として設定される。また、左眼境界位置が検出されなかった場合には、左眼画像処理強度決定部１０６は、α点を設定しない。
Then, the left eye image processing
次に、左眼画像処理強度決定部１０６は、左眼境界位置（α点）によって分けられた２つの不一致領域にそれぞれ隣接する２つの一致領域の画素の視差を比較し、視差が大きい画素と不一致領域との境界の位置をβ点として設定する（Ｓ４０３）。図５の例では、Ｆ領域に隣接するＧ領域の画素（第１画素）の視差は０であり、Ｅ領域に隣接するＤ領域の画素（第２画素）の視差は＋５である。そのため、Ｅ領域とＤ領域の境界の位置がβ点として設定される。
Next, the left-eye image processing
そして、左眼画像処理強度決定部１０６は、視差情報と左眼一致／不一致領域情報、及び、α点とβ点の情報を用いて、不一致領域の画像処理強度を決定する（Ｓ４０４）。
具体的には、左眼画像処理強度決定部１０６は、Ｆ領域を背景１２０３の領域と判断し、Ｆ領域の各画素に対し、第１画素に対する画像処理強度（０）を設定する。また、α点からβ点までの領域（Ｅ領域）を物体１２０４の側面の領域であると判断し、Ｅ領域の各画素に対し、第１画素に対する画像処理強度（０）から第２画素に対する画像処理強度（＋５）へ線形に変化するように画像処理強度を決定する。これは、Ｅ領域が物体の側面の領域であり、α点からβ点に向かって視差が第１画素の視差から第２画素の視差へ徐々に変化していく領域であると考えられるからである。
また、α点やβ点が設定されなかった場合には、不一致領域の画素毎に、第１画素に対して決定された画像処理強度から、第２画素に対して決定された画像処理強度へ線形に変化するように画像処理強度を決定する。
Then, the left eye image processing
Specifically, the left eye image processing
Further, when the α point and the β point are not set, the image processing intensity determined for the second pixel is changed from the image processing intensity determined for the first pixel for each pixel in the mismatch region. The image processing intensity is determined so as to change linearly.
右眼画像処理強度決定部１０７は、視差情報、右眼境界位置情報、及び、右眼一致／不一致領域情報より、右眼画像の画像処理強度（右眼画像処理強度）を決定する。右眼境界位置は、右眼画像の不一致領域内の境界位置であり、図６の例ではＣ領域とＤ領域の境界（物体１２０４と背景１２０３の境界）の位置である。右眼画像処理強度の決定方法は左眼画像処理強度の決定方法（図４）と同様のため、その説明は省略し、処理結果（図２に示す右眼画像に対する右眼画像処理強度の決定結果）の一例について図６を用いて説明する。
The right eye image processing
図６に示すように、一致領域であるＡ領域とＧ領域の各画素の画像処理強度は、視差が０であるため、０とされる。一致領域であるＤ領域の各画素の画像処理強度は、視差が＋５であるため、＋５とされる。
そして、不一致領域であるＣ領域とＢ領域の境界の位置（右眼境界位置）がα点とされる。また、図６の例では、Ｂ領域に隣接するＡ領域の画素（第１画素）の視差は０であり、Ｃ領域に隣接するＤ領域の画素（第２画素）の視差は＋５である。そのため、Ｄ領域とＣ領域の境界の位置がβ点とされる。Ｂ領域は背景１２０３の領域であると判断され、Ｂ領域の各画素に対し、第１画素に対する画像処理強度（０）が設定される。α点からβ点までの領域（Ｃ領域）は物体１２０４の側面の領域であると判断され、Ｃ領域の各画素に対し、第１画素に対する画像処理強度（０）から第２画素に対する画像処理強度（＋５）へ線形に変化するように画像処理強度が決定される。
As shown in FIG. 6, the image processing intensity of each pixel in the A region and the G region, which are matching regions, is 0 because the parallax is 0. The image processing intensity of each pixel in the D region, which is the matching region, is +5 because the parallax is +5.
Then, the position of the boundary between the C area and the B area (the right eye boundary position), which is a mismatch area, is set as the α point. In the example of FIG. 6, the parallax of the pixel in the A area (first pixel) adjacent to the B area is 0, and the parallax of the pixel in the D area (second pixel) adjacent to the C area is +5. For this reason, the position of the boundary between the D region and the C region is defined as β point. The area B is determined to be an area of the
左眼画像処理部１０８及び右眼画像処理部１０９は、左眼画像と右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す（画像処理手段）。即ち、本実施形態では、左眼画像処理部１０８と右眼画像処理部１０９により、本発明の決定手段が実現される。以下、左眼画像処理部１０８及び右眼画像処理部１０９の機能について詳しく説明する。
The left eye
左眼画像処理部１０８は、左眼画像の各画素に対し、左眼画像処理強度決定部１０６でその画素に対して決定された画像処理強度で画像処理を施す。画像処理は、例えば、立体映像の立体感を増幅するための輪郭強調処理であることが好ましいが、これに限らず、コントラストや色の濃淡を補正する処理であってもよい。画像に施される処理であればどのような処理であってもよい。
The left eye
本実施形態では、左眼画像の画素毎に、その画素に対する画像処理強度から輪郭強調の度合い（輪郭強調度合い）が決定される。輪郭強調度合いは、以下の式１で決定される。式１において、基準輪郭強調度合いは、予め定められた輪郭強調度合いの基準値である。輪郭強調度合い＝基準輪郭強調度合い×（１＋画像処理強度／１００） （式１）
左眼画像処理部１０８は、左眼画像の各画素に対し、その画素に対して決定された輪郭強調度合いで輪郭強調処理を施す。
In the present embodiment, for each pixel of the left eye image, the degree of contour enhancement (contour enhancement degree) is determined from the image processing intensity for that pixel. The degree of contour enhancement is determined by the following
The left eye
右眼画像処理部１０９は、右眼画像処理強度決定部１０７で決定した画像処理強度で、右眼画像に対し画像処理を施す。画像処理方法は左眼画像処理部１０８と同様のため、説明は省略する。
なお、本実施形態では、画像処理強度から輪郭強調度合いを決定するものとしたが、画像処理強度が輪郭強調度合いそのものであってもよい。
The right eye
In this embodiment, the degree of contour enhancement is determined from the image processing intensity. However, the image processing intensity may be the degree of edge enhancement itself.
以上述べたように、本実施形態によれば、不一致領域の画素毎に、第１画素に対して決
定された画像処理強度から、第２画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度が決定される。それにより、立体映像において、位置によって画像処理強度が極端に変わることを抑制することができる。具体的には、一致領域と不一致領域との間で画像処理強度が極端に変わることを抑制することができる。ひいては立体感を向上することが可能となる。
As described above, according to the present embodiment, for each pixel in the mismatch area, the image processing intensity determined for the first pixel gradually changes from the image processing intensity determined for the second pixel. Thus, the image processing intensity is determined. Thereby, it is possible to suppress the image processing intensity from changing extremely depending on the position in the stereoscopic video. Specifically, it is possible to suppress the image processing intensity from changing extremely between the matching region and the mismatching region. As a result, it is possible to improve the stereoscopic effect.
また、本実施形態によれば、境界が検出され、且つ、第１画素の視差より第２画素の視差が大きい場合に、一方の端から境界までの領域と境界から他方の端までの領域とで異なるにより画像処理強度が決定される。それにより、不一致領域の各画素に対してより適切な画像処理強度を決定することができる。具体的には、不一致領域内において、背景の領域と物体の側面の領域とを区別して画像処理強度を決定することができる。 Further, according to the present embodiment, when the boundary is detected and the parallax of the second pixel is larger than the parallax of the first pixel, the region from one end to the boundary and the region from the boundary to the other end The image processing intensity is determined depending on the difference. Thereby, a more appropriate image processing intensity can be determined for each pixel in the mismatch region. Specifically, the image processing intensity can be determined by distinguishing the background region and the side surface region of the object in the mismatch region.
なお、本実施形態では、図１２に示すように物体の表面が平面である場合の例について説明したが、物体の形状は特に限定されない。図７は、左眼用撮影装置７０１と右眼用撮影装置７０２により背景７０３と物体７０４を撮影していることを表している。図７に示すように、物体７０４の表面は曲面である。図８は、左眼用撮影装置で得られた左眼画像（１ライン分）に対して決定された左眼画像処理強度の一例を示す。図９は、右眼用撮影装置で得られた左眼画像（１ライン分）に対して決定された右眼画像処理強度の一例を示す。図８，９に示すように、物体の表面が曲面であったとしても、左眼画像においてはＥ領域とＦ領域の境界、右眼画像においてはＢ領域とＣ領域の境界が検出され、その境界を基点に画像処理強度が決定される。それにより、上記効果を得ることができる。
In the present embodiment, an example in which the surface of the object is a plane as illustrated in FIG. 12 has been described, but the shape of the object is not particularly limited. FIG. 7 shows that the
なお、本実施形態では、図５，６に示すように、画像処理強度が位置に対して線形に変化するものとしたが、画像処理強度の変化の仕方はこれに限らない。単調に変化していれば非線形に変化してもよい。
例えば、図１０，１１に示すように、画像処理強度Ａ１〜Ａ３，Ｂ１〜Ｂ３のように画像処理強度が変化してもよい。画像処理強度Ａ２，Ｂ２は、線形に変化する画像処理強度である。画像処理強度Ａ１は、画像処理強度Ａ２よりもＤ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。画像処理強度Ａ３は、画像処理強度Ａ２よりもＦ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。画像処理強度Ｂ１は、画像処理強度Ｂ２よりもＤ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。画像処理強度Ｂ３は、画像処理強度Ｂ２よりもＢ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。
また、画像処理装置が、画像処理強度の変化の仕方をユーザに選択させる選択部（選択手段）を更に有していてもよい。その場合には、左眼画像処理強度決定部１０６及び右眼画像処理強度決定部１０７は、不一致領域の各画素に対し、ユーザによって選択された変化の仕方で徐々に変化するように画像処理強度を決定すればよい。例えば、画像処理強度Ａ１〜Ａ３と画像処理強度Ｂ１〜Ｂ３から、それぞれ、使用する画像処理強度をユーザに選択させる構成であってもよい。
In this embodiment, as shown in FIGS. 5 and 6, the image processing intensity changes linearly with respect to the position, but the method of changing the image processing intensity is not limited to this. If it changes monotonously, it may change non-linearly.
For example, as shown in FIGS. 10 and 11, the image processing intensity may change like image processing intensity A1 to A3 and B1 to B3. Image processing intensities A2 and B2 are image processing intensities that change linearly. The image processing intensity A1 is an image processing intensity that changes nonlinearly, in which the weight of the image processing intensity in the D region is larger than the image processing intensity A2. The image processing intensity A3 is a non-linearly changing image processing intensity in which the weight of the image processing intensity in the F region is larger than the image processing intensity A2. The image processing intensity B1 is an image processing intensity that changes in a non-linear manner in which the weight of the image processing intensity in the D region is larger than the image processing intensity B2. The image processing intensity B3 is an image processing intensity that changes in a non-linear manner in which the weight of the image processing intensity in the region B is larger than the image processing intensity B2.
The image processing apparatus may further include a selection unit (selection unit) that allows the user to select a method of changing the image processing intensity. In that case, the left-eye image processing
なお、本実施形態では、不一致領域の中から物体の境界を検出する構成としたが、境界の検出は行わなくてもよい。境界の有無によらず、不一致領域の画素毎に、第１画素に対して決定された画像処理強度から、第２画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定してもよい。そのような方法であっても、立体映像において、位置によって画像処理強度が極端に変わることを抑制することができる。 In the present embodiment, the boundary of the object is detected from the mismatch area, but the boundary may not be detected. Regardless of the presence or absence of a boundary, the image processing intensity is gradually changed from the image processing intensity determined for the first pixel to the image processing intensity determined for the second pixel for each pixel in the mismatch region. May be determined. Even with such a method, it is possible to prevent the image processing intensity from changing extremely depending on the position in the stereoscopic video.
１０３：画素マッチング検出部，１０６：左眼画像処理強度決定部，１０７：右眼画像処理強度決定部，１０８：左眼画像処理部，１０９：右眼画像処理部 103: Pixel matching detection unit, 106: Left eye image processing intensity determination unit, 107: Right eye image processing intensity determination unit, 108: Left eye image processing unit, 109: Right eye image processing unit
Claims (4)
前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出する視差検出手段と、
前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する決定手段と、
前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す画像処理手段と、
を有することを特徴とする画像処理装置。 For each predetermined number of lines of the left eye image and the right eye image constituting the stereoscopic video, a matching area, which is an area existing in both the left eye image and the right eye image, exists in one image, and the other Area detection means for detecting a non-matching area that is a blind spot in the image of
Parallax detection means for detecting parallax between the left eye image and the right eye image for each pixel of the matching region;
For each pixel in the matching area, an image processing intensity representing the degree of image processing is determined according to the parallax detected for the pixel, and adjacent to one end of the mismatching area for each pixel in the mismatching area Determining means for determining the image processing intensity so as to gradually change from the image processing intensity determined for the matching region pixel to the image processing intensity determined for the matching region pixel adjacent to the other end When,
Image processing means for performing image processing on each pixel of the left eye image and the right eye image at an image processing intensity determined for the pixel;
An image processing apparatus comprising:
前記決定手段は、
前記境界検出手段で境界が検出され、且つ、前記不一致領域の一方の端に隣接する一致領域の画素である第１画素の視差より、他方の端に隣接する一致領域の画素である第２画素の視差が大きい場合に、
前記一方の端から前記境界までの各画素に対し、前記第１画素に対する画像処理強度を割り当て、
前記境界から前記他方の端までの各画素に対し、前記第１画素に対する画像処理強度から前記第２画素に対する画像処理強度へ徐々に変化するように画像処理強度を決定する
ことを特徴とする請求項１に記載の画像処理装置。 Boundary detection means for detecting a boundary of the object from the mismatch region,
The determining means includes
A second pixel which is a pixel in the coincidence region adjacent to the other end is detected from the parallax of the first pixel which is a pixel in the coincidence region adjacent to one end of the non-coincidence region. If the parallax is large,
Assigning the image processing intensity for the first pixel to each pixel from the one end to the boundary;
The image processing intensity is determined so as to gradually change from the image processing intensity for the first pixel to the image processing intensity for the second pixel for each pixel from the boundary to the other end. Item 8. The image processing apparatus according to Item 1.
前記決定手段は、前記不一致領域の各画素に対し、ユーザによって選択された変化の仕方で徐々に変化するように画像処理強度を決定する
ことを特徴とする請求項１または２に記載の画像処理装置。 A selection unit that allows the user to select how to change the image processing intensity;
3. The image processing according to claim 1, wherein the determination unit determines the image processing intensity so as to gradually change in a manner of change selected by a user with respect to each pixel of the mismatch region. apparatus.
前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出するステップと、
前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定するステップと、
前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施すステップと、
を有することを特徴とする画像処理装置の制御方法。 For each predetermined number of lines of the left eye image and the right eye image constituting the stereoscopic video, a matching area, which is an area existing in both the left eye image and the right eye image, exists in one image, and the other Detecting an inconsistent area that is a blind spot in the image of
Detecting a parallax between the left eye image and the right eye image for each pixel of the matching region;
For each pixel in the matching area, an image processing intensity representing the degree of image processing is determined according to the parallax detected for the pixel, and adjacent to one end of the mismatching area for each pixel in the mismatching area Determining the image processing intensity so as to gradually change from the image processing intensity determined for the matching region pixels to the image processing intensity determined for the matching region pixels adjacent to the other end; ,
Applying image processing to each pixel of the left eye image and the right eye image at an image processing intensity determined for the pixel;
A control method for an image processing apparatus, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010191380A JP2012049920A (en) | 2010-08-27 | 2010-08-27 | Image processing device and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010191380A JP2012049920A (en) | 2010-08-27 | 2010-08-27 | Image processing device and method for controlling the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012049920A true JP2012049920A (en) | 2012-03-08 |
Family
ID=45904256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010191380A Withdrawn JP2012049920A (en) | 2010-08-27 | 2010-08-27 | Image processing device and method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012049920A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120056883A1 (en) * | 2010-09-07 | 2012-03-08 | Yusuke Kudo | Display control device, display control method, and program |
| WO2013172098A1 (en) * | 2012-05-14 | 2013-11-21 | ソニー株式会社 | Image processing device, image processing method and program |
-
2010
- 2010-08-27 JP JP2010191380A patent/JP2012049920A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120056883A1 (en) * | 2010-09-07 | 2012-03-08 | Yusuke Kudo | Display control device, display control method, and program |
| US9025012B2 (en) * | 2010-09-07 | 2015-05-05 | Sony Corporation | Display control device, display control method, and program |
| WO2013172098A1 (en) * | 2012-05-14 | 2013-11-21 | ソニー株式会社 | Image processing device, image processing method and program |
| JP2013239833A (en) * | 2012-05-14 | 2013-11-28 | Sony Corp | Image processing apparatus, image processing method, and program |
| US9686529B2 (en) | 2012-05-14 | 2017-06-20 | Saturn Licensing Llc | Image processing apparatus, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9445071B2 (en) | Method and apparatus generating multi-view images for three-dimensional display | |
| JP6663652B2 (en) | Stereo source image correction method and apparatus | |
| US20140240471A1 (en) | Method, device and apparatus for generating stereoscopic images using a non-stereoscopic camera | |
| US8755592B2 (en) | Stereo matching system using dynamic programming and method thereof | |
| JP5949314B2 (en) | Parallax map generator and program for parallax map generator | |
| US20090237494A1 (en) | Apparatus, method, and program for displaying stereoscopic images | |
| TWI493505B (en) | Image processing method and image processing apparatus thereof | |
| JP2012138787A (en) | Image processor, image processing method, and program | |
| US8659644B2 (en) | Stereo video capture system and method | |
| JP5303692B1 (en) | Stereoscopic image processing apparatus and stereoscopic image processing method | |
| JP5669599B2 (en) | Image processing apparatus and control method thereof | |
| JP2012204852A (en) | Image processing apparatus and method, and program | |
| JP2017021759A (en) | Image processor, image processing method and program | |
| US9934556B2 (en) | Three-dimensional image display system and display method | |
| TW201622418A (en) | Processing of disparity of a three dimensional image | |
| JP2012049920A (en) | Image processing device and method for controlling the same | |
| TW201505419A (en) | Method capable of improving 3D displayer crosstalk | |
| KR101558805B1 (en) | Interpolation factors correction apparatus for stereo matching | |
| US20110074775A1 (en) | Image signal processing device and image signal processing method | |
| Liu et al. | Hole-filling based on disparity map and inpainting for depth-image-based rendering | |
| CN102547343B (en) | Stereoscopic image processing method, stereoscopic image processing device and display unit | |
| JP5765418B2 (en) | Stereoscopic image generation apparatus, stereoscopic image generation method, and stereoscopic image generation program | |
| US20130293687A1 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
| KR20150037203A (en) | Device for correcting depth map of three dimensional image and method for correcting the same | |
| JP2012109725A (en) | Stereoscopic video processing device and stereoscopic video processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131105 |