JP2014003486A - Image processing device, image capturing device, image display device, image processing method, and program - Google Patents
Image processing device, image capturing device, image display device, image processing method, and program Download PDFInfo
- Publication number
- JP2014003486A JP2014003486A JP2012137881A JP2012137881A JP2014003486A JP 2014003486 A JP2014003486 A JP 2014003486A JP 2012137881 A JP2012137881 A JP 2012137881A JP 2012137881 A JP2012137881 A JP 2012137881A JP 2014003486 A JP2014003486 A JP 2014003486A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction coefficient
- depth information
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は画像処理装置、画像撮像装置および画像表示装置に関する技術であり、特に、画像を違和感なく自然に表示する画像処理技術に関する。 The present invention relates to an image processing apparatus, an image capturing apparatus, and an image display apparatus, and more particularly to an image processing technique for naturally displaying an image without a sense of incongruity.
近年、静止画や動画を撮影する画像撮像装置として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）といった固体撮像素子を備えたデジタルカメラやデジタルビデオカメラが広く普及している。 2. Description of the Related Art In recent years, digital cameras and digital video cameras equipped with a solid-state imaging device such as a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor) are widely used as image capturing devices for capturing still images and moving images.
これらの画像撮像装置で撮影された画像の画像処理としてホワイトバランス処理がある。撮影される被写体は、晴天下、曇天下、蛍光灯下、白熱電球下など様々な照明環境で撮影される。しかし、人間の眼は異なる色であっても白色は白色に感じるように、照明光による色の違いを補正して色を知覚する。これらを撮影画像に適用したものがホワイトバランス処理であり、照明環境の影響を考慮した画像を生成する。 There is a white balance process as an image process of an image captured by these image capturing apparatuses. The subject to be photographed is photographed in various lighting environments such as under a clear sky, under a cloudy sky, under a fluorescent light, or under an incandescent light bulb. However, the human eye perceives the color by correcting the color difference due to the illumination light so that the white color feels white even if the color is different. The application of these to the captured image is white balance processing, which generates an image that takes into account the influence of the lighting environment.
ホワイトバランス処理の方法としては、照明環境ごとに補正係数を事前に設定しておきユーザーが選択する方法や、撮影した画像情報から補正係数を算出するオートホワイトバランスを使用する方法などがある。 As a method of white balance processing, there are a method in which a correction coefficient is set in advance for each lighting environment and selected by the user, and a method of using auto white balance for calculating a correction coefficient from photographed image information.
画像解析によるオートホワイトバランスでは、画像中から白色と推定される（黒体放射軌跡に近い）領域を抽出し、赤、緑、青の各色で画素値の平均を算出し、算出した値の比率が設定された比率と同様になるような補正係数を算出する。 In auto white balance based on image analysis, an area that is estimated to be white (close to the black body radiation locus) is extracted from the image, the average of the pixel values is calculated for each color of red, green, and blue, and the ratio of the calculated values A correction coefficient is calculated so as to be the same as the set ratio.
例えば、下記特許文献１に記載のホワイトバランス制御装置では、画面を複数の領域に分割して、デジタル画像データから個々の領域の色成分を演算して出力する評価値演算回路と、前記色成分の評価値からホワイトバランス制御量と輝度とに変換し、輝度が高い領域ほど重みが強く作用する加重処理をかけたホワイトバランス制御量を演算し、これら双方のホワイトバランス制御量の値を用いて、画像記録時に適用されるホワイトバランス制御量を演算する高輝度加重手段を有している。これにより、白の被写体と黒体輻射の特性に近い色の有彩色被写体が混在した場合に、ホワイトバランスが誤動作する頻度を軽減する。
For example, in the white balance control device described in
また、撮影した画像の奥行き感を調整する画像処理技術も開発されており、例えば、下記特許文献２がある。特許文献２に記載の画像処理装置では、画像データ入力部と、奥行きデータ入力部と、奥行き程度入力部と、奥行き感補正部と、画像データ出力部とを備え、奥行きデータと奥行き程度により、奥行き感補正のゲイン制御することで、ユーザーが自由に奥行き感程度を調整する。 In addition, an image processing technique for adjusting the sense of depth of a photographed image has been developed. The image processing apparatus described in Patent Literature 2 includes an image data input unit, a depth data input unit, a depth degree input unit, a depth feeling correction unit, and an image data output unit. By controlling the gain for depth correction, the user can freely adjust the depth.
しかしながら、上記方法は以下のような課題を有する。 However, the above method has the following problems.
撮影した画像情報を解析してホワイトバランス処理をするときに、撮影環境に２つ以上の異なる照明環境がある場合には、補正係数が適切に算出されないため違和感のある映像となってしまう。例えば、近景が蛍光灯下で、遠景が晴天下で合った場合、近景の補正係数を使用すると遠景のホワイトバランスが合わず、遠景の補正係数を使用すると近景のホワイトバランスが合わない。また、近景および遠景の補正係数を平均化した値を使用した場合には、中間のホワイトバランスとなるが近景および遠景の両方が合わなくなってしまう。さらに、特許文献１に記載のホワイトバランス装置のように、画像領域を複数に分割して画像解析を行い、それぞれの領域で算出された補正係数を適用する場合でも、分割された画像領域内に近景と遠景が混在したときは適切な補正係数が得られず、各領域でのホワイトバランスの連続性が保たれなくなる。
When the captured image information is analyzed and white balance processing is performed, if there are two or more different illumination environments in the shooting environment, the correction coefficient is not calculated appropriately, and the video is uncomfortable. For example, when the near view is under a fluorescent light and the distant view is in clear sky, the white balance of the distant view does not match when the near view correction coefficient is used, and the white balance of the close view does not match when the distant view correction coefficient is used. In addition, when a value obtained by averaging the correction coefficients for the near view and the distant view is used, an intermediate white balance is obtained, but both the close view and the distant view are not matched. Further, as in the white balance device described in
また、特許文献２に記載の画像処理装置では、奥行きデータを使用して奥行き感を調整することが記載されているが、ホワイトバランス処理に関する開示がなされていない。 In addition, the image processing apparatus described in Patent Document 2 describes adjusting the feeling of depth using depth data, but does not disclose white balance processing.
そこで、本発明は、上記課題に鑑みてなされたものであり、違和感のない自然な画像を生成することが可能な画像処理装置、画像撮像装置および画像表示装置を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide an image processing device, an image capturing device, and an image display device capable of generating a natural image without a sense of incongruity.
本発明の画像処理装置は、画像情報と、該画像情報に対応した奥行き情報が入力され、前記画像情報に画像処理を行う画像処理装置であって、前記奥行き情報に対応した前記画像情報の各色の比率を補正する補正係数を算出し、前記画像情報における注目画素の各色の画素値を、前記注目画素の前記奥行き情報に対応した前記補正係数を使用して補正する画像補正部と、を有することを特徴とする。 The image processing apparatus of the present invention is an image processing apparatus that receives image information and depth information corresponding to the image information and performs image processing on the image information, and each color of the image information corresponding to the depth information An image correction unit that calculates a correction coefficient for correcting the ratio of the image and corrects a pixel value of each color of the target pixel in the image information using the correction coefficient corresponding to the depth information of the target pixel. It is characterized by that.
さらに、本発明の画像処理装置は、前記補正係数が前記奥行き情報の値に対して１対１に対応するように補正係数を補間する補正係数補間部を備え、前記補正係数補間部は、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にあるときには、前記２つの前記奥行き情報の値に対応した補正係数により補間すると好適である。 The image processing apparatus of the present invention further includes a correction coefficient interpolation unit that interpolates the correction coefficient so that the correction coefficient corresponds to the value of the depth information on a one-to-one basis, When the depth information that does not correspond to the correction coefficient is between the two values of the depth information for which the correction coefficient is calculated, it is preferable to interpolate with the correction coefficient corresponding to the two values of the depth information. is there.
さらに、本発明の画像処理装置は、前記補正係数が前記奥行き情報の値に対して１対１で対応せず、かつ、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にないときには、前記補正係数が対応していない前記奥行き情報の値に最も近い、前記補正係数が算出された奥行き情報の値の前記補正係数により補間すると好適である。 Furthermore, the image processing apparatus according to the present invention is configured such that the correction coefficient is not calculated for the depth information that does not correspond to the value of the depth information on a one-to-one basis. When the value is not between the two depth information values, the correction coefficient is interpolated by the correction coefficient of the calculated depth information value closest to the depth information value that does not correspond. Is preferred.
さらに、本発明の画像処理装置は、前記画像情報の各色の比率が調整された画像情報を、近景ほど色温度が低く、遠景ほど色温度が高くなるように、前記奥行き情報にしたがって色温度を変化させると好適である。 Furthermore, the image processing apparatus of the present invention is configured to adjust the color temperature according to the depth information so that the color temperature of the image information in which the ratio of each color of the image information is adjusted is lower in the near view and higher in the distant view. It is preferable to change it.
さらに、本発明の画像処理装置は、近景ほど明るさが高く、遠景ほど明るさが低くなるように、前記奥行き情報にしたがって明るさを変化させると好適である。
さらに、本発明の画像処理装置は、前記奥行き情報の値に対応した前記補正係数を算出するときに、算出する前記奥行き情報の値の前後の奥行き情報の値も含めて前記補正係数を算出すると好適である。
Furthermore, it is preferable that the image processing apparatus of the present invention changes the brightness according to the depth information so that the brightness is higher in the near view and the brightness is lower in the distant view.
Furthermore, the image processing apparatus of the present invention calculates the correction coefficient including the depth information values before and after the depth information value to be calculated when calculating the correction coefficient corresponding to the depth information value. Is preferred.
さらに、本発明の画像処理装置は、前記画像情報の各色の比率を補正するときに、補正する注目画素の補正係数と、周辺の画素の補正係数との平均値を新たな補正係数として、前記画像情報の各色の比率を補正すると好適である。
さらに、本発明の画像表示装置は、奥行き情報にしたがって画像情報の各色の比率を補正する画像処理装置を備えることを特徴とする。
Furthermore, the image processing apparatus of the present invention, when correcting the ratio of each color of the image information, uses the average value of the correction coefficient of the target pixel to be corrected and the correction coefficient of the surrounding pixels as a new correction coefficient. It is preferable to correct the ratio of each color of the image information.
Furthermore, the image display device of the present invention is characterized by including an image processing device that corrects the ratio of each color of the image information in accordance with the depth information.
さらに、本発明の画像撮像装置は、奥行き情報にしたがって画像情報の各色の比率を補正する画像処理装置を備えることを特徴とする。 Furthermore, the image pickup apparatus of the present invention is characterized by including an image processing apparatus that corrects the ratio of each color of the image information in accordance with the depth information.
本発明の画像処理装置によれば、画像全体で適切にホワイトバランスを施した自然な画像を生成できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を生成することが可能となる。 According to the image processing apparatus of the present invention, it is possible to generate a natural image in which white balance is appropriately applied to the entire image. Furthermore, by changing the white color temperature and brightness according to the depth information, it is possible to generate a natural image in which a stereoscopic effect can be felt.
また、本発明の画像表示装置では、画像全体で適切にホワイトバランスを施した自然な画像を表示できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を表示することが可能となる。 In addition, the image display device of the present invention can display a natural image with appropriate white balance applied to the entire image. Furthermore, by changing the white color temperature and brightness according to the depth information, it is possible to display a natural image in which a stereoscopic effect can be felt.
また、本発明の画像撮像装置では、画像全体で適切にホワイトバランスを施した自然な画像を撮像できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を撮影することが可能となる。 In addition, the image capturing apparatus of the present invention can capture a natural image in which the entire image is appropriately white balanced. Furthermore, by changing the color temperature and brightness of white according to the depth information, it is possible to capture a natural image in which a stereoscopic effect is felt.
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際の装置等とは異なる場合がある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that the expressions in the drawings are exaggerated for easy understanding, and may differ from actual devices.
図１は、本実施の形態による画像処理装置の一構成例を示す機能ブロック図である。本実施の形態による画像処理装置１００は、補正係数算出部１０１、補正係数補間部１０２、画像補正部１０３を備え、画像情報と、画像情報に対応した奥行き情報が入力され、入力された画像情報に画像処理が行われた出力画像情報を出力する。本実施の形態における奥行き情報は、入力画像情報の各画素の被写体までの距離を示す情報である。画像内の被写体までの距離が遠い場合には、奥行き情報の値が大きくなり、画像内の被写体までの距離が近い場合には、奥行き情報の値が小さくなる。画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウエア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって画像処理を行う。
FIG. 1 is a functional block diagram showing a configuration example of an image processing apparatus according to this embodiment. The
補正係数算出部１０１では、奥行き情報と入力画像情報から奥行きごとの補正係数を算出する。具体的には、同一または近隣の奥行き情報値ごとにホワイトバランス処理を行う補正係数を算出する。
The correction
補正係数の算出は、ホワイトバランス処理で用いられる算出方法を適宜使用することが可能で、例えば、同一または近隣の奥行き情報値ごとに赤、緑、青の画素をそれぞれ平均化し、その平均値が目標とする比となるような補正値を補正係数とする。赤の平均値が６４、緑の平均値が１２８、青の平均値が３２であり、目標の比が赤：緑：青が１：１：１である場合、赤の補正値が２、緑の補正値が１、青の補正値が４となる。このとき、高彩度の画素、高明度の画素、低明度の画素などは除外すると、無彩色に近い画素値で補正係数が算出でき精度が向上するため好ましい。 For the calculation of the correction coefficient, a calculation method used in white balance processing can be used as appropriate. For example, red, green, and blue pixels are averaged for each of the same or neighboring depth information values, and the average value is calculated. A correction value that achieves a target ratio is set as a correction coefficient. When the average value of red is 64, the average value of green is 128, the average value of blue is 32, and the target ratio is red: green: blue is 1: 1: 1, the correction value of red is 2, green The correction value is 1 and the blue correction value is 4. At this time, it is preferable to exclude pixels with high saturation, pixels with high lightness, pixels with low lightness, etc., because a correction coefficient can be calculated with a pixel value close to an achromatic color and accuracy is improved.
また、任意の奥行き情報値において、その奥行き情報値を持つ画素の数が予め設定された閾値よりも少ない場合には、算出された補正係数を使用しないと好適である。少ない画素の値に依存した補正係数の算出は、算出精度を低下させる可能性があり、画素数により除外することで算出精度の低下を防ぐことができる。補正係数が算出されなかった奥行き値の補正係数の算出方法は後述する。 In addition, in an arbitrary depth information value, when the number of pixels having the depth information value is smaller than a preset threshold value, it is preferable not to use the calculated correction coefficient. The calculation of the correction coefficient depending on the value of a small number of pixels may reduce the calculation accuracy, and the reduction of the calculation accuracy can be prevented by excluding it according to the number of pixels. A method of calculating the correction coefficient for the depth value for which the correction coefficient has not been calculated will be described later.
さらに、任意の奥行き情報値の前後の奥行き情報値の画素も考慮して、補正係数を算出すると好適である。これは、任意の奥行き情報値における算出対象画素の数を増加させて算出精度を向上させるとともに、奥行き方向への補正係数の連続性を保持することができ、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。 Furthermore, it is preferable to calculate the correction coefficient in consideration of pixels having depth information values before and after an arbitrary depth information value. This improves the calculation accuracy by increasing the number of calculation target pixels in an arbitrary depth information value, and can maintain the continuity of the correction coefficient in the depth direction. White balance processing using the correction coefficient can be performed. Natural images can be generated when done.
また、画像を複数の領域、例えば、縦が８、横が８の６４の領域に分割して各々の領域で、奥行き情報値ごとの仮の補正係数を算出し、算出された複数の仮の補正係数を平均化して補正係数としても良い。これにより、画像内の偏りを考慮した奥行き情報値ごとの補正係数の算出が高精度に行えるため好適である。奥行き情報に混在するノイズなどを、各領域で除外したり、画像内で広い範囲を占める主要な被写体に重点を置いた補正係数を算出したりでき、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。例えば、各領域における任意の奥行き情報値の画素数が予め設定された閾値に満たない場合には、補正係数の算出結果を除外する。すなわち、同一の奥行き情報値を持つ画像内で広い範囲を占める被写体アと、画像内で狭い範囲を占める被写体イが、それぞれ領域アと領域イに存在した場合、被写体が存在する奥行き情報値が領域アでは算出され、領域イでは算出されない。これにより、画像内で広い範囲を占める主要な被写体に重点を置いた補正係数の算出が可能となる。 In addition, the image is divided into a plurality of regions, for example, 64 regions of 8 in the vertical direction and 8 in the horizontal direction, and a temporary correction coefficient for each depth information value is calculated in each region. The correction coefficient may be averaged to obtain a correction coefficient. This is preferable because the correction coefficient for each depth information value considering the bias in the image can be calculated with high accuracy. Noise that is mixed in the depth information can be excluded in each area, or a correction coefficient can be calculated with emphasis on the main subject that occupies a wide area in the image, and white balance processing using the correction coefficient was performed. Sometimes a natural image can be generated. For example, when the number of pixels of an arbitrary depth information value in each region is less than a preset threshold value, the correction coefficient calculation result is excluded. That is, if the subject A occupying a wide range in the image having the same depth information value and the subject A occupying a narrow range in the image exist in the areas A and A, respectively, the depth information value in which the subject exists is It is calculated in area a and not in area a. As a result, it is possible to calculate a correction coefficient with an emphasis on main subjects occupying a wide range in the image.
補正係数算出部１０１で算出された補正係数は、補正係数補間部１０２に伝達される。補正係数補間部１０２では、奥行き情報値に対して離散的に算出された補正係数に対して補間処理を行い、入力される奥行き情報値に対して補正係数を割り当てる。
The correction coefficient calculated by the correction
図２は入力画像情報の例であり、例えば、被写体ＡおよびＢは室内で温白色蛍光灯下、被写体Ｃは晴天日陰下、被写体Ｄは晴天日向下である。このように、同一画像内の被写体ごとに照明環境が異なるシーンが存在する。図３が図２に対応した奥行き情報の例である。奥行き情報は近いほど明るく、遠いほど暗くなるように示している。画像情報には、近い方から順に被写体Ａ、被写体Ｂ、被写体Ｃ、被写体Ｄが存在する。補正係数算出部１０１で、被写体Ａ、被写体Ｂ、被写体Ｃ、被写体Ｄが存在する奥行き情報値で、それぞれ補正係数が算出され補正係数補間部１０２に伝達される。
FIG. 2 shows an example of input image information. For example, the subjects A and B are indoors under a warm white fluorescent lamp, the subject C is in a sunny day, and the subject D is in a sunny day. Thus, there are scenes with different illumination environments for each subject in the same image. FIG. 3 is an example of depth information corresponding to FIG. The depth information is shown to be brighter as it is closer and darker as it is farther away. The image information includes subject A, subject B, subject C, and subject D in order from the closest. In the correction
図４に、奥行き情報値に対応した赤色の補正係数の例を示す。丸で示す点が算出された補正係数であり、奥行き情報の階調に対して少ない点となっている。被写体ＡおよびＢは同一照明環境下にあるので近い補正係数が算出され、被写体Ｃと被写体Ｄは異なる照明環境下にあるので、それぞれ異なる補正係数が算出されている。 FIG. 4 shows an example of a red correction coefficient corresponding to the depth information value. The point indicated by a circle is the calculated correction coefficient, which is a small point with respect to the gradation of the depth information. Since the subjects A and B are under the same illumination environment, close correction coefficients are calculated, and since the subjects C and D are under different illumination environments, different correction coefficients are calculated.
図５は、補正係数補間部１０２の一構成例を示す機能ブロック図であり、図６は、補正係数補間処理の流れを示すフローチャート図である。図５に示すように、補正係数補間部１０２は、対応判定部１０２−１と、奥行き情報値比較部１０２−２と、係数補間部１０２−３とを有している。対応判定部１０２−１は、奥行き情報と補正係数とが１対１で対応しているかを判定する。奥行き情報値比較部１０２−２は、奥行き情報と補正係数が１対１対応していない奥行き情報値と、奥行き情報と補正係数が１対１対応している奥行き情報値とを比較する。係数補間部１０２−３は、奥行き情報と補正係数が１対１対応していない奥行き情報値に補正係数を補間する。
FIG. 5 is a functional block diagram showing a configuration example of the correction
図６に示すように、処理が開始されると（Ｓｔａｒｔ）、ステップＳ１において、対応判定部１０２−１が、各色の補正係数を補正係数算出部１０１から対応する奥行き情報値とともに取得する（ステップＳ１）。 対応判定部１０２−１は、補正係数と奥行き情報とが１対１対応するかどうかを判定する（ステップＳ２）。補正係数と奥行き情報値が１対１対応していない場合、補正係数と奥行き情報が１対１対応していない奥行き情報値と、補正係数と奥行き情報値が１対１対応している奥行き情報値と比較する（ステップＳ３）。係数補間部１０２−３は、奥行き情報値比較部１０２−２における比較結果に基づいて、補正係数の補間処理を行う。奥行き情報値比較部１０２で、１対１に対応していない奥行き情報値が、１対１に対応している奥行き情報値の間にある場合には、１対１に対応している２つの最近傍の奥行き情報値に対応した補正係数により補間する（ステップＳ４）。また、奥行き情報値比較部１０２で、１対１に対応していない奥行き情報値が、１対１に対応している奥行き情報値の間にない場合には、１対１に対応している最近傍の奥行き情報値に対応した補正係数により補間する（ステップＳ５）。対応判定部１０２−１において、全ての奥行き情報値に補正係数が対応していると判定された場合には、補正係数補間部１０２での処理を終了する。
以上のフローにより補正係数補間部に１０２において、奥行き情報と補正係数を対応させることができ、例えば、被写体Ｂが存在する奥行き情報値と、被写体Ｃが存在する奥行き情報値の間は、被写体Ｂが存在する奥行き情報値で算出された補正係数と、被写体Ｃが存在する奥行き情報値で算出された補正係数とで、線形的に補間することで実現できる。これにより、奥行き情報に対して連続的な補正係数を設定できるため、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。
As shown in FIG. 6, when the process is started (Start), in step S1, the correspondence determination unit 102-1 acquires the correction coefficient of each color from the correction
Through the above flow, the correction
また、近景および遠景においては、奥行き情報値の最小および最大の補正係数を適用する。すなわち、被写体Ａが存在する奥行き情報値よりも大きな値の奥行き情報値には、被写体Ａが存在する奥行き情報値の補正係数を適用し、被写体Ｄが存在する奥行き情報値よりも大きな値の奥行き情報値には、被写体Ｄが存在する奥行き情報値の補正係数を適用する。これは、不適切な補正係数が設定されることを防ぐためである。例えば、近隣の２つの補正係数から線形関数を算出して外挿する方法があるが、算出した線形関数の傾きが大きい場合などでは、極端な補正係数が算出されてしまう。したがって、奥行き情報値の最小および最大の補正係数を適用することで、過渡の補正係数を設定する可能性が無く、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。 In the near and far views, the minimum and maximum correction coefficients of the depth information value are applied. That is, the depth information value larger than the depth information value in which the subject A exists is applied with the correction coefficient of the depth information value in which the subject A exists, and the depth information value larger than the depth information value in which the subject D exists. As the information value, a correction coefficient of the depth information value in which the subject D exists is applied. This is to prevent an inappropriate correction coefficient from being set. For example, there is a method of extrapolating by calculating a linear function from two neighboring correction coefficients. However, when the slope of the calculated linear function is large, an extreme correction coefficient is calculated. Therefore, by applying the minimum and maximum correction coefficients for the depth information value, there is no possibility of setting a transient correction coefficient, and a natural image is generated when white balance processing using the correction coefficient is performed. Can do.
ここで、補正係数が１つも算出されなかった場合には、画像全体から算出した補正係数を全ての奥行き情報値に適用して、補正係数が定まらないことを回避することができる。また、ホワイトバランス処理が行われた入力画像、例えば、デジタルカメラの撮影画像やテレビ放送などのときは、全ての補正係数を１として変化させないようにすることで、補正係数が定まらないことを回避することができる。 Here, when no correction coefficient is calculated, the correction coefficient calculated from the entire image can be applied to all the depth information values to avoid the correction coefficient not being determined. In addition, in the case of an input image on which white balance processing has been performed, for example, a photographed image of a digital camera or a television broadcast, avoiding that the correction coefficient is not fixed by avoiding changing all the correction coefficients to 1. can do.
図２の画像情報の例では、被写体の位置が離れて存在していたが、被写体が連続的に変化する場合にも本実施形態を適用することができ、例えば、図７に示すようなシーンにも適用可能である。図７では、奥行き情報値に幅のある被写体Ｃ’が存在する。被写体Ｃ’の奥行き情報値に幅があるため、補正係数を算出するときに、任意の奥行き情報値における画素数が予め設定された閾値以下で合った場合、被写体Ｃ’に関する補正係数が算出されない。その結果の例が図８である。上述した方法により、被写体Ｃ’における奥行き情報値に対しても、被写体ＢおよびＤが存在する奥行き情報値の補正係数により補間されるため、本実施形態を適用することができる。 In the example of the image information in FIG. 2, the position of the subject exists away, but the present embodiment can be applied even when the subject changes continuously. For example, a scene as shown in FIG. It is also applicable to. In FIG. 7, there is a subject C ′ having a wide depth information value. Since the depth information value of the subject C ′ has a width, when the correction coefficient is calculated, if the number of pixels in an arbitrary depth information value is equal to or less than a preset threshold value, the correction coefficient for the subject C ′ is not calculated. . An example of the result is shown in FIG. According to the above-described method, the depth information value in the subject C ′ is also interpolated by the correction coefficient of the depth information value in which the subjects B and D exist, and thus this embodiment can be applied.
補正係数補間部１０２で算出された奥行き情報値に応じた補正係数は、画像補正部１０３により参照されホワイトバランス処理が入力画像情報に対して行われる。入力画像情報の各画素に対して、対応する奥行き情報値の補正係数を参照し、各画素にホワイトバランス処理をする。奥行き情報値に対応する補正係数は、赤、緑、青ごとの奥行き情報値と補正係数のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）としておき、算出するたびに補正係数を更新することで実現できる。
The correction coefficient corresponding to the depth information value calculated by the correction
ここで、時間軸方向での変動を小さくするため、過去の数フレーム間の結果を適切な重み付けで平均化すると良い。また、奥行き情報値や入力画像情報の明るさの平均値が大きく変化するなど、シーンが大きく変化したと判断できる場合には、過去の数フレームの平均化を解除すると補正係数が素早く適切に設定できるため好適である。さらに、シーンが変化したと判断したときは、全ての奥行き情報値に対して一律の補正係数としておき、徐々に奥行き情報値に対応した本実施形態の補正係数としていくことで、入力画像情報のシーンが変化した場合でも自然な画像を生成することができる。 Here, in order to reduce the fluctuation in the time axis direction, the results of the past several frames may be averaged with appropriate weighting. Also, if it can be determined that the scene has changed significantly, such as when the depth information value or the average brightness of the input image information changes significantly, the correction coefficient can be set quickly and appropriately by canceling the averaging of the past several frames. This is preferable because it is possible. Furthermore, when it is determined that the scene has changed, a uniform correction coefficient is set for all the depth information values, and the correction coefficient of the present embodiment corresponding to the depth information values is gradually set so that the input image information Even when the scene changes, a natural image can be generated.
また、ホワイトバランス処理を行うときに、画像処理を行う注目画素の周辺の補正係数を考慮して画像処理を行っても良い。例えば、注目画素の補正係数と周辺の画素の補正係数の平均を、注目画素の新たな補正係数としてホワイトバランス処理を行う。これにより、画像面内で連続的な補正係数とすることができ、被写体の輪郭周辺で自然なホワイトバランス処理を実現することが可能である。 Further, when performing the white balance processing, the image processing may be performed in consideration of a correction coefficient around the target pixel on which the image processing is performed. For example, white balance processing is performed using the average of the correction coefficient of the pixel of interest and the correction coefficient of surrounding pixels as a new correction coefficient of the pixel of interest. Thereby, it is possible to obtain a continuous correction coefficient in the image plane, and it is possible to realize natural white balance processing around the contour of the subject.
ホワイトバランス処理が行われた画像情報は、出力画像情報として出力される。ここで、本実施形態ではホワイトバランス処理を画像処理装置で行っているが、従来の輪郭強調処理、ノイズ低減処理、コントラスト強調処理、などを行って出力画像情報としても良い。 The image information subjected to the white balance process is output as output image information. Here, in the present embodiment, the white balance processing is performed by the image processing apparatus. However, the conventional image enhancement processing, noise reduction processing, contrast enhancement processing, and the like may be performed as output image information.
以上で説明した方法により、奥行き情報値に応じた適切な補正係数でホワイトバランス処理をすることで、画像全体でホワイトバランスが適切に設定された画像を生成することができ、ユーザーが実際のシーンを観察したときと同様な自然な画像を生成することができる。 By performing the white balance processing with an appropriate correction coefficient according to the depth information value by the method described above, it is possible to generate an image in which the white balance is appropriately set for the entire image, and the user can create an actual scene. It is possible to generate a natural image similar to that observed when.
さらに、より自然に奥行き感を感じることができるように補正係数を変更することも可能である。一般に暖色系の色は進出色、寒色系の色は後退色と言われている。したがって、近景の被写体の色を暖色方向にシフトし、遠景の被写体の色を寒色方向にシフトし、近景の被写体を進出させて遠景の被写体を後退させることで、奥行き感を表現することができる。すなわち、近景の白色の色温度を低く、遠景の白色の色温度を高くすることで立体感のある自然な画像を生成することができる。 Furthermore, the correction coefficient can be changed so that a sense of depth can be felt more naturally. Generally, warm colors are said to be advanced colors, and cold colors are said to be receding colors. Therefore, it is possible to express a sense of depth by shifting the color of the foreground subject in the warm color direction, shifting the color of the distant view subject in the cold color direction, moving the foreground subject forward and moving the far view subject backward. . That is, a natural image with a stereoscopic effect can be generated by lowering the white color temperature of the near view and increasing the white color temperature of the distant view.
例えば、図９に示すような奥行き情報値と色温度の関係にすることで実現できる。図９の（ａ）は近景を基準に遠景になるほど色温度が高くなる。図９（ｂ）は遠景を基準に近景になるほど色温度が低くなる。図９（ｃ）は中景を基準に近景になるほど色温度が低くなり、遠景になるほど色温度が高くなる。また、図９（ｄ）に示すように、一定の奥行き情報値以上および一定の奥行き情報値以下で色温度の変化がなくなるようにしても良い。 For example, this can be realized by making the relationship between the depth information value and the color temperature as shown in FIG. In FIG. 9A, the color temperature increases with increasing distance from the near view. In FIG. 9B, the color temperature becomes lower as the distance becomes closer to the background. In FIG. 9C, the color temperature becomes lower as the background is closer to the middle scene, and the color temperature becomes higher as the background is farther. Further, as shown in FIG. 9 (d), the change in color temperature may be eliminated at a certain depth information value or more and a certain depth information value or less.
図９（ｃ）の関係を実現する方法として、例えば、図１０のような色温度補正係数を使用することで実現できる。近景になるほど色温度を低くするために、赤色（Ｒ）の画素値が増加するように赤色の色温度補正が近景になるほど大きくする。遠景になるほど色温度を高くするために、青色（Ｂ）の画素値が増加するように青色の色温度補正が遠景になるほど大きくする。これにより図９（ｃ）のような関係を実現することができる。また、赤色や青色といった１色を主として色温度補正係数を変化させ、赤色の色温度係数が近景になるほど大きく、遠景になるほど小さくなるようにしても良い。 As a method of realizing the relationship of FIG. 9C, for example, it can be realized by using a color temperature correction coefficient as shown in FIG. In order to lower the color temperature as the foreground is closer, the red color temperature correction is increased as the foreground is increased so that the red (R) pixel value is increased. In order to increase the color temperature with increasing distance, the blue color temperature correction is increased with increasing distance so that the pixel value of blue (B) increases. Thereby, the relationship as shown in FIG. 9C can be realized. Alternatively, the color temperature correction coefficient may be changed mainly for one color such as red or blue so that the red color temperature coefficient increases as the foreground and decreases as the distance increases.
ここで、図１０では、説明を簡単にするために簡易的な図としたが、各色の色温度補正係数は黒体放射軌跡に沿うように、赤色、緑色、青色を調整することが、自然な画像を生成できるため好ましい。 Here, FIG. 10 is a simple diagram for the sake of simplicity, but it is natural to adjust red, green, and blue so that the color temperature correction coefficient of each color follows the black body radiation locus. It is preferable because a simple image can be generated.
さらに、明るさを奥行き情報に応じて変化することも可能である。進出色である暖色系の色は明るさが大きいとより進出して感じ、後退色である寒色系の色は明るさが小さいとより後退して感じる。図１１に示すように、奥行き情報値に応じて明るさを変化させることで実現することができる。図１１（ａ）では遠景を基準に近景になるほど明るさが大きくなる。図１１（ｂ）では近景を基準に遠景になるほど明るさが小さくなる。図１１（ｃ）では中景を基準に近景になるほど明るさが大きくなり、遠景になるほど明るさが小さくなる。また、図１１（ｄ）に示すように、一定の奥行き情報値以上および一定の奥行き情報値以下で明るさの変化がなくなるようにしても良い。実現方法としては、赤色、緑色、青色の比率が変化しないように所定値を乗算する方法がある。 Furthermore, the brightness can be changed according to the depth information. The warm color, which is the advance color, feels more advanced when the brightness is high, and the cold color, which is the receding color, feels backward when the brightness is low. As shown in FIG. 11, it can be realized by changing the brightness according to the depth information value. In FIG. 11 (a), the brightness increases as the foreground is based on the background. In FIG. 11B, the brightness decreases as the distance increases from the near view. In FIG. 11 (c), the brightness increases as the foreground is based on the middle scene, and the brightness decreases as the distance is increased. Further, as shown in FIG. 11 (d), the change in brightness may be eliminated at a certain depth information value or more and a certain depth information value or less. As an implementation method, there is a method of multiplying a predetermined value so that the ratio of red, green, and blue does not change.
上記方法では、色温度の変化および明るさの変化を、ホワイトバランス処理と別で説明したが、算出された補正係数にホワイトバランス処理を行う前に、奥行き値ごとに乗算してＬＵＴを作成しておき、同時に画像処理を行うようにしても同様の効果が得られる。 In the above method, the change in color temperature and the change in brightness have been described separately from the white balance process. However, before the white balance process is performed on the calculated correction coefficient, an LUT is created by multiplying each depth value. Even if image processing is performed simultaneously, the same effect can be obtained.
また、入力画像情報の照明環境が同一である場合には、奥行き情報の値によらず補正係数が略一定の値になるが、このときにも本実施形態が適用できる。一定の補正係数で画像全体のホワイトバランスを合わせることができ、そこから色温度の変化や明るさの変化を付けることも可能である。 Further, when the illumination environment of the input image information is the same, the correction coefficient becomes a substantially constant value regardless of the value of the depth information, but this embodiment can also be applied at this time. The white balance of the entire image can be adjusted with a fixed correction coefficient, and the change in color temperature and the change in brightness can be applied from there.
以上で説明した画像処理装置により、画像全体で適切にホワイトバランスを施した自然な画像を生成できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を生成することが可能となる。 With the image processing apparatus described above, it is possible to generate a natural image with appropriate white balance applied to the entire image. Furthermore, by changing the white color temperature and brightness according to the depth information, it is possible to generate a natural image in which a stereoscopic effect can be felt.
図１２は、本実施形態で説明した画像処理装置１００を備えた画像表示装置２００の一構成例を示す機能ブロック図である。図１２に示すように、画像表示装置２００は、画像処理装置１００と、入力画像情報が入力され入力画像情報に対応した奥行き情報を算出する奥行き情報算出部２０１と、画像処理装置１００が生成した出力画像情報を表示する画像表示部２０２と、を備える。奥行き情報算出部２０１は、画像処理装置１００と同様にソフトウエアやハードウェアにより構成される。また、画像表示部２０２は、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスなどにより構成することができる。
FIG. 12 is a functional block diagram illustrating a configuration example of the
奥行き情報算出部２０１で奥行き情報を算出するが、入力画像情報から奥行き情報を算出する方法は幾つかある。例えば、入力画像情報が１つ分の画像情報である場合には、２次元画像から３次元画像を生成するときの奥行き推定方法を適用することができる。これは、色情報、消失点解析、オブジェクト抽出などにより推定する方法である。また、入力画像情報が２つ分の画像情報である場合、つまり、左右の２つの異なる視点からの画像情報である３次元画像情報である場合などは、基準となる画像情報に対応した視差情報を算出することで奥行き情報を算出することができる。２つの画像情報は、独立した２系統の画像情報でも、フレームパッキング、サイドバイサイド、トップアンドボトムなど様々なフォーマットでも適用することができる。
The depth
視差は２つの画像情報間の被写体のずれ量であり、ブロックマッチングなどにより算出することができる。ブロックマッチングは、基準となる画像情報の注目画素に基準窓を設定し、参照する画像情報に参照窓をエピポーラ線上に順次設定し、基準窓と参照窓の画素の類似度または相違度を評価する。評価にはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などが使用される。撮影された被写体までの距離Ｚと視差Ｄの関係はＤ＝ｆ×Ｂ／Ｚである。ここで、ｆは撮像素子の焦点距離であり、Ｂは２つの撮像素子間の距離である基線長である。距離Ｚと視差Ｄとは相関があり、本実施形態での奥行き情報として利用することができる。また、距離Ｚと視差Ｄとは、互いに単調に減少する図１３のような関係であり、これらの関係から視差情報を奥行き情報として利用することができる。 The parallax is the amount of subject displacement between two pieces of image information, and can be calculated by block matching or the like. In block matching, a reference window is set for a target pixel of image information serving as a reference, a reference window is sequentially set on the epipolar line for reference image information, and the similarity or difference between the pixels of the reference window and the reference window is evaluated. . For the evaluation, SAD (Sum of Absolute Difference) or SSD (Sum of Squared Difference) is used. The relationship between the distance Z to the photographed subject and the parallax D is D = f × B / Z. Here, f is the focal length of the image sensor, and B is the baseline length, which is the distance between the two image sensors. The distance Z and the parallax D have a correlation, and can be used as depth information in the present embodiment. Further, the distance Z and the parallax D have a relationship as shown in FIG. 13 that monotonously decreases from each other, and the parallax information can be used as depth information from these relationships.
奥行き情報算出部２０１で算出された奥行き情報（視差情報）は画像処理装置１００に伝達され、奥行き情報に応じて入力画像情報のホワイトバランス処理を行う。画像処理装置１００で生成された画像情報は画像表示部２０２にて表示される。以上の方法により、画像全体で適切にホワイトバランスを施した自然な画像を表示できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を表示することが可能となる。
Depth information (parallax information) calculated by the depth
ここで、画像表示装置に入力される入力画像情報は、ホワイトバランス処理が行われた後の画像情報であることが多いが、そのような入力画像情報に対しても本実施形態を適用することが可能である。ホワイトバランス処理が行われた後の画像情報に対して、奥行き情報に応じた補正係数を算出することで同様の効果を得ることが可能である。 Here, in many cases, the input image information input to the image display apparatus is image information after the white balance processing is performed, but the present embodiment is also applied to such input image information. Is possible. A similar effect can be obtained by calculating a correction coefficient corresponding to the depth information for the image information after the white balance processing is performed.
さらに、２つの画像情報を有する３次元画像情報が入力された場合には、左右それぞれを基準画像情報とした視差情報を算出し、それぞれホワイトバランス処理を行うことで、本実施形態で立体画像に対応した処理を実現することができる。 Furthermore, when 3D image information having two pieces of image information is input, parallax information is calculated with reference to the left and right reference image information, and white balance processing is performed for each to obtain a stereoscopic image in the present embodiment. Corresponding processing can be realized.
また、２つの画像情報を有する３次元画像情報が入力されず、画像情報と奥行き情報とが入力されるのみを想定する場合には、奥行き情報算出部２０１を備える必要はなく、画像処理装置１００に画像情報と奥行き情報とを直接入力すれば良い。当然、奥行き情報算出部２０１を備えている場合でも、画像情報と奥行き情報とが入力されたときに、画像処理装置１００に画像情報と奥行き情報とを直接入力しても良い。
Further, when it is assumed that 3D image information having two pieces of image information is not input and only image information and depth information are input, it is not necessary to include the depth
図１４は、本実施形態で説明した画像処理装置１００を備えた画像撮像装置３００の一構成例を示す機能ブロック図である。画像撮像装置３００は、画像処理装置１００と、奥行き情報算出部２０１と、画像表示部２０２と、画像を撮影する２つの撮像素子３０１および３０２と、画像処理装置１００が生成した出力画像情報を記憶する画像記憶部３０３と、を備える。撮像素子３０１および３０２は、レンズなどの光学部品と、光電変換により画像データを取得するセンサなどで構成され、センサには、ＣＭＯＳやＣＣＤといった固体撮像素子を利用することができる。画像記憶部３０３は、フラッシュメモリやハードディスクといった記憶デバイスなどにより構成される。
FIG. 14 is a functional block diagram illustrating a configuration example of the
撮像素子３０１および３０２は、少なくとも一部の撮影範囲が重複するように配置され、重複した撮影範囲で同一の被写体が撮影できるようにする。奥行き情報算出部２０１で視差情報を算出するときには、撮像素子３０１および３０２を光軸が平行になるように配置すると、視差を算出するときのブロックマッチングが行い易くなり、視差算出精度が向上するため好適である。
The
撮像素子３０１および３０２で撮影された撮影画像情報は、奥行き情報算出部２０１に伝達され奥行き情報が算出される。伝達される撮影画像情報は、ＲＡＷデータ、デモザイク処理後の画像情報、ノイズ低減処理や輪郭強調処理など画像処理が行われた画像情報でも良い。
The captured image information captured by the
撮像素子３０１で撮影された撮影画像情報と、奥行き情報算出部２０１で算出された奥行き情報とから、画像処理装置１００でホワイトバランス処理が行われる。画像処理装置１００で生成された画像情報は、画像表示部２０２に表示されたり、画像記憶部３０３に記憶されたりする。
White balance processing is performed by the
以上の方法により、画像全体で適切にホワイトバランスを施した自然な画像を撮影できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を撮影することが可能となる。 According to the above method, a natural image in which white balance is appropriately applied to the entire image can be taken. Furthermore, by changing the color temperature and brightness of white according to the depth information, it is possible to capture a natural image in which a stereoscopic effect is felt.
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。 In the above-described embodiment, the configuration and the like illustrated in the accompanying drawings are not limited to these, and can be appropriately changed within a range in which the effect of the present invention is exhibited. In addition, various modifications can be made without departing from the scope of the object of the present invention.
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。 Each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 In addition, a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed. The “computer system” here includes an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system. At least a part of the functions may be realized by hardware such as an integrated circuit.
本発明は、画像処理装置に利用可能である。 The present invention can be used for an image processing apparatus.
１００ 画像処理装置
１０１ 補正係数算出部
１０２ 補正係数補間部
１０２−１ 対応判定部
１０２−２ 奥行き情報値比較部
１０２−３ 係数補間部
１０３ 画像補正部
２００ 画像表示装置
２０１ 奥行き情報算出部
２０２ 画像表示部
３００ 画像撮像装置
３０１ 撮像素子
３０２ 撮像素子
３０３ 画像記憶部
DESCRIPTION OF
Claims (11)
前記奥行き情報に対応した前記画像情報の各色の比率を補正する補正係数を算出する補正係数算出部と、
前記画像情報における注目画素の各色の画素値を、前記注目画素の前記奥行き情報に対応した前記補正係数を使用して補正する画像補正部と、を有することを特徴とする画像処理装置。 An image processing apparatus that receives image information and depth information corresponding to the image information and performs image processing on the image information,
A correction coefficient calculation unit for calculating a correction coefficient for correcting the ratio of each color of the image information corresponding to the depth information;
An image processing apparatus comprising: an image correction unit that corrects a pixel value of each color of a target pixel in the image information using the correction coefficient corresponding to the depth information of the target pixel.
前記補正係数補間部は、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にあるときには、前記２つの前記奥行き情報の値に対応した補正係数により補間することを特徴とする、請求項１に記載の画像処理装置。 A correction coefficient interpolation unit that interpolates the correction coefficient so that the correction coefficient corresponds to the value of the depth information on a one-to-one basis;
The correction coefficient interpolation unit corresponds to the two depth information values when the depth information that does not correspond to the correction coefficient is between the two depth information values for which the correction coefficient is calculated. The image processing apparatus according to claim 1, wherein interpolation is performed using the corrected coefficient.
前記補正係数が前記奥行き情報の値に対して１対１で対応せず、かつ、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にないときには、前記補正係数が対応していない前記奥行き情報の値に最も近い、前記補正係数が算出された奥行き情報の値の前記補正係数により補間することを特徴とする、請求項１又は２に記載の画像処理装置。 The correction coefficient interpolation unit
The correction coefficient does not correspond to the depth information value on a one-to-one basis, and the depth information that does not correspond to the correction coefficient corresponds to the two depth information values from which the correction coefficient is calculated. When not in between, the correction coefficient is interpolated by the correction coefficient of the value of the depth information for which the correction coefficient is calculated, which is closest to the value of the depth information to which the correction coefficient does not correspond. 2. The image processing apparatus according to 2.
前記画像情報の各色の比率が調整された画像情報を、近景ほど色温度が低く、遠景ほど色温度が高くなるように、前記奥行き情報にしたがって色温度を変化させることを特徴とする、請求項１から３のいずれかに記載の画像処理装置。 The image correction unit
The image information in which the ratio of each color of the image information is adjusted, the color temperature is changed according to the depth information so that the color temperature is lower in the near view and the color temperature is higher in the distant view. The image processing apparatus according to any one of 1 to 3.
近景ほど明るさが高く、遠景ほど明るさが低くなるように、前記奥行き情報にしたがって明るさを変化させることを特徴とする、請求項５に記載の画像処理装置。 The image correction unit
6. The image processing apparatus according to claim 5, wherein the brightness is changed according to the depth information so that the brightness is higher in the near view and the brightness is lower in the distant view.
前記奥行き情報の値に対応した前記補正係数を算出するときに、算出する前記奥行き情報の値の前後の奥行き情報の値も含めて前記補正係数を算出することを特徴とする、請求項１から５までのいずれか１項に記載の画像処理装置。 The image correction unit
The correction coefficient is calculated including the depth information values before and after the calculated depth information value when calculating the correction coefficient corresponding to the depth information value. The image processing device according to any one of 5 to 5.
前記画像情報の各色の比率を補正するときに、補正する注目画素の補正係数と、周辺の画素の補正係数との平均値を新たな補正係数として、前記画像情報の各色の比率を補正することを特徴とする、請求項１から６までのいずれか１項に記載の画像処理装置。 The image correction unit
When correcting the ratio of each color of the image information, the ratio of each color of the image information is corrected using an average value of the correction coefficient of the target pixel to be corrected and the correction coefficient of the surrounding pixels as a new correction coefficient. The image processing apparatus according to claim 1, wherein:
前記奥行き情報に対応した前記画像情報の各色の比率を補正する補正係数を算出する補正係数算出ステップと、
前記画像情報における注目画素の各色の画素値を、前記注目画素の前記奥行き情報に対応した前記補正係数を使用して補間する補正係数補間ステップと、を有することを特徴とする画像処理方法。 An image processing method for inputting image information and depth information corresponding to the image information, and performing image processing on the image information,
A correction coefficient calculating step for calculating a correction coefficient for correcting the ratio of each color of the image information corresponding to the depth information;
An image processing method comprising: a correction coefficient interpolation step of interpolating a pixel value of each color of a target pixel in the image information using the correction coefficient corresponding to the depth information of the target pixel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012137881A JP2014003486A (en) | 2012-06-19 | 2012-06-19 | Image processing device, image capturing device, image display device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012137881A JP2014003486A (en) | 2012-06-19 | 2012-06-19 | Image processing device, image capturing device, image display device, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014003486A true JP2014003486A (en) | 2014-01-09 |
Family
ID=50036266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012137881A Pending JP2014003486A (en) | 2012-06-19 | 2012-06-19 | Image processing device, image capturing device, image display device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014003486A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150101852A (en) * | 2014-02-27 | 2015-09-04 | 주식회사 세방에스디엘 | Color compensation apparatus for controlling three dimensional effect of 3d image and the method thereof |
| WO2020149143A1 (en) * | 2019-01-15 | 2020-07-23 | 富士フイルム株式会社 | Stereoscopic image display body |
| WO2020149142A1 (en) * | 2019-01-15 | 2020-07-23 | 富士フイルム株式会社 | Stereoscopic image display body |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03139774A (en) * | 1989-10-26 | 1991-06-13 | Fujitsu Ltd | Aliasing removal system for image formation |
| JP2001184497A (en) * | 1999-10-14 | 2001-07-06 | Komatsu Ltd | Stereo image processor and recording medium |
| JP2007329902A (en) * | 2006-05-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | Image processing method, image processing device, program, storage medium and integrated circuit |
| JP2008067093A (en) * | 2006-09-07 | 2008-03-21 | Nikon Corp | Camera system, image processor, and image processing program |
| JP2010154422A (en) * | 2008-12-26 | 2010-07-08 | Casio Computer Co Ltd | Image processor |
-
2012
- 2012-06-19 JP JP2012137881A patent/JP2014003486A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03139774A (en) * | 1989-10-26 | 1991-06-13 | Fujitsu Ltd | Aliasing removal system for image formation |
| JP2001184497A (en) * | 1999-10-14 | 2001-07-06 | Komatsu Ltd | Stereo image processor and recording medium |
| JP2007329902A (en) * | 2006-05-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | Image processing method, image processing device, program, storage medium and integrated circuit |
| JP2008067093A (en) * | 2006-09-07 | 2008-03-21 | Nikon Corp | Camera system, image processor, and image processing program |
| JP2010154422A (en) * | 2008-12-26 | 2010-07-08 | Casio Computer Co Ltd | Image processor |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150101852A (en) * | 2014-02-27 | 2015-09-04 | 주식회사 세방에스디엘 | Color compensation apparatus for controlling three dimensional effect of 3d image and the method thereof |
| KR101633635B1 (en) * | 2014-02-27 | 2016-06-27 | 주식회사 세방에스디엘 | Color compensation apparatus for controlling three dimensional effect of 3d image and the method thereof |
| WO2020149143A1 (en) * | 2019-01-15 | 2020-07-23 | 富士フイルム株式会社 | Stereoscopic image display body |
| WO2020149142A1 (en) * | 2019-01-15 | 2020-07-23 | 富士フイルム株式会社 | Stereoscopic image display body |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
| US11388385B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| US8300086B2 (en) | Image processing for supporting a stereoscopic presentation | |
| US10397486B2 (en) | Image capture apparatus and method executed by image capture apparatus | |
| US8446481B1 (en) | Interleaved capture for high dynamic range image acquisition and synthesis | |
| US8106954B2 (en) | Imaging apparatus and method that reduces illumination variations by converting a luminance value of a target pixel depending on an average luminance value of pixels in the vicinity of the target pixel | |
| US8274552B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| WO2013094635A1 (en) | Image processing device, imaging device, and display device | |
| US20150163478A1 (en) | Selecting Camera Pairs for Stereoscopic Imaging | |
| KR102636272B1 (en) | Image pickup device and electronic system including the same | |
| EP3891974B1 (en) | High dynamic range anti-ghosting and fusion | |
| JP6381404B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
| CN116324882A (en) | Image signal processing in a multi-camera system | |
| US20160255320A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer-readable recording medium | |
| JP2014003486A (en) | Image processing device, image capturing device, image display device, image processing method, and program | |
| JP5881005B2 (en) | Image processing apparatus, image capturing apparatus, image display apparatus, image processing method, and program | |
| TW201531744A (en) | Image processing device | |
| Gil Rodríguez et al. | High quality video in high dynamic range scenes from interlaced dual-iso footage | |
| WO2011158562A1 (en) | Multi-viewpoint image encoding device | |
| US20240037872A1 (en) | Information processing device, head-mounted display device, control method of information processing device, and non-transitory computer readable medium | |
| US10393992B1 (en) | Auto focus based auto white balance | |
| JP2012160852A (en) | Image composition device, imaging device, image composition method, and image composition program | |
| JP6946055B2 (en) | Image processing equipment and image processing methods, programs | |
| Xu | Capturing and post-processing of stereoscopic 3D content for improved quality of experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160726 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160824 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160826 |