JP2011205531A - Stereoscopic imaging apparatus, ghost image processing apparatus and ghost image processing method - Google Patents
Stereoscopic imaging apparatus, ghost image processing apparatus and ghost image processing method Download PDFInfo
- Publication number
- JP2011205531A JP2011205531A JP2010072513A JP2010072513A JP2011205531A JP 2011205531 A JP2011205531 A JP 2011205531A JP 2010072513 A JP2010072513 A JP 2010072513A JP 2010072513 A JP2010072513 A JP 2010072513A JP 2011205531 A JP2011205531 A JP 2011205531A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ghost
- viewpoint
- viewpoint images
- image shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、立体撮像装置、ゴースト像処理装置およびゴースト像処理方法に関し、特に、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換することで生成された複数の視点画像（立体画像）に対するゴースト像処理技術に関する。 The present invention relates to a stereoscopic imaging device, a ghost image processing device, and a ghost image processing method, and in particular, a plurality of viewpoint images (stereoscopic images) generated by photoelectrically converting light beams that have passed through different regions of a single photographing optical system. The present invention relates to a ghost image processing technique for (image).
被写体に太陽等の明るい光源が含まれている場合、その光源の光が撮影光学系内や撮像素子の表面で反射し、反射光の像が撮像素子上に結像することで撮像画像内にゴースト像が生じることがある。 When the subject includes a bright light source such as the sun, the light from the light source is reflected in the imaging optical system or on the surface of the image sensor, and an image of the reflected light is formed on the image sensor so that the image is captured. Ghost images may occur.
特許文献１には、撮影光学系内の絞りの開口径を変化させることで互いに異なるＦ値で２回の撮像を行い、２つの画像の差分からゴースト検出を行う構成が開示されている。 Patent Document 1 discloses a configuration in which imaging is performed twice with different F values by changing the aperture diameter of a diaphragm in the photographing optical system, and ghost detection is performed from the difference between the two images.
特許文献２には、フォーカスレンズを移動させてフォーカス位置とデフォーカス位置とで撮像し、フォーカス画像とデフォーカス画像の差分からゴースト検出を行う構成が開示されている。 Patent Document 2 discloses a configuration in which a focus lens is moved to capture an image at a focus position and a defocus position, and ghost detection is performed from a difference between the focus image and the defocus image.
特許文献３には、撮像画像に対して画像処理を行い被写界深度を拡大した画像を得る装置にて、光学系の光軸に対し直交する面内で波面変換素子を回転させる機構を備え、波面変換素子を回転角度０度と１８０度とに回転させたときにそれぞれ取得される２つの画像間で和、差の演算処理を行うことで、ゴースト除去を行う構成が開示されている。 Patent Document 3 includes a mechanism for rotating a wavefront conversion element in a plane orthogonal to the optical axis of an optical system in an apparatus that obtains an image with an expanded depth of field by performing image processing on a captured image. In addition, a configuration is disclosed in which ghost removal is performed by performing sum and difference calculation processing between two images acquired when the wavefront conversion element is rotated at rotation angles of 0 degrees and 180 degrees.
単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する単眼立体撮像素子が求められていると共に、１回の単眼立体撮像で得られた立体画像（右眼画像、左目画像）に対するゴースト像処理を確実に行うことが求められている。 There is a need for a monocular stereoscopic imaging device that photoelectrically converts light beams that have passed through different areas of a single imaging optical system, and for a stereoscopic image (right-eye image, left-eye image) obtained by a single monocular imaging. There is a demand for reliable ghost image processing.
しかしながら、従来の撮像素子に関した先行技術文献に記載の技術では、撮影条件が異なる複数回の撮像を行わなければ、ゴースト像を処理することができない。また、先行技術文献には撮影条件が異なる２つの画像の差分からゴースト像を検出することは記載されているが、１回の単眼立体撮像により得られる複数の視点画像（右眼画像、左眼画像）間には視差があるため、従来技術を複数の視点画像に適用すると誤検出の問題が生じる。よって、先行技術文献に記載の技術を適用して１回の単眼立体撮像でゴースト像処理を行うことは、困難である。 However, with the techniques described in the prior art documents related to the conventional imaging device, a ghost image cannot be processed unless imaging is performed a plurality of times under different imaging conditions. In addition, although the prior art document describes that a ghost image is detected from a difference between two images having different shooting conditions, a plurality of viewpoint images (right-eye image, left-eye image) obtained by one monocular three-dimensional imaging are described. Since there is parallax between (images), a problem of false detection occurs when the conventional technique is applied to a plurality of viewpoint images. Therefore, it is difficult to perform the ghost image processing by single monocular three-dimensional imaging by applying the technique described in the prior art document.
本発明はこのような事情に鑑みてなされたもので、１回の立体撮像でゴースト像に対する処理を行うことができる立体撮像装置、ゴースト像処理装置およびゴースト像処理方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a stereoscopic imaging apparatus, a ghost image processing apparatus, and a ghost image processing method capable of performing processing on a ghost image by one stereoscopic imaging. To do.
前記目的を達成するために、本発明は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得手段と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出手段と、を備えたことを特徴とするゴースト像処理装置を提供する。 In order to achieve the above object, the present invention is an image acquisition means for acquiring a plurality of viewpoint images generated by an image sensor that photoelectrically converts light beams that have passed through different regions of a single photographing optical system. An image shift amount calculation unit that calculates an image shift amount due to parallax of the subject image between the plurality of viewpoint images, and an image shift correction unit that corrects an image shift between the plurality of viewpoint images based on the image shift amount. And a ghost image detecting means for detecting a ghost image in the plurality of viewpoint images by comparing the plurality of viewpoint images after the image shift correction. To do.
この発明によれば、視点画像間の被写体像の視差による像ずれ量が算出され、その像ずれ量に基づいて視点画像間の像ずれが補正され、像ずれ補正後の視点画像間の比較により各視点画像内のゴースト像が検出されるので、複数回の立体撮像を行わなくても、１回の立体撮像で得られた複数の視点画像からゴースト像検出を行うことができるとともに、ゴースト像の誤検出を防止することができる。 According to the present invention, the amount of image shift due to the parallax of the subject image between the viewpoint images is calculated, the image shift between the viewpoint images is corrected based on the amount of image shift, and the comparison between the viewpoint images after the image shift correction is performed. Since a ghost image in each viewpoint image is detected, it is possible to detect a ghost image from a plurality of viewpoint images obtained by one stereoscopic imaging without performing a plurality of stereoscopic imaging, False detection can be prevented.
本発明の一実施形態では、前記ゴースト像検出手段は、像ずれ補正後の前記複数の視点画像の対応画素間で画素値の差分を算出することにより、前記対応画素ごとの前記差分の配列からなるゴースト抽出データを生成することを特徴とする。即ち、複数の視点画像からゴースト抽出データを生成することで、ゴースト発生の検証やゴースト像の除去などを容易に行うことができる。 In one embodiment of the present invention, the ghost image detection unit calculates a difference in pixel values between corresponding pixels of the plurality of viewpoint images after the image shift correction, so that the difference image for each corresponding pixel is calculated. The ghost extraction data is generated. That is, by generating ghost extraction data from a plurality of viewpoint images, it is possible to easily verify the generation of a ghost, remove the ghost image, and the like.
本発明の一実施形態では、前記ゴースト抽出データ内の前記差分の極性に基づいて前記複数の視点画像の各々にて前記ゴースト像が存在する部分を認識し、像ずれ補正後の前記複数の視点画像の各々から前記ゴースト像を除去するゴースト像除去手段と、前記ゴースト像が除去された前記複数の視点画像間の像ずれ量を像ずれ補正前の量に戻す像ずれ量戻し手段を備えたことを特徴とする。即ち、１回の立体撮像で得られた複数の視点画像からゴースト像を除去することができる。 In one embodiment of the present invention, the plurality of viewpoints after the image shift correction is performed by recognizing a portion where the ghost image exists in each of the plurality of viewpoint images based on the polarity of the difference in the ghost extraction data. Ghost image removing means for removing the ghost image from each of the images, and image deviation amount returning means for returning the image deviation amount between the plurality of viewpoint images from which the ghost image has been removed to the amount before the image deviation correction. It is characterized by that. That is, a ghost image can be removed from a plurality of viewpoint images obtained by one stereoscopic imaging.
本発明の一実施形態では、前記ゴースト像除去手段は、像ずれ補正後の前記複数の視点画像のうち前記ゴースト像が存在する部分の画素値から前記ゴースト抽出データの値を差し引くことを特徴とする。 In one embodiment of the present invention, the ghost image removing unit subtracts a value of the ghost extraction data from a pixel value of a portion where the ghost image exists in the plurality of viewpoint images after the image shift correction. To do.
本発明の一実施形態では、前記ゴースト像除去手段は、像ずれ補正後の前記複数の視点画像のうち一方の前記視点画像の前記ゴースト像が存在する部分の画素値を他方の前記視点画像のゴースト像が存在しない部分の画素値に置き換えることを特徴とする。 In one embodiment of the present invention, the ghost image removing means calculates a pixel value of a portion where the ghost image of one of the viewpoint images exists among the plurality of viewpoint images after image shift correction of the other viewpoint image. It is characterized in that the pixel value is replaced with a pixel value where no ghost image exists.
本発明の一実施形態では、前記撮像素子は、第１の瞳分割方向に分離された第１の画素群および第２の画素群と、第２の瞳分割方向に分離された第３および第４の画素群とを有し、前記画像取得手段は、前記第１の画素群、前記第２の画素群、前記第３の画素群および前記第４の画素群によりそれぞれ生成された第１の視点画像、第２の視点画像、第３の視点画像および第４の視点画像を取得し、前記像ずれ量算出手段は、前記第１の視点画像と前記第２の視点画像との視差による第１の像ずれ量を算出するとともに、前記第３の視点画像と前記第４の視点画像との視差による第２の像ずれ量を算出し、前記像ずれ補正手段は、前記第１の像ずれ量に基づいて前記第１の視点画像と前記第２の視点画像との像ずれを補正するとともに、前記第２の像ずれ量に基づいて前記第３の視点画像と前記第４の視点画像との像ずれを補正し、前記ゴースト像検出手段は、像ずれ補正後の前記第１の視点画像と前記第２の視点画像とを比較するとともに、像ずれ補正後の前記第３の視点画像と前記第４の視点画像とを比較することで前記複数の視点画像内のゴースト像を検出することを特徴とする。即ち、一方向（例えば横方向）だけでなく他方向（例えば縦方向）から入射したゴースト光によるゴースト像を確実に検出することが可能になる。 In one embodiment of the present invention, the imaging device includes a first pixel group and a second pixel group separated in a first pupil division direction, and a third and a third pixel separated in a second pupil division direction. 4 pixel groups, and the image acquisition means includes the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group respectively generated by the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group. A viewpoint image, a second viewpoint image, a third viewpoint image, and a fourth viewpoint image are acquired, and the image shift amount calculating means is a first unit based on a parallax between the first viewpoint image and the second viewpoint image. And calculating a second image shift amount due to a parallax between the third viewpoint image and the fourth viewpoint image, and the image shift correction unit is configured to calculate the first image shift amount. An image shift between the first viewpoint image and the second viewpoint image is corrected based on the amount, and the first viewpoint image is corrected. The image shift between the third viewpoint image and the fourth viewpoint image is corrected based on the image shift amount of the first viewpoint image, and the ghost image detecting means is configured to correct the image shift and the second viewpoint image and the second viewpoint image. A ghost image in the plurality of viewpoint images is detected by comparing the third viewpoint image after the image shift correction and the fourth viewpoint image. . That is, it becomes possible to reliably detect a ghost image by ghost light that is incident not only from one direction (for example, the horizontal direction) but also from the other direction (for example, the vertical direction).
また、本発明は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得手段と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、像ずれ補正後の前記複数の視点画像の対応画素間で明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成手段と、を備えたことを特徴とするゴースト像処理装置を提供する。即ち、複数回の立体撮像を行わなくても、１回の立体撮像で得られた複数の視点画像からゴースト除去を行うことができるとともに、誤検出を防止することができる。また、ゴースト抽出を必要としないので、ゴースト除去処理の高速化を図ることができる。 The present invention also provides an image acquisition means for acquiring a plurality of viewpoint images generated by an image sensor that photoelectrically converts light beams that have passed through different regions of a single photographing optical system, and the acquired plurality of viewpoint images. An image shift amount calculation unit that calculates an image shift amount due to parallax of the subject image between the image shift correction unit, an image shift correction unit that corrects an image shift between the plurality of viewpoint images based on the image shift amount, and after the image shift correction Image synthesizing means for generating a synthesized image that does not include a ghost image by comparing brightness between corresponding pixels of the plurality of viewpoint images and extracting only a darker portion. A ghost image processing apparatus is provided. That is, ghost removal can be performed from a plurality of viewpoint images obtained by a single stereoscopic imaging without performing a stereoscopic imaging a plurality of times, and erroneous detection can be prevented. Further, since ghost extraction is not required, it is possible to speed up the ghost removal process.
また、本発明は、前記単一の撮影光学系と、前記撮像素子と、前記ゴースト像処理装置と、を備えたことを特徴とする立体撮像装置を提供する。 The present invention also provides a stereoscopic imaging apparatus comprising the single imaging optical system, the imaging element, and the ghost image processing apparatus.
また、本発明は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得工程と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出工程と、を備えたことを特徴とするゴースト像処理方法を提供する。 The present invention also provides an image acquisition step of acquiring a plurality of viewpoint images generated by an imaging element that photoelectrically converts light beams that have passed through different regions of a single photographing optical system, and the acquired plurality of viewpoint images. An image shift amount calculating step for calculating an image shift amount due to the parallax of the subject image between, an image shift correction step for correcting an image shift between the plurality of viewpoint images based on the image shift amount, and after the image shift correction And a ghost image detection step of detecting a ghost image in the plurality of viewpoint images by comparing the plurality of viewpoint images.
また、本発明は、単一の撮撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得工程と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、像ずれ補正後の前記複数の視点画像間で対応画素間の明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成工程と、を備えたことを特徴とするゴースト像処理方法を提供する。 In addition, the present invention provides an image acquisition step of acquiring a plurality of viewpoint images generated by an image sensor that photoelectrically converts light beams that have passed through different regions of a single photographing optical system, and the acquired viewpoints An image shift amount calculating step for calculating an image shift amount due to parallax of a subject image between images, an image shift correction step for correcting an image shift between the plurality of viewpoint images based on the image shift amount, and an image shift correction. An image composition step of comparing the brightness between corresponding pixels between the plurality of later viewpoint images and extracting only the darker portion to generate a composite image that does not include a ghost image. A ghost image processing method characterized by the above.
本発明によれば、１回の立体撮像でゴースト像検出、ゴースト像除去等のゴースト像に対する処理を行うことができる。 According to the present invention, it is possible to perform processing on a ghost image such as ghost image detection and ghost image removal by one stereoscopic imaging.
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
＜撮像装置の全体構成＞
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。
<Overall configuration of imaging device>
FIG. 1 is a block diagram showing an embodiment of a stereoscopic imaging apparatus 10 according to the present invention.
この立体撮像装置１０は、撮像した画像をメモリカード５４（以下「メディア」ともいう）に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。 The stereoscopic imaging apparatus 10 records captured images on a memory card 54 (hereinafter also referred to as “media”), and the operation of the entire apparatus is centrally controlled by a central processing unit (CPU) 40.
立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。 The stereoscopic imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key. A signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the stereoscopic imaging device 10 based on the input signal. For example, lens driving control, aperture driving control, photographing operation control, image processing control, image processing Data recording / reproduction control, display control of the liquid crystal monitor 30 for stereoscopic display, and the like are performed.
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。 The shutter button is an operation button for inputting an instruction to start shooting, and includes a two-stage stroke type switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed. The mode dial is a selection means for selecting a 2D shooting mode, a 3D shooting mode, an auto shooting mode, a manual shooting mode, a scene position such as a person, a landscape, a night view, a macro mode, a moving image mode, and a parallax priority shooting mode according to the present invention. is there.
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。 The playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been recorded is displayed on the liquid crystal monitor 30. The MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is. The cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do. The up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode, and the left / right key functions as a frame advance (forward / reverse feed) button in playback mode. . The BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影光学系１２、絞り１４を介して固体撮像素子である位相差ＣＣＤ１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。 In the photographing mode, the image light indicating the subject is imaged on the light receiving surface of the phase difference CCD 16 which is a solid-state image sensor through the photographing optical system 12 including the focus lens and the zoom lens, and the diaphragm 14. The photographing optical system 12 is driven by a lens driving unit 36 controlled by the CPU 40, and performs focus control, zoom control, and the like. The diaphragm 14 is composed of, for example, five diaphragm blades, and is driven by the diaphragm driving unit 34 controlled by the CPU 40. For example, the diaphragm 14 is controlled in six steps from 1 to an aperture value from an aperture value F1.4 to F11.
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタ速度）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。 The CPU 40 controls the diaphragm 14 via the diaphragm driving unit 34, and controls the charge accumulation time (shutter speed) in the phase difference CCD 16 and the readout of image signals from the phase difference CCD 16 via the CCD control unit 32. Etc.
＜単眼３Ｄセンサの構成例＞
図２は位相差ＣＣＤ１６（単眼立体撮像素子）の構成例を示す図である。
<Configuration Example of Monocular 3D Sensor>
FIG. 2 is a diagram illustrating a configuration example of the phase difference CCD 16 (monocular stereoscopic imaging device).
位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。 The phase difference CCD 16 has odd-numbered lines of pixels (main pixels) and even-numbered lines of pixels (sub-pixels) arranged in a matrix, and photoelectric conversion is performed in these main and sub-pixels. The image signals for the two surfaces can be read independently.
図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。 As shown in FIG. 2, among the pixels provided with R (red), G (green), and B (blue) color filters on the odd lines (1, 3, 5,...) Of the phase difference CCD 16, GRGR. .., And BGBG... Pixel array lines are alternately provided. On the other hand, even-numbered lines (2, 4, 6,...) Have the same GRGR. Lines and lines of a pixel array of BGBG... Are alternately provided, and pixels are arranged so as to be shifted in the line direction by a half pitch with respect to pixels of even lines.
図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。 FIG. 3 is a diagram showing each of the photographic optical system 12, the diaphragm 14, and the main pixel PDa and the sub-pixel PDb of the phase difference CCD 16, and FIG. 4 is an enlarged view of the main part of FIG.
図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。 As shown in FIG. 4A, a light beam passing through the exit pupil is incident on a normal CCD pixel (photodiode PD) through the microlens L without being restricted.
これに対し、位相差ＣＣＤ１６の主画素ＰＤａ及び副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。 On the other hand, a light shielding member 16A is formed on the main pixel PDa and the sub pixel PDb of the phase difference CCD 16, and the right half or the left half of the light receiving surface of the main pixel PDa and the sub pixel PDb is shielded by the light shielding member 16A. Yes. That is, the light shielding member 16A functions as a pupil division member.
尚、上記構成の位相差ＣＣＤ１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。 The phase difference CCD 16 having the above configuration is configured such that the main pixel PDa and the sub-pixel PDb have different regions (right half and left half) in which the light beam is limited by the light shielding member 16A. Without limiting to the light shielding member 16A, the microlens L and the photodiode PD (PDa, PDb) are relatively shifted in the left-right direction, and the light flux incident on the photodiode PD is limited by the shifted direction. Alternatively, by providing one microlens for two pixels (main pixel and subpixel), the light flux incident on each pixel may be limited.
図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。 Returning to FIG. 1, the signal charge accumulated in the phase difference CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD controller 32. The voltage signal read from the phase difference CCD 16 is applied to the analog signal processing unit 18, where the R, G, B signals for each pixel are sampled and held, and the gain designated by the CPU 40 (corresponding to ISO sensitivity). And then added to the A / D converter 20. The A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。 The digital signal processing unit 24 performs gain control processing including gamma correction processing, gamma correction processing, synchronization processing, YC processing for digital image signals input via the image input controller 22, including offset processing, white balance correction, and sensitivity correction. Then, predetermined signal processing such as sharpness correction is performed.
また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図、本発明に係る複数の視差優先プログラム線図等が記憶されている不揮発性メモリである。 The EEPROM 56 is a nonvolatile memory that stores a camera control program, defect information of the phase difference CCD 16, various parameters and tables used for image processing, a program diagram, a plurality of parallax priority program diagrams according to the present invention, and the like. Memory.
ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。 Here, as shown in FIGS. 2B and 2C, the main image data read from the odd-numbered line main pixels of the phase difference CCD 16 is processed as left viewpoint image data and read from the even-line sub-pixels. The sub image data is processed as right viewpoint image data.
デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。 The left viewpoint image data and right viewpoint image data (3D image data) processed by the digital signal processing unit 24 are input to the VRAM 50. The VRAM 50 includes an A area and a B area each storing 3D image data representing a 3D image for one frame. In the VRAM 50, 3D image data representing a 3D image for one frame is rewritten alternately in the A area and the B area. The written 3D image data is read from an area other than the area in which the 3D image data is rewritten in the A area and the B area of the VRAM 50. The 3D image data read from the VRAM 50 is encoded by the video encoder 28 and is output to a stereoscopic display liquid crystal monitor 30 (LCD) provided on the back of the camera, whereby a 3D subject image is displayed on the liquid crystal monitor 30. Displayed on the display screen.
この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。 The liquid crystal monitor 30 is a stereoscopic display unit that can display stereoscopic images (left viewpoint image and right viewpoint image) as directional images having predetermined directivities by a parallax barrier, but is not limited thereto, and is not limited thereto. The left viewpoint image and the right viewpoint image may be viewed separately by using a lens, or by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses.
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。 Further, when the shutter button of the operation unit 38 is pressed (half-pressed) in the first stage, the phase difference CCD 16 starts the AF operation and the AE operation, and the focus in the photographing optical system 12 via the lens driving unit 36. Control is performed so that the lens comes to the in-focus position. The image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。 The AE detection unit 44 integrates the G signals of the entire screen, or integrates the G signals with different weights in the central and peripheral portions of the screen, and outputs the integrated value to the CPU 40. The CPU 40 calculates the brightness of the subject (shooting EV value) from the integrated value input from the AE detection unit 44, and based on this shooting EV value, calculates the aperture value of the diaphragm 14 and the electronic shutter (shutter speed) of the phase difference CCD 16. It is determined according to a predetermined program diagram, the aperture 14 is controlled via the aperture drive unit 34 based on the determined aperture value, and the phase difference CCD 16 via the CCD control unit 32 based on the determined shutter speed. To control the charge accumulation time.
ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。 The AF processing unit 42 is a part that performs contrast AF processing or phase AF processing. When performing contrast AF processing, by extracting a high frequency component of image data in a predetermined focus area from at least one of left viewpoint image data and right viewpoint image data, and integrating the high frequency component An AF evaluation value indicating the in-focus state is calculated. AF control is performed by controlling the focus lens in the photographic optical system 12 so that the AF evaluation value is maximized. When performing the phase difference AF process, the phase difference between the image data corresponding to the main pixel and the sub pixel in the predetermined focus area in the left viewpoint image data and the right viewpoint image data is detected, and this phase difference is detected. The defocus amount is obtained based on the information indicating. AF control is performed by controlling the focus lens in the photographing optical system 12 so that the defocus amount becomes zero.
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。 When the AE operation and the AF operation are completed and the shutter button is pressed in the second stage (full press), the left corresponding to the main pixel and the sub-pixel output from the A / D converter 20 in response to the press. Two pieces of image data of the viewpoint image (main image) and the right viewpoint image (sub-image) are input from the image input controller 22 to the memory (SDRAM) 48 and temporarily stored.
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。 The two pieces of image data temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, where predetermined signals including generation processing (YC processing) of luminance data and color difference data of the image data are performed. Processing is performed. The YC processed image data (YC data) is stored in the memory 48 again. Subsequently, the two pieces of YC data are respectively output to the compression / decompression processing unit 26, and after a predetermined compression process such as JPEG (joint photographic experts group) is executed, the YC data is stored in the memory 48 again.
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。 From the two YC data (compressed data) stored in the memory 48, a multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated. The PM file is read by the media controller 52. And recorded on the memory card 54.
以下では、本発明に係る立体撮像装置を各種の実施形態に分けて説明する。 Hereinafter, the stereoscopic imaging apparatus according to the present invention will be described in various embodiments.
＜第１実施形態＞
図５は、第１実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を抽出するゴースト像抽出処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段およびゴースト像検出手段が構成されている。
<First Embodiment>
FIG. 5 is a flowchart showing a flow of an example of ghost image processing in the first embodiment. This process is a ghost image extraction process for extracting a ghost image from a plurality of viewpoint images constituting a stereoscopic image, and is performed by the CPU 40 of FIG. The CPU 40 constitutes an image shift amount calculation unit, an image shift correction unit, and a ghost image detection unit in the present invention.
本処理の開始前、既に、位相差ＣＣＤ１６（単眼３Ｄセンサ）により被写体が立体撮像されている。即ち、撮影光学系１２の射出瞳の異なる領域（右半分、左半分）を通過した光束が位相差ＣＣＤ１６によりそれぞれ光電変換され、複数の視点画像（以下「主画素データ」および「副画素データ」ともいう）がメモリ４８に一時的に格納されている。 Prior to the start of this process, the subject is already three-dimensionally imaged by the phase difference CCD 16 (monocular 3D sensor). That is, the light beams that have passed through different areas (right half and left half) of the exit pupil of the photographic optical system 12 are respectively photoelectrically converted by the phase difference CCD 16, and a plurality of viewpoint images (hereinafter referred to as “main pixel data” and “subpixel data”). Is also temporarily stored in the memory 48.
ステップＳ１０２およびＳ１０４にて、ＣＰＵ４０は、主画素データおよび副画素データをメモリ４８から取得する。 In steps S <b> 102 and S <b> 104, the CPU 40 acquires main pixel data and subpixel data from the memory 48.
図６（Ａ）は、ゴースト像をそれぞれ有する主画素データおよび副画素データを重ね合わせてＬＣＤ３０に表示した様子を模式的に示す。尚、本図面上では立体表示できないため平面画像として表している。図６（Ｂ）はゴースト像を有する主画素データ、図６（Ｃ）はゴースト像を有する副画素データをそれぞれ示す。立体撮像装置１０における瞳分割の構造上、図７に示すように主画素ＰＤａに入射する異常光は副画素ＰＤｂに入射せず、副画素ＰＤｂに入射する異常光は主画素ＰＤａに入射しない場合がほとんどである。即ち、図６（Ｂ）の主画素データ中に現れるゴースト像は図６（Ｃ）の副画素データ中にほとんど現れず、図６（Ｃ）の副画素データ中に現れるゴースト像は図６（Ｂ）の主画素データ中にほとんど現れない。 FIG. 6A schematically shows a state in which main pixel data and sub-pixel data each having a ghost image are superimposed and displayed on the LCD 30. In addition, since it cannot display in three dimensions on this drawing, it represents as a plane image. FIG. 6B shows main pixel data having a ghost image, and FIG. 6C shows sub-pixel data having a ghost image. Due to the structure of pupil division in the stereoscopic imaging device 10, as shown in FIG. 7, abnormal light incident on the main pixel PDa does not enter the subpixel PDb, and abnormal light incident on the subpixel PDb does not enter the main pixel PDa. Is almost. That is, the ghost image appearing in the main pixel data in FIG. 6B hardly appears in the sub-pixel data in FIG. 6C, and the ghost image appearing in the sub-pixel data in FIG. B) hardly appears in the main pixel data.
ステップＳ１０６にて、ＣＰＵ４０は、視差による像ずれ量（以下「視差量」ともいう）を算出する。 In step S <b> 106, the CPU 40 calculates an image shift amount due to parallax (hereinafter also referred to as “parallax amount”).
具体的には、まず、主画素データ中の主画素と副画素データ中の副画素との対応関係の検出（対応点検出）を行い、次に、対応する画素間（対応点間）の像ずれ量（主画素データ中の主画素の座標と副画素データ中の副画素の座標との差分）を算出し、各画素（主画素および／または副画素）と像ずれ量との関係（視差分布）を示す視差マップを生成する。尚、本例の視差マップは、副画素データ中の各副画素と像ずれ量との対応関係を示す。例えば、図８（Ａ）に示す主画素データと図８（Ｂ）に示す副画素データとでは、木の像がＤだけ像ずれしているので、木の像を構成する各画素に像ずれ量Ｄを関連付ける。尚、図８（Ａ）および（Ｂ）中、人の像にはほとんど像ずれが無いが、実際には人の像内で被写体距離に応じた小さな像ずれが生じている。 Specifically, first, the correspondence between the main pixel in the main pixel data and the sub-pixel in the sub-pixel data is detected (corresponding point detection), and then an image between corresponding pixels (between corresponding points). The amount of deviation (difference between the coordinates of the main pixel in the main pixel data and the coordinates of the subpixel in the subpixel data) is calculated, and the relationship (parallax) between each pixel (main pixel and / or subpixel) and the amount of image deviation A disparity map indicating the distribution) is generated. Note that the parallax map of the present example shows the correspondence between each sub-pixel in the sub-pixel data and the image shift amount. For example, in the main pixel data shown in FIG. 8 (A) and the sub-pixel data shown in FIG. 8 (B), the image of the tree is shifted by D, so that the image shift in each pixel constituting the tree image. Associate quantity D. In FIGS. 8A and 8B, the human image has almost no image shift, but actually a small image shift corresponding to the subject distance occurs in the human image.
ステップＳ１０８にて、ＣＰＵ４０は、視差マップに基づいて、主画素データと副画素データとの被写体像の視差に因る像ずれを補正する。本例では、副画素データ中で副画素を移動させることで、主画素データ中の主画素の座標と、その主画素に対応する副画素データ中の副画素の座標とを一致させる。例えば、図８（Ｂ）に示す副画素データでは、木の像をＤだけ左方向に移動させる。 In step S108, the CPU 40 corrects the image shift caused by the parallax of the subject image between the main pixel data and the sub-pixel data based on the parallax map. In this example, by moving the subpixel in the subpixel data, the coordinates of the main pixel in the main pixel data are matched with the coordinates of the subpixel in the subpixel data corresponding to the main pixel. For example, in the subpixel data shown in FIG. 8B, the tree image is moved leftward by D.
ステップＳ１１０にて、ＣＰＵ４０は、像ずれ補正後の主画素と副画素とで画素値の差分を算出することで、ゴースト像を抽出する。例えば、図６（Ｂ）に示す主画素データと図６（Ｃ）に示す副画素データとを取得した場合、図９に示すゴースト抽出データ（ゴースト抽出画像）が生成される。本例のゴースト抽出データは、主画素データと副画素データとで対応する画素ごとの画素値の差分（以下「ゴースト画素値」という）の配列からなる。本例のゴースト抽出データでは、主画素データ中にゴースト像が存在する領域の値（ゴースト画素値）が正となり、副画素データ中にゴースト像が存在する領域の値（ゴースト画素値）が負となる。主画素データにも副画素データにもゴーストが存在しない領域では値がゼロとなるが、実際にはノイズ等の影響により完全なゼロとはならないので、ゴースト抽出データの生成時に、主画素と副画素との画素値の差分が閾値以下である場合には、ゴースト抽出データの値を強制的にゼロとする調整（ゼロ調整）を行ってもよい。尚、ゴースト抽出データの値（ゴースト画素値）は前述のように正／負の極性を有するが、図９では、図示の便宜上、ゴースト画素値を絶対値にして階調表示した。また、図９では、ゴースト像でない部分（背景の空部分）も主画素と副画素とで画素値に差があるため抽出されているが、ゴースト光に因る色とは異なるため、実際にはフィルタ処理により排除される。 In step S110, the CPU 40 extracts a ghost image by calculating a difference in pixel value between the main pixel and the sub-pixel after the image shift correction. For example, when the main pixel data shown in FIG. 6B and the sub-pixel data shown in FIG. 6C are acquired, ghost extraction data (ghost extraction image) shown in FIG. 9 is generated. The ghost extraction data of this example is composed of an array of pixel value differences (hereinafter referred to as “ghost pixel values”) for each pixel corresponding to main pixel data and sub-pixel data. In the ghost extraction data of this example, the value of the region where the ghost image exists in the main pixel data (ghost pixel value) is positive, and the value of the region where the ghost image exists in the subpixel data (ghost pixel value) is negative. It becomes. The value is zero in a region where neither ghost data exists in the main pixel data nor the sub pixel data. However, since the value actually does not become zero due to the influence of noise or the like, the main pixel and the sub pixel data are generated when generating the ghost extraction data. When the difference between the pixel value and the pixel is equal to or smaller than the threshold value, adjustment (zero adjustment) forcing the value of the ghost extraction data to zero may be performed. The value of the ghost extraction data (ghost pixel value) has a positive / negative polarity as described above, but in FIG. 9, for the convenience of illustration, the ghost pixel value is displayed as a gradation with an absolute value. In FIG. 9, a portion that is not a ghost image (background sky portion) is also extracted because there is a difference in pixel value between the main pixel and the sub-pixel, but actually differs because it differs from the color caused by the ghost light. Are eliminated by filtering.
ステップＳ１１２にて、ＣＰＵ４０は、ゴースト抽出データを出力する。本例では、メモリ４８に出力するが、特に出力先は限定されない。 In step S112, CPU 40 outputs ghost extraction data. In this example, the data is output to the memory 48, but the output destination is not particularly limited.
尚、副画素データに対し像ずれ補正を行った場合を例に説明したが、主画素データに対し像ずれ補正を行ってもよい。主画素データおよび副画素データの両方に対し像ずれ補正を行ってもよい。 In addition, although the case where the image shift correction is performed on the sub-pixel data has been described as an example, the image shift correction may be performed on the main pixel data. Image shift correction may be performed on both main pixel data and sub-pixel data.
本実施形態では、主画素データ（第１の視点画像）と副画素データ（第２の視点画像）との視差による像ずれ量を算出し、その像ずれ量に基づいて主画素データと副画素データとの視差による像ずれを補正し、像ずれ補正後の主画素データと副画素データとを比較することで、主画素データおよび副画素データ内のゴースト像を検出する構成なので、１回の単眼立体撮像でゴースト像を検出することができるとともにゴースト像の誤検出を防止することができる。 In this embodiment, an image shift amount due to parallax between main pixel data (first viewpoint image) and sub-pixel data (second viewpoint image) is calculated, and main pixel data and sub-pixels are calculated based on the image shift amount. Since the image shift due to the parallax with the data is corrected and the ghost image in the main pixel data and the sub pixel data is detected by comparing the main pixel data and the sub pixel data after the image shift correction, A ghost image can be detected by monocular stereoscopic imaging, and erroneous detection of the ghost image can be prevented.
＜第２実施形態＞
図１０は、第２実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を除去するゴースト像除去処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段、ゴースト像検出手段、ゴースト像除去手段および像ずれ量戻し手段が構成されている。
Second Embodiment
FIG. 10 is a flowchart showing a flow of an example of ghost image processing in the second embodiment. This process is a ghost image removal process for removing a ghost image from a plurality of viewpoint images constituting a stereoscopic image, and is performed by the CPU 40 of FIG. The CPU 40 constitutes an image deviation amount calculation means, an image deviation correction means, a ghost image detection means, a ghost image removal means, and an image deviation amount return means in the present invention.
尚、本処理の開始前、既に、図５に示したゴースト像抽出処理が済んでいるものとする。 It is assumed that the ghost image extraction process shown in FIG. 5 has already been completed before the start of this process.
ステップＳ２０２にて、ＣＰＵ４０は、ゴースト抽出データ（ゴースト抽出画像）を取得する。本例では、メモリ４８から取得する。 In step S202, CPU 40 acquires ghost extraction data (ghost extraction image). In this example, it is acquired from the memory 48.
ステップＳ２０４にて、ＣＰＵ４０は、主画素補正を開始する。本例では主画素データが既にメモリ４８に格納されているが、メモリ４８上に無ければメモリカード５４等から取得する。 In step S204, the CPU 40 starts main pixel correction. In this example, the main pixel data is already stored in the memory 48, but if it is not on the memory 48, it is obtained from the memory card 54 or the like.
ステップＳ２０６にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した主画素に対応する値（ゴースト画素値）が正であるか否かを判定する。 In step S206, the CPU 40 refers to the ghost extraction data and determines whether or not the value (ghost pixel value) corresponding to the focused main pixel is positive.
ゴースト抽出データの値が負または０である場合（主画素ゴースト無しの場合）、ステップＳ２０８にて、ＣＰＵ４０は、主画素データの値（主画素値）を参照し、そのまま採用する。 When the value of the ghost extraction data is negative or 0 (when there is no main pixel ghost), in step S208, the CPU 40 refers to the value of the main pixel data (main pixel value) and adopts it as it is.
ゴースト抽出データの値が正である場合（主画素ゴースト有りの場合）、ステップＳ２１０にて、ＣＰＵ４０は、主画素値からゴースト抽出データの値（ゴースト画素値）を差し引く。即ち、ゴースト画素値の絶対値を差し引く。 When the value of the ghost extraction data is positive (when the main pixel ghost is present), in step S210, the CPU 40 subtracts the value of the ghost extraction data (ghost pixel value) from the main pixel value. That is, the absolute value of the ghost pixel value is subtracted.
ステップＳ２１２にて、ＣＰＵ４０は、全主画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ２０６に戻り、終了した場合にはステップＳ２１４に進む。 In step S212, the CPU 40 determines whether or not the correction has been completed for all the main pixels. If the correction has not been completed, the process returns to step S206, and if completed, the process proceeds to step S214.
ステップＳ２１４にて、ＣＰＵ４０は、メディアコントローラ５２により、ゴースト成分が除去された主画素データをメモリカード５４に出力する。 In step S <b> 214, the CPU 40 outputs the main pixel data from which the ghost component has been removed by the media controller 52 to the memory card 54.
ステップＳ２１６にて、ＣＰＵ４０は、副画素補正を開始する。本例では副画素データが既にメモリ４８に格納されているが、メモリ４８上に無ければメモリカード５４等から取得する。 In step S216, CPU 40 starts subpixel correction. In this example, the sub-pixel data is already stored in the memory 48, but if it is not on the memory 48, it is obtained from the memory card 54 or the like.
ステップＳ２１８にて、ＣＰＵ４０は、視差マップに基づいて、主画素データと副画素データとの視差に因る像ずれを補正する。本例では、図５のステップＳ１０８と同様であり、副画素に対して像ずれ補正を行う。 In step S218, the CPU 40 corrects image shift caused by the parallax between the main pixel data and the sub-pixel data based on the parallax map. In this example, it is the same as step S108 in FIG. 5, and image shift correction is performed on the sub-pixel.
ステップＳ２２０にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した副画素に対応する値（ゴースト画素値）が負であるか否かを判定する。 In step S220, the CPU 40 refers to the ghost extraction data and determines whether or not the value (ghost pixel value) corresponding to the focused sub-pixel is negative.
ゴースト抽出データの値が負である場合（副画素ゴースト有りの場合）、ステップＳ２２２にて、ＣＰＵ４０は、副画素値にゴースト抽出データの値（ゴースト画素値）を加える。即ち、ゴースト画素値の絶対値を差し引く。 When the value of the ghost extraction data is negative (when there is a subpixel ghost), in step S222, the CPU 40 adds the value of the ghost extraction data (ghost pixel value) to the subpixel value. That is, the absolute value of the ghost pixel value is subtracted.
ゴースト抽出データの値が正または０である場合（副画素ゴースト無しの場合）、ステップＳ２２４にて、ＣＰＵ４０は、副画素データの値（副画素値）を参照し、そのまま採用する。 If the value of the ghost extraction data is positive or 0 (in the case of no subpixel ghost), the CPU 40 refers to the value of the subpixel data (subpixel value) and adopts it as it is in step S224.
ステップＳ２２６にて、ＣＰＵ４０は、全副画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ２２０に戻り、終了した場合にはステップＳ２２８に進む。 In step S226, the CPU 40 determines whether or not the correction has been completed for all the sub-pixels. If not completed, the CPU 40 returns to step S220, and if completed, the process proceeds to step S228.
ステップＳ２２８にて、ＣＰＵ４０は、視差マップに基づいて、ゴースト像除去後の副画素データの像ずれを回復する。即ち、図８に示すように視差に因る像ずれを元に戻す。 In step S228, the CPU 40 recovers the image shift of the subpixel data after the ghost image is removed based on the parallax map. That is, the image shift caused by the parallax is restored as shown in FIG.
ステップＳ２３０にて、ＣＰＵ４０は、メディアコントローラ５２により、ゴースト成分が除去された副画素データをメモリカード５４に出力する。 In step S <b> 230, the CPU 40 outputs the subpixel data from which the ghost component has been removed to the memory card 54 by the media controller 52.
以上のように、本実施形態では、ゴースト抽出データの値（ゴースト画素値）の極性に基づいて第１の視点画像（主画素データ）および第２の視点画像の各々にて前記ゴースト像が存在する部分を認識し、像ずれ補正後の第１の視点画像および第２の視点画像の各々のゴースト像が存在する部分の画素値からゴースト抽出画像の画素値の絶対値を差し引くことでゴースト像の除去を行うとともに、視差マップに基づいて、ゴースト像除去後の第１の視点画像と第２の視点画像との像ずれ量を像ずれ補正前の量に戻す。 As described above, in the present embodiment, the ghost image exists in each of the first viewpoint image (main pixel data) and the second viewpoint image based on the polarity of the value of the ghost extraction data (ghost pixel value). The ghost image is recognized by subtracting the absolute value of the pixel value of the ghost extracted image from the pixel value of the portion where the ghost image of each of the first viewpoint image and the second viewpoint image after the image shift correction is recognized. And the image shift amount between the first viewpoint image and the second viewpoint image after removal of the ghost image is returned to the amount before the image shift correction based on the parallax map.
＜第３実施形態＞
図１１は、第３実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を除去するゴースト像除去処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段、ゴースト像検出手段、ゴースト像除去手段および像ずれ量戻し手段が構成されている。
<Third Embodiment>
FIG. 11 is a flowchart showing an exemplary flow of ghost image processing in the third embodiment. This process is a ghost image removal process for removing a ghost image from a plurality of viewpoint images constituting a stereoscopic image, and is performed by the CPU 40 of FIG. The CPU 40 constitutes an image deviation amount calculation means, an image deviation correction means, a ghost image detection means, a ghost image removal means, and an image deviation amount return means in the present invention.
尚、本処理の開始前、既に、図５に示したゴースト像抽出処理が済んでいるものとする。 It is assumed that the ghost image extraction process shown in FIG. 5 has already been completed before the start of this process.
ステップＳ３０２〜Ｓ３０４は、第２実施形態におけるステップＳ２０２〜Ｓ２０４と同様である。 Steps S302 to S304 are the same as steps S202 to S204 in the second embodiment.
ステップＳ３０６にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した主画素に対応する値（ゴースト画素値）が正であるか否かを判定する。 In step S306, the CPU 40 refers to the ghost extraction data and determines whether or not the value (ghost pixel value) corresponding to the focused main pixel is positive.
ゴースト抽出データの値が負または０である場合（主画素ゴースト無しの場合）、ステップＳ３０８にて、ＣＰＵ４０は、主画素値を参照し、そのまま主画素値として採用する。 When the value of the ghost extraction data is negative or 0 (when there is no main pixel ghost), the CPU 40 refers to the main pixel value and adopts it as the main pixel value as it is in step S308.
ゴースト抽出データの値が正である場合（主画素ゴースト有りの場合）、ステップＳ３１０にて、ＣＰＵ４０は、副画素値を参照し、その副画素値を新たな主画素値として採用する。 When the value of the ghost extraction data is positive (when the main pixel ghost is present), in step S310, the CPU 40 refers to the subpixel value and adopts the subpixel value as a new main pixel value.
ステップＳ３１２にて、ＣＰＵ４０は、全主画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ３０６に戻り、終了した場合にはステップＳ３１４に進む。 In step S312, the CPU 40 determines whether or not the correction has been completed for all the main pixels. If the correction has not been completed, the process returns to step S306, and if completed, the process proceeds to step S314.
ステップＳ３１４〜Ｓ３１８は、第２実施形態におけるステップＳ２１４〜Ｓ２１８と同様である。 Steps S314 to S318 are the same as steps S214 to S218 in the second embodiment.
ステップＳ３２０にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した主画素に対応する値（ゴースト画素値）が負であるか否かを判定する。 In step S320, the CPU 40 refers to the ghost extraction data and determines whether or not the value (ghost pixel value) corresponding to the focused main pixel is negative.
ゴースト抽出データの値が負である場合（副画素ゴースト有りの場合）、ステップＳ３２２にて、ＣＰＵ４０は、主画素値を参照し、その主画素値を新たな副画素値として採用する。 When the value of the ghost extraction data is negative (when the sub-pixel ghost is present), in step S322, the CPU 40 refers to the main pixel value and adopts the main pixel value as a new sub-pixel value.
ゴースト抽出データの値が正または０である場合（副画素ゴースト無しの場合）、ステップＳ３２４にて、ＣＰＵ４０は、副画素値を参照し、そのまま副画素値として採用する。 When the value of the ghost extraction data is positive or 0 (when there is no subpixel ghost), the CPU 40 refers to the subpixel value and adopts it as the subpixel value as it is in step S324.
ステップＳ３２６にて、ＣＰＵ４０は、全副画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ３２０に戻り、終了した場合にはステップＳ３２８に進む。 In step S326, the CPU 40 determines whether or not the correction has been completed for all the sub-pixels. If not completed, the process returns to step S320, and if completed, the process proceeds to step S328.
ステップＳ３２８〜Ｓ３３０は、第２実施形態におけるステップＳ２２８〜Ｓ２３０と同様である。 Steps S328 to S330 are the same as steps S228 to S230 in the second embodiment.
以上のように、本実施形態では、像ずれ補正後の第１の視点画像（主画素データ）および第２の視点画像（副画素データ）のうち一方の視点画像のゴースト像を他方の視点画像のゴースト像が存在しない部分の画像に置き換えることでゴースト像の除去を行うとともに、視差マップに基づいて、ゴースト像除去後の第１の視点画像と第２の視点画像との像ずれを回復する。 As described above, in the present embodiment, a ghost image of one viewpoint image of the first viewpoint image (main pixel data) and the second viewpoint image (subpixel data) after image shift correction is used as the other viewpoint image. The ghost image is removed by replacing the ghost image with an image in which the ghost image does not exist, and the image shift between the first viewpoint image and the second viewpoint image after the ghost image removal is recovered based on the parallax map. .
＜第４実施形態＞
図１２は、第４実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を除去するゴースト像除去処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段、画像合成手段および複数視点化手段が構成されている。尚、本処理では、図５に示したゴースト像抽出処理は不要である。
<Fourth embodiment>
FIG. 12 is a flowchart showing a flow of an example of ghost image processing in the fourth embodiment. This process is a ghost image removal process for removing a ghost image from a plurality of viewpoint images constituting a stereoscopic image, and is performed by the CPU 40 of FIG. The CPU 40 constitutes an image shift amount calculation unit, an image shift correction unit, an image composition unit, and a multi-viewpoint unit according to the present invention. In this process, the ghost image extraction process shown in FIG. 5 is unnecessary.
ステップＳ４０２〜Ｓ４０８は、図５におけるステップＳ１０２〜Ｓ１０８と同様である。 Steps S402 to S408 are the same as steps S102 to S108 in FIG.
ステップＳ４１０にて、ＣＰＵ４０は、像ずれ補正後の主画素と副画素とで対応画素間の明るさ（輝度）を比較する。主画素の方が明るい場合には、ステップＳ４１２にて副画素の値を参照して合成画素値として採用し、副画素の方が明るい場合または明るさが同じ場合には、ステップＳ４１４にて主画素の値を参照して合成画素値として採用する。 In step S410, the CPU 40 compares the brightness (luminance) between corresponding pixels between the main pixel and the sub-pixel after image shift correction. If the main pixel is brighter, the value of the subpixel is referred to in step S412, and the combined pixel value is adopted. If the subpixel is brighter or the brightness is the same, the main pixel is determined in step S414. The pixel value is referred to and used as a synthesized pixel value.
ステップＳ４１６にて、ＣＰＵ４０は、全合成画素の採用（決定）が終了したか否かを判定し、未終了の場合にはステップＳ４１０に戻り、終了した場合にはステップＳ４１６に進む。 In step S416, the CPU 40 determines whether or not the adoption (determination) of all composite pixels has been completed. If not completed, the CPU 40 returns to step S410, and if completed, the process proceeds to step S416.
全画素の採用が終了すると、図１３に示すように、主画素データおよび副画素データから暗部のみが抽出された１枚の合成画像（以下「暗部抽出画像データ」という）が得られる。この暗部抽出画像データは、暗部のみを抽出した画像であるためゴースト像を含まない。即ち、ゴースト像が除去された１枚の画像が得られる。 When the adoption of all the pixels is completed, as shown in FIG. 13, one composite image (hereinafter referred to as “dark part extracted image data”) in which only the dark part is extracted from the main pixel data and the sub-pixel data is obtained. This dark part extracted image data does not include a ghost image because it is an image obtained by extracting only the dark part. That is, one image from which the ghost image has been removed is obtained.
ステップＳ４１８にて、ＣＰＵ４０は、ステップＳ４０６で算出した像ずれ量に基づいて、暗部抽出画像データから新たな立体画像（複数の視点画像）を生成する。即ち、複数視点化を行う。本例では、暗部抽出画像データが主画素データと同じ視点の画像であるため、この暗部抽出画像データを新たな主画素データとし、視差マップに基づいて暗部抽出画像データから新たな副画素データを生成する。これらの新たな主画素データと新たな副画素データとにより、ゴースト像を含まない新たな立体画像が構成される。 In step S418, the CPU 40 generates a new stereoscopic image (a plurality of viewpoint images) from the dark part extracted image data based on the image shift amount calculated in step S406. That is, multiple viewpoints are made. In this example, since the dark part extracted image data is an image of the same viewpoint as the main pixel data, this dark part extracted image data is used as new main pixel data, and new sub pixel data is obtained from the dark part extracted image data based on the parallax map. Generate. These new main pixel data and new subpixel data form a new stereoscopic image that does not include a ghost image.
ステップＳ４２０にて、ＣＰＵ４０は、メディアコントローラ５２により、新たな立体画像をメモリカード５４に出力する。 In step S <b> 420, CPU 40 causes media controller 52 to output a new stereoscopic image to memory card 54.
＜第５実施形態＞
次に、第５実施形態（瞳分割方向が複数ある場合）について説明する。
<Fifth Embodiment>
Next, a fifth embodiment (when there are a plurality of pupil division directions) will be described.
図１４（Ａ）は主画素＋副画素の配列を示し、図１４（Ｂ）は主画素のみの配列を示し、図１４（Ｃ）は副画素のみの配列を示す。 FIG. 14A shows an arrangement of main pixels + subpixels, FIG. 14B shows an arrangement of only main pixels, and FIG. 14C shows an arrangement of only subpixels.
本実施形態の位相差ＣＣＤ１６は、複数の瞳分割方向（図中のＸ方向およびＹ方向）にそれぞれ分離された複数の画素群対を有する。具体的には、位相差ＣＣＤ１６は、第１の瞳分割方向（図中のＸ方向）に分離された第１の主画素群６１ａおよび第１の副画素群６１ｂからなる第１の画素群対６１と、第１の瞳分割方向に直交する第２の瞳分割方向（図中のＹ方向）に分離された第２の主画素群６２ａおよび第２の副画素群６２ｂからなる第２の画素群対６２とを有する。 The phase difference CCD 16 of the present embodiment has a plurality of pixel group pairs separated in a plurality of pupil division directions (X direction and Y direction in the drawing). Specifically, the phase difference CCD 16 includes a first pixel group pair including a first main pixel group 61a and a first sub-pixel group 61b separated in a first pupil division direction (X direction in the drawing). 61 and a second pixel composed of a second main pixel group 62a and a second sub-pixel group 62b separated in a second pupil division direction (Y direction in the figure) orthogonal to the first pupil division direction A group pair 62.
なお、各画素群対における、フォトダイオードＰＤ、マイクロレンズＬおよび遮光部材１６Ａの対応関係は、基本的には、第１実施形態で説明した通りなので、ここでは説明を省略する。 Note that the correspondence relationship between the photodiode PD, the microlens L, and the light shielding member 16A in each pixel group pair is basically the same as that described in the first embodiment, and thus the description thereof is omitted here.
尚、瞳分割方向は、瞳の分割された領域同士を結ぶ方向（瞳を左半分と右半分とに分割した場合には左右方向、瞳を上半分と下半分とに分割した場合には上下方向）である。即ち、瞳を分割する仮想的な境界線に直交する方向である。但し、いわゆる屈曲光学系のように、撮影光学系と撮像素子の受光面とで光軸中心が一致しない場合には、撮影光学系における瞳分割方向を屈曲した光路に沿って撮像素子の受光面に投影した方向である。 Note that the pupil division direction is the direction connecting the divided areas of the pupil (the left and right direction when the pupil is divided into the left half and the right half, and the up and down direction when the pupil is divided into the upper half and the lower half. Direction). That is, the direction is orthogonal to the virtual boundary line dividing the pupil. However, when the optical axis center does not match between the imaging optical system and the light receiving surface of the image sensor as in a so-called bending optical system, the light receiving surface of the image sensor along the optical path bent in the pupil division direction in the imaging optical system. This is the direction projected on the screen.
本例の位相差ＣＣＤ１６によれば、横撮り時（即ち図１４（Ａ）のｘ軸を水平にした時）には、第１の画素群対６１（６１ａ，６１ｂ）によって生成された第１の視点画像および第２の視点画像によって立体画像を構成し、縦撮り時（即ち図１４（Ａ）を９０度回転してｘ軸を垂直にしたとき）には、第２の画素群対６２（６２ａ，６２ｂ）によって生成された第３の視点画像および第４の視点画像によって立体画像を構成することができる。 According to the phase difference CCD 16 of the present example, the first pixel group 61 (61a, 61b) generated by the first pixel group pair 61 is used during horizontal shooting (that is, when the x-axis in FIG. 14A is horizontal). A stereoscopic image is composed of the second viewpoint image and the second viewpoint image, and at the time of vertical shooting (that is, when the x-axis is rotated by 90 degrees in FIG. 14A), the second pixel group pair 62 A stereoscopic image can be formed by the third viewpoint image and the fourth viewpoint image generated by (62a, 62b).
次に、本実施形態におけるゴースト像処理について説明する。 Next, ghost image processing in this embodiment will be described.
まず、ＣＰＵ４０は、第１の視点画像と第２の視点画像との視差による像ずれ量（第１の像ずれ量）を算出するとともに、第３の視点画像と第４の視点画像との視差による像ずれ量（第２の像ずれ量）を算出する。次に、ＣＰＵ４０は、第１の像ずれ量に基づいて第１の視点画像と第２の視点画像との像ずれを補正するとともに、第２の像ずれ量に基づいて第３の視点画像と第４の視点画像との像ずれを補正する。次に、ＣＰＵ４０は、像ずれ補正後の第１の視点画像と第２の視点画像とを比較するとともに、像ずれ補正後の第３の視点画像と第４の視点画像とを比較することで、複数の視点画像内のゴースト像を検出する。 First, the CPU 40 calculates an image shift amount (first image shift amount) due to the parallax between the first viewpoint image and the second viewpoint image, and parallax between the third viewpoint image and the fourth viewpoint image. An image shift amount (second image shift amount) is calculated. Next, the CPU 40 corrects the image shift between the first viewpoint image and the second viewpoint image based on the first image shift amount, and the third viewpoint image based on the second image shift amount. An image shift from the fourth viewpoint image is corrected. Next, the CPU 40 compares the first viewpoint image and the second viewpoint image after the image shift correction, and compares the third viewpoint image and the fourth viewpoint image after the image shift correction. Detect ghost images in a plurality of viewpoint images.
本実施形態では、複数の画素群対６１、６２により得られた４視点の画像を用いることで、左右方向だけでなく、上下方向からの入射により発生するゴースト像を確実に検出することができる。 In the present embodiment, by using images of four viewpoints obtained by the plurality of pixel group pairs 61 and 62, it is possible to reliably detect a ghost image generated not only in the horizontal direction but also in the vertical direction. .
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。 The present invention is not limited to the examples described in the present specification and the examples illustrated in the drawings, and various design changes and improvements may be made without departing from the spirit of the present invention.
１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…位相差ＣＣＤ（撮像素子）、１６Ａ…遮光部材、１６Ｂ…遮光部材の開口、２４…デジタル信号処理部、４０…ＣＰＵ、４８…メモリ、５２…メディアコントローラ、５４…メモリカード、５６…ＥＥＰＲＯＭ、Ｌ…マイクロレンズ、ＰＤ…フォトダイオード（画素） DESCRIPTION OF SYMBOLS 10 ... Stereo imaging device, 12 ... Imaging optical system, 14 ... Diaphragm, 16 ... Phase difference CCD (imaging element), 16A ... Light shielding member, 16B ... Opening of light shielding member, 24 ... Digital signal processing part, 40 ... CPU, 48 ... Memory, 52 ... Media controller, 54 ... Memory card, 56 ... EEPROM, L ... Microlens, PD ... Photodiode (pixel)
Claims (14)
取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、
前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、
像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出手段と、
を備えたことを特徴とするゴースト像処理装置。 Image acquisition means for acquiring a plurality of viewpoint images generated by image sensors that photoelectrically convert light beams that have passed through different areas of a single imaging optical system;
An image shift amount calculating means for calculating an image shift amount due to parallax of the subject image between the acquired viewpoint images;
An image shift correction unit that corrects an image shift between the plurality of viewpoint images based on the image shift amount;
A ghost image detecting means for detecting a ghost image in the plurality of viewpoint images by comparing the plurality of viewpoint images after image shift correction;
A ghost image processing apparatus comprising:
前記ゴースト像が除去された前記複数の視点画像間の像ずれ量を像ずれ補正前の量に戻す像ずれ量戻し手段と、
を備えたことを特徴とする請求項２に記載のゴースト像処理装置。 Recognizing a portion where the ghost image exists in each of the plurality of viewpoint images based on the polarity of the difference in the ghost extraction data, and extracting the ghost image from each of the plurality of viewpoint images after image shift correction. Ghost image removing means for removing;
An image shift amount returning means for returning an image shift amount between the plurality of viewpoint images from which the ghost image has been removed to an amount before image shift correction;
The ghost image processing apparatus according to claim 2, further comprising:
前記画像取得手段は、前記第１の画素群、前記第２の画素群、前記第３の画素群および前記第４の画素群によりそれぞれ生成された第１の視点画像、第２の視点画像、第３の視点画像および第４の視点画像を取得し、
前記像ずれ量算出手段は、前記第１の視点画像と前記第２の視点画像との視差による第１の像ずれ量を算出するとともに、前記第３の視点画像と前記第４の視点画像との視差による第２の像ずれ量を算出し、
前記像ずれ補正手段は、前記第１の像ずれ量に基づいて前記第１の視点画像と前記第２の視点画像との像ずれを補正するとともに、前記第２の像ずれ量に基づいて前記第３の視点画像と前記第４の視点画像との像ずれを補正し、
前記ゴースト像検出手段は、像ずれ補正後の前記第１の視点画像と前記第２の視点画像とを比較するとともに、像ずれ補正後の前記第３の視点画像と前記第４の視点画像とを比較することで、前記複数の視点画像内のゴースト像を検出することを特徴とする請求項１ないし５のうちいずれか１項に記載のゴースト像処理装置。 The imaging device includes a first pixel group and a second pixel group separated in a first pupil division direction, and a third and a fourth pixel group separated in a second pupil division direction. ,
The image acquisition means includes a first viewpoint image, a second viewpoint image generated by the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group, Obtaining a third viewpoint image and a fourth viewpoint image;
The image shift amount calculation means calculates a first image shift amount due to a parallax between the first viewpoint image and the second viewpoint image, and also includes the third viewpoint image and the fourth viewpoint image. A second image shift amount due to the parallax of
The image shift correction unit corrects an image shift between the first viewpoint image and the second viewpoint image based on the first image shift amount, and based on the second image shift amount. Correcting an image shift between the third viewpoint image and the fourth viewpoint image;
The ghost image detection means compares the first viewpoint image and the second viewpoint image after image shift correction, and the third viewpoint image and the fourth viewpoint image after image shift correction. The ghost image processing apparatus according to claim 1, wherein a ghost image in the plurality of viewpoint images is detected by comparing the ghost images.
取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、
前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、
像ずれ補正後の前記複数の視点画像の対応画素間で明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成手段と、
を備えたことを特徴とするゴースト像処理装置。 Image acquisition means for acquiring a plurality of viewpoint images generated by image sensors that photoelectrically convert light beams that have passed through different areas of a single imaging optical system;
An image shift amount calculating means for calculating an image shift amount due to parallax of the subject image between the acquired viewpoint images;
An image shift correction unit that corrects an image shift between the plurality of viewpoint images based on the image shift amount;
Image synthesizing means for generating a synthesized image that does not include a ghost image by comparing the brightness between corresponding pixels of the plurality of viewpoint images after image shift correction and extracting only the darker part;
A ghost image processing apparatus comprising:
取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、
前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、
像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出工程と、
を備えたことを特徴とするゴースト像処理方法。 An image acquisition step of acquiring a plurality of viewpoint images generated by an image sensor that photoelectrically converts light beams that have passed through different regions of a single photographing optical system;
An image shift amount calculating step of calculating an image shift amount due to the parallax of the subject image between the acquired viewpoint images;
An image shift correction step of correcting an image shift between the plurality of viewpoint images based on the image shift amount;
A ghost image detection step of detecting a ghost image in the plurality of viewpoint images by comparing the plurality of viewpoint images after image shift correction;
A ghost image processing method comprising:
前記ゴースト像が除去された前記複数の視点画像間の像ずれ量を像ずれ補正前の量に戻す像ずれ量戻し工程と、
を備えたことを特徴とする請求項１０に記載のゴースト像処理方法。 Recognizing a region where the ghost image exists in each of the plurality of viewpoint images based on the polarity of the difference in the ghost extraction data, the ghost image is obtained from each of the plurality of viewpoint images after image shift correction. A ghost image removing step to be removed;
An image shift amount returning step for returning an image shift amount between the plurality of viewpoint images from which the ghost image has been removed to an amount before image shift correction;
The ghost image processing method according to claim 10, further comprising:
取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、
前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、
像ずれ補正後の前記複数の視点画像の対応画素間で明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成工程と、
を備えたことを特徴とするゴースト像処理方法。 An image acquisition step of acquiring a plurality of viewpoint images generated by an image sensor that photoelectrically converts light beams that have passed through different regions of a single photographing optical system;
An image shift amount calculating step of calculating an image shift amount due to the parallax of the subject image between the acquired viewpoint images;
An image shift correction step of correcting an image shift between the plurality of viewpoint images based on the image shift amount;
An image synthesis step of generating a composite image that does not include a ghost image by comparing the brightness between corresponding pixels of the plurality of viewpoint images after image shift correction and extracting only the darker part;
A ghost image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010072513A JP5284306B2 (en) | 2010-03-26 | 2010-03-26 | Stereoscopic imaging device, ghost image processing device, and ghost image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010072513A JP5284306B2 (en) | 2010-03-26 | 2010-03-26 | Stereoscopic imaging device, ghost image processing device, and ghost image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011205531A true JP2011205531A (en) | 2011-10-13 |
| JP5284306B2 JP5284306B2 (en) | 2013-09-11 |
Family
ID=44881661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010072513A Expired - Fee Related JP5284306B2 (en) | 2010-03-26 | 2010-03-26 | Stereoscopic imaging device, ghost image processing device, and ghost image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5284306B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013031349A1 (en) * | 2011-08-30 | 2013-03-07 | 富士フイルム株式会社 | Imaging device and imaging method |
| JP2013157726A (en) * | 2012-01-27 | 2013-08-15 | Canon Inc | Imaging apparatus and method for controlling imaging apparatus |
| JP2013179564A (en) * | 2012-02-01 | 2013-09-09 | Canon Inc | Image processing method, image processing device, and imaging device |
| CN104717476A (en) * | 2013-12-11 | 2015-06-17 | 佳能株式会社 | Image processing method, image processing apparatus, and image capturing apparatus |
| EP2934005A1 (en) | 2014-04-18 | 2015-10-21 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, image processing program, and storage medium |
| JP2016163171A (en) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | Image processing device, photographing device, image processing method, image processing program, and recording medium |
| JP2016163169A (en) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | Image processing device, photographing device, image processing method, image processing program, and recording medium |
| US20170154408A1 (en) * | 2015-11-30 | 2017-06-01 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium |
| JP2017108377A (en) * | 2015-11-30 | 2017-06-15 | キヤノン株式会社 | Image processing apparatus, image processing method, imaging apparatus, program, and storage medium |
| US10063829B2 (en) | 2014-04-18 | 2018-08-28 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
| CN113052781A (en) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | Image detection method, device, equipment, system and storage medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6856999B2 (en) | 2016-09-23 | 2021-04-14 | キヤノン株式会社 | Image processing equipment, image processing methods and programs |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000193883A (en) * | 1998-12-25 | 2000-07-14 | Sanyu Seni:Kk | Optical part for photographing stereoimage and stereoimage photographing device using it |
| JP2005091865A (en) * | 2003-09-18 | 2005-04-07 | Olympus Corp | System for extending depth of field |
-
2010
- 2010-03-26 JP JP2010072513A patent/JP5284306B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000193883A (en) * | 1998-12-25 | 2000-07-14 | Sanyu Seni:Kk | Optical part for photographing stereoimage and stereoimage photographing device using it |
| JP2005091865A (en) * | 2003-09-18 | 2005-04-07 | Olympus Corp | System for extending depth of field |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9185389B2 (en) | 2011-08-30 | 2015-11-10 | Fujifilm Corporation | Imaging device and imaging method |
| JP5536959B2 (en) * | 2011-08-30 | 2014-07-02 | 富士フイルム株式会社 | Imaging apparatus, imaging method, and program |
| EP2753062A1 (en) * | 2011-08-30 | 2014-07-09 | Fujifilm Corporation | Imaging device and imaging method |
| EP2753062A4 (en) * | 2011-08-30 | 2015-02-11 | Fujifilm Corp | Imaging device and imaging method |
| JPWO2013031349A1 (en) * | 2011-08-30 | 2015-03-23 | 富士フイルム株式会社 | Imaging apparatus, imaging method, and program |
| WO2013031349A1 (en) * | 2011-08-30 | 2013-03-07 | 富士フイルム株式会社 | Imaging device and imaging method |
| JP2013157726A (en) * | 2012-01-27 | 2013-08-15 | Canon Inc | Imaging apparatus and method for controlling imaging apparatus |
| JP2013179564A (en) * | 2012-02-01 | 2013-09-09 | Canon Inc | Image processing method, image processing device, and imaging device |
| US10049439B2 (en) | 2013-12-11 | 2018-08-14 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium |
| CN104717476A (en) * | 2013-12-11 | 2015-06-17 | 佳能株式会社 | Image processing method, image processing apparatus, and image capturing apparatus |
| CN104717476B (en) * | 2013-12-11 | 2017-11-17 | 佳能株式会社 | Image processing method, image processing apparatus and image capture apparatus |
| JP2015115730A (en) * | 2013-12-11 | 2015-06-22 | キヤノン株式会社 | Image processing method, image processing system, and imaging apparatus |
| US9684954B2 (en) | 2013-12-11 | 2017-06-20 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium |
| US10063829B2 (en) | 2014-04-18 | 2018-08-28 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
| EP2934005A1 (en) | 2014-04-18 | 2015-10-21 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, image processing program, and storage medium |
| US9894343B2 (en) | 2014-04-18 | 2018-02-13 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
| CN105007405B (en) * | 2014-04-18 | 2018-07-06 | 佳能株式会社 | Image processing method, image processing equipment and picture pick-up device |
| JP2015207851A (en) * | 2014-04-18 | 2015-11-19 | キヤノン株式会社 | image processing method, image processing apparatus, imaging apparatus, image processing program, and storage medium |
| CN105007405A (en) * | 2014-04-18 | 2015-10-28 | 佳能株式会社 | Image processing method, image processing apparatus and image pickup apparatus |
| JP2016163169A (en) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | Image processing device, photographing device, image processing method, image processing program, and recording medium |
| JP2016163171A (en) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | Image processing device, photographing device, image processing method, image processing program, and recording medium |
| US10097806B2 (en) | 2015-03-02 | 2018-10-09 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, non-transitory computer-readable storage medium for improving quality of image |
| US10116923B2 (en) | 2015-03-02 | 2018-10-30 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of image |
| JP2017108377A (en) * | 2015-11-30 | 2017-06-15 | キヤノン株式会社 | Image processing apparatus, image processing method, imaging apparatus, program, and storage medium |
| US20170154408A1 (en) * | 2015-11-30 | 2017-06-01 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium |
| US10325356B2 (en) | 2015-11-30 | 2019-06-18 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing |
| CN113052781A (en) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | Image detection method, device, equipment, system and storage medium |
| CN113052781B (en) * | 2019-12-26 | 2024-04-12 | 华为技术有限公司 | Image detection method, device, equipment, system and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5284306B2 (en) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5284306B2 (en) | Stereoscopic imaging device, ghost image processing device, and ghost image processing method | |
| JP5192096B2 (en) | Stereo imaging device | |
| JP5640143B2 (en) | Imaging apparatus and imaging method | |
| JP5180407B2 (en) | Stereo imaging device and parallax image restoration method | |
| JP5421829B2 (en) | Imaging device | |
| JP5871989B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5368350B2 (en) | Stereo imaging device | |
| JP5451894B2 (en) | Stereo imaging device and shading correction method | |
| US20110234767A1 (en) | Stereoscopic imaging apparatus | |
| JP5469258B2 (en) | Imaging apparatus and imaging method | |
| CN103733606B (en) | Imaging device | |
| CN102860015A (en) | Three-dimensional image capture device, image player device, and editing software | |
| US9124875B2 (en) | Stereoscopic imaging apparatus | |
| WO2013069445A1 (en) | Three-dimensional imaging device and image processing method | |
| JP5628914B2 (en) | Imaging apparatus and imaging method | |
| WO2012043003A1 (en) | Three-dimensional image display device, and three-dimensional image display method | |
| JP2012124650A (en) | Imaging apparatus, and imaging method | |
| JP2010200024A (en) | Three-dimensional image display device and three-dimensional image display method | |
| WO2013031392A1 (en) | 3d imaging device | |
| JP2014063190A (en) | Imaging apparatus | |
| JP5649837B2 (en) | Stereo imaging device | |
| JP2011077680A (en) | Stereoscopic camera and method for controlling photographing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130529 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |