JP2013106265A - Image processor, imaging apparatus, image processing program and control program of imaging apparatus - Google Patents
Image processor, imaging apparatus, image processing program and control program of imaging apparatus Download PDFInfo
- Publication number
- JP2013106265A JP2013106265A JP2011249927A JP2011249927A JP2013106265A JP 2013106265 A JP2013106265 A JP 2013106265A JP 2011249927 A JP2011249927 A JP 2011249927A JP 2011249927 A JP2011249927 A JP 2011249927A JP 2013106265 A JP2013106265 A JP 2013106265A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- image data
- area
- parallax image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 230000002093 peripheral effect Effects 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 78
- 230000004907 flux Effects 0.000 abstract description 50
- 210000001747 pupil Anatomy 0.000 abstract description 15
- 230000003252 repetitive effect Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラムに関する。 The present invention relates to an image processing device, an imaging device, an image processing program, and a control program for the imaging device.
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報
A stereo imaging device that captures a stereo image composed of a right-eye image and a left-eye image using two imaging optical systems is known. Such a stereo imaging device causes parallax to occur in two images obtained by imaging the same subject by arranging two imaging optical systems at regular intervals.
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP-A-8-47001
複数の視差画像をそれぞれ独立した撮像系で取得する場合であれば、口径食の影響を事実上無視し得る。しかし、ひとつの撮像系から一度の露光動作により複数の視差画像を生成するための画像信号を出力する撮像素子の場合、口径食に起因して瞳の周辺部を通過する光束が撮像素子の周辺部に到達しないという課題がある。 If a plurality of parallax images are acquired by independent imaging systems, the effects of vignetting can be virtually ignored. However, in the case of an image sensor that outputs an image signal for generating a plurality of parallax images by one exposure operation from one image pickup system, the light flux that passes through the periphery of the pupil due to vignetting is the periphery of the image sensor. There is a problem of not reaching the department.
本発明の第１の態様における画像処理装置は、同一シーンに対して互いに視差を有する複数の視差画像データを取得する画像データ取得部と、複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定部とを備える。 An image processing apparatus according to a first aspect of the present invention includes an image data acquisition unit that acquires a plurality of parallax image data having parallax with respect to the same scene, and at least a part of the parallax image data And an area establishing unit that determines an effective image area having a size different from that of other parallax image data.
本発明の第２の態様における撮像装置は、同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子と、複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、視差画像信号の出力を制御する出力制御部とを備える。 An imaging device according to a second aspect of the present invention includes an imaging device capable of outputting parallax image signals for generating a plurality of parallax image data having parallax with respect to the same scene, and a plurality of parallax image data. An output control unit that controls the output of the parallax image signal so that at least a part of the parallax image data has an effective image area having a size different from that of the other parallax image data.
本発明の第３の態様における画像処理プログラムは、同一シーンに対して互いに視差を有する複数の視差画像データを取得する画像データ取得ステップと、複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定ステップとをコンピュータに実行させる。 An image processing program according to a third aspect of the present invention includes an image data acquisition step of acquiring a plurality of parallax image data having parallax with respect to the same scene, and at least a part of the parallax images of the plurality of parallax image data The computer is caused to execute an area establishing step for determining an effective image area having a size different from that of other parallax image data.
本発明の第４の態様における撮像装置の制御プログラムは、同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子を備える撮像装置の制御プログラムであって、複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、視差画像信号の出力を制御する出力制御ステップをコンピュータに実行させる。 An imaging device control program according to a fourth aspect of the present invention is an imaging device control program including an imaging device capable of outputting parallax image signals for generating a plurality of parallax image data having parallax with respect to the same scene. An output control step for controlling the output of the parallax image signal so that at least a part of the parallax image data among the plurality of parallax image data has an effective image area having a size different from that of the other parallax image data. Is executed on the computer.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。 The digital camera according to the present embodiment, which is a form of the image processing apparatus and the imaging apparatus, is configured to be able to generate images with a plurality of viewpoints for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての絞り１９および撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。
FIG. 1 is a diagram illustrating the configuration of a digital camera 10 according to an embodiment of the present invention. The digital camera 10 includes a
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
As shown in the figure, the direction parallel to the
絞り１９は、制御部２０１の制御に従って、設定された絞り値（ｆ値）に対応する開口を形成する。撮影レンズ２０は、複数の光学レンズ群から構成される。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。シーンからの被写体光束は、撮影レンズ２０を透過し、その一部が絞り１９の開口に制限されて、撮像素子１００へ到達する。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
The
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。制御部２０１の一部である画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
The A /
一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、演算部２０６の演算結果に応じて実行される。演算部２０６は、操作部２０８を介してユーザから指定された撮影条件に従って、演算を実行する。
A series of shooting sequences is started when the
デジタルカメラ１０は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。
The digital camera 10 includes a parallax image shooting mode in addition to the normal shooting mode. The user can select one of these modes by operating the
デジタルカメラ１０は、システムメモリ２２１を備える。システムメモリ２２１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ２２１は、デジタルカメラ１０の動作時に必要な定数、変数、プログラム等を、デジタルカメラ１０の非動作時にも失われないように記録している。制御部２０１は、定数、変数、プログラム等を適宜メモリ２０３に展開して、デジタルカメラ１０の制御に利用する。
The digital camera 10 includes a
次に、撮像素子１００の構成について詳細に説明する。図２は、本実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
Next, the configuration of the
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
As shown in FIG. 2A, the
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
An image signal converted by the
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
On the other hand, the
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。
The
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
The
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
As described above, one unit of the
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
Note that in the case of an image sensor with good light collection efficiency and photoelectric conversion efficiency, the
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
There are various variations in the combination of the
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
When the pixel from which luminance information is acquired is a parallax pixel, that is, when the parallax image is output at least once as a monochrome image, the configuration of the
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
The
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の中央部付近の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。撮像素子１００がカラーフィルタ１０２を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることもできる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
Next, the relationship between the opening 104 of the
図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
As shown in FIG. 3, the
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口部１０４をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると言える。なお、図の例においては、開口部１０４の形状を縦長の長方形とするが、これに限らない。画素の中心に対して偏位して、瞳上の特定の部分領域を見込む開口であれば、さまざまな形状を採用し得る。
In the example shown in the drawing, six types of opening
図４は、撮像素子１００の中心部における視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は、撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群が、撮影レンズ２０に対して合焦位置に存在する被写体３０を捉えた場合の様子を模式的に示す。図４（ｂ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
FIG. 4 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject at the center of the
まず、撮像素子１００が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
First, the relationship between the parallax pixels and the subject when the
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
In other words, the position of the
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
As shown in FIG. 4A, the light beam emitted from the minute region Ot on the subject 30 that intersects the
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｂ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
Next, the relationship between the parallax pixels and the subject when the photographing
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｂ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。
Therefore, the subject luminous flux emitted from the minute region Ot ′ among the
図５は、撮像素子１００の周辺部における視差画素と被写体の関係を説明する概念図である。図５における被写体３０は、図４（ａ）と同様に、撮影レンズ２０に対して合焦位置に存在する。ここで、後述する口径食の影響がないとすれば、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光する。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
FIG. 5 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject in the peripheral portion of the
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素（開口部１０４ｆを有する視差画素）は、同じ部分領域Ｐｆからの被写体光束を受光している。
In other words, as long as the subject 30 exists at the in-focus position, the minute area captured by the photoelectric conversion element group differs according to the position of the
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、繰り返しパターン１１０ｔおよび１１０ｕにおける視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
In the
撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
When viewed as a whole of the
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
Therefore, when the outputs of the pixels corresponding to each other in each of the
ところで、撮影レンズ２０の瞳に設定された特定の部分領域が、撮影レンズ２０の光軸から遠い位置に存在すると、本来であれば撮像素子１００の周辺部へ到達する一部の光束が、撮影レンズ２０を支持する鏡筒枠などに遮断される。つまり、瞳の周辺領域に設定された部分領域は、いわゆる口径食の影響を受ける。図において、網点で示す瞳の周辺領域Ｖにおいては、微小領域Ｏｕから放射される被写体光束が口径食により遮断される。
By the way, if a specific partial region set in the pupil of the
したがって、周辺領域Ｖに包含される部分領域Ｐａを通過するはずであった、主光線をＲａとする被写体光束は、実際には開口部１０４ａを有する視差画素には到達しない。このような関係は、図において微小領域Ｏｕが光軸２１に対して対称の位置に存在する場合も同様である。すなわち、微小領域ＯｕがＸ軸プラス側に存在する場合は、周辺領域Ｖが部分領域Ｐｆを包含する。すると、部分領域Ｐｆを通過するはずであった、主光線をＲｆとする被写体光束は、撮像素子１００のＸ軸マイナス側である周辺部に位置する、開口部１０４ｆを有する視差画素には到達しない。
Therefore, the subject luminous flux having Ra as the principal ray that should have passed through the partial area Pa included in the peripheral area V does not actually reach the parallax pixel having the
つまり、被写界の周辺部から撮影レンズ２０へ入射する光束は、撮像素子１００の周辺部において開口部１０４ａまたは開口部１０４ｆを有する視差画素に到達しない。口径食の影響をどの程度受けるかは、撮影レンズ２０の瞳において設定された部分領域の位置と、撮像素子１００に対して当該部分領域からの光束を通過させる開口部１０４を有する視差画素が存在する位置等に依存する。具体的には、撮像素子１００において中心部から離れるほど口径食の陰となる領域が大きくなるので、視差画素がより周辺部に存在するほど、開口部１０４の偏位量が小さい視差画素にまで被写体光束が届かなくなる。この関係を更に説明する。
That is, the light beam incident on the photographing
図６は、撮像素子１００の各領域における繰り返しパターン１１０が口径食の影響を受ける様子を説明する説明図である。図６は、図３と同様に撮像素子１００を撮影レンズ２０側から見たときの様子を示すが、図３に対して開口マスク１０３の斜線とマイクロレンズ１０１の形状を省いている。
FIG. 6 is an explanatory diagram for explaining how the
開口部１０４がどのように口径食の影響を受けるかにより、撮像素子１００の受光面は、縦ストライプ状に例えば５つの領域に分割される。中心部を含む縦ストライプ状の領域Ａに配列されている繰り返しパターン１１０ｔにおいては、開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素のいずれもが、部分的にも口径食の陰になることは無い。
Depending on how the
領域Ａの右側（Ｘ軸プラス側）に隣接する領域ＢＲに配列されている繰り返しパターン１１０ｕＲにおいては、口径食の陰を網点で表すように、６つの視差画素のそれぞれ一部が口径食の陰になる。このとき、開口部１０４ａは、口径食の陰と重なる。つまり、開口部１０４ａに対応する光電変換素子１０８には、被写体光束が届かない。他方、開口部１０４ｂ〜１０４ｆは、口径食の陰とは重ならず、それぞれに対応する光電変換素子１０８は、各部分領域からの被写体光束を受光する。
In repeating
領域Ａの左側（Ｘ軸マイナス側）に隣接する領域ＢＬにおける現象は、領域ＢＲでの現象に対して左右対称となる。すなわち、領域ＢＬに配列されている繰り返しパターン１１０ｕＬにおいては、開口部１０４ｆが、口径食の陰と重なる。つまり、開口部１０４ｆに対応する光電変換素子１０８には、被写体光束が届かない。他方、開口部１０４ａ〜１０４ｅは、口径食の陰とは重ならず、それぞれに対応する光電変換素子１０８は、各部分領域からの被写体光束を受光する。
Phenomena in the region B L adjacent to the left side (X-axis negative side) of the region A becomes symmetrical with respect to a phenomenon in the area B R. That is, in the repeated
領域ＢＲの右側に隣接する領域ＣＲに配列されている繰り返しパターン１１０ｖＲにおいては、同様に網点で表すように、領域ＢＲに比較してさらに広く、６つの視差画素のそれぞれ一部が口径食の陰になる。このとき、開口部１０４ａと１０４ｂは、口径食の陰と重なる。つまり、開口部１０４ａと１０４ｂに対応する光電変換素子１０８には、被写体光束が届かない。他方、開口部１０４ｃ〜１０４ｆは、口径食の陰とは重ならず、それぞれに対応する光電変換素子１０８は、各部分領域からの被写体光束を受光する。
In repeating pattern 110v R which are arranged in a region C R adjacent to the right area B R, similarly as represented by dots, wider compared to the area B R, respectively a part of the six parallax pixels Is behind vignetting. At this time, the
領域ＢＬの左側に隣接する領域ＣＬにおける現象は、領域ＣＲでの現象に対して左右対称となる。すなわち、領域ＣＬに配列されている繰り返しパターン１１０ｖＬにおいては、開口部１０４ｆと１０４ｅが、口径食の陰と重なる。つまり、開口部１０４ｆと１０４ｅに対応する光電変換素子１０８には、被写体光束が届かない。他方、開口部１０４ａ〜１０４ｄは、口径食の陰とは重ならず、それぞれに対応する光電変換素子１０８は、各部分領域からの被写体光束を受光する。
Phenomena in the region C L adjacent to the left side of the region B L becomes symmetrical with respect to a phenomenon in the area C R. That is, in the repetitive pattern 110v L that is arranged in the area C L, the
口径食の影響をどの程度受けるかは、撮影レンズ２０の瞳において設定された部分領域の位置等に加え、鏡筒形状、焦点距離など使用される撮影レンズ２０の性質、更には、絞り値など撮影条件によっても異なる。したがって、図６で示した例は一例であり、いずれの開口部１０４が口径食の陰と重なるかは、これらの条件に依存する。
The degree of influence of vignetting is determined in addition to the position of the partial region set in the pupil of the photographing
しかし、一般的に、繰り返しパターン１１０に含まれる視差画素の開口部１０４のうち、瞳の周辺領域に設定された部分領域を見込む、偏位量が大きい開口部１０４ほど口径食の陰と重なる可能性が高いと言える。また、繰り返しパターン１１０が撮像素子１００の受光面に対して周辺部に配列されるほど、口径食の陰と重なる開口部１０４を有する視差画素の数が増える傾向にあると言える。なお、このとき、撮像素子１００の中心部の領域と周辺部の領域とを結ぶ方向は、開口部１０４の偏位方向（図においてはＸ軸方向）と平行である。すなわち、生成される複数の視差画像データが視差を与える方向と平行である。また、開口部１０４がどのように口径食の影響を受けるかにより撮像素子１００の受光面を複数の領域に分割するのであれば、図６で示したように、開口部１０４の偏位方向に直交する方向で分割し得る。
However, in general, among the
図７は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
FIG. 7 is a conceptual diagram illustrating processing for generating a parallax image. The figure shows, in order from the left column, the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
A repeating
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
However, since each pixel of the
ここで、開口部１０４ｆは、図６で示したように、領域ＣＬおよび領域ＢＬに存在する場合に口径食の陰と重なるので、これらの開口部１０４ｆを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データＩｍ＿ｆは、撮像素子１００の領域Ａ、ＢＲおよび領域ＣＲに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域ＣＬおよび領域ＢＬに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子１００の領域Ａ、領域ＢＲおよび領域ＣＲに対応する、被写体像が現れる画像領域を有効画像領域と定める。有効画像領域は、全画像領域に含まれる領域として座標値で定義され、視差画像データＩｍ＿ｆの付帯情報として記録される。あるいは、黒潰れとなった領域を切り落とし、定められた有効画像領域を残すクロップ処理を施して視差画像データＩｍ＿ｆを再構築しても良い。この場合は、クロップ処理前の画像領域に対する中心座標値を付帯情報として記録しておくと良い。
Here, as shown in FIG. 6, the
次に開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子について説明する。開口部１０４ｅを有する視差画素の出力を寄せ集めて配列し、横方向に６倍の補間処理を施して視差画像データＩｍ＿ｅを生成するまでは、視差画像データＩｍ＿ｆを生成する処理と同様である。
Next, how the parallax image data Im_e is generated by the output of the
ここで、開口部１０４ｅは、図６で示したように、領域ＣＬに存在する場合に口径食の陰と重なるので、この開口部１０４ｅを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データＩｍ＿ｅは、撮像素子１００の領域ＢＬ、領域Ａ、領域ＢＲおよび領域ＣＲに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域ＣＬに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子１００の領域ＢＬ、領域Ａ、領域ＢＲおよび領域ＣＲに対応する、被写体像が現れる画像領域を有効画像領域と定める。
Here, the
次に開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子について説明する。開口部１０４ｄを有する視差画素の出力を寄せ集めて配列し、横方向に６倍の補間処理を施して視差画像データＩｍ＿ｄを生成するまでは、視差画像データＩｍ＿ｆを生成する処理と同様である。また、開口部１０４ｄは、撮像素子１００上のいずれの領域に存在したとしても口径食の陰とは重ならない。したがって、被写体像が現れる全画像領域を有効画像領域と定める。
Next, how the parallax image data Im_d is generated by the output of the
次に開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子について説明する。開口部１０４ｃを有する視差画素の出力を寄せ集めて配列し、横方向に６倍の補間処理を施して視差画像データＩｍ＿ｃを生成するまでは、視差画像データＩｍ＿ｆを生成する処理と同様である。また、開口部１０４ｃは、撮像素子１００上のいずれの領域に存在したとしても口径食の陰とは重ならない。したがって、被写体像が現れる全画像領域を有効画像領域と定める。
Next, how the parallax image data Im_c is generated by the output of the
次に開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子について説明する。開口部１０４ｂを有する視差画素の出力を寄せ集めて配列し、横方向に６倍の補間処理を施して視差画像データＩｍ＿ｂを生成するまでは、視差画像データＩｍ＿ｆを生成する処理と同様である。
Next, how the parallax image data Im_b is generated by the output of the
ここで、開口部１０４ｂは、図６で示したように、領域ＣＲに存在する場合に口径食の陰と重なるので、この開口部１０４ｂを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データＩｍ＿ｂは、撮像素子１００の領域ＣＬ、領域ＢＬ、領域Ａおよび領域ＢＲに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域ＣＲに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子１００の領域ＣＬ、領域ＢＬ、領域Ａおよび領域ＢＲに対応する、被写体像が現れる画像領域を有効画像領域と定める。
Here, the
次に開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子について説明する。開口部１０４ａを有する視差画素の出力を寄せ集めて配列し、横方向に６倍の補間処理を施して視差画像データＩｍ＿ａを生成するまでは、視差画像データＩｍ＿ｆを生成する処理と同様である。
Next, how the parallax image data Im_a is generated by the output of the
ここで、開口部１０４ａは、図６で示したように、領域ＢＲおよび領域ＣＲに存在する場合に口径食の陰と重なるので、これらの開口部１０４ａを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データＩｍ＿ａは、撮像素子１００の領域ＣＬ、領域ＢＬおよび領域Ａに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域ＢＲおよび領域ＣＲに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子１００の領域ＣＬ、領域ＢＬおよび領域Ａに対応する、被写体像が現れる画像領域を有効画像領域と定める。
Here, the
以上のように、画像処理部２０５による画像処理により、横方向に視差を与える６つの視差画像データを生成することができる。上述の通り、それぞれの視差画像は、出力を寄せ集めた視差画素の撮像素子１００上の配列に起因して、互いに画角が異なり得る。したがって、これらの視差画像データを３Ｄ表示装置で再生する場合、観察者は、被写体の中心付近で６視点の３Ｄ画像として視認し、その両側付近で４視点、さらに周辺部で２視点の３Ｄ画像として視認する。
As described above, by the image processing by the
なお、３Ｄ表示装置は、それぞれの視差画像データに付帯情報として記録されている有効画像領域の情報を参照して、各々の視差画像を表示する。具体的には、３Ｄ表示装置は、有効画像領域の情報として含まれる座標情報を読み出して、視差画像間の相対的な位置合わせを行う。また、有効画像領域以外の領域を、例えば透明色として扱う、あるいは、他の視差画像により補間するなどの画像処理を施すこともできる。有効画像領域以外の領域が切り落とされている場合は、付帯情報として記録されている中心座標値により、視差画像間の相対的な位置合わせを行うことができる。また、切り落とされた領域に対しては、同様に透明化、補間処理などを行っても良い。 Note that the 3D display device displays each parallax image with reference to information on the effective image area recorded as supplementary information in each parallax image data. Specifically, the 3D display device reads coordinate information included as information on the effective image area, and performs relative alignment between parallax images. It is also possible to perform image processing such as handling an area other than the effective image area as, for example, a transparent color or interpolating with another parallax image. When an area other than the effective image area is cut off, relative alignment between parallax images can be performed based on the central coordinate value recorded as supplementary information. In addition, the cut-off area may be subjected to transparency and interpolation processing in the same manner.
上述の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図８は、繰り返しパターン１１０の他の例を示す図である。
In the above-described example, the example in which one horizontal row is periodically arranged as the repeating
図８（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
FIG. 8A shows an example in which a vertical pattern of six pixels is used as a repeating
図８（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
FIG. 8B shows an example in which six pixels adjacent in the oblique direction are used as the repeated
図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
When the
また、図６（ａ）（ｂ）の繰り返しパターン１１０における口径食が視差画素に与える影響は、図３の繰り返しパターン１１０と同様である。したがって、図７で説明した各処理を施せば、同様に有効画像領域が定められた６つの視差画像データを生成することができる。
Further, the influence of vignetting on the parallax pixels in the
上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできる。図９は、上下方向に視差を与える縦視差画像を出力する撮像素子１００の各領域における繰り返しパターン１１０が口径食の影響を受ける様子を説明する説明図である。図９は、図３と同様に表した図である。撮像素子１００の全体は、紙面上側から下側へ徐々にシフトする開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素を一組の繰り返しパターン１１０とする光電変換素子群が、二次元的かつ周期的に配列されている。
In the example described above, the case of generating a parallax image that gives a parallax in the left-right direction has been described. Of course, a parallax image that gives a parallax in the vertical direction can also be generated. FIG. 9 is an explanatory diagram for explaining how the
開口部１０４がどのように口径食の影響を受けるかにより、撮像素子１００の受光面は、横ストライプ状に例えば３つの領域に分割される。中心部を含む横ストライプ状の領域Ａに配列されている繰り返しパターン１１０ｔにおいては、開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素のいずれもが、部分的にも口径食の陰になることは無い。
Depending on how the
領域Ａの上側（Ｙ軸プラス側）に隣接する領域ＢＵに配列されている繰り返しパターン１１０ｕＵにおいては、口径食の陰を網点で表すように、６つの視差画素のそれぞれ一部が口径食の陰になる。このとき、開口部１０４ａは、口径食の陰と重なる。つまり、開口部１０４ａに対応する光電変換素子１０８には、被写体光束が届かない。他方、開口部１０４ｂ〜１０４ｆは、口径食の陰とは重ならず、それぞれに対応する光電変換素子１０８は、各部分領域からの被写体光束を受光する。
In repeating
領域Ａの下側（Ｙ軸マイナス側）に隣接する領域ＢＤにおける現象は、領域ＢＵでの現象に対して上下対称となる。すなわち、領域ＢＤに配列されている繰り返しパターン１１０ｕＤにおいては、開口部１０４ｆが、口径食の陰と重なる。つまり、開口部１０４ｆに対応する光電変換素子１０８には、被写体光束が届かない。他方、開口部１０４ａ〜１０４ｅは、口径食の陰とは重ならず、それぞれに対応する光電変換素子１０８は、各部分領域からの被写体光束を受光する。
Phenomena in the region B D adjacent to the lower side (Y-axis negative side) of the region A is vertically symmetrical with respect to a phenomenon in the area B U. That is, in the
このような撮像素子１００において、開口部１０４ａ〜１０４ｆに対応する視差画素の出力をそれぞれ寄せ集めて図７の処理と同様の処理を施すと、互いに縦方向に視差を与える視差画像データＩｍ＿ａ〜Ｉｍ＿ｆを生成することができる。ただし、開口部１０４ａが領域ＢＵに存在する場合に口径食の陰と重なるので、これらの開口部１０４ａを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データＩｍ＿ａは、撮像素子１００の領域ＡおよびＢＤに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域ＢＵに対応する画像領域は黒潰れとなる。したがって、視差画像データＩｍ＿ａについては、撮像素子１００の領域Ａおよび領域ＢＤに対応する、被写体像が現れる画像領域を有効画像領域と定める。
In such an
同様に、開口部１０４ｆが領域ＢＤに存在する場合に口径食の陰と重なるので、これらの開口部１０４ｆを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データＩｍ＿ｆは、撮像素子１００の領域ＡおよびＢＵに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域ＢＤに対応する画像領域は黒潰れとなる。したがって、視差画像データＩｍ＿ｆについては、撮像素子１００の領域Ａおよび領域ＢＵに対応する、被写体像が現れる画像領域を有効画像領域と定める。開口部１０４ｂ〜１０４ｅについては口径食の陰と重なることが無いので、これらの画像信号から生成される視差画像データＩｍ＿ｂ〜Ｉｍ＿ｅについては、被写体像が現れる全画像領域を有効画像領域と定める。
Similarly, when the
上述のように、口径食の影響をどの程度受けるかは、撮影レンズ２０の瞳において設定された部分領域の位置等に加え、鏡筒形状、焦点距離など使用される撮影レンズ２０の性質、更には、絞り値など撮影条件によっても異なる。そこで、デジタルカメラ１０は、システムメモリ２２１に、装着され得る撮影レンズ２０ごとに絞り値と有効画像領域を対応付ける有効画像領域設定テーブルを保持している。図１０は、デジタルカメラ１０が図３および図６を用いて説明した撮像素子１００を備える場合の、有効画像領域設定テーブルを説明する概念図である。
As described above, the degree of influence of vignetting depends on the properties of the
図は、例として焦点距離が５０ｍｍであって、設定可能な絞り値の範囲がｆ１．８〜ｆ２２．０の撮影レンズ２０についての有効画像領域設定テーブルの概念を表す。口径食の影響は、撮影時の絞り値が開放絞り値に近づくほど大きくなり、逆に、絞り値が大きくなるほど小さくなる。
The figure shows a concept of an effective image area setting table for the photographing
図は、例えば撮影時の絞り値がｆ４．０未満である場合に、視差画像データＩｍ＿ｆの有効画像領域が、撮像素子１００の領域Ａ、領域ＢＲおよび領域ＣＲに対応する画像領域であることを示す。そして、視差画像データＩｍ＿ｅの有効画像領域が、撮像素子１００の領域ＢＬ、領域Ａ、領域ＢＲおよび領域ＣＲに対応する画像領域であり、視差画像データＩｍ＿ｄおよびＩｍ＿ｃの有効画像領域が、撮像素子１００の全領域に対応する画像領域であり、視差画像データＩｍ＿ｂの有効画像領域が、撮像素子１００の領域ＣＬ、領域ＢＬ、領域Ａおよび領域ＢＲに対応する画像領域であり、視差画像データＩｍ＿ａの有効画像領域が、撮像素子１００の領域ＣＬ、領域ＢＬおよび領域Ａに対応する画像領域であることを示す。
Figure, for example, when the aperture value at the time of photographing is less than f4.0, the effective image area of the parallax image data Im_f is, is an image region corresponding to the region A, region B R and the region C R of the
同様に、撮影時の絞り値がｆ４．０以上であってｆ８．０未満である場合に、視差画像データＩｍ＿ｆの有効画像領域が、撮像素子１００の領域ＢＬ、領域Ａ、領域ＢＲおよび領域ＣＲに対応する画像領域であることを示す。そして、視差画像データＩｍ＿ｅ、Ｉｍ＿ｄ、Ｉｍ＿ｃおよびＩｍ＿ｂの有効画像領域が、撮像素子１００の全領域に対応する画像領域であり、視差画像データＩｍ＿ａの有効画像領域が、撮像素子１００の領域ＣＬ、領域ＢＬ、領域Ａおよび領域ＢＲに対応する画像領域であることを示す。さらに、撮影時の絞り値がｆ８．０以上である場合に、全ての視差画像データの有効画像領域が、撮像素子１００の全領域に対応する画像領域であることを示す。
Similarly, when the aperture value at the time of photographing is less than f8.0 be at f4.0 or more, the effective image region of the parallax image data Im_f is, regions B L of the
画像処理部２０５は、装着された撮影レンズ２０の情報を取得し、これに対応する有効画像領域設定テーブルをシステムメモリ２１１から読み出す。そして、撮影時に設定されていた撮影条件としての絞り値を有効画像領域設定テーブルに適用して、生成する各々の視差画像データに対して、有効画像領域を定める。
The
なお、上述の例では、視差画像データの有効画像領域を視覚的に概念図で示したが、有効画像領域を撮像素子１００が出力する全画像領域に対する座標値で定義すれば良い。また、上述の例では、焦点距離が５０ｍｍの単焦点レンズの場合を説明したが、例えば撮影レンズ２０がズームレンズである場合、焦点距離ごとに口径食の影響が異なることに対応して、一定の焦点距離範囲ごとに有効画像領域設定テーブルを持つように構成しても良い。この場合、広角側の方が望遠側よりも口径食の影響が大きいので、広角側の焦点距離範囲を望遠側よりも狭く設定すると良い。例えば、２８ｍｍ−１３５ｍｍのズームレンズの場合、２８ｍｍ−４０ｍｍ、４０ｍｍ−７５ｍｍ、７５ｍｍ−１３５ｍｍのように焦点距離範囲を設定することができる。
In the above-described example, the effective image area of the parallax image data is visually shown in a conceptual diagram, but the effective image area may be defined by coordinate values for all image areas output by the
次に、カラーフィルタ１０２と視差画像について説明する。図１１は、カラーフィルタ配列を説明する図である。図示するカラーフィルタ配列は、いわゆるベイヤー配列の４画素のうち右下画素を緑フィルタが割り当てられるＧ画素として維持する一方、左上画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。右上画素に青色フィルタを割り当ててＢ画素とし、左下画素に赤色フィルタを割り当ててＲ画素とする配列は、ベイヤー配列と同様である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
Next, the
ベイヤー配列および図１１のようなカラーフィルタ配列など、いずれのカラーフィルタ配列を採用するにしても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の組み合わせパターンが設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。 Regardless of which color filter array such as the Bayer array and the color filter array as shown in FIG. 11 is adopted, the number of pixels varies depending on how many pixels the parallax pixels and non-parallax pixels are allocated in what cycle. Any number of combination patterns can be set. If the outputs of pixels without parallax are collected, photographic image data having no parallax can be generated in the same way as normal photographic images. Therefore, if the ratio of pixels without parallax is relatively increased, a 2D image with high resolution can be output. In this case, since the number of parallax pixels is relatively small, the image quality is degraded as a 3D image including a plurality of parallax images. Conversely, if the ratio of the parallax pixels is increased, the image quality is improved as a 3D image, but the non-parallax pixels are relatively reduced, so that a 2D image with low resolution is output.
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する組み合わせパターンが設定される。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。 In such a trade-off relationship, a combination pattern having various characteristics is set depending on which pixel is a parallax pixel or a non-parallax pixel. For example, if many non-parallax pixels are allocated, high-resolution 2D image data is obtained, and if all pixels of RGB are equally allocated, high-quality 2D image data with little color shift is obtained. When 2D image data is generated using the output of the parallax pixels, the shifted subject image is corrected with reference to the output of the peripheral pixels. Therefore, for example, even if all R pixels are parallax pixels, a 2D image can be generated, but the image quality is naturally lowered.
一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。 On the other hand, if a large number of parallax pixels are allocated, high-resolution 3D image data is obtained, and if all the RGB pixels are allocated equally, a high-quality image with good color reproducibility can be obtained while being a 3D image. Color image data. When 3D image data is generated using the output of pixels without parallax, a subject image shifted from a subject image without parallax is generated with reference to the output of peripheral parallax pixels. Therefore, for example, even if all the R pixels are non-parallax pixels, a color 3D image can be generated, but the quality is still deteriorated.
また、Ｗ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。 If a color filter array including W pixels is employed, the accuracy of color information output from the image sensor is slightly reduced, but the amount of light received by the W pixels is larger than when a color filter is provided. Highly accurate luminance information can be acquired. A monochrome image can also be formed by gathering the outputs of W pixels.
Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の組み合わせパターンは、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の組み合わせパターンが設定される。 In the case of a color filter array including W pixels, there are further variations in the combination pattern of parallax pixels and non-parallax pixels. For example, even if the image is captured in a relatively dark environment, the contrast of the subject image is higher if the image is output from the W pixel as compared to the image output from the color pixel. Therefore, if a parallax pixel is assigned to a W pixel, a highly accurate calculation result can be expected in a matching process performed between a plurality of parallax images. The matching process is executed as part of the process for acquiring the distance information of the subject image reflected in the image data. Therefore, in addition to the influence on the resolution of the 2D image and the image quality of the parallax image, the combination pattern of the parallax pixel and the non-parallax pixel is set in consideration of the interest in other extracted information.
図１２は、カラーフィルタ配列と視差画素の関係を示す図である。特に、図１１のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す。図の例においては、図１１のカラーフィルタ配列の４画素が左右方向に６組続く２４画素を組み合わせパターンとする。組み合わせパターンを構成するそれぞれのＷ画素において、左端に位置するＷ画素から右端に位置するＷ画素に向かって順に、開口部１０４ｆ、１０４ｅ、…１０４ａを有する視差画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。
FIG. 12 is a diagram illustrating the relationship between the color filter array and the parallax pixels. In particular, an example of an array of W pixels and parallax pixels when the color filter array of FIG. 11 is employed is shown. In the example shown in the figure, 24 pixels in which 6 sets of 4 pixels in the color filter array of FIG. In each W pixel constituting the combination pattern, parallax
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。 Here, generation of a parallax image as a monochrome image and generation of a 2D image as a color image will be described.
図１３は、視差画像と２Ｄ画像の生成過程を示す概念図である。図示するように、開口部１０４ｆを有する視差画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｉｍ＿ｆ画像データが生成される。一つの繰り返しパターン１１０に含まれる開口部１０４ｆを有する視差画素は一つであるので、Ｉｍ＿ｆ画像データを形成する各々の開口部１０４ｆを有する視差画素は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｉｍ＿ｆ画像データは、特定の視点（ｆ視点）から被写体を捉えた一つの視差画像データとなる。そして、この視差画素は、Ｗ画素に割り振られているので、Ｉｍ＿ｆ画像データは、カラー情報を持たず、モノクロ画像として生成される。
FIG. 13 is a conceptual diagram illustrating a process of generating a parallax image and a 2D image. As shown in the drawing, the outputs of the parallax pixels having the
同様に、開口部１０４ｅ〜１０４ａを有する視差画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｉｍ＿ｅ画像データ〜Ｉｍ＿ａ画像データが生成される。
Similarly, the outputs of the parallax pixels having the
また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。このとき、Ｗ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、左上画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、Ｇ画素の出力値を代入する。つまり、Ｇ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。
Further, the outputs of pixels without parallax are gathered together while maintaining the relative positional relationship on the
なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配して視差画像データおよび２Ｄ画像データを生成する。
Note that the above image processing is executed by the
以上の実施形態においては、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると説明した。しかし、視差画素のそれぞれが被写体の離散的な微小領域を捉えて視差画像を出力すれば良いので、例えば、周期的な繰り返しパターン１１０の間に視差なし画素が連続していても良い。つまり、視差画素を含む繰り返しパターン１１０は、連続していなくても、周期的であれば視差画像を出力し得る。
In the above embodiment, it has been described that the
以上の実施形態においては、図１０を用いて説明したように、画像処理部２０５は、撮影時に設定された絞り値に従って各視差画像データの有効画像領域を定めた。すなわち、ユーザは、装着した撮影レンズ２０および撮影時に設定した絞り値等の結果として、シーンにおけるどの領域にいくつの視差画像を得たのかを撮影後に知ることになる。
In the above embodiment, as described with reference to FIG. 10, the
例えば図１０の例において、絞り値をｆ２．０に設定して撮影した場合、撮像素子１００の領域Ａに対応するシーンについては、視差画像データＩｍ＿ａ〜Ｉｍ＿ｆの６視差画像を得る。撮像素子１００の領域ＢＬおよび領域ＢＲに対応するシーンについては、領域Ａに対してそれぞれ視差画像データＩｍ＿ｆ、Ｉｍ＿ａが欠けるので、得られる視差画像数は５視差画像となる。撮像素子１００の領域ＣＬおよび領域ＣＲに対応するシーンについては、領域Ａに対してそれぞれ視差画像データＩｍ＿ｆとＩｍ＿ｅ、Ｉｍ＿ｂとＩｍ＿ａが欠けるので、得られる視差画像数は４視差画像となる。
For example, in the example of FIG. 10, when shooting is performed with the aperture value set to f2.0, six parallax images of parallax image data Im_a to Im_f are obtained for the scene corresponding to the area A of the
ユーザは、シーンにおけるどの領域にいくつの視差画像が得られるのかを、撮影前に決めておきたい場合がある。ユーザのこのような希望に応えるべく、操作部２０８を介してユーザの希望を受け入れ、そのような視差画像数となるように、絞り値、焦点距離等を制限して撮影シーケンスを実行するようにデジタルカメラ１０を構成しても良い。
The user may want to determine how many parallax images are obtained in which area in the scene before shooting. In order to respond to the user's desires, the user's wishes are accepted via the
図１４は、視差画像数を設定するメニュー画面の例である。ユーザは、撮影指示をデジタルカメラ１０に与える前に、表示部２０９に視差画像数設定画面を呼び出す。そして、擬似的なシーンに対して重畳された太枠を、操作部２０８の十字ボタンを操作することにより左右方向に拡縮して、６視差を与えるシーン領域を決定する。決定ボタンを押すと、太枠が５視差を与える領域の大きさに切り替わり、ユーザは、同様に５視差を与える領域を決定できる。このような操作を繰り返して、ユーザは、撮影前に、シーンに対する各領域の出力視差画像数を決定することができる。
FIG. 14 is an example of a menu screen for setting the number of parallax images. The user calls the parallax image number setting screen on the
制御部２０１は、ユーザにより設定された視差画像数に対して、システムメモリ２１１に記憶された有効画像領域設定テーブルを参照し、これを満たす制限絞り値を決定する。例えば、図示するように、中央領域の視差画像数が６、その両隣の周辺領域の視差画像数が５と設定された場合、制御部２０１は、図１０の有効画像領域設定テーブルを参照して、制限絞り値をｆ４．０以上ｆ８．０未満と決定する。表示部２０９は、この制限絞り値を表示する。そして、制御部２０１は、撮影シーケンスを実行するにあたり、撮影制御部として、絞り値をこの範囲に制限して露出値を決定する。なお、この例において、ユーザが太枠を擬似的なシーン全体を含むように設定した場合は、制御部２０１は、シーンの全体が６視差となるように、図１０の有効画像領域設定テーブルを参照して、制限絞り値をｆ８．０以上と決定する。なお、図においては、中央領域の視差画像数を最大の６としたが、この数以下であれば、視差画像数もユーザが変更できるように構成しても良い。
The
以上の実施形態では、例えば図６において、撮像素子１００を６つの領域に分けたが、もちろんこの数に限定されるわけではない。撮像素子１００をどのように領域分割するかは、繰り返しパターン１１０を構成する開口部１０４の数、撮影条件、撮影レンズ２０とこれを支持する鏡筒の相対的な位置関係等に基づいて決定される。したがって、各領域の境界は、図６および図９で示したような、撮像素子の長辺あるいは短辺に平行な直線でなくてもよく、口径食に合わせた曲線であっても良い。
In the above embodiment, for example, in FIG. 6, the
以上の実施形態においては、デジタルカメラ１０が備える制御部２０１および制御部２０１が含む画像処理部２０５が、複数の視差画像データを取得する画像データ取得部および有効画像領域を定める領域制定部として機能する。この場合、撮像素子１００は、同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子として機能する。上述のデジタルカメラ１０は、一つの素子として視差画像信号を出力する撮像素子１００を採用したが、例えば、撮影レンズ２０を通過した被写体光束を、ハーフミラー等で分割して、複数の撮像素子で受光するように構成しても良い。
In the above embodiment, the
また、以上の実施形態においては、デジタルカメラ１０を画像処理装置そのものとして説明したが、システムの構成はこれに限らない。撮像装置としてのデジタルカメラ１０を、口径食の影響によって黒潰れする画像領域を含む視差画像データを生成させるに留め、外部のパーソナルコンピュータなどを画像処理装置として有効画像領域の設定を行わせても良い。この場合、画像処理装置としてのパーソナルコンピュータは、画像データ取得部を介してデジタルカメラ１０が生成した視差画像データを受け取り、領域制定部として機能するＣＰＵが、付随して受け取る撮像素子１００の情報等に基づいて有効画像領域を定める。
In the above embodiment, the digital camera 10 has been described as the image processing apparatus itself, but the system configuration is not limited thereto. Even if the digital camera 10 as the imaging apparatus generates parallax image data including an image area that is crushed black due to the effect of vignetting, an effective image area is set using an external personal computer or the like as an image processing apparatus. good. In this case, the personal computer as the image processing apparatus receives the parallax image data generated by the digital camera 10 via the image data acquisition unit, and the
また、パーソナルコンピュータを画像処理装置として機能させる場合は、取得する視差画像データの生成に用いられた撮影レンズ２０のレンズ情報、特に口径食に関する情報を併せてデジタルカメラ１０から取得すると良い。口径食に関する情報としては、絞り値と各画素に対応する陰領域の情報でも良いし、図１０を用いて説明した有効画像領域設定テーブルであっても良い。
When the personal computer is caused to function as an image processing apparatus, it is preferable to acquire from the digital camera 10 lens information of the photographing
また、パーソナルコンピュータを画像処理装置として機能させる場合は、取得する視差画像データの生成時における撮影条件、特に絞り値に関する条件を併せてデジタルカメラ１０から取得すると良い。パーソナルコンピュータのＣＰＵはこれらの条件に基づいて、より正確に有効画像領域を定めることができる。なお、デジタルカメラ１０がレンズ一体型の撮像装置であったり、視差画像データを取得する場合の撮影条件が固定的であったりする場合は、パーソナルコンピュータは、デジタルカメラ１０から各種情報を取得しなくても良い。このような場合は、パーソナルコンピュータは、内部メモリに予めこららの情報を保持しておけば良い。 When the personal computer is caused to function as an image processing apparatus, it is preferable to acquire from the digital camera 10 the shooting conditions at the time of generating the parallax image data to be acquired, particularly conditions relating to the aperture value. The CPU of the personal computer can determine the effective image area more accurately based on these conditions. If the digital camera 10 is a lens-integrated imaging device or the shooting conditions for acquiring parallax image data are fixed, the personal computer does not acquire various information from the digital camera 10. May be. In such a case, the personal computer may hold these information in the internal memory in advance.
上記の実施形態においては、画像処理部２０５が、生成した視差画像データの各々に対して有効画像領域を定めた。しかし、有効画像領域を、撮像素子１００から出力される視差画像信号の段階で定めることもできる。すなわち、制御部２０１は、撮影時の絞り値等を有効画像領域設定テーブルに当てはめ、撮像素子１００が有効画像領域を形成する視差画像信号のみを出力するように、駆動部２０４を駆動させる。より具体的には、制御部２０１は、口径食の影響により黒潰れしていると予測される画像領域に対応する視差画像信号を読み飛ばす。このような構成により、複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、視差画像信号を出力段階で制御することができる。
In the above embodiment, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０ デジタルカメラ、１９ 絞り、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０６ 演算部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ システムメモリ、２２０ メモリカード DESCRIPTION OF SYMBOLS 10 Digital camera, 19 Aperture, 20 Shooting lens, 21 Optical axis, 30, 31 Subject, 100 Image sensor, 101 Micro lens, 102 Color filter, 103 Aperture mask, 104 Aperture, 105 Wiring layer, 106 Wiring, 107 Aperture, 108 photoelectric conversion elements, 109 substrates, 110 repetitive patterns, 120 imaging elements, 121 screen filters, 122 color filter sections, 123 aperture mask sections, 201 control sections, 202 A / D conversion circuits, 203 memories, 204 drive sections, 205 images Processing unit, 206 arithmetic unit, 207 memory card IF, 208 operation unit, 209 display unit, 210 LCD drive circuit, 211 system memory, 220 memory card
Claims (24)
前記複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定部と
を備える画像処理装置。 An image data acquisition unit for acquiring a plurality of parallax image data having parallax with respect to the same scene;
An image processing apparatus comprising: an area establishing unit that determines an effective image area having a size different from that of other parallax image data with respect to at least some of the parallax image data.
入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、
前記光電変換素子群を構成する前記複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口が、前記入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられた請求項１１に記載の画像処理装置。 The image sensor is
A group of photoelectric conversion elements each having a set of a plurality of photoelectric conversion elements that photoelectrically convert incident light into an electrical signal is arranged two-dimensionally and periodically,
An opening of an opening mask provided corresponding to each of the plurality of photoelectric conversion elements constituting the photoelectric conversion element group is configured to pass light beams from different partial areas included in a cross-sectional area of the incident light. The image processing apparatus according to claim 11, which is positioned.
前記複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、前記視差画像信号の出力を制御する出力制御部と
を備える撮像装置。 An imaging device capable of outputting parallax image signals for generating a plurality of parallax image data having parallax with respect to the same scene;
An output control unit that controls the output of the parallax image signal so that at least some of the parallax image data has an effective image area having a size different from that of the other parallax image data. An imaging apparatus provided.
入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、
前記光電変換素子群を構成する前記複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口が、前記入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられた請求項１３から２１のいずれか１項に記載の撮像装置。 The image sensor is
A group of photoelectric conversion elements each having a set of a plurality of photoelectric conversion elements that photoelectrically convert incident light into an electrical signal is arranged two-dimensionally and periodically,
An opening of an opening mask provided corresponding to each of the plurality of photoelectric conversion elements constituting the photoelectric conversion element group is configured to pass light beams from different partial areas included in a cross-sectional area of the incident light. The imaging device according to any one of claims 13 to 21, wherein the imaging device is positioned.
前記複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定ステップと
をコンピュータに実行させる画像処理プログラム。 An image data acquisition step of acquiring a plurality of parallax image data having parallax with respect to the same scene;
An image processing program for causing a computer to execute an area establishing step for determining an effective image area having a size different from that of other parallax image data with respect to at least a part of the plurality of parallax image data.
前記複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、前記視差画像信号の出力を制御する出力制御ステップを
コンピュータに実行させる撮像装置の制御プログラム。 A control program for an imaging apparatus including an imaging element capable of outputting parallax image signals for generating a plurality of parallax image data having parallax with respect to the same scene,
An output control step for controlling the output of the parallax image signal such that at least a part of the parallax image data among the plurality of parallax image data has an effective image area having a size different from that of the other parallax image data. A control program for the imaging apparatus to be executed by the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011249927A JP5874334B2 (en) | 2011-11-15 | 2011-11-15 | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011249927A JP5874334B2 (en) | 2011-11-15 | 2011-11-15 | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013106265A true JP2013106265A (en) | 2013-05-30 |
| JP5874334B2 JP5874334B2 (en) | 2016-03-02 |
Family
ID=48625484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011249927A Active JP5874334B2 (en) | 2011-11-15 | 2011-11-15 | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5874334B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9787972B2 (en) | 2013-09-27 | 2017-10-10 | Panasonic Intellectual Property Management Co., Ltd. | Image display device |
| CN112529773A (en) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | QPD image post-processing method and QPD camera |
| JP2022003817A (en) * | 2017-09-15 | 2022-01-11 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging apparatus, image generation method, and computer program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011182317A (en) * | 2010-03-03 | 2011-09-15 | Nikon Corp | Imaging apparatus |
| WO2013057859A1 (en) * | 2011-10-21 | 2013-04-25 | 株式会社ニコン | Image capture element |
-
2011
- 2011-11-15 JP JP2011249927A patent/JP5874334B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011182317A (en) * | 2010-03-03 | 2011-09-15 | Nikon Corp | Imaging apparatus |
| US20120300041A1 (en) * | 2010-03-03 | 2012-11-29 | Nikon Corporation | Image capturing device |
| WO2013057859A1 (en) * | 2011-10-21 | 2013-04-25 | 株式会社ニコン | Image capture element |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9787972B2 (en) | 2013-09-27 | 2017-10-10 | Panasonic Intellectual Property Management Co., Ltd. | Image display device |
| JP2022003817A (en) * | 2017-09-15 | 2022-01-11 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging apparatus, image generation method, and computer program |
| JP7170810B2 (en) | 2017-09-15 | 2022-11-14 | 株式会社ソニー・インタラクティブエンタテインメント | IMAGING DEVICE, IMAGE GENERATING METHOD AND COMPUTER PROGRAM |
| JP7393498B2 (en) | 2017-09-15 | 2023-12-06 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging device, image generation method and computer program |
| CN112529773A (en) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | QPD image post-processing method and QPD camera |
| CN112529773B (en) * | 2020-12-17 | 2024-02-02 | 豪威科技(武汉)有限公司 | QPD image post-processing method and QPD camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5874334B2 (en) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5915537B2 (en) | IMAGING ELEMENT AND IMAGING DEVICE | |
| JP5804055B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5979134B2 (en) | Image processing apparatus and image processing program | |
| WO2013114895A1 (en) | Imaging device | |
| JP5942984B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| WO2013057859A1 (en) | Image capture element | |
| JP5874334B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program | |
| US9414046B2 (en) | Image sensor, imaging device and image processing device | |
| JP5979137B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM | |
| JP2014060694A (en) | Imaging element and imaging device | |
| JP2013175812A (en) | Image sensor and image pickup device | |
| JP5887845B2 (en) | Image processing method and image processing program | |
| JP6476630B2 (en) | Imaging device | |
| JP5978737B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP2012212975A (en) | Imaging device and control program for imaging device | |
| JP6019611B2 (en) | Imaging device | |
| JP5978735B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP5991461B2 (en) | Imaging apparatus and imaging program thereof | |
| JP6051570B2 (en) | Imaging device and imaging apparatus | |
| JP2013090265A (en) | Image processing apparatus and image processing program | |
| JP2013162362A (en) | Image pickup device and image pickup program | |
| JP2013150055A (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5874334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |