JP5487955B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5487955B2 JP5487955B2 JP2009295113A JP2009295113A JP5487955B2 JP 5487955 B2 JP5487955 B2 JP 5487955B2 JP 2009295113 A JP2009295113 A JP 2009295113A JP 2009295113 A JP2009295113 A JP 2009295113A JP 5487955 B2 JP5487955 B2 JP 5487955B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- area
- image
- subject image
- phase modulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、画像撮影を行う撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method for taking an image.
監視カメラ、計測、医用等の分野では、被写界の隅々までピントが合ってほしいという要望が多い。被写界深度を拡大(EDOF:Extension of Depth of Field)するには、F値(焦点距離/レンズ口径)を大きくすればよいので、簡単にはレンズ口径を小さくすればよい。しかし、レンズ口径を小さくすると、空間分解能が低下し、レンズを通過する光量が減少して像が暗くなってしまう。 In fields such as surveillance cameras, measurement, and medical use, there are many requests for focusing on every corner of the object scene. In order to extend the depth of field (EDOF: Extension of Depth of Field), the F value (focal length / lens aperture) may be increased, and the lens aperture may be simply reduced. However, when the lens diameter is reduced, the spatial resolution is lowered, the amount of light passing through the lens is reduced, and the image becomes dark.
一方、近年になって、WFC(Wavefront Coding:波面のコード化)と呼ばれる技術が注目されている。WFCの具体例として、透過光の位相を変調させる位相変調素子と、デジタル化された画像データに対する画像処理技術の組み合わせが挙げられる。WFCは、空間分解能や透過光量を犠牲にせずに被写界深度を拡大する技術であり、レンズ口径を絞ることなく、被写界深度を拡大可能である。また、色収差などの影響も受けにくい結像光学系を実現でき、さらにいわゆる光学ズームレンズ機構が不要にできるので、レンズ枚数を低減し、機構や組み立て調整も簡便化することができる。 On the other hand, in recent years, a technique called WFC (Wavefront Coding) has attracted attention. A specific example of WFC is a combination of a phase modulation element that modulates the phase of transmitted light and an image processing technique for digitized image data. WFC is a technology that expands the depth of field without sacrificing spatial resolution or the amount of transmitted light, and can expand the depth of field without reducing the lens aperture. In addition, an imaging optical system that is not easily affected by chromatic aberration and the like can be realized, and a so-called optical zoom lens mechanism can be eliminated, so that the number of lenses can be reduced, and the mechanism and assembly adjustment can be simplified.
図12はWFCの概要を説明するための図である。光学系10にはレンズ11〜13が含まれ、レンズ12とレンズ13との間にWFCが適用された位相変調素子10aが挿入されている。
FIG. 12 is a diagram for explaining the outline of the WFC. The
位相変調素子10aを挿入することで、レンズ11〜13のみを備えていた元の光学系の結像特性が変化し、位相変調素子10aを含む光学系10の状態で結像したアナログ画像(中間画像)が生成する。
By inserting the
通常の光学系は、収差が十分に補正されるように光学設計されているので、余分な位相変調素子を挿入すると結像性能は低下し、中間画像は劣化画像となる。このとき、劣化の度合いが焦点はずれ量によって変化しないような位相変調素子を選ぶことができれば、光軸に沿って同じ劣化画像が並ぶ中間画像が得られる。 Since a normal optical system is optically designed so that aberrations are sufficiently corrected, if an extra phase modulation element is inserted, the imaging performance is lowered, and the intermediate image becomes a deteriorated image. At this time, if a phase modulation element whose degree of deterioration does not change with the amount of defocus can be selected, an intermediate image in which the same deteriorated images are arranged along the optical axis can be obtained.
位相変調素子10aは、劣化の度合いが焦点はずれ量によって変化の少ない位相分布を持っており、位相分布が以下の式(1)で表される3次位相変調素子である。αは定数、x、yは光軸方向の位置座標である。なお、3次の係数を持つ場合がEDOFの効果を高めることが知られている。
The
φ(x,y)=α(x3+y3)・・・(1)
位相変調素子10aによって劣化した中間画像を後段の撮像素子20で撮像して、ディジタル画像化する。画像処理部30は、デコンボリューションフィルタ(逆フィルタ)によるディジタル画像処理を施して、劣化中間画像から劣化成分を除去して、高品質な最終画像を生成する。
φ (x, y) = α (x 3 + y 3 ) (1)
The intermediate image deteriorated by the
WFCでは、中間画像の劣化の度合いが焦点はずれ量によって変化が少なく、劣化度合いが既知となる。このため、逆フィルタ処理を簡易に行うことができ、焦点はずれ量によらず回折限界まで復元された鮮明な画像を得ることができる。 In WFC, the degree of deterioration of the intermediate image varies little depending on the amount of defocus, and the degree of deterioration becomes known. For this reason, the inverse filter processing can be easily performed, and a clear image restored to the diffraction limit can be obtained regardless of the defocus amount.
従来技術として、WFCにより被写界深度を拡大して画像撮影を行う技術が提案されている(例えば、特許文献1および非特許文献1)。また、画像復元用のフィルタの重心がずれている場合でも復元画像を生成する技術が提案されている(例えば、特許文献2)。さらに、逆フィルタのインパルス応答によるデータ補正を行って、画質劣化を抑制する技術が提案されている(例えば、特許文献3)。 As a conventional technique, a technique for taking an image by expanding the depth of field by WFC has been proposed (for example, Patent Document 1 and Non-Patent Document 1). Further, a technique for generating a restored image even when the center of gravity of an image restoration filter is shifted has been proposed (for example, Patent Document 2). Furthermore, a technique for suppressing image quality deterioration by performing data correction based on an impulse response of an inverse filter has been proposed (for example, Patent Document 3).
画像ボケのような画像劣化は、PSF(Point Spread Function:点像分布関数)で表現されることが多い。PSFは、光学系の点光源に対する応答を表すもので、理想的な点像が光学系を通過した場合に、点像がどの程度広がるかを表す関数である。 Image degradation such as image blur is often expressed by a PSF (Point Spread Function). The PSF represents the response of the optical system to the point light source, and is a function representing how much the point image spreads when an ideal point image passes through the optical system.
例えば、光学系を通じて試料の1点をスクリーン上に映した場合、レンズの回折によって元の点と同じ大きさにはならず、ボケて広がったスポットが映し出される。このスポットがPSFによって生成された像であり、このとき映し出されたボケ画像は、元の画像情報にPSFを乗算(コンボリューション)した像となって現れる。 For example, when one point of the sample is projected on the screen through the optical system, the spot does not become the same size as the original point due to the diffraction of the lens, but a blurred and spread spot is projected. This spot is an image generated by the PSF, and the blurred image displayed at this time appears as an image obtained by multiplying the original image information by the PSF (convolution).
また、PSFにしたがって広がった像を元の像に戻すためには、得られた像に対して逆操作、すなわちPSFによる割り算(PSFの逆行列演算)を行えばよい。
具体的には、逆フィルタリング(デコンボリューションフィルタリング)として、PSFをフーリエ変換した結像光学系の空間周波数伝達特性を表すOTF(Optical Transfer Function:光学伝達関数)で割り算することになる。
In order to return the image spread according to the PSF to the original image, an inverse operation, that is, division by PSF (inverse matrix calculation of PSF) may be performed on the obtained image.
Specifically, as inverse filtering (deconvolution filtering), division is performed by an OTF (Optical Transfer Function) representing the spatial frequency transfer characteristics of the imaging optical system obtained by Fourier transforming PSF.
ただし、OTFが非常に小さな空間周波数であったりする場合等は、ノイズが増幅されることになるので、適切な拘束条件または逆関数を選択して逆フィルタ処理を行うことになる。 However, when the OTF has a very small spatial frequency or the like, noise is amplified, and therefore, an appropriate filter condition or inverse function is selected to perform inverse filtering.
一方、位相変調素子を通過した後の、PSFで形状が広がった像(以下、単にPSFとも呼ぶ)の位置は、撮像面の中心から周辺側へシフトして結像されるといった現象が生じる。すなわち、位相変調素子を含まない通常の光学系を通過して映し出される、PSFの撮像面上の位置と、WFCの特性を持つ位相変調素子を含む光学系を通過して映し出される、PSFの撮像面上の位置とには、位置ずれが生じるということである。 On the other hand, after passing through the phase modulation element, a phenomenon occurs in which the position of an image whose shape is expanded by PSF (hereinafter also simply referred to as PSF) is shifted from the center of the imaging surface to the peripheral side. That is, the PSF imaging that is projected through the optical system including the phase modulation element having the WFC characteristic and the position on the imaging surface of the PSF that is projected through the normal optical system that does not include the phase modulation element. The position on the surface means that a displacement occurs.
したがって、位相変調素子を含む光学系で被写体を撮影した場合、その被写体の像がフレーム(有効撮像領域)の端に位置しているようなときには、フレームアウトしてしまい、画像データが消失するといった問題があった。 Therefore, when a subject is photographed with an optical system including a phase modulation element, if the subject image is located at the end of the frame (effective imaging area), the frame is out and the image data is lost. There was a problem.
図13、図14はフレームアウト現象を説明するための図である。図13は、フレーム20aの左上端に、ある被写体の被写体像6aが位置し、右下端には、ある被写体の被写体像6bが位置している状態を示している。なお、図中の点線枠は、位相変調素子を含む光学系で撮影した場合における、被写体像6a、6bがシフトする領域を示すものとする。
13 and 14 are diagrams for explaining the frame-out phenomenon. FIG. 13 shows a state in which a
図14は、位相変調素子10aを含む光学系10で撮影した場合の被写体像6a、6bの位置を示している。被写体像6a、6bは、シフト領域へそれぞれシフトする(例えば、矢印方向にシフトしたとする)。
FIG. 14 shows the positions of the
この場合、被写体像6aは、フレーム20a内にあるので撮像されて、被写体像6aのデータは取得できる。しかし、被写体像6bの一部は、フレーム20a外へ出てしまうことになるので、被写体像6bのデータが欠落してしまう。
In this case, since the
すなわち、シフトした先にフレーム20aの撮像素子が存在しないので、その分のデータが消失してしまうということである。このようなデータが欠落した画像データを用いて画像処理して表示すれば、画像劣化が顕著になって現れることになる。
That is, since there is no image pickup device of the
上記のような問題に対して、シャッターを切る直前にフレーム20aの撮像素子をシフトさせるといった既存の手ぶれ補正機能で対策することも考えられるが、手ぶれ補正機能によってもデータが欠落することを完全に防止することは不可能である。
To deal with the above problems, it may be possible to take countermeasures with the existing camera shake correction function such as shifting the image pickup element of the
図15は手ぶれ補正を行った際にもデータ欠落が生じる状態を示す図である。撮影の瞬間に手ぶれ補正機能によって、被写体像6a、6bがシフトする方向へ、フレーム20aの撮像素子自体がシフトする。
FIG. 15 is a diagram illustrating a state in which data loss occurs even when camera shake correction is performed. The image pickup device itself of the
この場合、被写体像6bは、手ぶれ補正によってシフトした後のフレーム20a−1内に収まるので、被写体像6bのデータは残るが、今度はファインダでは見えていた被写体像6aがフレーム20a−1外へ出てしまい、被写体像6aのデータ欠落が生じてしまうことになる。このように、手ぶれ補正機能によっても、データ欠落を防止することはできない。
In this case, since the
本発明はこのような点に鑑みてなされたものであり、フレームアウトによって生じるデータ欠落を防止して高品質な撮影を行う撮像装置を提供することを目的とする。
また、本発明の他の目的は、フレームアウトによって生じるデータ欠落を防止して高品質な撮影を行う撮像方法を提供することである。
The present invention has been made in view of these points, and an object of the present invention is to provide an imaging apparatus that performs high-quality imaging while preventing data loss caused by frame-out.
Another object of the present invention is to provide an imaging method for performing high quality imaging by preventing data loss caused by frame-out.
上記課題を解決するために、撮像装置が提供される。この撮像装置は、位相変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記被写体像を画像処理する画像処理部とを備え、前記撮像素子は、撮影表示領域の第1の撮像領域と、非撮影表示領域の第2の撮像領域とを有し、前記画像処理部は、前記第1の撮像領域および前記第2の撮像領域で撮像された前記被写体像の画像処理を行い、前記撮像素子の前記第2の撮像領域は、前記位相変調素子によって結像位置がシフトした、前記第1の撮像領域からはみ出した前記被写体像の部分を撮像する領域であり、さらに前記第1の撮像領域からはみ出した前記被写体像の画像再生補正に使用するための領域であって、前記位相変調素子が持つ位相分布関数によって決まる前記被写体像の縦横方向のシフト量に対応した面積が設けられる。 In order to solve the above problems, an imaging apparatus is provided. The imaging device includes an optical system including a phase modulation element, an imaging element that captures a subject image that has passed through the optical system, and an image processing unit that performs image processing on the subject image. A first imaging area of the area and a second imaging area of the non-imaging display area, and the image processing unit captures the subject image captured in the first imaging area and the second imaging area. The second imaging area of the imaging element is an area for imaging the portion of the subject image that protrudes from the first imaging area, the imaging position of which is shifted by the phase modulation element. Further, this is an area used for image reproduction correction of the subject image that protrudes from the first imaging region, and corresponds to the vertical and horizontal shift amounts of the subject image determined by the phase distribution function of the phase modulation element. Shi Area is provided.
データ欠落を防止して画像劣化を抑制し、高品質な撮影が可能になる。 Data loss is prevented and image deterioration is suppressed, and high-quality shooting becomes possible.
以下、本発明の実施の形態を図面を参照して説明する。図1は撮像装置の構成例を示す図である。撮像装置1は、光学系10、撮像素子2および画像処理部3を備える。
光学系10は、図示しない複数レンズを備えて被写体像を形成する。また、レンズの間には、位相変調素子10aが挿入される。位相変調素子10aは、焦点距離に応じて光学的伝達関数の変化を少なくする素子である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus. The imaging device 1 includes an
The
撮像素子2は、CCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどを使用でき、光学系10を通過した被写体像を撮像し、アナログ画像をディジタル画像化する。画像処理部3は、被写体像を画像処理する。
The
ここで、撮像素子2は、撮影表示される第1の撮像領域(以下、有効撮像領域2aと呼ぶ)と、撮影表示されず、位相変調素子10aを通過することで結像位置がシフトして、有効撮像領域2aからはみ出した被写体像の部分を撮像する第2の撮像領域(以下、補正用撮像領域2bと呼ぶ)とを有する。画像処理部3は、有効撮像領域2aおよび補正用撮像領域2bで撮像された被写体像の画像処理を行う。
Here, the
次に撮像装置1の動作を説明する前に、位相変調素子10aを通過することによってPSFがシフトする理由と、画角とシフト量との関係について説明する。位相変調素子10aの通過後にPSFがシフトすることは、位相変調素子10aの形状に起因している。
Next, before describing the operation of the imaging apparatus 1, the reason why the PSF shifts by passing through the
図2は位相分布関数を示す図である。上述の位相分布関数の式(1)は、位相変調素子10aの形状の厚さと考えることができるので、厚さをZとすれば、以下の式(1a)となる。したがって、図2は位相変調素子10aの表面形状を模式した図と見ることもできる。
FIG. 2 is a diagram showing a phase distribution function. Since the expression (1) of the phase distribution function described above can be considered as the thickness of the shape of the
Z=α(X3+Y3)・・・(1a)
位相変調素子10aは、式(1a)のようにX軸およびY軸に対して形状変化を持たせた厚みを有することで入射光を位相変調させて出射する素子である。このため、素子の厚みの大きい箇所を通過する光路長と、厚みが小さい箇所を通過する光路長とに差が生じることになり、X軸およびY軸それぞれで結像位置がずれることによって、上述した位置ずれという現象が生じることになる。
Z = α (X 3 + Y 3 ) (1a)
The
次に位置ずれがどの程度生じるかについて具体例で説明する。図3は位相変調素子10aを含まない通常の光学系による光路を示す図である。通常の光学系10−1は、レンズ11〜13を含み、これらレンズを通過した光が撮像素子2に結像される。光学系10−1による撮影条件として、焦点距離を6mm、F値=3.5、最大画角(半値)=26.5度とする。
Next, how much misalignment occurs will be described with a specific example. FIG. 3 is a diagram showing an optical path by a normal optical system that does not include the
なお、F値は、レンズの焦点距離を有効口径で割った値であり、レンズの明るさを示す指標となる。また、画角とは、撮像素子2に映し出される範囲のことである。焦点距離が小さいほど広い画角を映し、焦点距離が大きいほど狭い画角を映すことになる。したがって、焦点距離を変えれば、映したい範囲を選択できる。
The F value is a value obtained by dividing the focal length of the lens by the effective aperture, and is an index indicating the brightness of the lens. Further, the angle of view is a range displayed on the
図4は位相変調素子10aを含む光学系10による光路を示す図である。光学系10は、レンズ11〜13および位相変調素子10aを含む。レンズ12とレンズ13との間に位相変調素子10aが挿入され、図3と同じ撮影条件において、光学系10を通過した光が撮像素子2に結像される。
FIG. 4 is a diagram showing an optical path by the
図3と図4を比較すると、位相変調素子10aを含む光学系10の場合、結像位置がY軸上でシフトしていることがわかる。なお、図4ではY軸のみのシフトを示しているが、X軸に対しても同様に結像位置がシフトすることになる。
Comparing FIG. 3 and FIG. 4, it can be seen that in the
図5、図6は画角とY軸方向のシフト量との関係を示す図である。横軸が画角(degree)、縦軸がシフト量(mm)である。また、実線が通常の光学系10−1のシフト量を示し、点線が位相変調素子10aを含む光学系10のシフト量を示している。なお、図6は図5の円内の状態を拡大して図示したものである。
5 and 6 are diagrams showing the relationship between the angle of view and the shift amount in the Y-axis direction. The horizontal axis is the angle of view (degree), and the vertical axis is the shift amount (mm). A solid line indicates the shift amount of the normal optical system 10-1, and a dotted line indicates the shift amount of the
画角26.5deg.では90μmの差が生じている。このように、画角が大きくなるほど、Y軸方向のシフト量は大きくなっている。すなわち、位置ずれ現象は、画角が大きくなるほど位置ずれが大きくなって顕著に現れることがわかる。 Angle of view 26.5 deg. Then, a difference of 90 μm occurs. Thus, the larger the angle of view, the greater the shift amount in the Y-axis direction. That is, it can be seen that the positional shift phenomenon appears more significantly as the angle of view increases.
次に撮像装置1の撮像領域および動作について以降説明する。図7は撮像領域を示す図である。撮像素子2には、有効撮像領域2aに対して、さらに補正用撮像領域2bが設けられている。有効撮像領域2aは、被写体の撮影に使われ、ユーザに対してファインダ表示される通常の撮像領域である。
Next, the imaging area and operation of the imaging apparatus 1 will be described below. FIG. 7 is a diagram showing an imaging region. The
補正用撮像領域2bは、被写体の実際の撮影には使われず、ファインダ表示はされずに、有効撮像領域2aからはみ出した被写体像を撮像して、画像再生補正の計算に使用するための領域である。
The
このため、被写体像の縦横方向のシフト量に対応した面積が設けられる。このシフト量、すなわち面積は、位相変調素子10aが持つ関数(上述の式(1a))によって決定することができ、この関数から必要量を算出することが可能である。
For this reason, an area corresponding to the shift amount of the subject image in the vertical and horizontal directions is provided. The shift amount, that is, the area can be determined by a function (the above-described equation (1a)) of the
ここで、位相変調素子10aを含む光学系10で被写体を撮影した場合、被写体像5a、5bがそれぞれ矢印方向にシフトしたとする。この場合、被写体像5aは、シフトした先でも有効撮像領域2a内にあって撮像されるために、画像処理部3では、被写体像5aのデータを取得することが可能である。
Here, when the subject is photographed with the
また、被写体像5bについては、有効撮像領域2a外へはみ出してしまうことになるが、被写体像5bが撮像されるように補正用撮像領域2bが設けられているので、補正用撮像領域2b上に被写体像5bが存在することになる。
Further, although the
したがって、被写体像5bのデータが欠落することはなく、画像処理部3では、被写体像5bのデータを取得することが可能である。このようにして、画像処理部3は、有効撮像領域2aおよび補正用撮像領域2bで撮像された被写体像の画像データを取得して画像処理を行うことになる。
Therefore, the data of the
図8は撮像領域を示す図である。図7では、位相変調素子10aを通過することで結像位置がシフトする方向に対して、有効撮像領域2aからはみ出した被写体像の部分を撮像できる箇所に補正用撮像領域2bを設けた。
FIG. 8 is a diagram showing an imaging region. In FIG. 7, the
これに対し、図8の場合、手ぶれ補正が行われることによって、有効撮像領域2aから外へはみ出してしまう被写体像の部分を撮像する領域にも補正用撮像領域を設ける。すなわち、図に示すように有効撮像領域2aの四方に補正用撮像領域2b−1を設けることになる。これにより、手ぶれ補正によってフレームアウトする被写体像のデータも取得することが可能になる。
On the other hand, in the case of FIG. 8, a correction imaging region is also provided in a region for capturing a portion of the subject image that protrudes outside the
以上説明したように、撮像装置1は、有効撮像領域2aと、位相変調素子10aを通過することで結像位置がシフトして、有効撮像領域2aからはみ出した被写体像の部分を撮像する補正用撮像領域2bとを有し、有効撮像領域2aおよび補正用撮像領域2bで撮像された被写体像の画像処理を行う構成とした。このような構成により、フレームアウトによって生じるデータ欠落を防止することができ、画像劣化を抑制した高品質な撮影が可能になる。
As described above, the imaging apparatus 1 is used for correction to capture the portion of the subject image that protrudes from the
なお、補正用撮像領域2bは、撮像素子2が元々有しているブランキングエリアとは異なるものである。ブランキングエリアは、撮像素子端部の数列分(ピッチによるが数μm〜十数μm幅)しかないために面積が十分でなく、基本的にX方向、Y方向のどちらか片方しか設けられない。また、撮像には使用されず、暗電流補正などを行うための予備領域である。したがって、ブランキングエリアを上述したような特徴を持つ補正用撮像領域2bに使用することは不向きである。
The
次に撮像装置1が有するテスト撮影部について説明する。図9は撮像装置の構成例を示す図である。撮像装置1aは、光学系10、撮像素子2、画像処理部3およびテスト撮影部4を備える。光学系10、撮像素子2および画像処理部3については上述したので、テスト撮影部4について説明する。
Next, the test imaging unit included in the imaging apparatus 1 will be described. FIG. 9 is a diagram illustrating a configuration example of the imaging apparatus. The imaging device 1a includes an
テスト撮影部4は、光学系10を介して擬似的な点光源(PSF)のテスト撮影を行い、テスト撮影された点光源の位置ずれ量を測定して測定値を出力する。ここで、補正用撮像領域2b分の撮像素子拡張量は、上述したような関数からほぼ決定するが、実際には素子変更や製造・取り付けの誤差等も考慮することになる。
The test photographing unit 4 performs a test photographing of a pseudo point light source (PSF) via the
したがって、より高精度にデータ欠落による画像劣化を抑制するためには、テスト撮影部4によって、例えば、絞りがほぼ閉じて、ゲイン最大、露出最大というような条件のもとで、擬似点光源撮影を行い、点光源の位置ずれ量を測定して測定値を出力する。そして、この測定値を逆変換処理時の補正係数として使用する。このようにテスト撮影部4を設けて、実際に位置ずれを測定することにより、個別の製品それぞれに対して、データ欠落による画像劣化を効率よく抑制することが可能になる。 Therefore, in order to suppress image degradation due to data loss with higher accuracy, the test photographing unit 4 performs pseudo-point light source photographing under conditions such that the aperture is almost closed and the gain is maximum and the exposure is maximum. To measure the amount of positional deviation of the point light source and output the measured value. And this measured value is used as a correction coefficient at the time of an inverse conversion process. Thus, by providing the test photographing unit 4 and actually measuring the positional deviation, it is possible to efficiently suppress image deterioration due to data loss for each individual product.
なお、テスト撮影部4では、横方向(X軸方向)、縦方向(Y軸方向)の点光源の位置ずれ量だけでなく、高さ方向(Z軸方向)に対する回転量も測定することにより、より高精度に位置ずれを測定することが可能になる。 The test photographing unit 4 measures not only the amount of positional deviation of the point light source in the horizontal direction (X-axis direction) and the vertical direction (Y-axis direction) but also the rotation amount in the height direction (Z-axis direction). Therefore, it becomes possible to measure the positional deviation with higher accuracy.
次にトリミング制御について説明する。図10はトリミング制御を説明するための図である。撮像装置1では、位相変調素子10aを通過することによって起こる点像の位置ずれ現象によって生じるデータ欠落を防止するために、有効撮像領域2aをずらすのではなく、有効撮像領域2aに対して、補正用撮像領域2bをあらたに撮像領域として付け加えた。
Next, trimming control will be described. FIG. 10 is a diagram for explaining the trimming control. In the imaging apparatus 1, in order to prevent data loss caused by a point image position shift phenomenon caused by passing through the
この場合、被写体像がシフトする方向とは対角方向にある領域では、有効撮像領域2a上のデータがシフトすることによって、データが存在しない領域(データ無領域)r1が現れる(図中の黒領域)。
In this case, in the area diagonal to the direction in which the subject image shifts, the data on the effective
このようなデータ無領域r1が存在すると、撮影後に縦横比率が変化して、プリントアウトや外部モニタ表示する場合に悪影響が出て画像劣化が生じるおそれがある。このため、画像処理部3では、被写体像の画像処理後には、データ無領域r1を自動的にトリミング(切り出し)する制御を行う。これにより、プリントアウトや外部モニタ表示時に生じるおそれのある画像劣化を抑制することが可能になる。
If such a non-data area r1 exists, the aspect ratio changes after shooting, which may adversely affect printout or external monitor display, resulting in image degradation. For this reason, the
図11は撮像装置1の動作を示すフローチャートである。
〔S1〕有効撮像領域2aをファインダ表示する。
〔S2〕被写体の撮影が行われる。
FIG. 11 is a flowchart showing the operation of the imaging apparatus 1.
[S1] The
[S2] The subject is photographed.
〔S3〕被写体像は、有効撮像領域2aで撮像される以外に、位相変調素子10aによって被写体像がシフトして、有効撮像領域2aからはみ出した場合は、そのはみ出し部分は、補正用撮像領域2bによって撮像される。
[S3] In addition to the subject image being captured in the
〔S4〕画像処理部3は、位相変調素子10aの位相分布関数や手ぶれ補正分のシフト量を加味して、補正用撮像領域2b内のどこまではみ出しているか(どこまでデータが分散しているか)を認識する。
[S4] The
〔S5〕画像処理部3は、有効撮像領域2aの全領域で撮像されたデータと、補正用撮像領域2bで撮像されたデータとを取得して、バッファリングする。
〔S6〕画像処理部3は、バッファリングされた画像データの逆フィルタ処理(逆変換処理)を行う。
[S5] The
[S6] The
〔S7〕画像処理部3は、トリミング制御を行う。
〔S8〕画像処理部3は、逆フィルタ処理およびトリミング後の画像データをフレーム表示する。
[S7] The
[S8] The
(付記1) 位相変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記被写体像を画像処理する画像処理部と、
を備え、
前記撮像素子は、撮影表示領域の第1の撮像領域と、非撮影表示領域の第2の撮像領域とを有し、
前記画像処理部は、前記第1の撮像領域および前記第2の撮像領域で撮像された前記被写体像の画像処理を行う、
ことを特徴とする撮像装置。
(Supplementary note 1) an optical system including a phase modulation element;
An image sensor that images a subject image that has passed through the optical system;
An image processing unit for image processing the subject image;
With
The imaging element has a first imaging area of a shooting display area and a second imaging area of a non-shooting display area,
The image processing unit performs image processing of the subject image captured in the first imaging region and the second imaging region;
An imaging apparatus characterized by that.
(付記2) 前記撮像素子の前記第2の撮像領域は、前記位相変調素子によって結像位置がシフトした、前記第1の撮像領域からはみ出した前記被写体像の部分を撮像する領域であることを特徴とする付記1記載の撮像装置。 (Supplementary Note 2) The second imaging area of the imaging element is an area that captures a portion of the subject image that protrudes from the first imaging area and whose imaging position is shifted by the phase modulation element. The imaging apparatus according to appendix 1, which is characterized.
(付記3) 前記撮像素子の前記第2の撮像領域は、前記第1の撮像領域からはみ出した前記被写体像の画像再生補正に使用するための領域であり、前記位相変調素子が持つ位相分布関数によって決まる前記被写体像の縦横方向のシフト量に対応した面積が設けられることを特徴とする付記2記載の撮像装置。
(Supplementary Note 3) The second imaging area of the imaging element is an area used for image reproduction correction of the subject image that protrudes from the first imaging area, and the phase distribution function of the phase modulation element The imaging apparatus according to
(付記4) 前記撮像素子の前記第2の撮像領域は、手ぶれ補正が行われることによって前記第1の撮像領域から外へはみ出してしまう前記被写体像の部分を撮像する領域に設けられることを特徴とする付記1記載の撮像装置。 (Supplementary Note 4) The second imaging area of the imaging element is provided in an area for imaging a portion of the subject image that protrudes outward from the first imaging area due to camera shake correction. The imaging apparatus according to appendix 1.
(付記5) テスト撮影部をさらに有し、
前記テスト撮影部は、前記光学系を介して擬似的な点光源のテスト撮影を行い、前記テスト撮影された前記点光源の位置ずれ量を測定して測定値を出力することを特徴とする付記1記載の撮像装置。
(Additional remark 5) It further has a test imaging | photography part,
The test photographing unit performs a test photographing of a pseudo point light source through the optical system, measures a positional deviation amount of the point light source photographed by the test photographing, and outputs a measured value. The imaging apparatus according to 1.
(付記6) 前記テスト撮影部は、前記点光源の縦横方向のシフト量と、高さ方向の回転傾きを測定して、前記点光源の位置ずれ量を測定することを特徴とする付記5記載の撮像装置。 (Additional remark 6) The said test imaging | photography part measures the shift amount of the vertical and horizontal direction of the said point light source, and the rotation inclination of a height direction, and measures the positional offset amount of the said point light source, The additional characteristic 5 characterized by the above-mentioned. Imaging device.
(付記7) 前記画像処理部は、前記光学系を介して前記被写体像が撮影されたときに、前記第1の撮像領域内に生じるデータが存在しない領域をトリミングすることを特徴とする付記1記載の撮像装置。 (Additional remark 7) The said image process part trims the area | region where the data which arise in the said 1st imaging area do not exist, when the said to-be-photographed image is image | photographed via the said optical system. The imaging device described.
(付記8) 撮像方法において、
撮像素子に対し、撮影表示領域の第1の撮像領域に、非撮影表示領域の第2の撮像領域を別途設け、
位相変調素子を含む光学系を通過した被写体像を前記撮像素子で撮像し、
前記第1の撮像領域および前記第2の撮像領域で撮像された前記被写体像の画像処理を行う、
ことを特徴とする撮像方法。
(Supplementary Note 8) In the imaging method,
For the imaging device, a second imaging area of the non-imaging display area is separately provided in the first imaging area of the imaging display area,
The subject image that has passed through the optical system including the phase modulation element is captured by the imaging element,
Image processing of the subject image imaged in the first imaging area and the second imaging area;
An imaging method characterized by the above.
1 撮像装置
2 撮像素子
2a 第1の撮像領域
2b 第2の撮像領域
3 画像処理部
10 光学系
10a 位相変調素子
DESCRIPTION OF SYMBOLS 1
Claims (4)
前記光学系を通過した被写体像を撮像する撮像素子と、
前記被写体像を画像処理する画像処理部と、
を備え、
前記撮像素子は、撮影表示領域の第1の撮像領域と、非撮影表示領域の第2の撮像領域とを有し、
前記画像処理部は、前記第1の撮像領域および前記第2の撮像領域で撮像された前記被写体像の画像処理を行い、
前記撮像素子の前記第2の撮像領域は、前記位相変調素子によって結像位置がシフトした、前記第1の撮像領域からはみ出した前記被写体像の部分を撮像する領域であり、さらに前記第1の撮像領域からはみ出した前記被写体像の画像再生補正に使用するための領域であって、前記位相変調素子が持つ位相分布関数によって決まる前記被写体像の縦横方向のシフト量に対応した面積が設けられる、
ことを特徴とする撮像装置。 An optical system including a phase modulation element;
An image sensor that images a subject image that has passed through the optical system;
An image processing unit for image processing the subject image;
With
The imaging element has a first imaging area of a shooting display area and a second imaging area of a non-shooting display area,
The image processing unit may have a row image processing of the subject image captured by the first imaging region and the second imaging region,
The second imaging area of the imaging element is an area for imaging a portion of the subject image that protrudes from the first imaging area, the imaging position of which is shifted by the phase modulation element. An area for use in image reproduction correction of the subject image that protrudes from the imaging region, and is provided with an area corresponding to a vertical and horizontal shift amount of the subject image determined by a phase distribution function of the phase modulation element.
An imaging apparatus characterized by that.
前記テスト撮影部は、前記光学系を介して擬似的な点光源のテスト撮影を行い、前記テスト撮影された前記点光源の位置ずれ量を測定して測定値を出力することを特徴とする請求項1記載の撮像装置。 The test photographing unit performs a test photographing of a pseudo point light source through the optical system, measures a positional deviation amount of the point light source taken by the test photographing, and outputs a measurement value. Item 2. The imaging device according to Item 1.
撮像素子に対し、撮影表示領域の第1の撮像領域に、非撮影表示領域の第2の撮像領域を別途設け、 For the imaging device, a second imaging area of the non-imaging display area is separately provided in the first imaging area of the imaging display area,
位相変調素子を含む光学系を通過した被写体像を前記撮像素子で撮像し、 The subject image that has passed through the optical system including the phase modulation element is captured by the imaging element,
前記第1の撮像領域および前記第2の撮像領域で撮像された前記被写体像の画像処理を行い、 Performing image processing of the subject image imaged in the first imaging area and the second imaging area;
前記撮像素子の前記第2の撮像領域は、前記位相変調素子によって結像位置がシフトした、前記第1の撮像領域からはみ出した前記被写体像の部分を撮像する領域であり、さらに前記第1の撮像領域からはみ出した前記被写体像の画像再生補正に使用するための領域であって、前記位相変調素子が持つ位相分布関数によって決まる前記被写体像の縦横方向のシフト量に対応した面積が設けられる、 The second imaging area of the imaging element is an area for imaging a portion of the subject image that protrudes from the first imaging area, the imaging position of which is shifted by the phase modulation element. An area for use in image reproduction correction of the subject image that protrudes from the imaging region, and is provided with an area corresponding to a vertical and horizontal shift amount of the subject image determined by a phase distribution function of the phase modulation element.
ことを特徴とする撮像方法。 An imaging method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009295113A JP5487955B2 (en) | 2009-12-25 | 2009-12-25 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009295113A JP5487955B2 (en) | 2009-12-25 | 2009-12-25 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135484A JP2011135484A (en) | 2011-07-07 |
JP5487955B2 true JP5487955B2 (en) | 2014-05-14 |
Family
ID=44347706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009295113A Expired - Fee Related JP5487955B2 (en) | 2009-12-25 | 2009-12-25 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5487955B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112017002459T5 (en) | 2016-05-13 | 2019-01-24 | Mitsubishi Electric Corporation | IMAGE READING DEVICE |
EP3497474A4 (en) | 2016-08-12 | 2020-05-06 | The University of Washington | Millimeter wave imaging systems and methods using direct conversion receivers and/or modulation techniques |
JP7065532B2 (en) * | 2016-12-08 | 2022-05-12 | ユニバーシティ オブ ワシントン | How to reconstruct an image |
JP7055625B2 (en) * | 2017-02-23 | 2022-04-18 | ソニー・オリンパスメディカルソリューションズ株式会社 | Endoscope device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4722748B2 (en) * | 2006-03-29 | 2011-07-13 | 京セラ株式会社 | Imaging apparatus and image generation method thereof |
-
2009
- 2009-12-25 JP JP2009295113A patent/JP5487955B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011135484A (en) | 2011-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9167168B2 (en) | Image processing method, image processing apparatus, non-transitory computer-readable medium, and image-pickup apparatus | |
JP5237978B2 (en) | Imaging apparatus and imaging method, and image processing method for the imaging apparatus | |
JP2008211679A (en) | Imaging apparatus and method thereof | |
US10291899B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image | |
JP5487955B2 (en) | Imaging apparatus and imaging method | |
JP5157377B2 (en) | Focus detection apparatus and imaging apparatus | |
JP4364847B2 (en) | Imaging apparatus and image conversion method | |
JP2008033060A (en) | Imaging apparatus and imaging method, and image processor | |
JP5712031B2 (en) | Imaging device, photographing lens unit, and imaging unit | |
WO2011132280A1 (en) | Image capture device and image capture method | |
JP2012256118A (en) | Image restoration device and method thereof | |
JP2006094470A (en) | Imaging device and imaging method | |
JP5409588B2 (en) | Focus adjustment method, focus adjustment program, and imaging apparatus | |
WO2013172030A1 (en) | Image pick-up device, image pick-up lens unit, and image pick-up unit | |
JP6576114B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP6333076B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP5418258B2 (en) | Imaging apparatus and image processing method | |
JP6486182B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5993124B2 (en) | Imaging device | |
JP7504579B2 (en) | Image capture device, image capture device control method and program | |
JP6559354B2 (en) | Imaging device | |
JP7137433B2 (en) | Blur correction device, imaging device, blur correction method, and program | |
JP5581177B2 (en) | Imaging position adjusting apparatus and imaging apparatus | |
JP6671963B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium | |
WO2015182021A1 (en) | Image pickup control apparatus, image pickup apparatus, and image pickup control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5487955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |