JP5644468B2 - IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM - Google Patents
IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM Download PDFInfo
- Publication number
- JP5644468B2 JP5644468B2 JP2010283741A JP2010283741A JP5644468B2 JP 5644468 B2 JP5644468 B2 JP 5644468B2 JP 2010283741 A JP2010283741 A JP 2010283741A JP 2010283741 A JP2010283741 A JP 2010283741A JP 5644468 B2 JP5644468 B2 JP 5644468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- infrared light
- unit
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、画像演算装置、撮像装置および画像演算プログラムに関する。 The present invention relates to an image arithmetic device, an imaging device, and an image arithmetic program.
レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）
A technique is known in which scene depth information is obtained from a single piece of image data by photographing a scene with a camera in which a structured aperture composed of RGB color filters is arranged at the aperture position of the lens optical system ( For example, Non-Patent Document 1).
[Prior art documents]
[Non-Patent Document 1] Depth estimation and foreground mat extraction using a color filter for the diaphragm of a camera (Visual Computing / Graphics and CAD Joint Symposium 2008)
上述のように、奥行き情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。したがって、観賞用等としての通常の撮影画像を撮影するときには構造化開口を被写体光束から退避させ、距離情報を取得するための撮影画像を撮影するときには構造化開口を被写体光束に挿入する必要があった。 As described above, in order to obtain depth information, a structured aperture that is a mask having at least a special aperture shape is arranged in the optical system. Therefore, it is necessary to retract the structured aperture from the subject light beam when photographing a normal photographed image for viewing and the like, and to insert the structured aperture into the subject light beam when photographing a photographed image for obtaining distance information. It was.
上記課題を解決するために、本発明の第１の態様における画像演算装置は、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算部とを備える。 In order to solve the above-described problem, an image calculation apparatus according to the first aspect of the present invention includes an acquisition unit that acquires an infrared image obtained by imaging a subject irradiated with an infrared light pattern, and a red image captured in the infrared image. A calculation unit that calculates depth information of the subject based on edge information of the external light pattern.
上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の画像演算装置を含む撮像装置であって、赤外光パターンを照射する赤外照射部と、赤外光波長帯域に感度を持つ赤外光受光画素を有する撮像素子とを備える。 In order to solve the above-described problem, an imaging device according to a second aspect of the present invention is an imaging device including the above-described image calculation device, an infrared irradiation unit that irradiates an infrared light pattern, and an infrared light wavelength. And an imaging device having an infrared light receiving pixel having sensitivity in a band.
上記課題を解決するために、本発明の第３の態様における画像演算プログラムは、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得ステップと、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算ステップとをコンピュータに実行させる。 In order to solve the above-described problem, an image calculation program according to the third aspect of the present invention includes an acquisition step of acquiring an infrared image obtained by imaging a subject irradiated with an infrared light pattern, and red captured in the infrared image. Based on the edge information of the external light pattern, the computer executes a calculation step for calculating the depth information of the subject.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。 FIG. 1 is a cross-sectional view of a main part of a single-lens reflex camera 200 according to the present embodiment. The single-lens reflex camera 200 functions as an imaging device by combining a lens unit 210 that is a photographing lens and a camera unit 230 that is a camera body.
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。レンズユニット２１０は、フォーカスレンズ２１２の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。 The lens unit 210 includes a lens group 211 arranged along the optical axis 201. The lens group 211 includes a focus lens 212 and a zoom lens 213. The lens unit 210 includes a lens system control unit 216 that controls and calculates the lens unit 210 such as driving the focus lens 212. Each element constituting the lens unit 210 is supported by the lens barrel 217.
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。 The lens unit 210 includes a lens mount 218 at a connection portion with the camera unit 230, and engages with the camera mount 231 included in the camera unit 230 to be integrated with the camera unit 230. Each of the lens mount 218 and the camera mount 231 includes an electrical connection portion in addition to a mechanical engagement portion, and realizes power supply from the camera unit 230 to the lens unit 210 and mutual communication.
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。 The camera unit 230 includes a main mirror 232 that reflects a subject image incident from the lens unit 210 and a focus plate 234 on which the subject image reflected by the main mirror 232 is formed. The main mirror 232 rotates around the rotation axis 233 and can take a state of being obliquely provided in the subject light flux centered on the optical axis 201 and a state of being retracted from the subject light flux. When the subject image is guided to the focus plate 234 side, the main mirror 232 is provided obliquely in the subject light flux. Further, the focus plate 234 is disposed at a position conjugate with the light receiving surface of the image sensor 243.
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。 The subject image formed on the focusing screen 234 is converted into an erect image by the pentaprism 235 and observed by the user via the eyepiece optical system 236. An AE sensor 237 is disposed above the exit surface of the pentaprism 235, and detects the luminance distribution of the subject image.
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。 The region near the optical axis 201 of the main mirror 232 in the oblique state is formed as a half mirror, and a part of the incident light beam is transmitted. The transmitted light beam is reflected by the sub mirror 238 that operates in conjunction with the main mirror 232, and is guided to the AF optical system 239. The subject luminous flux that has passed through the AF optical system 239 enters the AF sensor 240. The AF sensor 240 detects a phase difference signal from the received subject light beam. The sub mirror 238 retracts from the subject light beam in conjunction with the main mirror 232 when the main mirror 232 retracts from the subject light beam.
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。 A focal plane shutter 241, an optical low-pass filter 242, and an image sensor 243 are arranged along the optical axis 201 behind the oblique main mirror 232. The focal plane shutter 241 takes an open state when the subject light flux is guided to the image sensor 243, and takes a shielding state at other times. The optical low-pass filter 242 plays a role of adjusting the spatial frequency of the subject image with respect to the pixel pitch of the image sensor 243. The image sensor 243 is a photoelectric conversion element such as a CMOS sensor, for example, and converts the subject image formed on the light receiving surface into an electric signal.
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。 The electrical signal photoelectrically converted by the image sensor 243 is processed into image data by the image processing unit 246 which is a DSP mounted on the main board 244. In addition to the image processing unit 246, a camera system control unit 245, which is an MPU that integrally controls the system of the camera unit 230, is mounted on the main board 244. The camera system control unit 245 manages the camera sequence and performs input / output processing of each component.
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。 A display unit 247 such as a liquid crystal monitor is disposed on the back surface of the camera unit 230, and a subject image processed by the image processing unit 246 is displayed. The display unit 247 displays not only a still image after shooting, but also an EVF image as a viewfinder, various menu information, shooting information, and the like. The camera unit 230 houses a detachable secondary battery 248 and supplies power to the lens unit 210 as well as the camera unit 230.
ペンタプリズム２３５の近傍にはフラッシュ２４９を備えており、カメラシステム制御部２４５の制御により被写体を照射する。また、カメラユニット２３０は、フラッシュ２４９とは別に、パターン照射部２５０を、同じくペンタプリズム２３５の近傍に備えている。パターン照射部２５０は、被写体に対して赤外光パターンを照射するユニットである。パターン照射部２５０は、赤外光を発光する赤外発光部２５１、被写体へ照射する格子状のパターンが印刷されたパターンマスク２５２、照射レンズ２５３を備える。 A flash 249 is provided in the vicinity of the pentaprism 235 to irradiate the subject under the control of the camera system control unit 245. In addition to the flash 249, the camera unit 230 includes a pattern irradiation unit 250 in the vicinity of the pentaprism 235. The pattern irradiation unit 250 is a unit that irradiates the subject with an infrared light pattern. The pattern irradiation unit 250 includes an infrared light emission unit 251 that emits infrared light, a pattern mask 252 on which a lattice pattern to be irradiated to a subject is printed, and an irradiation lens 253.
また、赤外光パターンの照射光束中、特に照射レンズ２５３の瞳近傍に、ウェーブフロントコーディング光学素子（ＷＣＯＥ）２５４が配設される。ＷＣＯＥ２５４は、赤外光パターンの焦点深度を、照射レンズ２５３単独の場合に比較して大幅に深くする光学素子である。すなわち、ＷＣＯＥ２５４を赤外光パターンの照射光束中に配設することにより、デフォーカス平面上に投影された赤外光パターンのぼけを抑制することができる。ＷＣＯＥ２５４は、例えば三次関数で定義された位相曲面を有する。 In addition, a wavefront coding optical element (WCOE) 254 is disposed in the irradiation light flux of the infrared light pattern, particularly in the vicinity of the pupil of the irradiation lens 253. The WCOE 254 is an optical element that makes the depth of focus of the infrared light pattern significantly deeper than that of the irradiation lens 253 alone. That is, by disposing the WCOE 254 in the irradiation light beam of the infrared light pattern, blurring of the infrared light pattern projected on the defocus plane can be suppressed. The WCOE 254 has a phase curved surface defined by a cubic function, for example.
パターン照射部２５０は、さらに、赤外光パターンの照射光束の外側に複数のＷＣＯＥ２５４と、これらの一つを照射光束中のＷＣＯＥ２５４と入れ替えるＷＣＯＥ入替部２５５を備える。複数のＷＣＯＥ２５４は、それぞれ異なる特性を有する。具体的には、それぞれのＷＣＯＥ２５４は、互いに異なる拡張倍率を有する。拡張倍率とは、照射レンズ２５３単独の場合の焦点深度に対する、ＷＣＯＥ２５４配設時の焦点深度の比である。 The pattern irradiation unit 250 further includes a plurality of WCOEs 254 outside the irradiation light beam of the infrared light pattern, and a WCOE replacement unit 255 for replacing one of them with the WCOE 254 in the irradiation light beam. The plurality of WCOEs 254 have different characteristics. Specifically, each WCOE 254 has a different expansion factor. The expansion magnification is the ratio of the depth of focus when the WCOE 254 is disposed to the depth of focus of the irradiation lens 253 alone.
図２は、撮像素子２４３の画素上に配置された画素フィルタの説明図である。本実施例における画素フィルタの配列は、図示するように、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタが設けられている。ＩＲ画素フィルタは、赤外光の波長帯を透過するフィルタである。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢ＋ＩＲの４つの波長帯に分離して光電変換する。 FIG. 2 is an explanatory diagram of pixel filters arranged on the pixels of the image sensor 243. As shown in the figure, the pixel filter array in this embodiment includes four pixels as a set, and an R pixel filter, a G pixel filter, a B pixel filter, and an IR pixel filter are provided on each pixel. The IR pixel filter is a filter that transmits the wavelength band of infrared light. Therefore, the wavelength band in which each pixel has sensitivity is regulated by the pixel filter provided for each pixel. As the entire image sensor 243, each of the two-dimensionally arranged pixels is discretely provided with one of an R pixel filter, a G pixel filter, a B pixel filter, and an IR pixel filter. It can be said that the incident subject luminous flux is detected separately for each wavelength band. In other words, the image sensor 243 separates the subject image formed on the light receiving surface into four wavelength bands of RGB + IR and performs photoelectric conversion.
図３は、撮像素子２４３の画素が感度を有する波長帯と、パターン照射部２５０が照射する赤外光パターンの波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。 FIG. 3 is a diagram illustrating the relationship between the wavelength band in which the pixels of the image sensor 243 have sensitivity and the wavelength band of the infrared light pattern irradiated by the pattern irradiation unit 250. In the figure, the vertical axis represents transmittance (%), and the horizontal axis represents wavelength (nm). It represents that the light having a higher transmittance reaches the photodiode constituting the pixel.
Ｂ曲線３０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線３０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線３０３はＲ画素フィルタが設けられた画素の感度を、ＩＲ曲線３０４はＩＲ画素フィルタが設けられた画素の感度を示す。また、パターン照射部２５０が照射する赤外光パターンの波長帯は、矢印３１１で表される。 B curve 301 indicates the sensitivity of the pixel provided with the B pixel filter, similarly G curve 302 indicates the sensitivity of the pixel provided with the G pixel filter, and R curve 303 indicates the sensitivity of the pixel provided with the R pixel filter. The IR curve 304 indicates the sensitivity of a pixel provided with an IR pixel filter. The wavelength band of the infrared light pattern irradiated by the pattern irradiation unit 250 is represented by an arrow 311.
すなわち、被写体で反射された赤外光パターンは、主としてＩＲ画素フィルタが設けられた赤外光受光画素でのみ受光される。換言すれば、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられたＲＧＢ画素は、赤外光パターンを捉えることができない。つまり、赤外光パターンは、可視光波長帯を受光するＲＧＢ画素に影響を及ぼさない。 That is, the infrared light pattern reflected by the subject is received only by the infrared light receiving pixels provided with the IR pixel filter. In other words, the RGB pixel provided with the R pixel filter, the G pixel filter, and the B pixel filter cannot capture an infrared light pattern. That is, the infrared light pattern does not affect the RGB pixels that receive the visible light wavelength band.
すると、赤外受光画素の出力のみを集めれば、赤外光パターンが写り込んだ被写体画像を形成することができる。この被写体画像は赤外画像であり、この画像に対して後述の演算処理を行うことにより、奥行き情報を取得することができる。 Then, if only the outputs of the infrared light receiving pixels are collected, a subject image in which the infrared light pattern is reflected can be formed. The subject image is an infrared image, and depth information can be acquired by performing arithmetic processing described later on the image.
同時に、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられたＲＧＢ画素の出力を集めれば、赤外光パターンに何ら影響を受けていないカラーの被写体画像を形成できる。つまり、観賞用等に耐え得る通常の被写体画像としての本撮影画像を取得することができる。したがって、一度の撮影動作により、赤外光パターンが写り込んだ赤外画像と、赤外光パターンの影響を受けていない本撮影画像の両方を取得することができる。 At the same time, by collecting the outputs of the RGB pixels provided with the R pixel filter, the G pixel filter, and the B pixel filter, it is possible to form a color subject image that is not affected by the infrared light pattern. That is, it is possible to acquire a main photographic image as a normal subject image that can endure viewing. Therefore, it is possible to acquire both the infrared image in which the infrared light pattern is reflected and the actual captured image that is not affected by the infrared light pattern by a single photographing operation.
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図４は、一眼レフカメラのシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。 Next, the system configuration of the single-lens reflex camera 200 according to the present embodiment will be described. FIG. 4 is a block diagram schematically showing the system configuration of a single-lens reflex camera. The system of the single-lens reflex camera 200 includes a lens control system centered on the lens system control unit 216 and a camera control system centered on the camera system control unit 245 corresponding to the lens unit 210 and the camera unit 230, respectively. Is done. The lens control system and the camera control system exchange various data and control signals with each other via a connection portion connected by the lens mount 218 and the camera mount 231.
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換されたＲＧＢ画素出力からなる撮像信号を、本撮影画像としての画像データを生成する。また、画像処理部２４６は、赤外光受光素子の出力からなる撮像信号を処理して、赤外画像を生成する。生成された赤外画像はぼけマップ演算部２６１へ引き渡され、ぼけマップ演算部２６１は、後述の手法によりぼけマップを生成する。ぼけマップは、本撮影画像に対する奥行き情報を表現する。画像処理部２４６は、生成されたぼけマップを参照して、本撮影画像の画像データにぼけ処理を施す。表示部２４７は、ぼけ処理が施された画像データを表示する。その後、画像処理部２４６は、画像データを所定の画像フォーマットに加工し、カメラシステム制御部２４５は、外部接続ＩＦ２６４を介して、当該画像データを外部メモリに記録する。 The image processing unit 246 included in the camera control system generates image data as an actual captured image from an imaging signal composed of RGB pixel outputs photoelectrically converted by the imaging device 243 in accordance with a command from the camera system control unit 245. In addition, the image processing unit 246 processes an imaging signal formed from the output of the infrared light receiving element to generate an infrared image. The generated infrared image is transferred to the blur map calculation unit 261, and the blur map calculation unit 261 generates a blur map by a method described later. The blur map expresses depth information for the actual captured image. The image processing unit 246 performs blur processing on the image data of the actual captured image with reference to the generated blur map. The display unit 247 displays the image data that has been subjected to the blur processing. Thereafter, the image processing unit 246 processes the image data into a predetermined image format, and the camera system control unit 245 records the image data in the external memory via the external connection IF 264.
カメラメモリ２６２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された画像データの一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２６３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。 The camera memory 262 is a non-volatile memory such as a flash memory, for example, and plays a role of recording a program for controlling the single-lens reflex camera 200, various parameters, and the like in addition to a temporary recording place of the generated image data. . The work memory 263 is a memory that can be accessed at a high speed, such as a RAM, and has a role of temporarily storing image data being processed.
レリーズスイッチ２６５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、取得した位相差情報に基づいてＷＣＯＥ入替部２５５を駆動して、選択したＷＣＯＥ２５４を、赤外光パターンの照射光束中に配設する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、カメラシステム制御部２４５は、赤外発光部２５１を発光させて被写体へ赤外光パターンを照射し、予め定められた処理フローに従って撮影動作を実行する。具体的な処理フローについては後述する。 The release switch 265 has a two-stage switch position in the push-in direction, and the camera system control unit 245 detects phase difference information from the AF sensor 240 when detecting that the first-stage switch SW1 is turned on. get. Then, the WCOE replacement unit 255 is driven based on the acquired phase difference information, and the selected WCOE 254 is arranged in the irradiation light beam of the infrared light pattern. Also, the exposure value is determined by obtaining the luminance distribution of the subject image from the AE sensor 237. Further, when detecting that the second-stage switch SW2 is turned on, the camera system control unit 245 emits the infrared light emitting unit 251 to irradiate the subject with the infrared light pattern, and is set in advance. The photographing operation is executed according to the processing flow. A specific processing flow will be described later.
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有の情報を保管している。例えば、レンズメモリ２２１は、レンズユニット２１０の焦点距離、開放絞り情報等を、レンズシステム制御部２１６を介して、カメラシステム制御部２４５へ提供する。 The lens system control unit 216 receives various control signals from the camera system control unit 245 and executes various operations. The lens memory 221 stores information unique to the lens unit 210. For example, the lens memory 221 provides the focal length of the lens unit 210, open aperture information, and the like to the camera system control unit 245 via the lens system control unit 216.
図５は、パターン照射の様子を示す説明図である。図５（ａ）は、パターン照射する前の被写体の様子を示す。図示するように、物が置かれたテーブル５０１と、後方の壁面５０２および壁面５０２に設けられた窓を覆うブラインド５０３が被写体として存在する。 FIG. 5 is an explanatory diagram showing the pattern irradiation. FIG. 5A shows the state of the subject before pattern irradiation. As shown in the figure, a table 501 on which an object is placed, a rear wall surface 502, and a blind 503 that covers a window provided on the wall surface 502 exist as subjects.
図５（ｂ）は、パターン照射部２５０により赤外光パターン５１０が被写体に照射された様子を示す。パターン照射部２５０は、カメラシステム制御部２４５の制御により、例えば高輝度ＬＥＤによって構成される赤外発光部２５１が発光されて、パターンマスク２５２に規定されるパターンを被写体に照射する。本実施形態においては、格子状のパターンが被写体に照射されている。なお、赤外光パターン５１０は赤外光によるパターンなので、被写体として含まれる人物に、可視光波長帯であれば不愉快と感じさせるパターン光を認識させることが無い。また、赤外画像は図５（ｂ）のように取得され、本撮影画像は図５（ａ）のように取得される。 FIG. 5B shows a state where the subject is irradiated with the infrared light pattern 510 by the pattern irradiation unit 250. Under the control of the camera system control unit 245, the pattern irradiation unit 250 emits an infrared light emitting unit 251 configured by, for example, a high-intensity LED, and irradiates the subject with a pattern defined by the pattern mask 252. In the present embodiment, a subject is irradiated with a lattice pattern. In addition, since the infrared light pattern 510 is a pattern using infrared light, a person included as a subject is not allowed to recognize pattern light that makes the person feel uncomfortable in the visible light wavelength band. Further, the infrared image is acquired as shown in FIG. 5B, and the actual captured image is acquired as shown in FIG.
複数の水平方向のラインが垂直方向に連続するブラインド５０３、表面にコントラストが存在しない壁面５０２等の対象物については、ＡＦセンサ２４０から位相差情報を取得することは困難である。しかし、本実施形態のようにアクティブに格子パターンを照射するのであれば、後述の処理により、ほとんどの被写体において奥行き情報を取得することができる。また、テーブル５０１とブラインド５０３には相当の奥行き差があるが、適当なＷＣＯＥ２５４を介在させて赤外光パターン５１０を照射することにより、格子パターンの拡散を一定の範囲に収めている。つまり、シーンの奥行き方向に亘って、格子パターンを観察できる。なお、ここでの「観察される」とは、人間によって視認されるのではなく、赤外画像として取得できるという意味である。また、図５（ｂ）においては、便宜上、格子パターンの線幅を一定として表現しているが、実際には以下に説明するように、線幅もコントラストも奥行きに応じて変化する。 It is difficult to acquire phase difference information from the AF sensor 240 for objects such as a blind 503 in which a plurality of horizontal lines continue in the vertical direction and a wall surface 502 having no contrast on the surface. However, if the grid pattern is actively irradiated as in the present embodiment, depth information can be acquired for most subjects by the processing described later. Further, although there is a considerable depth difference between the table 501 and the blind 503, the diffusion of the lattice pattern is kept within a certain range by irradiating the infrared light pattern 510 with an appropriate WCOE 254 interposed. That is, the lattice pattern can be observed over the depth direction of the scene. Here, “observed” means that the image can be acquired as an infrared image rather than being visually recognized by a human. In FIG. 5B, the line width of the lattice pattern is expressed as a constant for convenience, but actually the line width and contrast change according to the depth as described below.
図６は、奥行き方向におけるパターン照射の様子の違いを説明する説明図である。一眼レフカメラ２００のパターン照射部２５０からシーンに照射された赤外光パターンは、フォーカス面である第１平面において焦点を結ぶ。つまり、第１平面において、赤外光パターンはコントラストが最大となる。この第１平面上に被写体が存在すれば、その表面に最大のコントラストで赤外光パターンが観察される。 FIG. 6 is an explanatory diagram for explaining a difference in pattern irradiation in the depth direction. The infrared light pattern irradiated to the scene from the pattern irradiation unit 250 of the single-lens reflex camera 200 is focused on the first plane that is the focus plane. That is, the infrared light pattern has the maximum contrast in the first plane. If an object exists on the first plane, an infrared light pattern is observed on the surface with the maximum contrast.
第１平面から奥行き方向にずれたデフォーカス平面においては、第１平面から遠ざかるにつれて赤外光パターンのコントラストは徐々に低下する。したがって、第２平面に比べて第１平面からより遠い第３平面では、第２平面で観察される赤外光パターンよりも、より薄い赤外光パターンが観察される。 In the defocus plane deviated from the first plane in the depth direction, the contrast of the infrared light pattern gradually decreases as the distance from the first plane increases. Therefore, a thinner infrared light pattern is observed on the third plane farther from the first plane than on the second plane, compared to the infrared light pattern observed on the second plane.
つまり、図５で示すシーンのように、奥行き方向に複数の物体が存在すれば、その奥行きに応じてコントラストの異なる赤外光パターンが、それぞれの物体の表面に観察されることになる。 That is, as in the scene shown in FIG. 5, if there are a plurality of objects in the depth direction, infrared light patterns having different contrasts according to the depths are observed on the surfaces of the respective objects.
また、赤外光パターンは、フォーカス面である第１平面において線幅が最も狭くなる。そして、第１平面から遠ざかるにつれて線幅が徐々に広がる。つまり、奥行き方向に複数の物体が存在すれば、その奥行きに応じて線幅の異なる赤外光パターンが、それぞれの物体の表面に観察されることになる。 The infrared light pattern has the smallest line width in the first plane that is the focus surface. The line width gradually increases as the distance from the first plane increases. That is, when there are a plurality of objects in the depth direction, infrared light patterns having different line widths according to the depths are observed on the surfaces of the respective objects.
本実施形態においては、特に、赤外光パターンのエッジ情報としてコントラストの変化に着目して奥行き情報を算出する。図６（ａ）は、各平面において観察されるパターンのうち、縦ラインの一部を切り取った様子を示す。図６（ａ）として模式的に示すように、第１平面において観察されるパターンはくっきりとしている。それが第２平面、第３平面と遠ざかるにつれて、徐々にぼんやりしたパターンとなる。これを、Ａ−Ａにおける輝度値で表すと、図６（ｂ）のようになる。すなわち、第１平面におけるパターンは、輝度値が大きく、パターンの境界で急峻な立ち上がりを示す。一方第２平面、第３平面と遠ざかるにつれて、最大輝度値は徐々に低下し、パターンの境界も徐々になだらかになっている様子がわかる。 In the present embodiment, depth information is calculated by paying attention to a change in contrast as edge information of an infrared light pattern. FIG. 6A shows a state in which a part of the vertical line is cut out from the pattern observed in each plane. As schematically shown in FIG. 6A, the pattern observed on the first plane is clear. As it moves away from the second plane and the third plane, the pattern gradually becomes blurred. This can be expressed as a luminance value at A-A as shown in FIG. That is, the pattern in the first plane has a large luminance value and shows a steep rise at the boundary of the pattern. On the other hand, it can be seen that as the distance from the second plane and the third plane increases, the maximum luminance value gradually decreases, and the pattern boundary gradually decreases.
図６（ｂ）のＡ−Ａにおける輝度値に対して微分値を算出すると、図６（ｃ）のように表される。第１平面で観察されるパターンの場合は、境界における急峻な変化が、狭く高い凸形状となって現れる。なお、微分値は、非パターン部からパターン部へ向かう場合がプラス、パターン部から非パターン部へ向かう場合がマイナスと定義されるので、パターンの境界部に山状の凸形状と谷状の凸形状がそれぞれ現れる。 When a differential value is calculated with respect to the luminance value at A-A in FIG. 6B, it is expressed as shown in FIG. In the case of a pattern observed on the first plane, a steep change at the boundary appears as a narrow and high convex shape. The differential value is defined as positive when going from the non-pattern part to the pattern part, and minus when going from the pattern part to the non-pattern part. Each shape appears.
一方、第２平面、第３平面と遠ざかるにつれて徐々に、凸形状の裾野は広がり、高さも低く観察される。つまり、赤外光パターンのコントラストは、微分値で評価することができる。換言すれば、赤外光パターンの微分値を評価することにより、奥行き情報を取得することができる。より単純には、凸形状の高さである微分値の最大値により奥行き情報を取得できる。この微分値の最大値を評価値として赤外画像に対応する２次元平面の領域ごとに演算を行えば、奥行き方向のぼけを数値で表現したぼけマップを生成することができる。以下に具体的なぼけマップの生成処理について説明する。 On the other hand, as the distance from the second plane and the third plane increases, the base of the convex shape gradually widens and the height is observed to be low. That is, the contrast of the infrared light pattern can be evaluated by the differential value. In other words, the depth information can be acquired by evaluating the differential value of the infrared light pattern. More simply, the depth information can be acquired from the maximum differential value that is the height of the convex shape. If a calculation is performed for each area of the two-dimensional plane corresponding to the infrared image using the maximum value of the differential value as an evaluation value, a blur map expressing the blur in the depth direction as a numerical value can be generated. A specific blur map generation process will be described below.
図７は、ぼけマップ生成処理を説明する図である。まず、赤外画像として図７（ａ）に示す取得画像が取得される。ここでは、奥行き方向に３つの矩形物体が存在する場合を想定する。赤外画像は、被写体像として最も手前に存在する第１物体に照射された赤外光パターンに対応する第１領域、中間に存在する第２物体に対応する第２領域、最も遠い位置に存在する第３物体に対応する第３領域を有する。他の領域は、赤外光パターンが届かない無限遠背景である。なお、ここでは第１物体の被照射平面がフォーカス面であるとする。 FIG. 7 is a diagram for explaining the blur map generation process. First, an acquired image shown in FIG. 7A is acquired as an infrared image. Here, it is assumed that there are three rectangular objects in the depth direction. The infrared image is present in the farthest position, the first region corresponding to the infrared light pattern irradiated to the first object existing closest to the subject image, the second region corresponding to the second object existing in the middle. And a third region corresponding to the third object. The other area is an infinite background where the infrared light pattern does not reach. Here, it is assumed that the irradiated plane of the first object is the focus plane.
取得した赤外画像の赤外光パターンに対して、ｘ方向、ｙ方向、ｘｙ±４５度方向に微分値を算出し、その絶対値を足し合わせる。絶対値とするのは、非パターン部からパターン部へ向かう場合であっても、パターン部から非パターン部へ向かう場合であっても同等に扱うためである。また、複数の方向から微分値を算出するのは、赤外光パターンのエッジに対して交差する方向を含むようにサンプルすることで、より確実に画素値の変化を抽出することを目的とする。この値を各画素に割り当てて視覚化すると図７（ｂ）に示す微分画像が得られる。 A differential value is calculated in the x direction, y direction, and xy ± 45 degrees direction with respect to the infrared light pattern of the acquired infrared image, and the absolute values thereof are added. The absolute value is used in the same way even when the non-pattern part moves from the pattern part to the non-pattern part. The purpose of calculating the differential value from a plurality of directions is to extract changes in the pixel value more reliably by sampling so as to include the direction intersecting the edge of the infrared light pattern. . When this value is assigned to each pixel and visualized, a differential image shown in FIG. 7B is obtained.
次に、図７（ｃ）に示すように、着目する画素Ｐｉを中心として一辺がｗの演算ウィンドウを、微分画像から抽出する。そして、この演算ウィンドウ内に含まれるすべての画素を対象に、その値をヒストグラム化する。すると、図７（ｄ）で表されるような、一定のレンジごとに区分された微分値に対して画素数でカウントした頻度による、微分値のヒストグラムが得られる。そして、このヒストグラムのうち最頻値を示す微分値Ｖｉを、画素Ｐｉに対する評価値と定める。このような処理により、画素Ｐｉの微分値そのものでなく、周辺部を含めた微小領域の代表的な微分値Ｖを、画素Ｐｉの評価値と定めることができる。そして、演算ウィンドウを上下左右にずらしつつ、全画素に対してこの処理を実行する。すると、同程度のコントラストを示す赤外光パターンに対応する領域は、その全域に亘って、含まれる画素ごとに演算される評価値が、ほぼ同じ値を示すことになる。 Next, as shown in FIG. 7C, an operation window having a side w around the pixel Pi of interest is extracted from the differential image. Then, for all the pixels included in this calculation window, the values are histogrammed. Then, as shown in FIG. 7 (d), a histogram of differential values is obtained according to the frequency of counting the number of pixels with respect to the differential values divided for each fixed range. Then, the differential value Vi indicating the mode value in this histogram is determined as the evaluation value for the pixel Pi. By such processing, a representative differential value V of a minute region including the peripheral portion, not the differential value itself of the pixel Pi, can be determined as the evaluation value of the pixel Pi. Then, this process is executed for all the pixels while shifting the calculation window vertically and horizontally. Then, in the region corresponding to the infrared light pattern showing the same degree of contrast, the evaluation value calculated for each pixel included in the region corresponds to almost the same value.
図の例においては、第１領域の各画素は全域に亘ってほぼ同じ値である評価値Ｖ１を示し、同様に、第２領域は評価値Ｖ２を、第３領域は評価値Ｖ３を示す。そして、第１領域における赤外光パターンのコントラストは高く、第３領域においては低い。したがって、評価値の大小関係は、Ｖ１＞Ｖ２＞Ｖ３となる。なお、無限遠背景であるその他の領域の評価値は０である。 In the example of the figure, each pixel in the first region shows an evaluation value V 1 that is substantially the same over the entire region, similarly, the second region has an evaluation value V 2 , and the third region has an evaluation value V 3. Indicates. Then, the contrast of the infrared light pattern in the first region is high, and it is low in the third region. Therefore, the magnitude relationship between the evaluation values is V 1 > V 2 > V 3 . It should be noted that the evaluation value of the other area that is an infinite background is 0.
このように、異なる奥行き方向に対応する領域ごとに、異なる評価値が定められる。評価値は、赤外光パターンのコントラストに対応する値であるが、そもそもは、フォーカス面から奥行き方向に離れるに従って点像が徐々にぼけていく物理現象に起因する値である。したがって、赤外画像に対応して２次元平面の領域ごとに評価値が割り当てられて生成されたこの数値の配列は、いわばぼけマップと言える。 In this way, different evaluation values are determined for each region corresponding to different depth directions. The evaluation value is a value corresponding to the contrast of the infrared light pattern. In the first place, the evaluation value is a value resulting from a physical phenomenon in which the point image is gradually blurred as the distance from the focus surface increases in the depth direction. Therefore, the numerical value array generated by assigning the evaluation values for each region of the two-dimensional plane corresponding to the infrared image can be said to be a blur map.
そして、赤外画像の各領域は本撮影画像の各領域と一対一に対応しているので、ぼけマップは、本撮影画像に写る被写体の奥行き情報を表すと言える。すると、本撮影画像データと共にぼけマップを奥行き情報として持てば、以下のような処理に応用できる。 Since each region of the infrared image has a one-to-one correspondence with each region of the main captured image, it can be said that the blur map represents depth information of the subject appearing in the main captured image. Then, if the blur map is included as the depth information together with the actual captured image data, it can be applied to the following processing.
まず第１に、奥行きに応じたぼけ量を、事後的に画像処理によって与えることができる。すなわち、ぼけマップの評価値に連動させたぼけ量を各領域に与えれば、ピント面に近い奥行きで小さくぼけ、遠い奥行きで大きくぼけた、視覚的に違和感の少ない自然な画像データを取得できる。例えば、サイズの小さな撮像素子を利用するコンパクトデジカメ等においては、被写界深度が必然的に深くなり、一般的にはパンフォーカスに近い画像しか得られなかったが、このような機器であっても、ぼけマップを利用した画像処理により、ぼけ味のある良好な画像データを生成できる。 First, the amount of blur according to the depth can be given later by image processing. In other words, if each region is provided with a blur amount linked to the evaluation value of the blur map, natural image data that has a small blur at a depth close to the focus surface and a large blur at a far depth and that is visually unnatural can be acquired. For example, in a compact digital camera using a small image sensor, the depth of field is inevitably deep, and generally only images close to pan focus can be obtained. However, good image data with a blur can be generated by image processing using the blur map.
また、ぼけマップを参照することにより、本撮影画像に写る被写体を奥行きごとに分離できる。すると、連続的に撮影された複数の本撮影画像データにおいて特定被写体の動きを追跡したり、特定被写体のみに特殊効果を適用したりできる。 Further, by referring to the blur map, it is possible to separate the subject appearing in the actual captured image for each depth. Then, it is possible to track the movement of the specific subject in a plurality of continuously captured real image data, or to apply a special effect only to the specific subject.
さらには、奥行き方向の既知の距離における評価値をシミュレーション等により予め取得して、評価値と被写体距離の対応テーブルを準備しておけば、ぼけマップを深さマップに変換することもできる。深さマップは、いわゆる距離画像と等価である。すなわち、本撮影画像データの取得と共にぼけマップを生成すれば、本撮影画像に写る各被写体までの絶対距離を取得できることになる。 Furthermore, if an evaluation value at a known distance in the depth direction is acquired in advance by simulation or the like and a correspondence table between the evaluation value and the subject distance is prepared, the blur map can be converted into a depth map. The depth map is equivalent to a so-called distance image. In other words, if a blur map is generated together with the acquisition of the actual captured image data, the absolute distance to each subject appearing in the actual captured image can be acquired.
次に、ぼけマップを生成し、ぼけマップを参照して本撮影画像のぼけ量を調整する一連の撮影処理について説明する。図８は、撮影シーケンスを説明する処理フロー図である。本フローにおける一連の処理は、一眼レフカメラ２００が撮影モードに切り替えられた時点から開始される。 Next, a series of shooting processes for generating a blur map and adjusting the blur amount of the main shot image with reference to the blur map will be described. FIG. 8 is a process flow diagram for explaining a photographing sequence. A series of processing in this flow is started when the single-lens reflex camera 200 is switched to the photographing mode.
カメラシステム制御部２４５は、ステップＳ１０１で、ユーザからの撮影準備指示を待つ。具体的には、レリーズスイッチ２６５がユーザによって操作されてＳＷ１がＯＮになるのを待つ。ＳＷ１がＯＮになったらステップＳ１０２へ進み、カメラシステム制御部２４５は、ＡＦセンサ２４０を駆動してＡＦ処理を実行する。具体的には、カメラシステム制御部２４５は、ＡＦセンサ２４０の出力から焦点検出領域における位相差情報を取得し、主となる焦点検出領域に対してデフォーカス量が０となるように、レンズシステム制御部２１６を介してフォーカスレンズ２１２を移動させる。 In step S101, the camera system control unit 245 waits for a shooting preparation instruction from the user. Specifically, it waits for release switch 265 to be operated by the user and SW1 to be turned on. When SW1 is turned on, the process proceeds to step S102, and the camera system control unit 245 drives the AF sensor 240 to execute AF processing. Specifically, the camera system control unit 245 acquires phase difference information in the focus detection area from the output of the AF sensor 240, and the lens system so that the defocus amount is 0 with respect to the main focus detection area. The focus lens 212 is moved via the control unit 216.
すると、特定に被写体に対して焦点が合った状態となる。つまり、この時点において図６で説明した第１平面が確定する。また、焦点検出領域は被写界に対して離散的に複数設定されているので、奥行き方向に存在位置の異なる複数の被写体に対してそれぞれデフォーカス情報を取得することができる。これらの被写体に対してぼけマップを生成する場合、最も手前の被写体から最も奥の被写体までの評価値を演算することになる。そこで、最も手前の被写体に対するデフォーカス量と、最も奥の被写体に対するデフォーカス量から撮像範囲Ｌを計算する。撮像範囲Ｌは、レンズユニット２１０のレンズ情報を加味して算出する。具体的には、レンズユニット２１０の焦点距離情報、フォーカスレンズ２１２の移動位置情報をレンズシステム制御部２１６から取得して算出する。なお、焦点検出領域は離散的であるので、デフォーカス情報から算出される距離情報も離散的である。 As a result, the subject is specifically focused. That is, at this time, the first plane described with reference to FIG. 6 is determined. Further, since a plurality of focus detection areas are discretely set with respect to the object scene, defocus information can be acquired for each of a plurality of subjects having different positions in the depth direction. When blur maps are generated for these subjects, the evaluation values from the foreground subject to the farthest subject are calculated. Therefore, the imaging range L is calculated from the defocus amount for the foremost subject and the defocus amount for the farthest subject. The imaging range L is calculated in consideration of the lens information of the lens unit 210. Specifically, the focal length information of the lens unit 210 and the movement position information of the focus lens 212 are obtained from the lens system control unit 216 and calculated. Since the focus detection area is discrete, the distance information calculated from the defocus information is also discrete.
撮像範囲Ｌに亘って評価値を演算する場合、この範囲において赤外光パターンの拡散量が予め定められた範囲内でなければならない。照射された赤外光パターンがあまりにも拡散してしまうと、算出される微分値が小さな値となり、誤差が大きくなるからである。そこで、カメラシステム制御部２４５は、ステップＳ１０３において、ＷＣＯＥ入替部２５５を駆動して、撮像範囲Ｌに最適なＷＣＯＥ２５４を赤外光パターンの照射光束中に挿入する。 When calculating the evaluation value over the imaging range L, the diffusion amount of the infrared light pattern within this range must be within a predetermined range. This is because if the irradiated infrared light pattern is too diffused, the calculated differential value becomes a small value and the error becomes large. Therefore, in step S103, the camera system control unit 245 drives the WCOE replacement unit 255 to insert the WCOE 254 optimal for the imaging range L into the irradiation light beam of the infrared light pattern.
具体的には、第１平面の位置Ｆｚが算出されれば、パターン照射部２５０の焦点距離およびＦナンバーから焦点深度Ｓｐを計算する。そして、撮像範囲Ｌを焦点深度Ｓｐで除した倍率βを算出する。一方、複数のＷＣＯＥ２５４は、焦点深度をそれぞれ異なる拡張倍率であるαｉ倍する素子として用意されている。そこで、カメラシステム制御部２４５は、算出された倍率βに最も近い拡張倍率αｉを特性として有するＷＣＯＥ２５４を選択する。そして、カメラシステム制御部２４５は、当該ＷＣＯＥ２５４を赤外光パターンの照射光束中に挿入する。 Specifically, when the position Fz of the first plane is calculated, the focal depth Sp is calculated from the focal length and F number of the pattern irradiation unit 250. Then, a magnification β obtained by dividing the imaging range L by the focal depth Sp is calculated. On the other hand, the plurality of WCOEs 254 are prepared as elements for multiplying the depth of focus by αi which is a different expansion magnification. Therefore, the camera system control unit 245 selects the WCOE 254 having the expansion magnification αi closest to the calculated magnification β as a characteristic. Then, the camera system control unit 245 inserts the WCOE 254 into the irradiation light beam of the infrared light pattern.
カメラシステム制御部２４５は、ステップＳ１０４へ進み、ユーザからの撮影指示を待つ。具体的には、レリーズスイッチ２６５がユーザによって操作されてＳＷ２がＯＮになるのを待つ。ＳＷ２がＯＮになったらステップＳ１０５へ進み、カメラシステム制御部２４５は、赤外発光部２５１を発光させて、被写体に対して赤外光パターンを照射する。そして、ステップＳ１０６において、赤外光パターンの照射中に撮像素子２４３の露光制御を行う。 The camera system control unit 245 proceeds to step S104 and waits for a shooting instruction from the user. Specifically, it waits for release switch 265 to be operated by the user and SW2 to be turned on. When SW2 is turned on, the process proceeds to step S105, and the camera system control unit 245 causes the infrared light emitting unit 251 to emit light and irradiates the subject with an infrared light pattern. In step S106, exposure control of the image sensor 243 is performed during irradiation of the infrared light pattern.
カメラシステム制御部２４５は、ステップＳ１０６で露光が完了したら、本撮影画像としての処理とぼけマップを生成する処理を並行して、あるいは順番に行う。ステップＳ１０７では、カメラシステム制御部２４５は、撮像素子２４３のうちＲＧＢ画素の読み出しを行い、読み出したＲＧＢ画像信号を画像処理部２４６へ引き渡す。画像処理部２４６は、ステップＳ１０８で、受け取ったＲＧＢ画像信号から本撮影画像データを生成する。 When the exposure is completed in step S <b> 106, the camera system control unit 245 performs the processing as the actual captured image and the processing for generating the blur map in parallel or in order. In step S <b> 107, the camera system control unit 245 reads RGB pixels from the image sensor 243 and delivers the read RGB image signal to the image processing unit 246. In step S108, the image processing unit 246 generates actual captured image data from the received RGB image signal.
ステップＳ１０９では、カメラシステム制御部２４５は、撮像素子２４３のうち赤外光受光画素の読み出しを行い、読み出した赤外画像信号を画像処理部２４６へ引き渡す。画像処理部２４６は、受け取った赤外画像信号から赤外画像を生成してぼけマップ演算部２６１へ引き渡す。ぼけマップ演算部２６１は、図７を用いて説明した手順でぼけマップを生成する。 In step S <b> 109, the camera system control unit 245 reads out the infrared light receiving pixels of the image sensor 243 and delivers the read infrared image signal to the image processing unit 246. The image processing unit 246 generates an infrared image from the received infrared image signal and passes it to the blur map calculation unit 261. The blur map calculation unit 261 generates a blur map by the procedure described with reference to FIG.
本撮影画像データとぼけマップが共に生成されたら、ステップＳ１１１へ進み、画像処理部２４６は、ぼけマップを参照しながら、本撮影画像データの領域ごとに異なるぼけ量を適用してぼけフィルタ処理を施す。カメラシステム制御部２４５は、ステップＳ１１２で、ぼけ処理が施された本撮影画像データを表示部２４７に表示する。このとき、表示部２４７のサイズに合せて事前に縮小処理を施しても良い。 When the main captured image data and the blur map are generated together, the process proceeds to step S111, and the image processing unit 246 applies blur filter processing by applying a different blur amount to each region of the main captured image data while referring to the blur map. . In step S <b> 112, the camera system control unit 245 displays the captured image data on which the blurring process has been performed on the display unit 247. At this time, reduction processing may be performed in advance according to the size of the display unit 247.
ユーザは、表示部２４７に表示された、ぼけ処理済みの本撮影画像データを視認して、好みの画像に仕上がっているかを確認する。好みの画像に仕上がっていなければ、操作部材を操作して、ぼけ処理を再実行させる。カメラシステム制御部２４５は、ステップＳ１１３で、ユーザからぼけ処理の再実行指示を受けた場合には、ステップＳ１１１へ戻る。再実行指示ではなくＯＫの指示を受けたら、ステップＳ１１４へ進み、画像処理部２４６に当該ぼけ処理済みの本撮影画像データに対して所定のフォーマット処理等を実行させる。そして、カメラシステム制御部２４５は、外部接続ＩＦ２６４を介して外部メモリに記録する。以上により一連の処理を終了する。 The user visually recognizes the blurring-processed main captured image data displayed on the display unit 247 and confirms whether the image is finished as a favorite image. If the desired image is not finished, the operation member is operated to re-execute the blur process. If the camera system control unit 245 receives a blur re-execution instruction from the user in step S113, the camera system control unit 245 returns to step S111. If an OK instruction is received instead of a re-execution instruction, the process advances to step S114 to cause the image processing unit 246 to execute predetermined format processing or the like on the blurring-processed main image data. Then, the camera system control unit 245 records in the external memory via the external connection IF 264. Thus, a series of processing ends.
次に、撮像素子の配置についてのバリエーションを説明する。図９は、赤外光用撮像素子９４４と可視光用撮像素子９４３を配置したレンズ交換式カメラ９００の断面図である。図示するように、赤外光波長帯を受光する専用の赤外光用撮像素子９４４と可視光波長帯を受光する可視光用撮像素子９４３を、被写体光束の赤外光波長帯と可視光波長帯を分割するダイクロイックミラー９３２を介して、それぞれ共役となる位置に独立に配置する。赤外光波長帯と可視光波長帯を分割する光学素子は、ダイクロイックミラー９３２に限らず、ダイクロイックプリズムなどの素子でも良い。 Next, variations on the arrangement of the image sensor will be described. FIG. 9 is a cross-sectional view of an interchangeable lens camera 900 in which an infrared light imaging device 944 and a visible light imaging device 943 are arranged. As shown in the figure, a dedicated infrared light image sensor 944 that receives an infrared light wavelength band and a visible light image sensor 943 that receives a visible light wavelength band are arranged with an infrared light wavelength band and a visible light wavelength of a subject light flux. The dichroic mirrors 932 that divide the band are independently arranged at conjugate positions. The optical element that divides the infrared light wavelength band and the visible light wavelength band is not limited to the dichroic mirror 932 and may be an element such as a dichroic prism.
また、撮影光学系によっては、赤外光波長帯の焦点面と可視光波長帯の焦点面がずれることがあるが、この場合、赤外光用撮像素子９４４は、可視光用撮像素子の焦点面と共役な位置にこのずれ量を加味した修正位置に配置すると良い。あるいは、このずれ量を打ち消すように、例えば赤外光用撮像素子９４４の近傍に補正レンズ９３３を配設しても良い。または、上述の実施形態を含めて、赤外光波長帯の焦点面と可視光波長帯の焦点面が一致するデイナイトレンズを利用することもできる。 Further, depending on the photographing optical system, the focal plane of the infrared light wavelength band and the focal plane of the visible light wavelength band may be shifted. In this case, the infrared light imaging element 944 is the focal point of the visible light imaging element. It is preferable to arrange at a correction position in which this deviation amount is added to a position conjugate with the surface. Alternatively, for example, a correction lens 933 may be disposed in the vicinity of the infrared light imaging device 944 so as to cancel out the shift amount. Alternatively, a day / night lens in which the focal plane of the infrared light wavelength band coincides with the focal plane of the visible light wavelength band can be used, including the above-described embodiment.
以上説明した本実施形態においては、赤外光パターンを照射する照射部としてパターン照射部２５０を設けた。しかし、カメラが撮影画像等を投射するプロジェクタユニットを備える場合は、プロジェクタユニットを照射部として利用することができる。この場合、赤外光パターンを投影する時は、発光部を例えば赤外発光ダイオードに切り替えると共に、パターンマスクおよびＷＣＯＥを照射光束中に挿入する。また、ＡＦ補助光としてアクティブな投光系を備える場合は、当該投光系を照射部として兼用しても良い。 In the present embodiment described above, the pattern irradiation unit 250 is provided as an irradiation unit that irradiates an infrared light pattern. However, when the camera includes a projector unit that projects a captured image or the like, the projector unit can be used as an irradiation unit. In this case, when an infrared light pattern is projected, the light emitting unit is switched to, for example, an infrared light emitting diode, and a pattern mask and a WCOE are inserted into the irradiation light beam. When an active light projection system is provided as AF auxiliary light, the light projection system may be used as an irradiation unit.
また、上述の実施形態においては、格子状の赤外光パターンを照射した。しかし、パターンは格子状に限らず、他のパターンであっても良い。また、赤外光パターンの焦点深度を深くする素子としてＷＣＯＥを用いる例を説明したが、位相板として空間光変調器を用いて瞳面の位相を付加する方法を採用しても良い。 Moreover, in the above-mentioned embodiment, the lattice-shaped infrared light pattern was irradiated. However, the pattern is not limited to the lattice shape, and may be another pattern. Further, although an example in which WCOE is used as an element for increasing the depth of focus of an infrared light pattern has been described, a method of adding a phase of a pupil plane using a spatial light modulator as a phase plate may be employed.
以上の実施形態においては、一眼レフカメラ２００を例に説明したが、撮像装置としては一眼レフカメラに限らない。上述のように撮像素子の小さなコンパクトデジタルカメラ、携帯端末においても多大な効果を発揮する。また、光学ファインダーを備えないミラーレスカメラ、動画撮影を主とするビデオカメラ等にも適用することができる。例えば、ビデオカメラに適用する場合は、フレームごとに対応するぼけマップを継続的に生成することもできる。 In the above embodiment, the single-lens reflex camera 200 has been described as an example, but the imaging apparatus is not limited to a single-lens reflex camera. As described above, a large effect is exhibited even in a compact digital camera having a small image sensor and a portable terminal. The present invention can also be applied to a mirrorless camera that does not include an optical viewfinder, a video camera that mainly shoots moving images, and the like. For example, when applied to a video camera, a blur map corresponding to each frame can be continuously generated.
以上の実施形態においては、撮像部を備える撮像装置が、奥行き情報を演算する演算装置を含むものとして説明した。しかし、赤外光パターンが写り込んだ赤外画像を取得できれば、撮像装置でなくても、例えばＰＣ等の外部装置であっても、ぼけマップを生成して奥行き情報を演算することができる。この場合、ＰＣ等の外部装置は、奥行き情報を演算する画像演算装置として機能する。また、外部装置であっても、赤外画像と共に本撮影画像も取得すれば、生成したぼけマップを参照しつつ本撮影画像に対してぼけ処理を施すこともできる。 In the above embodiment, the imaging apparatus provided with the imaging unit has been described as including an arithmetic device that calculates depth information. However, if an infrared image in which an infrared light pattern is reflected can be acquired, a blur map can be generated and depth information can be calculated by an external device such as a PC, not an imaging device. In this case, an external device such as a PC functions as an image calculation device that calculates depth information. Further, even with an external device, if the actual captured image is acquired together with the infrared image, the actual captured image can be blurred while referring to the generated blur map.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２２１ レンズメモリ、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン照射部、２５１ 赤外発光部、２５２ パターンマスク、２５３ 照射レンズ、２５４ ＷＣＯＥ、２５５ ＷＣＯＥ入替部、２６１ ぼけマップ演算部、２６２ カメラメモリ、２６３ ワークメモリ、２６４ 外部接続ＩＦ、２６５ レリーズスイッチ、３０１ Ｂ曲線、３０２ Ｇ曲線、３０３ Ｒ曲線、３０４ ＩＲ曲線、３１１ 矢印、５０１ テーブル、５０２ 壁面、５０３ ブラインド、５１０ 赤外光パターン、９００ レンズ交換式カメラ、９３２ ダイクロイックミラー、９３３ 補正レンズ、９４３ 可視光用撮像素子、９４４ 赤外光用撮像素子 200 SLR camera, 201 optical axis, 210 lens unit, 211 lens group, 212 focus lens, 213 zoom lens, 216 lens system control unit, 217 lens barrel, 218 lens mount, 221 lens memory, 230 camera unit, 231 camera Mount, 232 main mirror, 233 rotation axis, 234 focus plate, 235 pentaprism, 236 eyepiece optical system, 237 AE sensor, 238 sub mirror, 239 AF optical system, 240 AF sensor, 241 focal plane shutter, 242 optical low pass filter, 243 Image sensor, 244 main board, 245 camera system control unit, 246 image processing unit, 247 display unit, 248 secondary battery, 249 flash, 250 pattern irradiation unit, 2 DESCRIPTION OF SYMBOLS 1 Infrared light emission part, 252 Pattern mask, 253 Irradiation lens, 254 WCOE, 255 WCOE replacement part, 261 Blur map calculation part, 262 Camera memory, 263 Work memory, 264 External connection IF, 265 Release switch, 301 B curve, 302 G curve, 303 R curve, 304 IR curve, 311 arrow, 501 table, 502 wall surface, 503 blind, 510 infrared light pattern, 900 lens interchangeable camera, 932 dichroic mirror, 933 correction lens, 943 imaging device for visible light, 944 Imaging device for infrared light
Claims (12)
赤外光パターンを照射する赤外照射部と、
前記赤外光パターンを照射された被写体を前記撮像素子により撮像した赤外画像を取得する取得部と
を備え、
前記赤外照射部は、前記赤外光パターンの照射光束中に配設されるウェーブフロントコーディング光学素子を有する撮像装置。 An image sensor having an infrared light receiving pixel having sensitivity in an infrared light wavelength band;
An infrared irradiation unit for irradiating an infrared light pattern;
A acquisition unit that acquires an infrared image captured by the image pickup device of a subject which is irradiated with the infrared light pattern,
The infrared irradiation unit is an imaging apparatus including a wavefront coding optical element disposed in an irradiation light beam of the infrared light pattern.
前記ＡＦセンサの出力に基づいて、複数の前記ウェーブフロントコーディング光学素子から一つを選択する選択部と
を備える請求項６に記載の撮像装置。 An AF sensor;
The imaging apparatus according to claim 6 , further comprising: a selection unit that selects one of the plurality of wavefront coding optical elements based on an output of the AF sensor.
前記赤外照射部は、前記プロジェクタユニットにより構成される請求項１から１０のいずれか１項に記載の撮像装置。 At least a projector unit for projecting a captured image,
The infrared irradiation unit, an imaging apparatus according to any one of 10 constructed according to claim 1 by the projector unit.
前記赤外光パターンを照射された前記被写体を撮像した赤外画像を取得する取得ステップと
をコンピュータに実行させる撮像装置の制御プログラム。 An infrared irradiation step of irradiating an object with an infrared light pattern from an infrared irradiation unit having a wavefront coding optical element disposed in the irradiation light beam;
A control program of an imaging apparatus to execute the steps of acquiring an infrared image obtained by imaging the object which is irradiated with the infrared light pattern to a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010283741A JP5644468B2 (en) | 2010-12-20 | 2010-12-20 | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010283741A JP5644468B2 (en) | 2010-12-20 | 2010-12-20 | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012134670A JP2012134670A (en) | 2012-07-12 |
| JP5644468B2 true JP5644468B2 (en) | 2014-12-24 |
Family
ID=46649763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010283741A Active JP5644468B2 (en) | 2010-12-20 | 2010-12-20 | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5644468B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6344903B2 (en) * | 2013-11-19 | 2018-06-20 | キヤノン株式会社 | Image processing apparatus, control method therefor, imaging apparatus, and program |
| JP6429466B2 (en) * | 2013-11-19 | 2018-11-28 | キヤノン株式会社 | Image processing apparatus, control method therefor, imaging apparatus, and program |
| JP2016033694A (en) * | 2014-07-30 | 2016-03-10 | 東芝テック株式会社 | Object recognition apparatus and object recognition program |
| JP6247793B2 (en) * | 2015-03-27 | 2017-12-13 | 富士フイルム株式会社 | Distance image acquisition device |
| KR101605292B1 (en) | 2015-11-23 | 2016-03-21 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | Multi aperture camera system using scanline processing |
| US9800795B2 (en) | 2015-12-21 | 2017-10-24 | Intel Corporation | Auto range control for active illumination depth camera |
| JP7149707B2 (en) | 2018-01-15 | 2022-10-07 | キヤノン株式会社 | Information processing device, its control method and program, and operation control system |
| JP7171254B2 (en) * | 2018-06-13 | 2022-11-15 | キヤノン株式会社 | Image processing device, imaging device, and image processing method |
| CN115310468B (en) * | 2022-08-08 | 2023-04-14 | 北京微晶物联科技有限公司 | Microcrystal code scanning device and method for explosion-proof environment |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4265038B2 (en) * | 1999-08-02 | 2009-05-20 | ソニー株式会社 | Image processing device |
| JP4761670B2 (en) * | 2001-08-27 | 2011-08-31 | 三洋電機株式会社 | Moving stereo model generation apparatus and method |
| JP2007049392A (en) * | 2005-08-09 | 2007-02-22 | Nissan Motor Co Ltd | Image display system and image display method |
| JP2007121632A (en) * | 2005-10-27 | 2007-05-17 | Nidec Copal Corp | Projector and screen |
| JP4874698B2 (en) * | 2006-04-14 | 2012-02-15 | 日本電子株式会社 | Electronic probe microanalyzer |
| JP4695550B2 (en) * | 2006-06-22 | 2011-06-08 | 富士フイルム株式会社 | Solid-state imaging device and driving method thereof |
-
2010
- 2010-12-20 JP JP2010283741A patent/JP5644468B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012134670A (en) | 2012-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5644468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM | |
| US9521316B2 (en) | Image processing apparatus for reconstructing an image, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP6341736B2 (en) | Imaging apparatus, control method, program, storage medium | |
| JP6789833B2 (en) | Image processing equipment, imaging equipment, image processing methods and programs | |
| JP5124372B2 (en) | Image processing apparatus, image processing method, and digital still camera | |
| JP5947601B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
| JP2009054130A (en) | Image processor, image processing method, and digital still camera | |
| JP2012022308A (en) | Imaging device | |
| JP2011044825A (en) | Image processing apparatus, image processing method, and computer program | |
| JP2011166588A (en) | Imaging apparatus and imaging method, and image processing method for the imaging apparatus | |
| JP5936358B2 (en) | Image display device, image display method, imaging device and control method thereof, program, and storage medium storing the same | |
| JP2014219549A (en) | Focus adjustment device, focus adjustment method and program, and imaging device | |
| JP6418770B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| JP2007104248A (en) | Electronic camera and program | |
| JP6300670B2 (en) | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus | |
| JP2017216592A (en) | Imaging apparatus, control method, and program | |
| JP2015175982A (en) | Image processor, image processing method, and program | |
| JP2012022309A (en) | Imaging device | |
| JP2012088169A (en) | Distance information acquisition device and imaging apparatus | |
| JP5510094B2 (en) | Image processing apparatus and image processing program | |
| JP6223502B2 (en) | Image processing apparatus, image processing method, program, and storage medium storing the same | |
| JP5209517B2 (en) | Viewfinder system and imaging apparatus having the same | |
| JP2012002870A (en) | Imaging device, photographic lens, and image processing program | |
| JP2012002859A (en) | Imaging device | |
| JP6138632B2 (en) | Imaging apparatus, imaging method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141020 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5644468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |