JP2006155422A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2006155422A JP2006155422A JP2004347712A JP2004347712A JP2006155422A JP 2006155422 A JP2006155422 A JP 2006155422A JP 2004347712 A JP2004347712 A JP 2004347712A JP 2004347712 A JP2004347712 A JP 2004347712A JP 2006155422 A JP2006155422 A JP 2006155422A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- amplitude
- value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、対象空間を撮像した画像を用いて対象空間に存在する対象物を認識する画像処理装置に関するものである。 The present invention relates to an image processing apparatus that recognizes an object existing in a target space using an image obtained by imaging the target space.
従来から、対象空間を撮像した画像を用いて対象空間内の対象物の外観を抽出したりする画像処理装置が種々提案されている。 Conventionally, various image processing apparatuses that extract the appearance of an object in the target space using an image obtained by imaging the target space have been proposed.
しかしながら、従来の画像処理装置では、対象物を抽出する技術において用いる画像が対象空間の明暗を反映した濃淡画像であって、環境光の光量変化の影響を受けるので、環境光の光量にほとんど変化の生じない環境でしか使用できなかった。 However, in the conventional image processing apparatus, the image used in the technique for extracting the object is a grayscale image reflecting the lightness and darkness of the target space, and is affected by the change in the amount of ambient light. Can only be used in an environment where no
また、濃淡画像を用いてテンプレートと照合するパターンマッチングでは、対象物のエッジを抽出するにあたって、環境光の影響を軽減するために、濃淡画像にソーベルオペレータ(ソーベルフィルタ)のようなエッジ強調オペレータ(エッジ強調フィルタ)を適用して対象物のエッジを強調し、適宜の閾値で2値化することで、濃淡画像全体の明暗変化の影響を軽減できることが知られている。 Also, in pattern matching that matches a template using a grayscale image, edge enhancement such as a Sobel operator (Sobel filter) is applied to the grayscale image in order to reduce the influence of ambient light when extracting the edge of the object. It is known that by applying an operator (edge enhancement filter) to enhance the edge of an object and binarizing with an appropriate threshold value, the influence of the change in brightness of the entire grayscale image can be reduced.
しかしながら、濃淡画像においてエッジを強調しても、環境光で生じた影などにより対象物に存在しないエッジが抽出されることもあり、結果的にテンプレートとの類似度が低下し、対象物を認識できないことがあった。 However, even if edges are emphasized in a grayscale image, edges that do not exist in the object may be extracted due to shadows caused by ambient light, resulting in a decrease in similarity to the template and recognition of the object. There was something I couldn't do.
そこで、濃淡画像にソーベルフィルタなどを適用して濃度勾配方向画像を生成し、濃度勾配方向画像とテンプレートとを照合するようにした画像処理装置が提案されている(例えば、特許文献1参照)。
上記特許文献1に開示された画像処理装置のように、濃淡画像にソーベルフィルタなどを適用し濃度勾配方向画像を生成してからテンプレートとの照合を行う技術を採用した場合、全体的な環境光の影響を軽減できるが、例えば対象物の側方からの環境光により生じた影などの影響によって対象物の濃度勾配方向が変化してしまい、対象物を正しく認識できないことがあった。 As in the image processing apparatus disclosed in Patent Document 1 above, when a technique for applying a Sobel filter or the like to a grayscale image to generate a density gradient direction image and collating with a template is adopted, the overall environment Although the influence of light can be reduced, the concentration gradient direction of the object changes due to the influence of, for example, a shadow caused by ambient light from the side of the object, and the object may not be recognized correctly.
本発明は上記事由に鑑みて為されたものであり、その目的は、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる画像処理装置を提供することにある。 The present invention has been made in view of the above reasons, and an object of the present invention is to provide an image processing apparatus capable of recognizing an object without being affected by fluctuations in ambient light in the object space.
請求項1の発明は、光を対象空間に照射する発光源と、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間へ光を照射していないときの各感光部の受光出力と発光源から対象空間へ光を照射したときの各感光部の受光出力との差分からなる受光出力の振幅値を画素値とする振幅画像を生成する画像生成部と、画像生成部で生成された振幅画像に基づいて対象空間内に存在する物体の特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された物体の特徴量を予め登録されているテンプレートと照合して類似度を算出する類似度演算部と、類似度演算部で算出された類似度が所定値以上になる物体をテンプレートに相当する対象物として認識する対象物認識部とを備えることを特徴とする。 According to the first aspect of the present invention, there is provided a light emitting source for irradiating a target space with light, a light detecting element in which a plurality of photosensitive portions for generating a light receiving output corresponding to the amount of received light are arranged, and imaging the target space, and The pixel value is the amplitude value of the light reception output, which is the difference between the light reception output of each photosensitive unit when light is not irradiated to the space and the light reception output of each photosensitive unit when light is irradiated from the light source to the target space. An image generation unit that generates an amplitude image, a feature amount extraction unit that extracts a feature amount of an object existing in the target space based on the amplitude image generated by the image generation unit, and an object extracted by the feature amount extraction unit The similarity calculation unit that calculates the similarity by comparing the feature amount with a template registered in advance, and an object whose similarity calculated by the similarity calculation unit is equal to or greater than a predetermined value as an object corresponding to the template An object recognition unit for recognizing It is characterized in.
この発明によれば、光検出素子のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部の受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、つまり、画像生成部にて生成される画像として、対象空間の環境光の変動の影響を受けることなく同じ振幅画像が得られることとなるから、物体の特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる。 According to the present invention, the same pixel value can be obtained without being affected by the change in the light reception output of each photosensitive portion caused by the fluctuation of the ambient light in the target space as long as it is within the dynamic range of the light detection element. In other words, since the same amplitude image can be obtained as an image generated by the image generation unit without being affected by the fluctuation of the ambient light in the target space, the feature amount of the object is stably extracted. And the object can be recognized without being affected by fluctuations in ambient light in the object space.
請求項2の発明は、請求項1の発明において、前記特徴量抽出部は、前記振幅画像の振幅値から求められる各画素の微分強度値である振幅微分値を画素値とする振幅微分画像を生成し、振幅微分画像から前記特徴量を抽出することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the feature amount extraction unit is configured to generate an amplitude differential image having an amplitude differential value that is a differential intensity value of each pixel obtained from the amplitude value of the amplitude image as a pixel value. Generating and extracting the feature quantity from the amplitude differential image.
この発明によれば、前記特徴量を抽出する入力画像として前記振幅画像を用いる場合に比べて、段差のように距離の変化率が大きい領域と距離の変化率が小さい領域とを容易に識別することが可能になり、対象物を正確に認識することができる。 According to the present invention, compared with a case where the amplitude image is used as an input image for extracting the feature amount, an area having a large distance change rate and an area having a small distance change rate, such as a step, are easily identified. And the object can be accurately recognized.
請求項3の発明は、請求項1の発明において、前記特徴量抽出部は、前記振幅画像の振幅値から求められる各画素の微分方向値である振幅勾配方向値を画素値とする振幅勾配方向画像を生成し、振幅勾配方向画像から前記特徴量を抽出することを特徴とする。 According to a third aspect of the present invention, in the first aspect of the present invention, the feature amount extraction unit uses an amplitude gradient direction value that is a differential direction value of each pixel obtained from the amplitude value of the amplitude image as a pixel value. An image is generated, and the feature amount is extracted from the amplitude gradient direction image.
この発明によれば、前記特徴量を抽出する入力画像として前記振幅画像を用いる場合に比べて、前記発光源と前記対象空間内に存在する物体との間の距離の変化による物体での反射光の変化の影響を軽減できるので、対象物を正しく認識することができる。 According to this invention, compared with the case where the amplitude image is used as the input image for extracting the feature amount, the reflected light on the object due to the change in the distance between the light emitting source and the object existing in the target space. Since the influence of the change of can be reduced, the object can be recognized correctly.
請求項4の発明は、請求項1ないし請求項3の発明において、予め前記光検出素子により前記対象空間内の物体として認証対象者を撮像したときに前記特徴量抽出部により抽出された認証対象者の顔の特徴量に基づいて作成した顔テンプレートを前記テンプレートとして登録保持するテンプレート作成記憶部を備え、前記類似度演算部は、前記特徴量抽出部により抽出された物体の特徴量をテンプレート作成記憶部に登録されている前記テンプレートと照合して類似度を算出し、前記対象物認識部は、前記類似度演算部で算出された類似度が前記所定値以上になる場合に、前記光検出素子により撮像された物体が認証対象者本人であることを認証する認証機能を有することを特徴とする。 According to a fourth aspect of the present invention, in the first to third aspects of the present invention, an authentication target extracted by the feature amount extraction unit when an authentication target person is imaged in advance as an object in the target space by the light detection element. A template creation storage unit that registers and holds a face template created based on the feature amount of the person's face as the template, and the similarity calculation unit creates the feature amount of the object extracted by the feature amount extraction unit as a template The similarity is calculated by collating with the template registered in the storage unit, and the object recognition unit is configured to detect the light when the similarity calculated by the similarity calculation unit is equal to or greater than the predetermined value. It has an authentication function for authenticating that the object imaged by the element is the person to be authenticated.
この発明によれば、環境光の影響を受けることなく認証対象者の顔の認証判断を行うことができる。ここで、振幅画像は物体の背景を除去しやすい特性があり、対象物のみを主に抽出することができるので、顔のみが前記光検出素子の比較的近くに位置することが多い顔認証の用途では、背景をより抽出しなくなり、対象物である顔のみを抽出して認証に要する時間の短縮化を図れるとともに、顔認証の精度の向上を図れる。 According to the present invention, it is possible to perform authentication determination of the face of the person to be authenticated without being affected by ambient light. Here, the amplitude image has a characteristic that it is easy to remove the background of the object, and only the object can be mainly extracted. Therefore, only the face is often located relatively close to the light detection element. In applications, it is possible to reduce the time required for authentication by extracting only the target face by reducing the background, and improve the accuracy of face authentication.
請求項1の発明では、光検出素子のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部の受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、物体の特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができるという効果がある。 According to the first aspect of the present invention, the same pixel value can be obtained without being affected by the change in the light receiving output of each photosensitive portion caused by the fluctuation of the ambient light in the target space as long as it is within the dynamic range of the light detecting element. Therefore, it is possible to stably extract the feature amount of the object, and there is an effect that the object can be recognized without being affected by the fluctuation of the environmental light in the target space.
本実施形態の画像処理装置は、図1に示すように、光を対象空間に照射する発光源2と、受光光量に応じた受光出力を発生する複数個の感光部1aが配列され対象空間を撮像する光検出素子10と、発光源2から対象空間へ光を照射していないときの各感光部1aの受光出力と発光源2から対象空間へ光を照射したときの各感光部1aの受光出力との差分からなる受光出力の振幅値を画素値とする振幅画像f1(図2参照)を生成する画像生成部3と、画像生成部3で生成された振幅画像f1に基づいて対象空間内に存在する物体(本実施形態では、人物)Obの特徴量を抽出する特徴量抽出部4と、通常動作モードとテンプレート作成モードとを選択的に設定する動作モード設定部(図示せず)と、動作モード設定部にてテンプレート作成モードが設定されている状態で光検出素子10により対象空間内の物体Obとして認証対象者を撮像したときに特徴量抽出部4により抽出された認証対象者の顔の特徴量に基づいてテンプレート(本実施形態では、顔テンプレート)を作成し当該テンプレートを登録保持(記憶)するテンプレート作成記憶部TPと、動作モード設定部にて通常動作モードが設定されている状態で特徴量抽出部4により抽出された物体の特徴量をテンプレート作成記憶部TPに登録保持されているテンプレートと照合して類似度を算出する類似度演算部5と、類似度演算部5で算出された類似度が所定値以上になる物体Obをテンプレートに相当する対象物として認識する対象物認識部6(つまり、対象物認識部6は、類似度に基づいて、テンプレートに相当する対象物の存否を判断する)とを備えている。なお、光検出素子10は後述の受光光学系7を通して対象空間を撮像する。 As shown in FIG. 1, the image processing apparatus according to the present embodiment includes a light emitting source 2 that irradiates a target space with light, and a plurality of photosensitive units 1a that generate a light reception output corresponding to the amount of received light. The light detection element 10 for imaging, the light reception output of each photosensitive unit 1a when light is not irradiated from the light source 2 to the target space, and the light reception of each photosensitive unit 1a when light is irradiated from the light source 2 to the target space An image generation unit 3 that generates an amplitude image f1 (see FIG. 2) having a pixel value as an amplitude value of a received light output that is a difference from the output, and an object space based on the amplitude image f1 generated by the image generation unit 3 A feature amount extraction unit 4 that extracts a feature amount of an object (a person in the present embodiment) Ob existing in the object, and an operation mode setting unit (not shown) that selectively sets a normal operation mode and a template creation mode. Create a template in the operation mode setting section A template based on the feature amount of the face of the authentication target extracted by the feature amount extraction unit 4 when the authentication target person is imaged as the object Ob in the target space by the light detection element 10 in a state where the mode is set. (In this embodiment, a face template) is created and a template creation storage unit TP that registers and holds (stores) the template, and the feature amount extraction unit 4 in a state where the normal operation mode is set in the operation mode setting unit. The similarity calculation unit 5 that calculates the similarity by comparing the extracted feature quantity of the object with the template registered and held in the template creation storage unit TP, and the similarity calculated by the similarity calculation unit 5 is a predetermined value. The object recognition unit 6 that recognizes the object Ob as described above as an object corresponding to the template (that is, the object recognition unit 6 corresponds to the template based on the similarity). That determines the presence or absence of the object) and a. The light detection element 10 images the target space through a light receiving optical system 7 described later.
上述の特徴量抽出部4は、振幅画像f1の振幅値から求められる各画素の微分強度値である振幅微分値を画素値とする振幅微分画像を生成し当該振幅微分画像を規定の閾値で2値化した画像からなる出力画像f2(図4参照)を生成する画像加工手段(図示せず)を備えており、画像加工手段にて生成された出力画像f2から顔の特徴量を抽出する。また、対象物認識部6は、類似度演算部5で算出された類似度が上記所定値以上になる場合に、光検出素子10により撮像された物体Obが認証対象者本人であることを認証する認証機能を有している。言い換えれば、対象物認識部6は、類似度演算部5で算出された類似度が上記所定値未満の場合には、光検出素子10により撮像された物体Obが認証対象者本人であるとは認証しない。 The feature amount extraction unit 4 generates an amplitude differential image having an amplitude differential value, which is a differential intensity value of each pixel obtained from the amplitude value of the amplitude image f1, as a pixel value, and the amplitude differential image is set to 2 with a specified threshold value. Image processing means (not shown) for generating an output image f2 (see FIG. 4) composed of the digitized image is provided, and facial feature amounts are extracted from the output image f2 generated by the image processing means. Further, the object recognition unit 6 authenticates that the object Ob imaged by the light detection element 10 is the person to be authenticated when the similarity calculated by the similarity calculation unit 5 is equal to or greater than the predetermined value. It has an authentication function. In other words, when the similarity calculated by the similarity calculation unit 5 is less than the predetermined value, the object recognition unit 6 is that the object Ob imaged by the light detection element 10 is the person to be authenticated. Do not authenticate.
したがって、本実施形態の画像処理装置では、予めテンプレート作成モードにおいて入室を希望する人物(物体Ob)を光検出素子10により撮像してテンプレートを作成しておき、その後、通常動作モードにおいて生成された振幅微分画像を規定の閾値で2値化した出力画像f2とテンプレートとのパターンマッチングを行って類似度を算出し、算出された類似度に基づいて上記人物が入室の許可されている認証対象者本人であるか否かを判定する顔認証を行うことができる。 Therefore, in the image processing apparatus of the present embodiment, a person (object Ob) who wants to enter the room in the template creation mode is imaged with the light detection element 10 in advance to create a template, and then generated in the normal operation mode. The similarity is calculated by performing pattern matching between the output image f2 obtained by binarizing the amplitude differential image with a specified threshold and the template, and the person to be authenticated is allowed to enter the room based on the calculated similarity Face authentication for determining whether or not the person is the person can be performed.
以下、本実施形態の画像処理装置の各構成要素について詳述する。 Hereinafter, each component of the image processing apparatus of this embodiment will be described in detail.
本実施形態では、光検出素子10として、1個の感光部1aと1個の電荷集積部1b(図1参照)とを形成する単位構成の受光素子1(図5(a),(b)参照)を1枚の半導体基板に複数個配列したイメージセンサを想定している。 In the present embodiment, the light receiving element 1 (FIGS. 5A and 5B) having a unit configuration in which one photosensitive portion 1a and one charge accumulation portion 1b (see FIG. 1) are formed as the light detection element 10. An image sensor is assumed in which a plurality of (see) are arranged on one semiconductor substrate.
受光素子1は、不純物を添加したシリコン層からなる半導体層11を備えるとともに、半導体層11の主表面の全面に亘ってシリコン酸化膜からなる絶縁膜12を有し、半導体層11に絶縁膜12を介して制御電極13を設けた構成を有する。受光素子1はMIS素子として知られた構造であるが、1個の受光素子1として機能する領域に複数個(図示例では5個)の制御電極13を備える点が通常のMIS素子とは異なる。絶縁膜12および制御電極13は発光源2から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜12を通して半導体層11に光が入射すると、半導体層11の内部に電荷が生成される。つまり、受光素子1の受光面は図5(a),(b)における半導体層11の主表面(上面)になる。図示例の半導体層11の導電形はn形であり、光の照射により生成される電荷としては電子eを利用する。 The light receiving element 1 includes a semiconductor layer 11 made of a silicon layer doped with impurities, and has an insulating film 12 made of a silicon oxide film over the entire main surface of the semiconductor layer 11, and the insulating film 12 is formed on the semiconductor layer 11. And a control electrode 13 is provided. The light receiving element 1 has a structure known as a MIS element, but is different from a normal MIS element in that a plurality of (in the illustrated example, five) control electrodes 13 are provided in a region functioning as one light receiving element 1. . A material is selected for the insulating film 12 and the control electrode 13 so that light having the same wavelength as the light irradiated from the light source 2 to the target space is transmitted. When light enters the semiconductor layer 11 through the insulating film 12, the semiconductor layer 11. A charge is generated inside the. That is, the light receiving surface of the light receiving element 1 is the main surface (upper surface) of the semiconductor layer 11 in FIGS. 5 (a) and 5 (b). The conductivity type of the semiconductor layer 11 in the illustrated example is n-type, and electrons e are used as charges generated by light irradiation.
この構造の受光素子1では、制御電極13に正の制御電圧+Vを印加すると、半導体層11には制御電極13に対応する部位に電子eを集積するポテンシャル井戸(空乏層)14が形成される。つまり、半導体層11にポテンシャル井戸14を形成するように制御電極13に制御電圧を印加した状態で光が半導体層11に照射されると、ポテンシャル井戸14の近傍で生成された電子eの一部はポテンシャル井戸14に捕獲されてポテンシャル井戸14に集積され、残りの電子eは半導体層11の深部での再結合により消滅する。また、ポテンシャル井戸14から離れた場所で生成された電子eも半導体層11の深部での再結合により消滅する。つまり、光が照射されると半導体層11が電荷を生成する感光部1aとして機能し、ポテンシャル井戸14は電荷を集積して保持する電荷集積部1bとして機能する。 In the light receiving element 1 having this structure, when a positive control voltage + V is applied to the control electrode 13, a potential well (depletion layer) 14 for accumulating electrons e is formed in the semiconductor layer 11 at a site corresponding to the control electrode 13. . That is, when light is applied to the semiconductor layer 11 with a control voltage applied to the control electrode 13 so as to form the potential well 14 in the semiconductor layer 11, a part of the electrons e generated in the vicinity of the potential well 14. Are captured in the potential well 14 and accumulated in the potential well 14, and the remaining electrons e disappear due to recombination in the deep part of the semiconductor layer 11. Further, the electrons e generated at a location away from the potential well 14 are also extinguished by recombination in the deep part of the semiconductor layer 11. That is, when irradiated with light, the semiconductor layer 11 functions as a photosensitive portion 1a that generates charges, and the potential well 14 functions as a charge accumulation portion 1b that accumulates and holds charges.
上述のように、ポテンシャル井戸14は制御電圧を印加した制御電極13に対応する部位に形成されるから、制御電圧を印加する制御電極13の個数を変化させることにより半導体層11の主表面に沿ったポテンシャル井戸14の面積を変化させることができる。半導体層11で生成された電荷のうちポテンシャル井戸14に集積される電荷の割合は、ポテンシャル井戸14の面積が大きいほど多くなり、後述するようにポテンシャル井戸に集積した電荷を利用するから、ポテンシャル井戸14の面積を大きくするほど感度を高めたことになる。言い換えると、感光部1aの感度をポテンシャル井戸14の面積により制御したことになる。また、ポテンシャル井戸14は電荷集積部1bとして機能するから、制御電極13に印加する制御電圧を変化させることにより、受光面に占める電荷集積部1bの面積を変化させ、電荷集積部1bの面積を変化させることにより感光部1aの感度を調節すると言える。 As described above, since the potential well 14 is formed at a portion corresponding to the control electrode 13 to which the control voltage is applied, the potential well 14 is formed along the main surface of the semiconductor layer 11 by changing the number of the control electrodes 13 to which the control voltage is applied. The area of the potential well 14 can be changed. The ratio of the charges accumulated in the potential well 14 out of the charges generated in the semiconductor layer 11 increases as the area of the potential well 14 increases, and the charges accumulated in the potential well are used as described later. The greater the area of 14, the higher the sensitivity. In other words, the sensitivity of the photosensitive portion 1 a is controlled by the area of the potential well 14. Since the potential well 14 functions as the charge accumulation unit 1b, changing the control voltage applied to the control electrode 13 changes the area of the charge accumulation unit 1b occupying the light receiving surface, thereby reducing the area of the charge accumulation unit 1b. It can be said that the sensitivity of the photosensitive portion 1a is adjusted by changing the sensitivity.
例えば、図5(a)のように内側の3個の制御電極13に制御電圧+Vを印加し外側の2個の制御電極13には電圧を印加しない(0V)場合と、図5(b)のように中央の1個の制御電極13に制御電圧+Vを印加し残りの4個の制御電極13には電圧を印加しない(0V)場合とでは、図5(a)の場合のほうが電荷集積部1bであるポテンシャル井戸14が受光面に占める面積が大きくなる。したがって、図5(a)の状態のほうが図5(b)の状態に比較して同光量に対してポテンシャル井戸14に集積される電荷の割合が多くなり、実質的に感光部1aの感度を高めたことになる。 For example, as shown in FIG. 5A, the control voltage + V is applied to the three inner control electrodes 13 and the voltage is not applied to the two outer control electrodes 13 (0 V), and FIG. In the case where the control voltage + V is applied to one central control electrode 13 and no voltage is applied to the remaining four control electrodes 13 (0 V) as in FIG. The area occupied by the potential well 14 as the portion 1b in the light receiving surface is increased. Therefore, in the state of FIG. 5A, the ratio of charges accumulated in the potential well 14 with respect to the same amount of light is larger than in the state of FIG. 5B, and the sensitivity of the photosensitive portion 1a is substantially increased. It will be increased.
本実施形態の光検出素子10は、上述のように複数個の受光素子1を1枚の半導体基板に配列したイメージセンサを想定しており、上述した受光素子1において電荷集積部1bであるポテンシャル井戸14から電荷を取り出すには、CCDと同様の技術を採用する。つまり、ポテンシャル井戸14に電荷が集積された後に、制御電極13に印加する制御電圧の印加パターンを制御することによってポテンシャル井戸14に集積された電荷を転送し、半導体層11に設けた図示しない電極から電荷を取り出す。電荷を転送するための構成としては、フレーム転送型のCCDと同様の構成あるいはインターライン型のCCDと同様の構成を採用することができる。フレーム転送型のCCDと同様の構成を採用する場合には図5の右方向または左方向に電荷を転送するようにポテンシャル井戸14の形状を変化させればよく、インターライン型のCCDと同様の構成を採用する場合には図5の左右方向に沿ったCCDを設け、ポテンシャル井戸14からCCDに電荷を引き渡した後にCCDにより図5の左右方向に電荷を転送すればよい。 The photodetecting element 10 of the present embodiment is assumed to be an image sensor in which a plurality of light receiving elements 1 are arranged on a single semiconductor substrate as described above. In the light receiving element 1 described above, a potential that is a charge integration unit 1b. In order to take out electric charges from the well 14, the same technique as that of the CCD is adopted. That is, after the charge is accumulated in the potential well 14, the charge accumulated in the potential well 14 is transferred by controlling the application pattern of the control voltage applied to the control electrode 13, and an electrode (not shown) provided in the semiconductor layer 11. The electric charge is taken out from. As a configuration for transferring charges, a configuration similar to that of a frame transfer type CCD or a configuration similar to that of an interline type CCD can be employed. When the same configuration as that of the frame transfer type CCD is adopted, the shape of the potential well 14 may be changed so as to transfer charges in the right direction or the left direction in FIG. In the case of adopting the configuration, a CCD along the horizontal direction in FIG. 5 may be provided, and after the charge is transferred from the potential well 14 to the CCD, the charge is transferred in the horizontal direction in FIG.
上述したように、受光素子1において、半導体層11は、光の入射により電荷を生成する感光部1a(図1参照)として機能するとともに、制御電極13に制御電圧を印加しポテンシャル井戸14を形成することにより感光部1aで生成された電荷を集積する電荷集積部1b(図1参照)として機能する。また、半導体層11に光が入射している間に制御電極13に印加する制御電圧の印加パターンを変化させることによって感光部1aの感度を制御することができる。 As described above, in the light receiving element 1, the semiconductor layer 11 functions as the photosensitive portion 1 a (see FIG. 1) that generates a charge when light is incident, and forms a potential well 14 by applying a control voltage to the control electrode 13. By doing so, it functions as a charge accumulating unit 1b (see FIG. 1) for accumulating charges generated in the photosensitive unit 1a. The sensitivity of the photosensitive portion 1a can be controlled by changing the application pattern of the control voltage applied to the control electrode 13 while light is incident on the semiconductor layer 11.
電荷集積部1bに集積した電荷を取り出すために、フレーム転送型のCCDと同様の構成を採用する場合には、制御電極13に印加する制御電圧の印加パターンを制御することによって電荷を転送することになるから、電荷集積部1bに電荷を集積する集積期間とは異なる取出期間において電荷集積部1bの電荷を取り出すことができるように制御電極13に印加する制御電圧を制御すればよく、半導体層11は制御電極13とともに電荷取出部1c(図1参照)としても機能する。 In the case of adopting the same configuration as the frame transfer type CCD in order to take out the charges accumulated in the charge accumulation unit 1b, the charges are transferred by controlling the application pattern of the control voltage applied to the control electrode 13. Therefore, the control voltage applied to the control electrode 13 may be controlled so that the charge of the charge accumulation unit 1b can be taken out in the extraction period different from the integration period in which the charge is accumulated in the charge accumulation unit 1b. 11 also functions as a charge extraction portion 1c (see FIG. 1) together with the control electrode 13.
上述の光検出素子10は、例えば、1枚の半導体基板上に設定した二次元正方格子の格子点上にそれぞれ上述した構成の受光素子1を配置して構成され、例えば100個×100個の受光素子1をマトリクス状に配列した構成を有している。また、マトリクス状に配列した受光素子1のうち垂直方向の各列では一体に連続する半導体層11を共用するとともに、制御電極13を垂直方向に並設することにより、半導体層11を垂直方向への電荷の転送経路として用いることができる。イメージセンサとしての光検出素子10を構成するには、半導体基板に、垂直方向の各列の半導体層11の一端から電荷を受け取って水平方向に電荷を転送するCCDからなる水平転送部を設ける。なお、図1では制御電極13を各感光部1aに1個ずつ対応付けた形で示しているが、実際には図5のように複数個(例えば5個)の制御電極13を設ける。また、本実施形態では制御電極13を電荷取出部1cにおける電荷の転送に兼用している。 The above-described light detection element 10 is configured, for example, by disposing the light receiving elements 1 having the above-described configuration on the lattice points of a two-dimensional square lattice set on one semiconductor substrate, for example, 100 × 100 pieces. The light receiving elements 1 are arranged in a matrix. Further, among the light receiving elements 1 arranged in a matrix, each column in the vertical direction shares the semiconductor layer 11 that is integrally continuous, and the control electrode 13 is juxtaposed in the vertical direction, thereby moving the semiconductor layer 11 in the vertical direction. It can be used as a charge transfer path. In order to configure the photodetecting element 10 as an image sensor, a horizontal transfer unit including a CCD that receives charges from one end of the semiconductor layer 11 in each column in the vertical direction and transfers charges in the horizontal direction is provided on the semiconductor substrate. In FIG. 1, one control electrode 13 is shown in association with each photosensitive portion 1a, but actually, a plurality of (for example, five) control electrodes 13 are provided as shown in FIG. In the present embodiment, the control electrode 13 is also used for charge transfer in the charge extraction portion 1c.
対象空間に光を照射する発光源2としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものを用いる。発光源2から放射する光は、赤外線と可視光とのどちらでも用いることができる。赤外線を用いれば夜間でも発光源2の点灯に気付かれることがないから監視カメラなどの目的に適した構成になり、可視光を用いれば人が目で見るときの状態に近い画像を得ることができる。発光源2は、制御回路部8から出力される所定の変調周波数の変調信号により駆動される。変調信号には方形波を用い、変調周波数は10〜100kHzから選択し、デューティは50%としてある。したがって、発光源2は10〜100μsの周期で点灯と消灯とを同じ時間ずつ交互に繰り返すことになる。発光源2が点灯と消灯とを繰り返す周期は人の目では認識できない程度の短い周期にする。つまり、発光源2は実際には点灯と消灯とを繰り返しているが、人の目には連続して点灯しているように見えることになる。ただし、これらの数値は一例であり、変調周波数は適宜に設定可能である。 As the light emitting source 2 that irradiates light to the target space, for example, a light emitting diode in which a large number of light emitting diodes are arranged on one plane or a combination of a semiconductor laser and a diverging lens is used. The light emitted from the light emitting source 2 can be either infrared or visible light. If infrared rays are used, the light source 2 will not be noticed even at night, so that it is suitable for the purpose of a surveillance camera or the like, and if visible light is used, it is possible to obtain an image close to the state as seen by human eyes. it can. The light emission source 2 is driven by a modulation signal having a predetermined modulation frequency output from the control circuit unit 8. A square wave is used as the modulation signal, the modulation frequency is selected from 10 to 100 kHz, and the duty is 50%. Therefore, the light emitting source 2 is repeatedly turned on and off alternately for the same time in a cycle of 10 to 100 μs. The cycle in which the light source 2 is repeatedly turned on and off is set to a short cycle that cannot be recognized by human eyes. That is, the light source 2 is actually turned on and off repeatedly, but appears to be continuously lit to human eyes. However, these numerical values are examples, and the modulation frequency can be set appropriately.
一方、光検出素子10には受光光学系7を通して光が入射する。受光光学系7は光検出素子10の各受光素子1に対象空間を投影するために設けられている。すなわち、受光光学系7は、光検出素子10において受光素子1を配列した2次元平面に対象空間である3次元空間をマッピングする。したがって、光検出素子10から受光光学系7を通して見る視野内に存在する物体Obは受光素子1に対応付けられる。 On the other hand, light enters the light detection element 10 through the light receiving optical system 7. The light receiving optical system 7 is provided to project the target space onto each light receiving element 1 of the light detecting element 10. That is, the light receiving optical system 7 maps a three-dimensional space as a target space onto a two-dimensional plane in which the light receiving elements 1 are arranged in the light detecting element 10. Therefore, the object Ob existing in the visual field viewed from the light detection element 10 through the light receiving optical system 7 is associated with the light receiving element 1.
ところで、図1では光検出素子10の機能の理解を容易にするために、受光素子1の機能を上述したように感光部1aと電荷集積部1bと電荷取出部1cとに分けて記載している。ただし、図1における電荷取出部1cは、半導体層11だけではなく上述した水平転送部も含んでいる。また、感光部1aと電荷集積部1bと電荷取出部1cとは、上述のように制御電極13を共用しており、制御回路部8で生成され制御電極13に印加される制御電圧の印加パターンを制御することによって、感光部1aへの光の照射により生成される電荷のうち電荷集積部1bに集積する電荷の割合を決める感度の調節と、電荷集積部1bを形成するタイミングの調節と、電荷取出部1cにより電荷集積部1bから電荷を取り出すタイミングの調節とがなされる。つまり、制御電圧の印加パターンと印加パターンを変化させるタイミングとを制御することにより、電荷集積部1bに電荷を集積する集積期間と、集積期間とは異なる期間であって電荷取出部1cにより電荷集積部1bから電荷を取り出して画像生成部3に受光出力を与える取出期間とを制御することができる。 Incidentally, in FIG. 1, in order to facilitate understanding of the function of the light detection element 10, the function of the light receiving element 1 is divided into the photosensitive part 1a, the charge accumulation part 1b, and the charge extraction part 1c as described above. Yes. However, the charge extraction unit 1c in FIG. 1 includes not only the semiconductor layer 11 but also the horizontal transfer unit described above. Further, the photosensitive unit 1a, the charge accumulating unit 1b, and the charge extracting unit 1c share the control electrode 13 as described above, and the application pattern of the control voltage generated by the control circuit unit 8 and applied to the control electrode 13 is used. Adjusting the sensitivity for determining the proportion of charges accumulated in the charge accumulating portion 1b out of the charges generated by irradiating the photosensitive portion 1a with light, adjusting the timing for forming the charge accumulating portion 1b, Adjustment of the timing to extract charges from the charge accumulating unit 1b is performed by the charge extracting unit 1c. That is, by controlling the application pattern of the control voltage and the timing for changing the application pattern, the charge collection unit 1b integrates the charge in the charge integration unit 1b, and the charge extraction unit 1c performs charge integration in a period different from the integration period. It is possible to control the extraction period in which the charge is extracted from the unit 1b and the light reception output is given to the image generation unit 3.
以下に具体的な動作を説明する。発光源2は図6(a)に示すように点灯と消灯とを交互に繰り返すように制御回路部4からの変調信号により駆動される。点灯と消灯との各期間(以下、それぞれ点灯期間Ta、消灯期間Tbと呼ぶ)は本実施形態では等しくしてある(つまり、変調信号のデューティは50%にしている)。発光源2から対象空間に照射され物体Obで反射された光は、図6(b)のように、物体Obまでの距離に応じた遅れ時間Tdで受光素子1に入射する。ただし、遅れ時間Tdは点灯期間Taおよび消灯期間Tbに比較すると通常はごく短時間であるから無視することができる。 A specific operation will be described below. The light emission source 2 is driven by a modulation signal from the control circuit unit 4 so as to alternately turn on and off as shown in FIG. Each period of lighting and extinguishing (hereinafter referred to as lighting period Ta and extinguishing period Tb, respectively) is equal in this embodiment (that is, the duty of the modulation signal is 50%). The light emitted from the light source 2 to the target space and reflected by the object Ob enters the light receiving element 1 with a delay time Td corresponding to the distance to the object Ob as shown in FIG. 6B. However, since the delay time Td is usually very short compared to the lighting period Ta and the light-off period Tb, it can be ignored.
制御回路部8は、制御電極13に印加する制御電圧を制御し、発光源2の点灯期間Taに電荷集積部1bの面積を大きくすることによって集積した電荷と、消灯期間Tbに電荷集積部1bの面積を大きくすることによって集積した電荷とをそれぞれ受光出力として画像生成部3に与える。つまり、点灯期間Taに感光部1aを高感度にした状態で電荷集積部1bに集積した電荷を受光出力として取り出す状態と、消灯期間Tbに感光部1aを高感度にした状態で電荷集積部1bに集積した電荷を受光出力として取り出す状態とを繰り返すように、制御回路部8により制御電極13への制御電圧の印加パターンを制御する。 The control circuit unit 8 controls the control voltage applied to the control electrode 13 to increase the area of the charge integration unit 1b during the lighting period Ta of the light source 2, and the charge integration unit 1b during the extinction period Tb. The charge accumulated by increasing the area is supplied to the image generator 3 as a light reception output. That is, in the state where the photosensitive portion 1a is highly sensitive during the lighting period Ta, the charge accumulated in the charge accumulating portion 1b is taken out as a light receiving output, and in the state where the photosensitive portion 1a is highly sensitive during the extinguishing period Tb. The control circuit unit 8 controls the application pattern of the control voltage to the control electrode 13 so as to repeat the state of taking out the charges accumulated in the light receiving output.
受光出力は、点灯期間Taの全期間と消灯期間Tbの全期間とのそれぞれについて集積した電荷を用いることを想定しているが、点灯期間Taの一部期間と消灯期間Tbの一部期間とのそれぞれについて集積した電荷を用いるようにしてもよい。後者の場合には、電荷を集積する期間を等しくしておけば、点灯期間Taと消灯期間Tbとのデューティを50%以外とすることができ、また受光出力における遅れ時間Tdの影響による誤差を除去することができる。また、1回の点灯期間Taあるいは消灯期間Tbは短時間であって、1回の点灯期間Taあるいは消灯期間Tbでは画像生成部3で処理する(振幅画像f1を生成する)のに必要な大きさの受光出力を得るのは難しいから、複数回の点灯期間Taで電荷集積部1bに集積した電荷を点灯期間Taの受光出力として用い、複数回の消灯期間Tbで電荷集積部1bに集積した電荷を消灯期間Tbの受光出力として用いるのが望ましい。電荷集積部1bに電荷を集積する集積期間と、電荷取出部1cが電荷集積部1bから電荷を取り出して受光出力として画像生成部3に与える取出期間とは、上述したように制御電極13に印加する制御電圧により調節することができる。 It is assumed that the received light output uses charges accumulated for each of the entire period of the lighting period Ta and the entire period of the extinguishing period Tb, but the partial period of the lighting period Ta and the partial period of the extinguishing period Tb are used. It is also possible to use charges accumulated for each of the above. In the latter case, if the charge accumulation period is made equal, the duty of the lighting period Ta and the extinguishing period Tb can be set to other than 50%, and an error due to the influence of the delay time Td in the light receiving output can be reduced. Can be removed. Further, one lighting period Ta or extinguishing period Tb is a short time, and one lighting period Ta or extinguishing period Tb is large enough to be processed by the image generation unit 3 (generate an amplitude image f1). Since it is difficult to obtain the light receiving output, the charges accumulated in the charge accumulating unit 1b in the plurality of lighting periods Ta are used as the light receiving output in the lighting period Ta, and are accumulated in the charge accumulating unit 1b in the plurality of lighting periods Tb. It is desirable to use the charge as the light receiving output during the extinguishing period Tb. The integration period in which charges are accumulated in the charge accumulation unit 1b and the extraction period in which the charge extraction unit 1c extracts charges from the charge accumulation unit 1b and supplies them to the image generation unit 3 as light reception outputs are applied to the control electrode 13 as described above. It can be adjusted by the control voltage.
画像生成部3は、点灯期間Taの受光出力と消灯期間Tbの受光出力との差分(言い換えれば、発光源2から対象空間へ光を照射していないときの各感光部1aの受光出力と発光源2から対象空間へ光を照射したときの各感光部1aの受光出力との差分)を各感光部1a(受光素子1)ごとの画素値とする振幅画像f1を生成する。図示例では説明を単純にするために、1回の点灯期間Taにおける受光出力Aaを点灯期間Taの受光出力とし、1回の消灯期間Tbにおける受光出力Abを消灯期間Tbの受光出力としている。 The image generation unit 3 determines the difference between the light reception output during the lighting period Ta and the light reception output during the extinguishing period Tb (in other words, the light reception output and light emission of each photosensitive unit 1a when light is not emitted from the light source 2 to the target space. An amplitude image f1 is generated with a pixel value for each photosensitive portion 1a (light receiving element 1) as a difference between the light receiving output of each photosensitive portion 1a when light is irradiated from the source 2 to the target space. In the illustrated example, for simplicity of explanation, the light reception output Aa in one lighting period Ta is the light reception output in the lighting period Ta, and the light reception output Ab in one light extinction period Tb is the light reception output in the light extinction period Tb.
したがって、図7に曲線Eで示すように、環境光の強度が時間経過に伴って変化しているとすると、この曲線Eは発光源2の消灯期間Tbにおいて感光部1aに入射する光の強度に相当し、結果的に消灯期間Tbにおける受光出力Abに対応する。このように発光源2の消灯期間Tbの受光出力Abは曲線Eの高さに相当するから、発光源2の点灯期間Taの受光出力Aaは曲線Eよりも高くなる。つまり、発光源2が点灯と消灯とを繰り返すことにより、光検出素子10からの受光出力Aa,Abは、点灯期間Taには曲線Eよりも高くなり、消灯期間Tbには曲線Eの高さになる。発光源2から対象空間に照射された光に対応する受光出力は曲線Eよりも上の部分であるから、点灯期間Taの受光出力Aaと消灯期間Tbの受光出力Abとの差分(Aa−Ab)を求めることにより、環境光の影響を除去して発光源2から対象空間に照射された光の成分のみを抽出することができる。この差分(Aa−Ab)を各受光素子1の位置に対応付けた画像が振幅画像f1になる。 Therefore, as shown by a curve E in FIG. 7, if the intensity of the ambient light changes with time, this curve E indicates the intensity of light incident on the photosensitive portion 1a during the extinction period Tb of the light source 2. As a result, it corresponds to the light reception output Ab in the extinguishing period Tb. Thus, since the light reception output Ab of the light emission source 2 during the extinguishing period Tb corresponds to the height of the curve E, the light reception output Aa of the light emission source 2 during the lighting period Ta becomes higher than the curve E. That is, when the light emitting source 2 is repeatedly turned on and off, the light reception outputs Aa and Ab from the light detection element 10 become higher than the curve E during the lighting period Ta, and the height of the curve E during the lighting period Tb. become. Since the light reception output corresponding to the light emitted from the light source 2 to the target space is a portion above the curve E, the difference (Aa−Ab) between the light reception output Aa during the lighting period Ta and the light reception output Ab during the extinguishing period Tb. ), The influence of ambient light can be removed and only the component of the light emitted from the light source 2 to the target space can be extracted. An image in which this difference (Aa−Ab) is associated with the position of each light receiving element 1 is an amplitude image f1.
なお、差分(Aa−Ab)は隣接した点灯期間Taの受光出力Aaと消灯期間Tb(図示例では点灯期間Taの直後の消灯期間Tbを用いている)の受光出力Abとから求めており、差分(Aa−Ab)を求める点灯期間Taと消灯期間Tbとを合わせた程度の期間では環境光の強度Eは実質的に変化がないものとみなしている。したがって、点灯期間Taと消灯期間Tbとにおける環境光による受光出力は相殺され、発光源2から対象空間に照射され物体Obで反射された反射光に対応する受光出力のみが残り、結果的に、振幅画像f1では、物体Obのみを強調した画像を得ることができる。 The difference (Aa−Ab) is obtained from the light reception output Aa of the adjacent lighting period Ta and the light reception output Ab of the light extinction period Tb (in the illustrated example, the light extinction period Tb immediately after the lighting period Ta is used). It is assumed that the intensity E of the ambient light does not substantially change during the period in which the turn-on period Ta and the turn-off period Tb for obtaining the difference (Aa−Ab) are combined. Therefore, the light reception output by the ambient light in the lighting period Ta and the light extinction period Tb is canceled out, and only the light reception output corresponding to the reflected light that is irradiated from the light source 2 to the target space and reflected by the object Ob remains. In the amplitude image f1, an image in which only the object Ob is emphasized can be obtained.
上述した構成では、感光部1aと電荷集積部1bとで半導体層11を共用しているから、ポテンシャル井戸14の面積を大きくし感光部1aが高感度になるように制御電極13に制御電圧を印加している期間ではない期間(つまり、ポテンシャル井戸14の面積を小さくし感光部1aを低感度に設定している期間やポテンシャル井戸14に集積した電荷を転送している期間)であっても、受光素子1に光が入射していると電荷集積部1bに電荷が集積される。すなわち、電荷集積部1bには感光部1aを高感度に設定することにより生成した電荷以外の電荷が混入する。ただし、電荷集積部1bに電荷を保持したり電荷を転送したりしている期間には、感光部1aが低感度であって電荷集積部1bの面積が小さくなっているから不要な電荷の混入量は比較的少なくなる。なお、点灯期間Taの電荷と消灯期間Tbの電荷とをそれぞれ電荷集積部1bに保持している期間において混入する不要な電荷に対応する成分は、差分を求める際に環境光に対応する成分とともに除去することができる。 In the configuration described above, since the semiconductor layer 11 is shared by the photosensitive portion 1a and the charge integration portion 1b, a control voltage is applied to the control electrode 13 so that the area of the potential well 14 is increased and the photosensitive portion 1a becomes highly sensitive. Even a period that is not an applied period (that is, a period in which the area of the potential well 14 is reduced and the photosensitive portion 1a is set to low sensitivity, or a period in which charges accumulated in the potential well 14 are transferred). When light is incident on the light receiving element 1, charges are accumulated in the charge accumulation unit 1b. That is, charges other than those generated by setting the photosensitive portion 1a to high sensitivity are mixed in the charge accumulating portion 1b. However, during the period in which the charge is held or transferred to the charge accumulating unit 1b, the photosensitive unit 1a has low sensitivity and the area of the charge accumulating unit 1b is small. The amount is relatively small. It should be noted that the component corresponding to the unnecessary charge mixed in the period in which the charge during the lighting period Ta and the charge during the extinguishing period Tb are held in the charge accumulating unit 1b, together with the component corresponding to the ambient light when obtaining the difference Can be removed.
なお、図5(b)のように電荷集積部1bの面積を小さくしている期間において、必要な電荷以外の電荷の混入を抑制するために、この期間における電荷集積部1bに対応した制御電極13の近傍を遮光膜で覆う構成を採用してもよい。また、上述したように、点灯期間Taと消灯期間Tbとの全期間に亘って感光部1aを高感度に維持しておく(つまり、電荷集積部1bの面積を大きい状態に保つ)必要はなく、点灯期間Taと消灯期間Tbとの一部期間において感光部1aを高感度にする期間を設ければよいから、物体Obまで距離が既知である場合には、図8のように、物体Obまでの距離に応じた遅れ時間Tdを考慮し、発光源2の点灯または消灯から遅れ時間Tdが経過した後に感光部1aを高感度にして電荷集積部1bに電荷を集積してもよい。この場合には電荷集積部1bに集積される電荷の量は、図6に示した制御を行う場合に比較すると、遅れ時間Tdに相当する程度少なくなるが、点灯期間Taと消灯期間Tbとに受光した光量を正確に反映した受光出力Aa,Abが得られるから、環境光の影響をより確実に除去できると言える。 In addition, in order to suppress the mixing of charges other than the necessary charge during the period in which the area of the charge accumulation unit 1b is reduced as shown in FIG. 5B, the control electrode corresponding to the charge accumulation unit 1b in this period. A configuration in which the vicinity of 13 is covered with a light shielding film may be employed. Further, as described above, it is not necessary to maintain the photosensitive portion 1a with high sensitivity over the entire period of the lighting period Ta and the extinguishing period Tb (that is, to keep the area of the charge integration portion 1b large). Since it is only necessary to provide a period during which the photosensitive portion 1a is highly sensitive in a part of the lighting period Ta and the extinguishing period Tb, when the distance to the object Ob is known, as shown in FIG. In consideration of the delay time Td according to the distance until the light source 2 is turned on or off, the photosensitive portion 1a may be made highly sensitive and the charge may be accumulated in the charge accumulation portion 1b after the delay time Td has elapsed. In this case, the amount of charge accumulated in the charge accumulation unit 1b is reduced to a degree corresponding to the delay time Td as compared with the case of performing the control shown in FIG. Since the light reception outputs Aa and Ab that accurately reflect the received light amount can be obtained, it can be said that the influence of ambient light can be more reliably removed.
ところで、画像生成部3にて生成された振幅画像f1(図2参照)は特徴量抽出部4に与えられる。ここで、図2に示す振幅画像f1の画像座標系は、振幅画像f1の左上を原点とし、x軸の正方向(x方向)を水平右方向、y軸の正方向(y方向)を鉛直下方向とする左手系座標系としてあり、特徴量抽出部4では、図2に示すようなマスクサイズが3×3画素のソーベルフィルタhx,hy(なお、図2には、x方向のソーベルフィルタhx、y方向のソーベルフィルタhyそれぞれについて、振幅画像f1上の重み係数の配置を示してある)を振幅画像f1の全ての画素に適用して局所空間微分を行い、振幅画像f1の振幅値から求められる各画素の微分強度値である振幅微分値を画素とする振幅微分画像を生成し、当該振幅微分画像を上記閾値で2値化して得られた出力画像f2(図4参照)から物体Obの特徴量(本実施形態では、人物の顔の特徴量)を抽出する。 By the way, the amplitude image f1 (see FIG. 2) generated by the image generation unit 3 is given to the feature amount extraction unit 4. Here, in the image coordinate system of the amplitude image f1 shown in FIG. 2, the upper left of the amplitude image f1 is the origin, the positive direction of the x axis (x direction) is the horizontal right direction, and the positive direction of the y axis (y direction) is the vertical direction. The feature extraction unit 4 has a Sobel filter h x , h y with a mask size of 3 × 3 pixels as shown in FIG. The sobel filter h x and the sobel filter h y in the y direction are applied to all the pixels of the amplitude image f1 by applying a weighting coefficient arrangement on the amplitude image f1), An output differential image obtained by generating an amplitude differential image having an amplitude differential value, which is a differential intensity value of each pixel obtained from the amplitude value of the amplitude image f1, as a pixel, and binarizing the amplitude differential image with the threshold value ( The feature amount of the object Ob (refer to FIG. 4) (this embodiment) Extracts a feature quantity) of the face of the person.
振幅画像f1の画素(u,v)における微分強度値を|G(u,v)|とすれば、微分強度値|G(u,v)|は、振幅画像f1における注目画素の隣接する8画素(注目画素の8近傍)の画素値(本実施形態では、振幅値)を用いて求められる値である。ここにおいて、微分強度値|G(u,v)|は、図3(a)に示すように注目画素p5を中心とする3×3画素の局所領域(矩形領域)における各画素p1〜p9それぞれの画素値を図3(b)に示すようにa〜iとすれば、x方向の微分値dxおよびy方向の微分値dyを用いて下記の(式1)で表される。
|G(u,v)|={(dx2 (u,v)+dy2(u,v)}1/2 (式1)
ただし、
dx(u,v)=(c+2f+i)−(a+2d+g) (式2)
dy(u,v)=(g+2h+i)−(a+2b+c) (式3)
(式1)によって求めた振幅微分値を画素値に持つ振幅微分画像においては振幅画像f1における振幅差の大きい部位ほど振幅微分値が大きくなる。特徴量抽出部は、振幅微分画像を上記閾値で2値化することにより出力画像f2を生成する。
If the differential intensity value at the pixel (u, v) of the amplitude image f1 is | G (u, v) |, the differential intensity value | G (u, v) | is 8 adjacent to the target pixel in the amplitude image f1. This is a value obtained using the pixel value (in this embodiment, the amplitude value) of the pixel (near 8 of the target pixel). Here, the differential intensity value | G (u, v) | is the respective pixels p1 to p9 in the 3 × 3 pixel local region (rectangular region) centered on the target pixel p5 as shown in FIG. As shown in FIG. 3B, if the pixel values of a are i to i, they are expressed by the following (formula 1) using the differential value dx in the x direction and the differential value dy in the y direction.
| G (u, v) | = {(dx 2 (u, v) + dy 2 (u, v)} 1/2 (Formula 1)
However,
dx (u, v) = (c + 2f + i) − (a + 2d + g) (Formula 2)
dy (u, v) = (g + 2h + i) − (a + 2b + c) (Formula 3)
In the amplitude differential image having the amplitude differential value obtained by (Equation 1) as the pixel value, the amplitude differential value increases as the amplitude difference in the amplitude image f1 increases. The feature quantity extraction unit generates an output image f2 by binarizing the amplitude differential image with the threshold value.
そして、類似度演算部5において特徴量抽出部4により抽出された物体Obの特徴量とテンプレート作成記憶部TPに登録されているテンプレートとを照合して算出された類似度が対象物認識部6へ与えられ、対象物認識部6では、類似度演算部5で算出された類似度が上記所定値以上になる場合に、光検出素子10により撮像された物体Obである人物の顔が認証対象者本人の顔であることを認証(顔認証)する。なお、対象物認識部6では、周知の顔認証の技術を適宜採用すればよく、アフィン変換などの周知の変換技術を適宜用いる。 Then, the similarity calculated by collating the feature amount of the object Ob extracted by the feature amount extraction unit 4 with the template registered in the template creation storage unit TP in the similarity calculation unit 5 is the object recognition unit 6. In the object recognition unit 6, when the similarity calculated by the similarity calculation unit 5 is equal to or greater than the predetermined value, the face of the person who is the object Ob imaged by the light detection element 10 is subject to authentication. Authenticate that the face is the person's face (face authentication). Note that the object recognition unit 6 may employ a known face authentication technique as appropriate, and uses a known conversion technique such as affine transformation as appropriate.
しかして、本実施形態の画像処理装置では、光検出素子10のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部1aの受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、つまり、画像生成部3にて生成される画像として、対象空間の環境光の変動の影響を受けることなく同じ振幅画像f1が得られることとなるから、物体Obの特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる。要するに、本実施形態では、環境光の影響を受けることなく認証対象者の顔の認証判断を行うことができる。ここにおいて、振幅画像はダイナミックの範囲内であれば環境光の影響を受けないので、例えば物体Obである人の顔と光検出素子10との距離が同じ状況で微分画像を求めた場合には、顔の同じ位置にエッジができる。また、特徴量抽出部4において特徴量を抽出する入力画像として振幅微分画像を2値化して得た出力画像f2を用いているので、振幅画像を用いる場合に比べて、データ量(情報量)を少なくでき、高速に顔認証処理をすることが可能となる。また、振幅画像を用いる場合に比べて、段差のように距離の変化率が大きい領域と距離の変化率が小さい領域とを容易に識別することが可能になり、対象物を正確に認識することができるという利点がある。 Thus, in the image processing apparatus according to the present embodiment, as long as it is within the dynamic range of the light detection element 10, it is not affected by the change in the light reception output of each photosensitive portion 1a due to the fluctuation of the ambient light in the target space. Since the same pixel value is obtained, that is, the same amplitude image f1 is obtained as an image generated by the image generation unit 3 without being affected by the fluctuation of the ambient light in the target space. The feature amount of the object Ob can be stably extracted, and the object can be recognized without being affected by the fluctuation of the ambient light in the target space. In short, in the present embodiment, it is possible to perform authentication determination of the face of the person to be authenticated without being affected by ambient light. Here, the amplitude image is not affected by ambient light as long as it is within the dynamic range. For example, when the differential image is obtained in a situation where the distance between the human face as the object Ob and the light detection element 10 is the same. , An edge is created at the same position on the face. In addition, since the output image f2 obtained by binarizing the amplitude differential image is used as the input image for extracting the feature amount in the feature amount extraction unit 4, the data amount (information amount) compared to the case of using the amplitude image. And the face authentication process can be performed at high speed. Compared to the case of using an amplitude image, it is possible to easily identify a region with a large rate of change in distance, such as a step, and a region with a small rate of change in distance, and accurately recognize an object. There is an advantage that can be.
さらに、光検出素子10に入射する反射光のパワーは距離の2乗に反比例するので、例えば、光検出素子10の前に立っている人の画素値に比べると、背景の画素値が低くなり、図9(a)の濃淡画像f11と同じ状況で撮像した図9(b)上段の振幅画像f1を上記閾値で2値化することにより図9(b)下段のように背景が除去された振幅2値画像f4を得ることができ、振幅2値画像f4における処理領域を対象物のみに限定することが可能となる。したがって、顔のみが光検出素子10の比較的近くに位置することが多い顔認証の用途では、特に適しており、対象物である顔のみを抽出して認証に要する時間の短縮化を図れるとともに、顔認証の精度の向上を図れる。すなわち、振幅画像はダイナミックレンジの範囲内であれば環境光の影響を受けず、しかも、振幅画像を例えば上記閾値で2値化することにより対象空間内に存在する対象物である物体Obの背景を抽出しにくくなり、対象物のみを主に抽出することができるので、濃淡画像全体から特徴量を抽出する場合に比べて、対象物のみを中心にして特徴量を抽出することができ、特徴量の抽出にかかる時間が短縮される。また、環境光の影響を受けていない振幅画像に基づいて生成した振幅微分画像から特徴量を抽出するので、より精度よく安定して顔の特徴量を抽出することができ、結果的に顔認証の精度の向上を図れる。また、特徴量の位置関係により個人の認証を行う場合、顔全体を認証に用いる場合と比べて情報量を減らすことができ、また、テンプレート作成記憶部TPに複数の顔テンプレートが登録されている場合においても、特徴量の位置関係から本人の可能性が高い顔テンプレートの候補について優先的に類似度を算出して認証を行うことも可能となる。 Furthermore, since the power of the reflected light incident on the light detection element 10 is inversely proportional to the square of the distance, for example, the pixel value of the background is lower than the pixel value of a person standing in front of the light detection element 10. The background image is removed as shown in the lower part of FIG. 9B by binarizing the amplitude image f1 in the upper part of FIG. 9B, which is captured in the same situation as the grayscale image f11 in FIG. An amplitude binary image f4 can be obtained, and the processing area in the amplitude binary image f4 can be limited to only the object. Therefore, it is particularly suitable for use in face authentication in which only the face is often located relatively close to the light detection element 10, and only the face that is the object can be extracted to shorten the time required for authentication. The accuracy of face authentication can be improved. In other words, if the amplitude image is within the dynamic range, it is not affected by the ambient light, and the background of the object Ob that is the target object existing in the target space by binarizing the amplitude image with the threshold value, for example, Can be extracted mainly, and only the target object can be extracted. Compared with the case where the feature quantity is extracted from the whole grayscale image, the feature quantity can be extracted centering only on the target object. The time taken to extract the quantity is shortened. In addition, since feature quantities are extracted from amplitude differential images generated based on amplitude images that are not affected by ambient light, face feature quantities can be extracted more accurately and stably, resulting in face authentication. Can improve accuracy. Also, when individual authentication is performed based on the positional relationship of feature amounts, the amount of information can be reduced compared to the case where the entire face is used for authentication, and a plurality of face templates are registered in the template creation storage unit TP. Even in this case, it is possible to preferentially calculate the similarity for face template candidates that are highly likely to be the person from the positional relationship of the feature amounts, and perform authentication.
例えば、図10に示すように物体Obである人物の側方に対象空間を照明している照明装置Lが存在している(つまり、物体Obの側方から照射される環境光が存在している)ような状況においては、図11(b)の上側に示した濃淡画像f11の各画素の微分強度値を画素値とする濃淡微分画像を適宜閾値で2値化して得られる図11(b)の下側に示した出力画像f12では顔の特徴量(顔の輪郭、目、鼻、口など)のうち認識できない箇所が多くなってしまう。これに対して、図11(a)の上側に示した振幅画像f1の各画素の微分強度値を画素値とする振幅微分画像を2値化して得られる図11(a)の下側に示した出力画像f2では顔の特徴量をより認識しやすくなっていることが分かる。要するに、濃淡画像を画像処理して得られる出力画像f12は環境光の影響を受けやすいのに対して、振幅画像を画像処理して得られる出力画像f2は環境光の影響を受けにくいので、対象物認識部6において安定して対象物を認識することができる。また、微分強度値は画像の明るさの影響を受け難いので、振幅微分画像を2値化して得られた出力画像f2を用いてテンプレートマッチングを行うことで、テンプレート作成モードにおいて光検出素子10により対象空間を撮像してテンプレートを作成するときの対象空間の明るさと、通常動作モード時において光検出素子10により対象空間を撮像して対象物の認識を行うときの対象空間の明るさとが異なっていても、対象空間の明るさの変動の影響を受け難く、振幅画像そのものから特徴量を抽出する場合に比べて、特徴量をより正確に抽出することが可能となる。 For example, as shown in FIG. 10, there is an illumination device L that illuminates a target space on the side of a person who is an object Ob (that is, there is ambient light emitted from the side of the object Ob). In such a situation, FIG. 11 (b) obtained by appropriately binarizing the grayscale differential image having the differential intensity value of each pixel of the grayscale image f11 shown in the upper part of FIG. In the output image f12 shown on the lower side, the number of facial features (face outline, eyes, nose, mouth, etc.) that cannot be recognized increases. On the other hand, the lower side of FIG. 11A obtained by binarizing the amplitude differential image having the differential intensity value of each pixel of the amplitude image f1 shown in the upper side of FIG. It can be seen that the output image f2 makes it easier to recognize facial feature values. In short, the output image f12 obtained by image processing of the grayscale image is easily affected by ambient light, whereas the output image f2 obtained by image processing of the amplitude image is not easily affected by ambient light. The object recognition unit 6 can stably recognize the object. In addition, since the differential intensity value is hardly affected by the brightness of the image, by performing template matching using the output image f2 obtained by binarizing the amplitude differential image, the photodetecting element 10 in the template creation mode. The brightness of the target space when the target space is imaged to create a template is different from the brightness of the target space when the target space is imaged by the light detection element 10 in the normal operation mode to recognize the target object. However, it is difficult to be affected by the brightness variation of the target space, and the feature amount can be extracted more accurately than when the feature amount is extracted from the amplitude image itself.
なお、顔の特徴量を抽出する技術について図12を利用して説明すれば、まず、図12(a)に示す振幅画像f1から図12(b)に示す出力画像(振幅微分画像を2値化して得られる画像)f2を作成する。ここにおいて、目、鼻、口などは頬や額などに比べて微分強度値が大きくなるので、振幅微分画像を2値化した場合、図12(b)に示す出力画像f2のように、目、鼻、口、顔の輪郭のみを抽出することが可能となる。したがって、図12(b)に示す出力画像f2において目、鼻、口などの各部位の端点を抽出することによって、図12(c)に示すように顔の特徴点Cを抽出することができ、これらの特徴点の位置関係を用いて顔認証を行うことができる。 12 will be described with reference to FIG. 12. First, the amplitude image f1 shown in FIG. 12A to the output image shown in FIG. Image f2 obtained by converting the image to f2. Here, since the differential intensity value of the eyes, nose, mouth, and the like is larger than that of the cheek or forehead, when the amplitude differential image is binarized, as shown in the output image f2 shown in FIG. Only the contours of the nose, mouth and face can be extracted. Therefore, by extracting the end points of each part such as eyes, nose and mouth from the output image f2 shown in FIG. 12B, the facial feature point C can be extracted as shown in FIG. Face authentication can be performed using the positional relationship between these feature points.
(実施形態2)
実施形態1では、点灯期間Taの受光出力Aaと消灯期間Tbの受光出力Abとは異なる取出期間において光検出素子10から画像生成部3に与えている。つまり、点灯期間Taに対応する集積期間に集積した電荷を受光出力として画像生成部3に与える取出期間と、消灯期間Tbに対応する集積期間に集積した電荷を受光出力として画像生成部3に与える取出期間とが個別に設けられている。本実施形態は、点灯期間Taの受光出力Aaと消灯期間Tbの受光出力とを一括して画像生成部3に与えるように取出期間を設定する。つまり、点灯期間Taに対応する集積期間に集積した電荷と、消灯期間Tbに対応する集積期間に集積した電荷とをともに光検出素子10に設けた異なる電荷集積部1bにおいて保持しておき、1回の取出期間において両方の電荷をまとめて画像生成部3に与えるのである。
(Embodiment 2)
In the first embodiment, the light receiving output Aa in the lighting period Ta and the light receiving output Ab in the extinguishing period Tb are given from the light detection element 10 to the image generating unit 3 in different extraction periods. That is, the charge accumulated in the integration period corresponding to the lighting period Ta is supplied to the image generation unit 3 as the light reception output, and the charge accumulated in the integration period corresponding to the turn-off period Tb is supplied to the image generation unit 3 as the light reception output. There is a separate withdrawal period. In the present embodiment, the extraction period is set so that the light reception output Aa during the lighting period Ta and the light reception output during the extinguishing period Tb are collectively supplied to the image generation unit 3. That is, the charge accumulated in the integration period corresponding to the lighting period Ta and the charge accumulated in the integration period corresponding to the turn-off period Tb are both held in different charge integration units 1b provided in the light detection element 10. Both charges are collectively supplied to the image generation unit 3 during the extraction period.
本実施形態では、隣り合う2個1組の受光素子1を1画素として扱い、1画素となる2個の受光素子1における感光部1aの各一方をそれぞれ他方に対して高感度にするように、制御電極13に印加する制御電圧を調節する。つまり、1画素となる2個の感光部1aの一方は発光源2の点灯期間Taにおいて高感度にし、他方は発光源2の消灯期間Tbにおいて高感度にする。また、高感度にしていないほうの感光部1aは低感度にする。 In the present embodiment, a set of two adjacent light receiving elements 1 is treated as one pixel, and each one of the photosensitive portions 1a in the two light receiving elements 1 serving as one pixel is made highly sensitive to the other. The control voltage applied to the control electrode 13 is adjusted. That is, one of the two photosensitive portions 1a serving as one pixel has high sensitivity during the lighting period Ta of the light source 2, and the other has high sensitivity during the light extinction period Tb of the light source 2. Further, the photosensitive portion 1a that is not set to high sensitivity is set to low sensitivity.
本実施形態の動作を具体的に説明する。図13に示すように、1画素となる2個の受光素子1がそれぞれ3個の制御電極13を備えるものとして動作を説明する。ただし、1個の受光素子1に対する制御電極13の個数は3個に限られるものではない。 The operation of this embodiment will be specifically described. As shown in FIG. 13, the operation will be described on the assumption that each of the two light receiving elements 1 serving as one pixel includes three control electrodes 13. However, the number of control electrodes 13 for one light receiving element 1 is not limited to three.
以下では、1画素を構成する2個の受光素子1の各制御電極13を区別するために、図13のように、各制御電極13に(1)〜(6)の数字を付与して区別する。すなわち、組になる2個の受光素子1のうちの一方は制御電極(1)〜(3)を備え、他方は制御電極(4)〜(6)を備える。なお、1画素ずつの受光素子1に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。 Hereinafter, in order to distinguish the control electrodes 13 of the two light receiving elements 1 constituting one pixel, the numbers (1) to (6) are assigned to the control electrodes 13 as shown in FIG. To do. That is, one of the two light receiving elements 1 in the set includes control electrodes (1) to (3), and the other includes control electrodes (4) to (6). It is desirable to provide an overflow drain in association with the light receiving element 1 for each pixel.
実施形態1において説明したように、感光部1aの感度を制御するには受光面に占めるポテンシャル井戸14の面積が変化するように制御電極13に印加する制御電圧の印加パターンを制御するから、1画素を構成する2個の受光素子1の制御電極13に印加する制御電圧の印加パターンを、発光源2の点灯期間Taと消灯期間Tbとに同期させて変化させれば、2個の受光素子1のうちの一方の電荷集積部1bには点灯期間Taにおける電荷が集積され、他方の電荷集積部1bには消灯期間Tbにおける電荷が集積される。 As described in the first embodiment, in order to control the sensitivity of the photosensitive portion 1a, the application pattern of the control voltage applied to the control electrode 13 is controlled so that the area of the potential well 14 occupying the light receiving surface changes. If the application pattern of the control voltage applied to the control electrodes 13 of the two light receiving elements 1 constituting the pixel is changed in synchronization with the lighting period Ta and the extinguishing period Tb of the light source 2, the two light receiving elements Charges in the lighting period Ta are accumulated in one charge accumulation unit 1b of 1, and charges in the extinguishing period Tb are accumulated in the other charge accumulation unit 1b.
つまり、発光源2の点灯期間Taには、図13(a)のように、制御電極(1)〜(3)に対応するポテンシャル井戸14の面積を大きくするために、1画素の一方の受光素子1に対応した3個の制御電極(1)〜(3)のすべてに同電圧である正の制御電圧(+V)を印加し、この期間には他方の受光素子1に対応した3個の制御電極(4)〜(6)のうちの中央の制御電極(5)にのみ正の制御電圧(+V)を印加してポテンシャル井戸14の面積を小さくする。つまり、制御電極(1)〜(3)に対応する領域は感光部1aを高感度に設定した状態になり、制御電極(4)〜(6)に対応する領域は感光部1aを低感度に設定した状態になる。したがって、制御電極(4)〜(6)に対応する領域では、受光による新たな電荷(電子e)の生成量が制御電極(1)〜(3)に対応する領域に比べて大幅に少なくなり、制御電極(1)〜(3)に対応する領域のポテンシャル井戸14には受光出力Aaに相当する電荷が集積される。 That is, during the lighting period Ta of the light source 2, as shown in FIG. 13A, in order to increase the area of the potential well 14 corresponding to the control electrodes (1) to (3), one light reception of one pixel is performed. A positive control voltage (+ V), which is the same voltage, is applied to all of the three control electrodes (1) to (3) corresponding to the element 1, and during this period, the three control electrodes (1) to (3) corresponding to the other light receiving element 1 are A positive control voltage (+ V) is applied only to the central control electrode (5) among the control electrodes (4) to (6) to reduce the area of the potential well. That is, the region corresponding to the control electrodes (1) to (3) is in a state where the photosensitive portion 1a is set to high sensitivity, and the region corresponding to the control electrodes (4) to (6) is set to be low sensitivity. It will be in the set state. Therefore, in the region corresponding to the control electrodes (4) to (6), the amount of new charges (electrons e) generated by receiving light is significantly reduced compared to the region corresponding to the control electrodes (1) to (3). Charges corresponding to the light reception output Aa are accumulated in the potential well 14 in the region corresponding to the control electrodes (1) to (3).
一方、発光源2の消灯期間Tbには、図13(b)のように、制御電極(4)〜(6)に対応するポテンシャル井戸14の面積を大きくするために、1画素の一方の受光素子1に対応した3個の制御電極(4)〜(6)のすべてに同電圧である正の制御電圧(+V)を印加し、この期間には他方の受光素子1に対応した3個の制御電極(1)〜(3)のうちの中央の制御電極(2)にのみ正の制御電圧(+V)を印加してポテンシャル井戸14の面積を小さくする。つまり、制御電極(4)〜(6)に対応する領域は感光部1aを高感度に設定した状態になり、制御電極(1)〜(3)に対応する領域は感光部1aを低感度に設定した状態になる。したがって、制御電極(1)〜(3)に対応する領域では、受光による新たな電荷(電子e)の生成量が制御電極(4)〜(6)に対応する領域に比べて大幅に少なくなり、制御電極(4)〜(6)に対応する領域のポテンシャル井戸14には受光出力Abに相当する電荷が集積される。 On the other hand, during the extinction period Tb of the light emitting source 2, as shown in FIG. 13B, in order to increase the area of the potential well 14 corresponding to the control electrodes (4) to (6), one light reception of one pixel is performed. A positive control voltage (+ V), which is the same voltage, is applied to all of the three control electrodes (4) to (6) corresponding to the element 1, and during this period, three control electrodes (4) to (6) corresponding to the other light receiving element 1 are applied. A positive control voltage (+ V) is applied only to the central control electrode (2) of the control electrodes (1) to (3) to reduce the area of the potential well 14. That is, the region corresponding to the control electrodes (4) to (6) is in a state where the photosensitive portion 1a is set to high sensitivity, and the region corresponding to the control electrodes (1) to (3) is set to be low sensitivity. It will be in the set state. Therefore, in the region corresponding to the control electrodes (1) to (3), the amount of new charges (electrons e) generated by receiving light is significantly reduced compared to the region corresponding to the control electrodes (4) to (6). Charges corresponding to the light reception output Ab are accumulated in the potential well 14 in the region corresponding to the control electrodes (4) to (6).
図13(a)の状態では点灯期間Taに対応する電荷を集積することができ、図13(b)の状態では消灯期間Tbに対応する電荷を集積することができるから、図13(a)の状態と図13(b)の状態とが1回ずつ得られるように制御電圧の印加パターンを制御すれば、点灯期間Taと消灯期間Tbとの受光出力Aa,Abを得ることができる。しかしながら、点灯期間Taと消灯期間Tbとの長さによっては、1回ずつでは受光素子1に入射する光量が少なく受光素子1の内部で発生するショットノイズにより受光出力Aa,AbのS/Nが悪化する場合がある。この場合には、図13(a)と図13(b)との両状態を複数回ずつ繰り返すことにより電荷集積部1bに複数回分の電荷を集積した後に、電荷取出部1cによって受光出力Aa,Abを取り出せばよい。 In the state of FIG. 13A, charges corresponding to the lighting period Ta can be accumulated, and in the state of FIG. 13B, charges corresponding to the extinguishing period Tb can be accumulated. If the application pattern of the control voltage is controlled so that the state of FIG. 13 and the state of FIG. 13B are obtained once each, the light reception outputs Aa and Ab of the lighting period Ta and the light-off period Tb can be obtained. However, depending on the length of the turn-on period Ta and the turn-off period Tb, the amount of light incident on the light receiving element 1 is small once, and the S / N of the light receiving outputs Aa and Ab is reduced by shot noise generated inside the light receiving element 1. It may get worse. In this case, by repeating both the states of FIG. 13A and FIG. 13B a plurality of times, after accumulating charges for a plurality of times in the charge accumulating portion 1b, the light receiving outputs Aa, What is necessary is just to take out Ab.
電荷取出部1cは、1画素となる2個の受光素子1の電荷集積部1bに、それぞれ発光源2の点灯期間Taにおける電荷と消灯期間Tbにおける電荷とが集積された後に、取出期間を設けて2種類の受光出力Aa,Abを一括して画像生成部3に与える。つまり、実施形態1では、点灯期間Taの電荷を集積する集積期間、この電荷を取り出す取出期間、消灯期間Tbの電荷を集積する集積期間、この電荷を取り出す取出期間の4期間で2種類の受光出力Aa,Abを得ていたのに対して、本実施形態では、点灯期間Taの電荷を集積する集積期間、消灯期間Tbの電荷を集積する集積期間、両方の電荷を取り出す取出期間の3期間で2種類の受光出力Aa,Abを得ることができる。 The charge extraction unit 1c provides an extraction period after the charge in the lighting period Ta and the charge in the extinguishing period Tb of the light emitting source 2 are accumulated in the charge integration unit 1b of the two light receiving elements 1 serving as one pixel, respectively. The two types of light reception outputs Aa and Ab are collectively supplied to the image generation unit 3. That is, in the first embodiment, two types of light reception are performed in the four periods of the integration period in which the charge in the lighting period Ta is integrated, the extraction period in which the charge is extracted, the integration period in which the charge in the extinguishing period Tb is integrated, and the extraction period in which the charge is extracted. While the outputs Aa and Ab are obtained, in the present embodiment, three periods of an integration period in which the charges in the lighting period Ta are integrated, an integration period in which the charges in the extinguishing period Tb are integrated, and an extraction period in which both charges are taken out Thus, two types of light reception outputs Aa and Ab can be obtained.
ところで、本実施形態では、図13(a)の状態と図13(b)の状態とのいずれにおいても各3個の制御電極(1)〜(3)または(4)〜(6)に同時に印加する制御電圧(+V)と、1個の制御電極(2)または(5)のみに印加する制御電圧(+V)とは等しくなるように設定してある。したがって、ポテンシャル井戸14の面積が変化してもポテンシャル井戸14の深さはほぼ一定に保たれる。つまり、ポテンシャル井戸14の間の障壁付近で生成されポテンシャル井戸14に流れ込む電荷は、隣り合うポテンシャル井戸14にほぼ均等に振り分けられることになる。 By the way, in the present embodiment, each of the three control electrodes (1) to (3) or (4) to (6) is simultaneously applied to both the state of FIG. 13A and the state of FIG. The control voltage (+ V) to be applied is set to be equal to the control voltage (+ V) to be applied to only one control electrode (2) or (5). Therefore, even if the area of the potential well 14 changes, the depth of the potential well 14 is kept almost constant. That is, the charge generated near the barrier between the potential wells 14 and flowing into the potential well 14 is distributed almost evenly to the adjacent potential wells 14.
以下では、ポテンシャル井戸14に不要な電荷が混入しても画像生成部3で振幅画像f1を生成する際に不要な電荷の影響を除去できる理由を説明する。ここで、説明を簡単にするために、ポテンシャル井戸14に集積される電荷の量がポテンシャル井戸14の面積に比例するものとする。本実施形態では、感光部1aを高感度にしている状態と低感度にしている状態とでは、ポテンシャル井戸14の面積にはほぼ3倍の違いがあるから、集積される電荷の量は3倍異なるものとする。 Hereinafter, the reason why the influence of unnecessary charges can be removed when the image generating unit 3 generates the amplitude image f1 even if unnecessary charges are mixed in the potential well 14 will be described. Here, to simplify the explanation, it is assumed that the amount of charge accumulated in the potential well 14 is proportional to the area of the potential well 14. In the present embodiment, the area of the potential well 14 is almost three times different between the high sensitivity state and the low sensitivity state of the photosensitive portion 1a. Be different.
いま、1個の制御電極13に対応するポテンシャル井戸14を形成したときに(図13(a)の状態で制御電極(5)に対応したポテンシャル井戸14に相当する)、このポテンシャル井戸14に、発光源2からの光により集積される電荷の量をSとし、環境光により集積される電荷の量をNとする。図13(a)の状態で制御電極(5)に対応するポテンシャル井戸14に集積される電荷の量は(S+N)であるから、制御電極(1)〜(3)に対応するポテンシャル井戸14に集積される電荷の量は(3S+3N)になる。一方、図13(b)の状態は消灯期間Tbであるから、発光源2からの光により集積される電荷はなく、制御電極(2)に対応するポテンシャル井戸14に集積される電荷の量はNであるから、制御電極(4)〜(6)に対応するポテンシャル井戸14に集積される電荷の量は3Nになる。 Now, when the potential well 14 corresponding to one control electrode 13 is formed (corresponding to the potential well 14 corresponding to the control electrode (5) in the state of FIG. 13A), Let S be the amount of charge accumulated by light from the light source 2 and N be the amount of charge accumulated by ambient light. Since the amount of charge accumulated in the potential well 14 corresponding to the control electrode (5) in the state of FIG. 13A is (S + N), the potential well 14 corresponding to the control electrodes (1) to (3) The amount of charge accumulated is (3S + 3N). On the other hand, since the state of FIG. 13B is the extinguishing period Tb, there is no charge accumulated by the light from the light source 2, and the amount of charge accumulated in the potential well 14 corresponding to the control electrode (2) is Since N, the amount of charge accumulated in the potential well 14 corresponding to the control electrodes (4) to (6) is 3N.
画像生成部3において振幅画像を生成する際には、図13(a)の状態で制御電極(1)〜(3)に対応するポテンシャル井戸14に集積された電荷と、図13(b)の状態で制御電極(4)〜(6)に対応するポテンシャル井戸14に集積された電荷とに対応する受光出力Aa,Abを減算する。ただし、図13(a)の状態において制御電極(5)に対応するポテンシャル井戸14には不要な電荷が集積されており、その量は(S+N)であるから、消灯期間Tbの受光出力Abに相当する電荷の量は(S+N)と3Nとを加算した量である(S+4N)になる。一方、図13(b)の状態において制御電極(2)に対応するポテンシャル井戸には不要な電荷が集積されており、その量はNであるから、点灯期間Taの受光出力Aaに相当する電荷の量は(3S+3N)とNとを加算した量である(3S+4N)になる。つまり、点灯期間Taに対応する受光出力Aaは(3S+4N)に対応し、消灯期間Tbに対応する受光出力Abは(S+4N)に対応するから、画像生成部3において振幅画像f1を生成する際には、(Aa−Ab)∝{(3S+4N)−(S+4N)}=2Sに相当する演算を行うことになり、不要な電荷と環境光とに対応した成分が除去される。 When the amplitude image is generated by the image generation unit 3, the charges accumulated in the potential well 14 corresponding to the control electrodes (1) to (3) in the state of FIG. In the state, the light reception outputs Aa and Ab corresponding to the charges accumulated in the potential well 14 corresponding to the control electrodes (4) to (6) are subtracted. However, since unnecessary charges are accumulated in the potential well 14 corresponding to the control electrode (5) in the state of FIG. 13A and the amount thereof is (S + N), the light reception output Ab in the extinguishing period Tb is included. The corresponding amount of charge is (S + 4N), which is the sum of (S + N) and 3N. On the other hand, unnecessary charge is accumulated in the potential well corresponding to the control electrode (2) in the state of FIG. 13B, and the amount thereof is N. Therefore, the charge corresponding to the light reception output Aa in the lighting period Ta. The amount of (3S + 3N) plus N is (3S + 4N). That is, the light reception output Aa corresponding to the lighting period Ta corresponds to (3S + 4N), and the light reception output Ab corresponding to the turn-off period Tb corresponds to (S + 4N). Therefore, when the image generation unit 3 generates the amplitude image f1. Performs an operation corresponding to (Aa−Ab) ∝ {(3S + 4N) − (S + 4N)} = 2S, and components corresponding to unnecessary charges and ambient light are removed.
(実施形態3)
実施形態2では、1画素を形成する2個の受光素子1について、3個ずつの制御電極(1)〜(3)または(4)〜(6)に同時に印加する制御電圧(+V)と、1個の制御電極(2)または(5)のみに印加する制御電圧(+V)とが等しくなるように設定していたから、ポテンシャル井戸14の面積には変化が生じるものの、深さはほぼ等しくなっている。
(Embodiment 3)
In the second embodiment, for the two light receiving elements 1 forming one pixel, a control voltage (+ V) applied simultaneously to each of the three control electrodes (1) to (3) or (4) to (6); Since the control voltage (+ V) applied to only one control electrode (2) or (5) is set to be equal, the area of the potential well 14 changes, but the depth is substantially equal. Yes.
本実施形態は、実施形態2と同様に2個の受光素子1により1画素を形成しているが、実施形態2ではポテンシャル井戸14の深さを変化させなかったのに対して本実施形態では、図14に示すように、ポテンシャル井戸14の面積とともに深さを変化させる技術を採用している。すなわち、3個ずつの制御電極(1)〜(3)または(4)〜(6)に同時に印加する制御電圧(+V)を、1個の制御電極(2)または(5)にのみ印加する制御電圧よりも高く設定し、面積の大きいポテンシャル井戸14の深さよりも面積の小さいポテンシャル井戸14の深さのほうを浅くしている。例えば、面積の大きいポテンシャル井戸14を形成する際に3個ずつの制御電極(1)〜(3)または(4)〜(6)に同時に印加する電圧を7Vとすれば、面積の小さいポテンシャル井戸14を形成する際に1個の制御電極(2)または(5)にのみ印加する電圧を3Vなどと設定するのである。 In the present embodiment, one pixel is formed by two light receiving elements 1 as in the second embodiment. In the second embodiment, the depth of the potential well 14 is not changed in the second embodiment. As shown in FIG. 14, a technique for changing the depth along with the area of the potential well 14 is employed. That is, the control voltage (+ V) applied simultaneously to each of the three control electrodes (1) to (3) or (4) to (6) is applied to only one control electrode (2) or (5). It is set higher than the control voltage, and the depth of the potential well 14 having a smaller area is made shallower than the depth of the potential well 14 having a larger area. For example, when the potential well 14 having a large area is formed, if the voltage applied simultaneously to each of the three control electrodes (1) to (3) or (4) to (6) is 7V, the potential well having a small area is formed. When forming 14, the voltage applied only to one control electrode (2) or (5) is set to 3V or the like.
ところで、制御電圧を印加していない制御電極(1)(3)または(4)(6)に対応する部位で生じた電荷は、ポテンシャル井戸14に流れ込もうとする。このとき、ポテンシャル井戸14が深いほうが電荷の流れ込む確率が高くなると考えられる。すなわち、上述のように、感光部1aを高感度に設定して電荷を集積する際のポテンシャル井戸14を、感光部1aを低感度に設定して電荷を保持するポテンシャル井戸14よりも深くしたことより、高感度に設定して電荷を集積しているポテンシャル井戸14(3個ずつの制御電極(1)〜(3)または(4)〜(6)に対応するポテンシャル井戸14)に電荷がより多く流れ込むことになる。その結果、低感度に設定して電荷を保持しているポテンシャル井戸14(1個のみの制御電極(2)または(5)に対応するポテンシャル井戸14)によって保持されている電荷に、制御電極(1)(3)または(4)(6)に対応する部位で生成された不要な電荷が混入される確率が低減される。要するに、電荷を保持するポテンシャル井戸14に流れ込む不要な電荷を実施形態2よりもさらに低減させることができる。他の構成および動作は実施形態2と同様であり、図14(a)(b)の状態を交互に繰り返すことにより点灯期間Taと消灯期間Tbとに対応する電荷を2個の受光素子1にそれぞれ集積し、2個の受光素子1に集積した電荷を1回の取出期間において一括して受光出力Aa,Abとして取り出すのである。 By the way, the electric charge generated at the portion corresponding to the control electrode (1) (3) or (4) (6) to which no control voltage is applied tends to flow into the potential well 14. At this time, it is considered that the deeper the potential well 14 is, the higher the probability that the charge flows. That is, as described above, the potential well 14 when the photosensitive portion 1a is set to high sensitivity and charges are accumulated is set deeper than the potential well 14 that sets the photosensitive portion 1a to low sensitivity and holds charges. Further, the charge is more concentrated in the potential well 14 (potential well 14 corresponding to each of the three control electrodes (1) to (3) or (4) to (6)) which is set to high sensitivity and accumulates charges. A lot will flow. As a result, the charge held by the potential well 14 (potential well 14 corresponding to only one control electrode (2) or (5)) which is set to low sensitivity and holds the charge is transferred to the control electrode ( 1) The probability that unnecessary charges generated at the sites corresponding to (3) or (4) and (6) are mixed is reduced. In short, unnecessary charges that flow into the potential well 14 that holds charges can be further reduced than in the second embodiment. Other configurations and operations are the same as those of the second embodiment. By alternately repeating the states of FIGS. 14A and 14B, the charges corresponding to the lighting period Ta and the extinguishing period Tb are transferred to the two light receiving elements 1. The respective charges are collected and the charges accumulated in the two light receiving elements 1 are collectively taken out as the light receiving outputs Aa and Ab in one extraction period.
(実施形態4)
本実施形態は、図15に示すように、実施形態3の構成に加えて、各受光素子1に対応する3個ずつの制御電極(1)〜(3)または(4)〜(6)のうちの中央の制御電極(2)または(5)に印加する制御電圧を両側の制御電極(1)(3)または(4)(6)に印加する制御電圧よりも高くし、かつ中央の制御電極(2)または(5)に遮光膜15を重ねたものである。
(Embodiment 4)
As shown in FIG. 15, in the present embodiment, in addition to the configuration of the third embodiment, three control electrodes (1) to (3) or (4) to (6) corresponding to the respective light receiving elements 1 are provided. The control voltage applied to the central control electrode (2) or (5) is made higher than the control voltage applied to the control electrodes (1), (3), (4), or (6) on both sides, and the central control is performed. The light shielding film 15 is superimposed on the electrode (2) or (5).
本実施形態では、受光素子1の一部を遮光膜15で覆っているから、遮光膜15で覆った部位ではポテンシャル井戸14に光が入射せず、光による電荷がほとんど生成されないから、電荷を保持するためにポテンシャル井戸14の面積を小さくしている状態では電荷がほとんど生成されず、保持している電荷に雑音成分となる電荷が混入する可能性を大幅に低減することができる。さらに、本実施形態では、電荷を生成するために面積を大きくしているポテンシャル井戸14に対応する部位では、3個ずつの制御電極(1)〜(3)または(4)〜(6)のうち中央の制御電極(2)または(5)に印加する電圧を両側の制御電極(1)(3)または(4)(6)に印加する電圧よりも高くしているから、制御電極(2)または(5)に対応する部位では光による電荷がほとんど生成されないものの、受光素子1のうち制御電極(1)(3)(4)(6)に対応する部位で生成された電荷を制御電極(2)(5)に対応する部位に流し込むことができ、生成された電荷を集積することができる。 In this embodiment, since a part of the light receiving element 1 is covered with the light shielding film 15, light does not enter the potential well 14 at the portion covered with the light shielding film 15, and almost no charge is generated by the light. In the state where the area of the potential well 14 is made small in order to hold it, almost no charge is generated, and it is possible to greatly reduce the possibility that the charge that becomes a noise component is mixed in the held charge. Furthermore, in the present embodiment, three control electrodes (1) to (3) or (4) to (6) are provided for each of the portions corresponding to the potential well 14 whose area is increased in order to generate charges. Since the voltage applied to the central control electrode (2) or (5) is higher than the voltage applied to the control electrodes (1), (3), (4) and (6) on both sides, the control electrode (2 ) Or (5), light is hardly generated by light, but the charge generated in the light receiving element 1 corresponding to the control electrodes (1), (3), (4), and (6) is used as the control electrode. (2) It can be poured into the part corresponding to (5), and the generated charges can be integrated.
ところで、実施形態3の構成では、電荷を生成する期間において3個ずつの制御電極(1)〜(3)または(4)〜(6)に対応するポテンシャル井戸14の深さがほぼ一定であるから、電荷を生成する期間と電荷を保持する期間とを数ns以下の短時間で切り換えた場合に、電荷を生成する期間において制御電極(1)(3)または(4)(6)に対応する部位で生成された電荷の一部が、電荷を保持する期間において制御電極(2)または(5)に対応する部位に移動することなく取り残されるおそれがある。取り残された電荷は、隣りの受光素子1に対応して形成されるポテンシャル井戸14に流れ込むから、隣接する受光素子1のポテンシャル井戸14の間で電荷が混合される可能性がある。つまり、電荷に含まれる雑音成分が多くなる可能性がある。 By the way, in the configuration of the third embodiment, the depth of the potential well 14 corresponding to each of the three control electrodes (1) to (3) or (4) to (6) is substantially constant during the period for generating charges. When the charge generation period and the charge retention period are switched in a short time of several ns or less, the charge generation period corresponds to the control electrode (1) (3) or (4) (6). There is a possibility that a part of the electric charge generated at the part to be left is left without moving to the part corresponding to the control electrode (2) or (5) during the period of holding the electric charge. Since the remaining charge flows into the potential well 14 formed corresponding to the adjacent light receiving element 1, the charge may be mixed between the potential wells 14 of the adjacent light receiving elements 1. That is, there is a possibility that the noise component included in the charge increases.
これに対して、本実施形態では、電荷を生成する際にポテンシャル井戸14に深い部位と浅い部位とを形成して階段状としているから、制御電極(1)(3)または(4)(6)に対応する部位で生成された電荷は生成と同時に制御電極(2)または(5)に対応する部位に移動する。すなわち、電荷を生成する期間と電荷を保持する期間とを数ns以下の短時間で切り換えた場合であっても、隣接する受光素子1に形成されるポテンシャル井戸14の間で電荷が混合される可能性が少なくなり、雑音成分の低減につながる。なお、ポテンシャル井戸14を階段状に形成する技術は遮光膜15の有無にかかわらず採用可能である。他の構成および動作は実施形態3と同様であり、本実施形態においても実施形態3と同様に、図15(a)(b)の状態を交互に繰り返すことにより、点灯期間Taと消灯期間Tbとに対応する電荷を集積し、さらに両電荷を一括して取り出す取出期間を設けるように制御電極13に印加する制御電圧の印加パターンを制御する。 On the other hand, in the present embodiment, when generating charges, a deep portion and a shallow portion are formed in the potential well 14 to form a stepped shape, so that the control electrodes (1) (3) or (4) (6) The charge generated at the site corresponding to) moves to the site corresponding to the control electrode (2) or (5) simultaneously with the generation. That is, even when the charge generation period and the charge retention period are switched in a short time of several ns or less, the charges are mixed between the potential wells 14 formed in the adjacent light receiving elements 1. The possibility is reduced and the noise component is reduced. Note that the technique of forming the potential well 14 in a step shape can be employed regardless of the presence or absence of the light shielding film 15. Other configurations and operations are the same as those in the third embodiment, and in this embodiment as well, in the same manner as in the third embodiment, by alternately repeating the states of FIGS. The control voltage application pattern to be applied to the control electrode 13 is controlled so as to provide an extraction period in which charges corresponding to the above are integrated, and both charges are taken out collectively.
実施形態2ないし実施形態4では、光電素子1ごとに3個ずつの制御電極13を対応付けているが、制御電極13は光電素子1ごとに4個以上設けるようにしてもよい。さらに、1画素を形成する制御電極13について制御電圧を印加する制御電極13の個数を1個と3個との2段階に切り換えるようにしているが、3段階以上に切り換えることも可能である。 In Embodiments 2 to 4, three control electrodes 13 are associated with each photoelectric element 1, but four or more control electrodes 13 may be provided for each photoelectric element 1. Furthermore, although the number of control electrodes 13 to which the control voltage is applied is switched to two stages of one and three for the control electrodes 13 forming one pixel, it is possible to switch to three or more stages.
(実施形態5)
上述した各実施形態においては、特徴量抽出部4における画像加工手段が画像生成部3にて生成された振幅画像f1から振幅微分画像を生成しているが、本実施形態では画像加工手段が振幅画像f1の振幅値から求められる各画素の微分方向値である振幅勾配方向値を画素値とする振幅勾配方向画像f3(図16参照)を生成し、振幅勾配方向画像f3から特徴量を抽出する点が相違する。なお、本実施形態の画像処理装置の基本構成は実施形態1と同様なので図示を省略する。
(Embodiment 5)
In each of the embodiments described above, the image processing unit in the feature amount extraction unit 4 generates an amplitude differential image from the amplitude image f1 generated by the image generation unit 3, but in this embodiment, the image processing unit performs the amplitude processing. An amplitude gradient direction image f3 (see FIG. 16) having an amplitude gradient direction value that is a differential direction value of each pixel obtained from the amplitude value of the image f1 as a pixel value is generated, and a feature amount is extracted from the amplitude gradient direction image f3. The point is different. Note that the basic configuration of the image processing apparatus according to the present embodiment is the same as that of the first embodiment, and is not shown.
特徴量抽出部4の画像加工手段において、振幅勾配方向画像f3の生成にあたっては、実施形態1と同様に、図2に示すようなマスクサイズが3×3画素のソーベルフィルタhx,hyを振幅画像f1の全ての画素に適用して局所空間微分を行い、振幅画像f1の振幅値から求められる各画素の微分方向値である振幅勾配方向(以下、振幅勾配方向値と称す)を画素値とする振幅勾配方向画像を生成するが、振幅勾配方向値θは、上述の(式2)と(式3)とを用いて下記の(式4)で表される。
θ=tan-1{dx/dy} (式4)
ただし、図16に示した振幅勾配方向画像f3は、(式4)にて求めた振幅勾配方向値θが0度〜359度の範囲内で大きくなるにつれて濃度値が徐々に大きくなるスケール(振幅勾配方向値θが0度のときに濃度値が最小となり且つ振幅勾配方向値θが359度のときに濃度値が最大となるスケール)を用いて各振幅勾配方向値θから換算した濃度値を画素値とした画像である。
In the image processing means of the feature quantity extraction unit 4, when generating the amplitude gradient direction image f3, as in the first embodiment, the Sobel filters h x , h y having a mask size of 3 × 3 pixels as shown in FIG. Is applied to all the pixels of the amplitude image f1 to perform local spatial differentiation, and an amplitude gradient direction (hereinafter referred to as an amplitude gradient direction value) that is a differential direction value of each pixel obtained from the amplitude value of the amplitude image f1 is a pixel. An amplitude gradient direction image as a value is generated. The amplitude gradient direction value θ is expressed by the following (Expression 4) using the above (Expression 2) and (Expression 3).
θ = tan −1 {dx / dy} (Formula 4)
However, the amplitude gradient direction image f3 shown in FIG. 16 is a scale (amplitude) in which the density value gradually increases as the amplitude gradient direction value θ obtained in (Equation 4) increases within the range of 0 degrees to 359 degrees. The density value converted from each amplitude gradient direction value θ using a scale having a minimum density value when the gradient direction value θ is 0 degrees and a maximum density value when the amplitude gradient direction value θ is 359 degrees) It is an image with pixel values.
そして、実施形態1と同様、類似度演算部5において特徴量抽出部4により抽出された物体Obの特徴量とテンプレート作成記憶部TPに登録されているテンプレートとを照合して算出された類似度が対象物認識部6へ与えられ、対象物認識部6では、類似度演算部5で算出された類似度が上記所定値以上になる場合に、光検出素子10により撮像された物体Obである人物の顔が認証対象者本人の顔であることを認証(顔認証)する。 Similar to the first embodiment, the similarity calculated by comparing the feature amount of the object Ob extracted by the feature amount extraction unit 4 with the template registered in the template creation storage unit TP in the similarity calculation unit 5. Is given to the object recognition unit 6, and the object recognition unit 6 is the object Ob imaged by the light detection element 10 when the similarity calculated by the similarity calculation unit 5 is equal to or greater than the predetermined value. It authenticates (face authentication) that the person's face is that of the person to be authenticated.
ここにおいて、特徴量抽出部4において特徴量を抽出するにあたっては、例えば、振幅勾配方向値を図17(a)に示すような4方向E1,E2,E3,E4で4値化して同図(b)に示すような振幅勾配方向画像(ここでは、4値化画像)f3を作成する。そして、同図(b)に示すようなマスクサイズが7×7画素のフィルタh1を全ての画素に適用して、フィルタh1の中に含まれる4方向E1,E2,E3,E4それぞれの数をカウントし、方向E1のカウント数と方向E3のカウント数とがそれぞれ閾値(例えば、14)以上であった場合にその位置(7×7画素の中心画素)を有効画素とし、閾値未満である場合にその位置を無効画素とする処理を繰り返す。そして、有効画素を白領域、無効画素を黒領域とする図17(c)に示すようなマスク画像を作成し、図17(c)のようなマスク画像を利用してマスク処理を行うことにより顔の中で目、鼻、口などの個人の特徴的な部位のみを抽出し、抽出した部位のみを用いて顔認証を行うようにすればよい。このようなマスク処理を行うことにより、顔の中で目、鼻、口などの個人の特徴的な部位のみを抽出することが可能となるので、顔全体の画像を用いて認証処理を行う場合に比べて、認証に要する時間の短縮および認証精度の向上を図れる。 Here, when the feature quantity is extracted by the feature quantity extraction unit 4, for example, the amplitude gradient direction value is quaternized in four directions E1, E2, E3, and E4 as shown in FIG. An amplitude gradient direction image (here, a quaternary image) f3 as shown in b) is created. Then, a filter h1 having a mask size of 7 × 7 pixels as shown in FIG. 5B is applied to all the pixels, and the numbers of the four directions E1, E2, E3, E4 included in the filter h1 are calculated. When the count number in the direction E1 and the count number in the direction E3 are each greater than or equal to a threshold value (for example, 14), the position (the center pixel of 7 × 7 pixels) is regarded as an effective pixel, and is less than the threshold value The process of setting the position as an invalid pixel is repeated. Then, a mask image as shown in FIG. 17C is created with the effective pixels as white areas and the invalid pixels as black areas, and mask processing is performed using the mask images as shown in FIG. 17C. It is only necessary to extract only individual characteristic parts such as eyes, nose and mouth in the face and perform face authentication using only the extracted parts. By performing such a mask process, it is possible to extract only individual characteristic parts such as eyes, nose, and mouth in the face. Therefore, when performing an authentication process using an image of the entire face Compared to, it is possible to shorten the time required for authentication and improve the authentication accuracy.
しかして、本実施形態の画像処理装置では、光検出素子10のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部1aの受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、つまり、画像生成部3にて生成される画像として、対象空間の環境光の変動の影響を受けることなく同じ振幅画像f1が得られることとなるから、物体Obの特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる。要するに、本実施形態においても、環境光の影響を受けることなく認証対象者の顔の認証判断を行うことができる。ここにおいて、特徴量抽出部4において特徴量を抽出する入力画像として上述の振幅勾配方向画像f3を用いているので、振幅画像を用いる場合に比べて、発光源2と対象空間内に存在する物体Obとの間の距離の変化による物体Obでの反射光の変化の影響を軽減でき、対象物を正しく認識することができる。さらに説明すれば、発光源2と物体Obとの距離が変化することによって、物体Obからの反射光が変化するので、振幅画像において物体の画素値が全体的に変化する。したがって、振幅画像をそのまま入力画像として用いると、距離の変化の影響を受けてしまう。これに対して、振幅勾配方向画像を入力画像として用いる場合には、図18の(a)の上段の振幅画像f1と(b)の上段の振幅画像f1とのように全体的な画素値の変化があっても、図18(a)の振幅画像f1の振幅勾配方向画像f3(図18(a)の下段)と図18(b)の振幅画像f1の振幅勾配方向画像f3(図18(b)の下段)との比較から分かるように、変化しにくい特徴があるので、振幅勾配方向画像f3を用いることによって距離の変化による影響を軽減することができる(図19に示すように、3×3画素をミクロ的に見た例で説明すれば、照明変動があって画素値が変化しても、振幅勾配方向Bは変わりにくい)。 Thus, in the image processing apparatus according to the present embodiment, as long as it is within the dynamic range of the light detection element 10, it is not affected by the change in the light reception output of each photosensitive portion 1a due to the fluctuation of the ambient light in the target space. Since the same pixel value is obtained, that is, the same amplitude image f1 is obtained as an image generated by the image generation unit 3 without being affected by the fluctuation of the ambient light in the target space. The feature amount of the object Ob can be stably extracted, and the object can be recognized without being affected by the fluctuation of the ambient light in the target space. In short, also in the present embodiment, it is possible to make an authentication judgment of the face of the person to be authenticated without being affected by ambient light. Here, since the amplitude gradient direction image f3 described above is used as an input image from which the feature amount is extracted by the feature amount extraction unit 4, compared to the case where the amplitude image is used, an object existing in the light source 2 and the target space. The influence of the change in the reflected light on the object Ob due to the change in the distance to the Ob can be reduced, and the object can be recognized correctly. More specifically, since the reflected light from the object Ob changes as the distance between the light emitting source 2 and the object Ob changes, the pixel value of the object in the amplitude image changes as a whole. Therefore, if an amplitude image is used as an input image as it is, it is affected by a change in distance. On the other hand, when the amplitude gradient direction image is used as the input image, the overall pixel value of the upper amplitude image f1 in FIG. 18A and the upper amplitude image f1 in FIG. Even if there is a change, the amplitude gradient direction image f3 (lower part of FIG. 18 (a)) of the amplitude image f1 in FIG. 18 (a) and the amplitude gradient direction image f3 (FIG. 18 (b)) of the amplitude image f1. As can be seen from the comparison with b) (lower stage), since there is a feature that is difficult to change, the influence of the change in distance can be reduced by using the amplitude gradient direction image f3 (as shown in FIG. 19) If an example of microscopic observation of × 3 pixels is described, the amplitude gradient direction B is unlikely to change even if there is an illumination variation and the pixel value changes.
例えば、上述の図10に示すように物体Obである人物の側方に対象空間を照明している照明装置Lが存在している(つまり、物体Obの側方から照射される環境光が存在している)ような状況においては、図20(b)の上側に示した濃淡画像f11の各画素の微分方向値(濃度勾配方向値)を上述のスケールを用いて換算した値を画素値とする図20(b)の下側に示した濃度勾配方向画像f13では顔の特徴量(顔の輪郭、目、鼻、口、頭、額など)のうち認識できない箇所が多くなってしまう。これに対して、図20(a)の上側に示した振幅画像f1の各画素の微分方向値(振幅勾配方向値)を上述のスケールを用いて換算した値を画素値とする図20(a)の下側に示した振幅勾配方向画像f3では顔の特徴量をより認識しやすくなっていることが分かる。要するに、濃淡画像f11を画像処理して得られる濃度勾配方向画像f13は環境光の影響を受けやすいのに対して、振幅画像f1を画像処理して得られる振幅勾配方向画像f3は環境光の影響を受けにくいので、対象物認識部6において安定して対象物を認識することができる。また、振幅勾配方向値θは画像の明るさの影響を受け難いので、上述の振幅勾配方向画像を用いてテンプレートマッチングを行うことで、テンプレート作成モードにおいて光検出素子10により対象空間を撮像してテンプレートを作成するときの対象空間の明るさと、通常動作モード時において光検出素子10により対象空間を撮像して対象物の認識を行うときの対象空間の明るさとが異なっていても、対象空間の明るさの変動の影響を受け難く、振幅画像そのものから特徴量を抽出する場合に比べて、特徴量をより正確に抽出することが可能となる。 For example, as shown in FIG. 10 described above, there is an illumination device L that illuminates the target space on the side of the person who is the object Ob (that is, there is ambient light irradiated from the side of the object Ob). In such a situation, a value obtained by converting the differential direction value (density gradient direction value) of each pixel of the grayscale image f11 shown in the upper side of FIG. In the density gradient direction image f13 shown on the lower side of FIG. 20B, there are many portions that cannot be recognized among facial feature amounts (face outline, eyes, nose, mouth, head, forehead, etc.). On the other hand, a value obtained by converting the differential direction value (amplitude gradient direction value) of each pixel of the amplitude image f1 shown on the upper side of FIG. In the amplitude gradient direction image f3 shown on the lower side of (), it can be seen that the feature amount of the face is more easily recognized. In short, the density gradient direction image f13 obtained by image processing of the grayscale image f11 is susceptible to environmental light, whereas the amplitude gradient direction image f3 obtained by image processing of the amplitude image f1 is influenced by environmental light. Therefore, the object recognition unit 6 can recognize the object stably. In addition, since the amplitude gradient direction value θ is not easily affected by the brightness of the image, by performing template matching using the above-described amplitude gradient direction image, the light detection element 10 images the target space in the template creation mode. Even if the brightness of the target space when creating the template differs from the brightness of the target space when the target space is imaged by the light detection element 10 in the normal operation mode to recognize the target object, It is difficult to be affected by variations in brightness, and it is possible to extract feature amounts more accurately than when extracting feature amounts from the amplitude image itself.
なお、上述の特徴量抽出部4において振幅勾配方向値θを求めるにあたっては注目画素p5(図3(a)参照)の8近傍の画素p1〜p4,p6〜p9の画素値a〜d,f〜iを用いてdx(u,v)、dy(u,v)を算出しているが、4近傍や16近傍の画素の画素値を用いて算出することも可能である。また、dx(u,v)およびdy(u,v)から振幅勾配方向値θを求める関数として逆正接関数(tan-1)を採用しているが、他の関数を用いることも可能である。このような関数としては、dx(u,v)とdy(u,v)との比の非線形性を修正して振幅勾配方向値θに線形性が得られる関数が望ましい。 In the above-described feature amount extraction unit 4, when the amplitude gradient direction value θ is obtained, the pixel values a to d and f of the pixels p1 to p4 and p6 to p9 in the vicinity of the target pixel p5 (see FIG. 3A) are used. Although dx (u, v) and dy (u, v) are calculated using ~ i, it is also possible to calculate using pixel values of pixels in the vicinity of 4 or 16 neighborhoods. Further, although the arc tangent function (tan −1 ) is adopted as a function for obtaining the amplitude gradient direction value θ from dx (u, v) and dy (u, v), other functions can also be used. . As such a function, a function that corrects the nonlinearity of the ratio between dx (u, v) and dy (u, v) to obtain linearity in the amplitude gradient direction value θ is desirable.
1a 感光部
1b 電荷集積部
1c 電荷取出部
2 発光源
3 画像生成部
4 特徴量抽出部
5 テンプレート作成記憶部
6 類似度演算部
7 受光光学系
8 制御回路部
10 光検出素子
13 制御電極
Ob 物体
DESCRIPTION OF SYMBOLS 1a Photosensitive part 1b Charge integration | stacking part 1c Charge extraction part 2 Light emission source 3 Image generation part 4 Feature-value extraction part 5 Template preparation memory | storage part 6 Similarity calculation part 7 Light reception optical system 8 Control circuit part 10 Photodetection element 13 Control electrode Ob Object
Claims (4)
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347712A JP4543903B2 (en) | 2004-11-30 | 2004-11-30 | Image processing device |
EP05805139.2A EP1821524B1 (en) | 2004-10-25 | 2005-10-24 | Spatial information detecting device |
KR1020067021628A KR100844114B1 (en) | 2004-10-25 | 2005-10-24 | Spatial information determining apparatus |
PCT/JP2005/019516 WO2006046519A1 (en) | 2004-10-25 | 2005-10-24 | Spatial information determining apparatus |
US10/598,274 US7645975B2 (en) | 2004-10-25 | 2005-10-24 | Spatial information detecting device |
TW94137350A TWI272841B (en) | 2004-10-25 | 2005-10-25 | Spatial information determining apparatus |
HK07108122.7A HK1100152A1 (en) | 2004-10-25 | 2007-07-26 | Spatial information detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347712A JP4543903B2 (en) | 2004-11-30 | 2004-11-30 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006155422A true JP2006155422A (en) | 2006-06-15 |
JP4543903B2 JP4543903B2 (en) | 2010-09-15 |
Family
ID=36633611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004347712A Expired - Fee Related JP4543903B2 (en) | 2004-10-25 | 2004-11-30 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4543903B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176413A (en) * | 2007-01-16 | 2008-07-31 | Matsushita Electric Works Ltd | Authentication target notification system |
JP2009182445A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Imaging device |
JP2009182461A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Imaging device |
JP2009181211A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Face authentication device |
WO2009147862A1 (en) | 2008-06-04 | 2009-12-10 | 本田技研工業株式会社 | Imaging device |
JP2010114849A (en) * | 2008-11-10 | 2010-05-20 | Panasonic Electric Works Co Ltd | Vehicle perimeter monitoring apparatus |
JP2010111292A (en) * | 2008-11-06 | 2010-05-20 | Panasonic Electric Works Co Ltd | Vehicular control device |
WO2019077863A1 (en) * | 2017-10-18 | 2019-04-25 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic apparatus |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06109441A (en) * | 1992-09-29 | 1994-04-19 | Toshiba Corp | Model input apparatus |
JPH06119492A (en) * | 1991-10-05 | 1994-04-28 | Nisca Corp | Method and device for reading uneven information |
JP2000215308A (en) * | 1999-01-27 | 2000-08-04 | Toshiba Corp | Device and method for authenticating biological information |
JP2003058888A (en) * | 2001-08-15 | 2003-02-28 | Secom Co Ltd | Individual collating device |
JP2004213159A (en) * | 2002-12-27 | 2004-07-29 | Shigeru Ando | System and method for acquiring normal vector, and authentication method using normal vector |
JP2004309310A (en) * | 2003-04-07 | 2004-11-04 | Matsushita Electric Works Ltd | Sensitivity control method for photo detector and detection device of space information using intensity modulation light |
-
2004
- 2004-11-30 JP JP2004347712A patent/JP4543903B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06119492A (en) * | 1991-10-05 | 1994-04-28 | Nisca Corp | Method and device for reading uneven information |
JPH06109441A (en) * | 1992-09-29 | 1994-04-19 | Toshiba Corp | Model input apparatus |
JP2000215308A (en) * | 1999-01-27 | 2000-08-04 | Toshiba Corp | Device and method for authenticating biological information |
JP2003058888A (en) * | 2001-08-15 | 2003-02-28 | Secom Co Ltd | Individual collating device |
JP2004213159A (en) * | 2002-12-27 | 2004-07-29 | Shigeru Ando | System and method for acquiring normal vector, and authentication method using normal vector |
JP2004309310A (en) * | 2003-04-07 | 2004-11-04 | Matsushita Electric Works Ltd | Sensitivity control method for photo detector and detection device of space information using intensity modulation light |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176413A (en) * | 2007-01-16 | 2008-07-31 | Matsushita Electric Works Ltd | Authentication target notification system |
JP2009182445A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Imaging device |
JP2009182461A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Imaging device |
JP2009181211A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Face authentication device |
WO2009147862A1 (en) | 2008-06-04 | 2009-12-10 | 本田技研工業株式会社 | Imaging device |
US8730382B2 (en) | 2008-06-04 | 2014-05-20 | Honda Motor Co., Ltd. | Charge accumulating and splitting imaging device |
JP2010111292A (en) * | 2008-11-06 | 2010-05-20 | Panasonic Electric Works Co Ltd | Vehicular control device |
JP2010114849A (en) * | 2008-11-10 | 2010-05-20 | Panasonic Electric Works Co Ltd | Vehicle perimeter monitoring apparatus |
WO2019077863A1 (en) * | 2017-10-18 | 2019-04-25 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic apparatus |
JPWO2019077863A1 (en) * | 2017-10-18 | 2020-09-17 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic equipment |
US11341771B2 (en) | 2017-10-18 | 2022-05-24 | Sony Semiconductor Solutions Corporation | Object identification electronic device |
JP7228509B2 (en) | 2017-10-18 | 2023-02-24 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP4543903B2 (en) | 2010-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4692159B2 (en) | Gesture switch | |
KR100820261B1 (en) | Image processing device | |
KR100844114B1 (en) | Spatial information determining apparatus | |
JP4548542B1 (en) | Information processing apparatus, information processing method, and program | |
JP4466260B2 (en) | Image processing device | |
JP2014078052A (en) | Authentication apparatus, authentication method, and program | |
JP4466366B2 (en) | Human body detection method and human body detection apparatus using range image | |
US20210067705A1 (en) | Phase detection autofocus (pdaf) sensor | |
JP4543903B2 (en) | Image processing device | |
JP4466319B2 (en) | Spatial information detection device | |
CN114424522B (en) | Image processing device, electronic apparatus, image processing method, and program | |
JP4259418B2 (en) | Image processing device | |
CN109863604A (en) | Imaging sensor with phase sensitive pixel | |
US11645864B2 (en) | Imaging device, authentication device, and biometric imaging method | |
JP4961035B2 (en) | Gesture switch | |
JP4432744B2 (en) | Image processing device | |
CN112970118B (en) | Light receiving element and electronic device | |
JP4534670B2 (en) | Camera device and television intercom slave using the same | |
JP5287792B2 (en) | Information processing apparatus, information processing method, and program | |
JP4645177B2 (en) | Measuring device | |
KR101146017B1 (en) | Information processing apparatus and information processing method | |
CN110598685B (en) | Imaging device for resolving foreground | |
JP4270067B2 (en) | Image processing device | |
JP2006053791A (en) | Image processor | |
JP2011080965A (en) | Three-dimensional shape measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |