JP5161752B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5161752B2 JP5161752B2 JP2008323868A JP2008323868A JP5161752B2 JP 5161752 B2 JP5161752 B2 JP 5161752B2 JP 2008323868 A JP2008323868 A JP 2008323868A JP 2008323868 A JP2008323868 A JP 2008323868A JP 5161752 B2 JP5161752 B2 JP 5161752B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- light receiving
- receiving units
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置に関し、特に周囲光の影響を低減した画像を撮像するための撮像装置に関するものである。 The present invention relates to an imaging device, and more particularly to an imaging device for capturing an image with reduced influence of ambient light.
本出願人は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの反射光成分を画素値とする画像(光変調画像)を生成する撮像装置を既に提案している(特許文献1参照)。かかる撮像装置を用いれば、周囲光の影響を低減した画像を撮像することができる。
ところで、特許文献1の従来例で用いられる撮像素子はデジタルカメラなどに用いられている一般の固体撮像素子(CCDイメージセンサやCMOSイメージセンサなど)と若干構造が異なっている。具体的には、一つの受光部に対して複数個の制御電極が設けられ、制御電圧を印加する制御電極の個数を変化させることで受光部の感度を調整可能な構造を有している。従って、特許文献1における撮像素子は、同じ寸法で比較したときに一般の撮像素子に比べて画素数が少ないために相対的に解像度が低くなってしまう。 By the way, the imaging device used in the conventional example of Patent Document 1 is slightly different in structure from a general solid-state imaging device (CCD image sensor, CMOS image sensor, etc.) used in a digital camera or the like. Specifically, a plurality of control electrodes are provided for one light receiving unit, and the sensitivity of the light receiving unit can be adjusted by changing the number of control electrodes to which the control voltage is applied. Therefore, the image sensor in Patent Document 1 has a relatively low resolution when compared with the same size because the number of pixels is smaller than that of a general image sensor.
一方、一般の撮像素子を用いて変調光が照射されているときの画像と変調光が照射されていないときの画像を交互に撮像して両画像の画素値の差分から光変調画像を生成した場合、撮像素子のフレームレートに制限されて2種類の画像を撮像するタイムラグが大きくなり、動きの速い被写体を撮像したときに被写体像がぶれてしまう虞がある。 On the other hand, using a general imaging device, an image when modulated light is irradiated and an image when modulated light is not irradiated are alternately captured, and a light modulated image is generated from the difference between the pixel values of both images In this case, the time lag for capturing two types of images is limited by the frame rate of the image sensor, and the subject image may be blurred when a fast-moving subject is imaged.
本発明は上記事情に鑑みて為されたものであり、その目的は、周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制できる撮像装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus that can reduce the influence of ambient light, achieve both miniaturization and high resolution, and suppress blurring of a subject image. It is in.
請求項1の発明は、上記目的を達成するために、光電変換を行う多数の受光部を有した撮像素子と、対象空間に光を照射する光照射手段と、光照射手段が対象空間に光を照射しているときに撮像素子で撮像される第1の画像と光照射手段が対象空間に光を照射していないときに撮像素子で撮像される第2の画像との差分画像を生成する差分画像生成手段とを備え、差分画像生成手段は、多数の受光部のうちの一部の受光部で変換される電荷によって形成される第1の画像と、多数の受光部のうちで前記一部の受光部を除く残りの受光部で変換される電荷によって形成される第2の画像との差分画像を生成することを特徴とする。 In order to achieve the above object, the first aspect of the present invention provides an imaging device having a large number of light receiving portions that perform photoelectric conversion, a light irradiation unit that irradiates light in a target space, and a light irradiation unit that emits light in the target space. A difference image between the first image captured by the image sensor when irradiating the light and the second image captured by the image sensor when the light irradiating means does not irradiate the target space is generated. A difference image generating means, wherein the difference image generating means includes a first image formed by a charge converted by a part of the light receiving portions of the plurality of light receiving portions and the one of the plurality of light receiving portions. A difference image from the second image formed by the charges converted by the remaining light receiving portions excluding the light receiving portions is generated.
請求項1の発明によれば、撮像素子には従来例のように特殊な構造の撮像素子ではなく一般の撮像素子を用いることができるから、周囲光の影響を低減するとともに小型化と高解像度化を両立することができ、しかも、一部の受光部で光電変換を行って第1の画像を撮像し且つ残りの受光部で光電変換を行って第2の画像を撮像するため、第1の画像と第2の画像の撮像間隔が撮像素子のフレームレートよりも短くなるから被写体像のぶれを抑制できる。 According to the first aspect of the present invention, a general image pickup device can be used as the image pickup device instead of an image pickup device having a special structure as in the conventional example. In addition, since the photoelectric conversion is performed by a part of the light receiving units to capture the first image and the photoelectric conversion is performed by the remaining light receiving units to capture the second image, the first image is obtained. Since the imaging interval between the first image and the second image is shorter than the frame rate of the image sensor, blurring of the subject image can be suppressed.
請求項2の発明は、請求項1の発明において、差分画像生成手段は、縦横に並設された多数の受光部のうちで縦方向及び横方向に沿って一つ飛びに並ぶ前記一部の受光部で変換される電荷によって形成される第1の画像と、一つ飛びに隣り合う前記一部の受光部に挟まれた前記残りの受光部で変換される電荷によって形成される第2の画像との差分画像を生成することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the difference image generating means includes the part of the plurality of light receiving units arranged side by side along the vertical direction and the horizontal direction. A first image formed by the charge converted by the light receiving unit, and a second image formed by the charge converted by the remaining light receiving unit sandwiched between the partial light receiving units adjacent to each other. A difference image from the image is generated.
請求項2の発明によれば、第1の画像と第2の画像を同程度の画質で撮像することができる。 According to the second aspect of the present invention, the first image and the second image can be captured with the same image quality.
請求項3の発明は、請求項1又は2の発明において、光照射手段は、前記一部の受光部が光電変換を行う時間に同期して対象空間に光を照射するとともに前記残りの受光部が光電変換を行う期間には光を照射しないことを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the light irradiating means irradiates the target space with light in synchronization with the time when the partial light receiving units perform photoelectric conversion, and the remaining light receiving units. Is characterized in that no light is irradiated during the period of photoelectric conversion.
本発明によれば、周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制できる。 According to the present invention, it is possible to reduce the influence of ambient light, achieve both miniaturization and high resolution, and suppress blurring of the subject image.
本実施形態の撮像装置は、図1に示すように対象空間を撮像する撮像素子1と、対象空間に光を照射する光照射部2と、光照射部2が対象空間に光を照射しているときに撮像素子1で撮像される第1の画像と光照射部2が対象空間に光を照射していないときに撮像素子1で撮像される第2の画像との差分画像を生成する差分画像生成手段3と、撮像素子1並びに光照射部2を制御する制御部4とを備えている。
As shown in FIG. 1, the imaging apparatus according to the present embodiment includes an imaging element 1 that images a target space, a
光照射部2は、赤外光を発する発光ダイオードと、当該発光ダイオードに直流電力を供給して発光させるLED駆動回路とを具備し(但し、何れも図示せず)、制御部4によってLED駆動回路の動作が制御される。
The
撮像素子1は、例えばグローバルシャッタ機能を有する汎用の2次元CMOSイメージセンサからなる。図2(a)は撮像素子1の1画素の等価回路を示しており、光電変換を行う受光部(フォトダイオード)10、受光部10の蓄積電荷を放電(リセット)するためのリセットスイッチ11、受光部10で光電変換された電荷(電子)を増幅するアンプ12、アンプ12の後段に設けられたグローバルシャッタ部13、アンプ12で増幅された電荷を垂直列の信号線15に転送するための水平転送スイッチ14が設けられている。尚、垂直列の信号線15に転送された電荷は垂直転送スイッチ16を介して読み出される。
The image sensor 1 is composed of a general-purpose two-dimensional CMOS image sensor having a global shutter function, for example. FIG. 2A shows an equivalent circuit of one pixel of the image sensor 1, and a light receiving unit (photodiode) 10 that performs photoelectric conversion, a
またグローバルシャッタ部13は、受光部10の電荷を蓄積するための蓄積素子(キャパシタ)13aと、受光部10から蓄積素子13aへの電荷転送経路を開閉するシャッタスイッチ13bと、蓄積素子13aに蓄積されている電荷に応じた画素情報(画素値)を信号線15に出力するアンプ13cとを具備している。つまり、リセットスイッチ11並びに水平転送スイッチ14を開いた(オフした)状態でシャッタスイッチ13bを開閉すると、シャッタスイッチ13bが閉じている(オンしている)期間に受光部10で光電変換された電荷がアンプ12及びシャッタスイッチ13bを介して蓄積素子13aに蓄積され、シャッタスイッチ13bを開いた(オフした)後に水平転送スイッチ14を閉じる(オンする)と、シャッタスイッチ13bのオン期間(露光時間)に応じた電荷量の画素情報が信号線15に転送されることになる。但し、このようなグローバルシャッタ機能を有した2次元CMOSイメージセンサについては従来周知であるから詳細な構成に付いての図示並びに説明は省略する。
Further, the
制御部4はマイクロコンピュータを主構成要素とし、光照射部2を制御して対象空間に周期的に光(赤外光)を照射するとともに、後述するように光照射部2が光を照射している期間(光照射期間)と光照射部2が光を照射していない期間(光非照射期間)とでそれぞれ撮像素子1に画像(第1の画像並びに第2の画像)を撮像させる。
The
差分画像生成手段3は、撮像素子1で撮像された第1の画像を記憶する第1画像記憶部30と、撮像素子1で撮像された第2の画像を記憶する第2画像記憶部31と、第1の画像に対して補間処理(後述する)を実行する第1補間処理部32と、同じく第2の画像に対して補間処理を実行する第2補間処理部33と、第1補間処理部32で補間された第1の画像と第2補間処理部33で補間された第2の画像における各画素の画素値の差分を演算して差分画像を生成する差分処理部34とを具備している。尚、差分画像生成手段3の各部30〜34は、マイクロコンピュータに専用のプログラムを実行させたり、あるいは汎用の画像処理LSIによって実現可能である。
The difference
次に、本実施形態の撮像装置の動作を説明する。ここで、撮像素子1は多数の受光部10と各受光部10に対応するリセットスイッチ11、アンプ12、グローバルシャッタ部13、アンプ14が縦横に並べて設けられており、以下の説明では、図2(b)に示すように縦方向及び横方向に沿って一つ飛びに並ぶ複数の受光部10Aのグループを第1の受光部群とし、第1の受光部群に属する受光部10Aに挟まれた複数の受光部10Bのグループを第2の受光部群とする。つまり、第1の受光部群に属する受光部10Aと第2の受光部群に属する受光部10Bとが市松模様に配置されている。
Next, the operation of the imaging apparatus according to the present embodiment will be described. Here, the image pickup device 1 is provided with a large number of
まず制御部4は、リセットスイッチ11を閉じて第1の受光部群に属する受光部10Aをリセットした後、シャッタスイッチ13を所定の露光時間だけ閉じることで第1の受光部群に属する受光部10Aで光電変換された電荷をグローバルシャッタ部13の蓄積素子13aに蓄積させる。さらに制御部4では、光照射部2を制御することにより受光部10Aの露光時間に同期して対象空間に光(赤外光)を照射する(図3(a),(c)参照)。
First, the
続いて、制御部4はリセットスイッチ11を閉じて第2の受光部群に属する受光部Bをリセットした後、シャッタスイッチ13を所定の露光時間だけ閉じることで第2の受光部群に属する受光部10Bで光電変換された電荷をグローバルシャッタ部13の蓄積素子13aに蓄積させる。このとき制御部4は、光照射部2を制御することにより受光部10Bの露光時間には対象空間に光(赤外光)を照射しない(図3(b),(c)参照)。
Subsequently, the
そして、制御部4は水平転送スイッチ14と垂直列の信号線15に挿入されている垂直転送スイッチ16をスイッチング制御することにより、第1の受光部群の受光部10Aから読み出した画素情報で形成される画像(第1の画像)を差分画像生成手段3の第1画像記憶部30に記憶させるとともに、第2の受光部群の受光部10Bから読み出した画素情報で形成される画像(第2の画像)を差分画像生成手段3の第2画像記憶部31に記憶させる。
Then, the
第1補間処理部32は、第1画像記憶部30に記憶されている第1の画像のうちで、第2の受光部群に属する受光部10Bと対応する画素の画素値を、例えば、当該画素と縦方向並びに横方向に隣り合う合計4つの画素(受光部10Aと対応する画素)の画素値の平均値で補間する。そして、第1補間処理部32は、第2の受光部群に属する全ての受光部10Bに対応する画素に対して上記補間を行うことによって得られた第1の画像を差分処理部34に出力する。
The first
同じく第2補間処理部33は、第2画像記憶部31に記憶されている第2の画像のうちで、第1の受光部群に属する受光部10Aと対応する画素の画素値を、例えば、当該画素と縦方向並びに横方向に隣り合う合計4つの画素(受光部10Bと対応する画素)の画素値の平均値で補間する。そして、第2補間処理部33は、第1の受光部群に属する全ての受光部10Aに対応する画素に対して上記補間を行うことによって得られた第2の画像を差分処理部34に出力する。
Similarly, the second
差分処理部34は、第1補間処理部32から出力される第1の画像の各画素の画素値と、第2補間処理部33から出力される第2の画像の各画素の画素値との差分を求め、当該差分をその画素の画素値とする差分画像を生成する。ここで、第1の画像は光照射部2から照射される赤外光の反射光成分と周囲光の反射光成分を両方とも含む画像であり、第2の画像は周囲光の反射光成分のみを含む画像であるから、両画像の差分画像は光照射部2から照射される赤外光の反射光成分のみを含み、周囲光の影響が低減された画像となる。
The
ここで、上述のように受光部10をグループ分けせずに、全ての受光部10で第1の画像と第2の画像を撮像した場合、図4に示すように第1の画像を撮像する撮像時間T1と第2の画像を撮像する撮像時間T2との間にはフレームレートに応じたタイムラグTx’が生じてしまうので、動きの速い被写体(例えば、走行中の自動車など)を撮像したときに差分画像にぶれが生じてしまう虞がある。
Here, when the first image and the second image are captured by all the
しかしながら本実施形態の撮像装置では、複数の受光部10を2つのグループに分けて一方のグループ(第1の受光部群)で第1の画像を撮像し、他方のグループ(第2の受光部群)で第2の画像を撮像するため、第1の画像と第2の画像のタイムラグTx(≪Tx’)が非常に短くなり(図3(a),(b)参照)、動きの速い被写体を撮像したときに差分画像にぶれが生じ難いという利点がある。
However, in the imaging apparatus according to the present embodiment, the plurality of light receiving
尚、本実施形態の撮像装置は、例えば、顔認証装置における顔画像の入力装置や監視カメラ、特に被写体を屋外の太陽光下で撮像する用途に用いるのに好適である。 Note that the imaging apparatus according to the present embodiment is suitable for use in, for example, a face image input device or a monitoring camera in a face authentication apparatus, particularly for applications in which an object is imaged outdoors in sunlight.
1 撮像素子
2 光照射部(光照射手段)
3 差分画像生成手段
DESCRIPTION OF SYMBOLS 1 Image pick-up
3 Difference image generation means
Claims (3)
差分画像生成手段は、多数の受光部のうちの一部の受光部で変換される電荷によって形成される第1の画像と、多数の受光部のうちで前記一部の受光部を除く残りの受光部で変換される電荷によって形成される第2の画像との差分画像を生成することを特徴とする撮像装置。 An image pickup device having a large number of light-receiving portions that perform photoelectric conversion, a light irradiation unit that irradiates light to the target space, and a first image picked up by the image pickup device when the light irradiation unit irradiates light to the target space A difference image generation means for generating a difference image between the image and the second image captured by the image sensor when the light irradiation means is not irradiating the target space with light,
The difference image generating means includes a first image formed by charges converted by some of the light receiving units of the plurality of light receiving units, and the rest of the plurality of light receiving units excluding the part of the light receiving units. An image pickup apparatus that generates a difference image from a second image formed by charges converted by a light receiving unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008323868A JP5161752B2 (en) | 2008-12-19 | 2008-12-19 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008323868A JP5161752B2 (en) | 2008-12-19 | 2008-12-19 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010147878A JP2010147878A (en) | 2010-07-01 |
JP5161752B2 true JP5161752B2 (en) | 2013-03-13 |
Family
ID=42567827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008323868A Expired - Fee Related JP5161752B2 (en) | 2008-12-19 | 2008-12-19 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5161752B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102135842B (en) * | 2011-04-06 | 2013-02-27 | 南京方瑞科技有限公司 | Synchronous light pen electronic whiteboard system |
JP2017126954A (en) | 2016-01-15 | 2017-07-20 | ソニー株式会社 | Image processing apparatus, image processing method, and imaging apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63164690A (en) * | 1986-12-26 | 1988-07-08 | Nachi Fujikoshi Corp | Visual equipment |
JPS63181461A (en) * | 1987-01-23 | 1988-07-26 | Fuji Photo Film Co Ltd | Electronic shutter image sensor |
JP3385641B2 (en) * | 1993-03-11 | 2003-03-10 | 日産自動車株式会社 | Floodlight imaging device |
JP2004304718A (en) * | 2003-04-01 | 2004-10-28 | Nara Institute Of Science & Technology | Apparatus and method for extracting image of close region |
JP2008032427A (en) * | 2006-07-26 | 2008-02-14 | Fujifilm Corp | Range image forming method, range image sensor and imaging device |
-
2008
- 2008-12-19 JP JP2008323868A patent/JP5161752B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010147878A (en) | 2010-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5226552B2 (en) | Imaging device | |
JP4424753B2 (en) | Solid-state imaging device and driving method thereof | |
JP6755799B2 (en) | Image sensor and solid-state image sensor used for it | |
JPWO2017013806A1 (en) | Solid-state imaging device | |
JP2010206769A (en) | Image pickup apparatus | |
JP6872956B2 (en) | Imaging system and control method of imaging system | |
JP7473041B2 (en) | Image pickup element and image pickup device | |
JP2007194687A (en) | Imaging apparatus | |
US20160353043A1 (en) | Image sensor and image apparatus | |
JP6478600B2 (en) | Imaging apparatus and control method thereof | |
JP6362511B2 (en) | Imaging apparatus and control method thereof | |
JP5168319B2 (en) | Solid-state imaging device and driving method of solid-state imaging device | |
JP5161752B2 (en) | Imaging device | |
JP2012134756A (en) | Imaging apparatus | |
JP6574653B2 (en) | Imaging apparatus and imaging system | |
JP5058840B2 (en) | Imaging device | |
JP5462481B2 (en) | Imaging device | |
JP5462480B2 (en) | Imaging device | |
JP2011182321A (en) | Solid-state imaging apparatus, driving method and imaging apparatus | |
JP2015046812A (en) | Imaging device and imaging method | |
JP2020057892A (en) | Imaging device | |
JP6366325B2 (en) | Imaging system | |
JP2009253693A (en) | Imaging apparatus | |
JP2018007076A (en) | Imaging device and image processing apparatus | |
JP2012044536A (en) | Reading control device, reading control method, program, imaging device, and solid-state imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111024 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121214 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |