JP2010050535A

JP2010050535A - Imaging apparatus

Info

Publication number: JP2010050535A
Application number: JP2008210743A
Authority: JP
Inventors: Yoshihiko Takahashi; 佳彦高橋; Hideyuki Wakamiya; 秀行若宮
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-08-19
Filing date: 2008-08-19
Publication date: 2010-03-04

Abstract

PROBLEM TO BE SOLVED: To generate a difference image at a frame rate of an imaging element with a simple configuration, in an imaging apparatus for canceling disturbance light such as natural light from an imaged image by using a difference image. SOLUTION: The imaging apparatus 1 includes a lighting 2, camera 3, timing generation circuit 4, lighting control circuit 5 and image processing circuit 6. The lighting 2 alternately repeats on and off in synchronization with a sampling pulse of the timing generation circuit 4, and the camera 3 performs imaging for each of on and off of the lighting 2. The image processing circuit 6 corrects each of luminance for the two latest images among images imaged by the camera 3, and cancels disturbance light by outputting a difference image between the two latest images. The camera 3 adjusts exposure time of on and off of the lighting 2 separately, and a correction circuit 62 corrects luminance based on an inverse of the exposure time so as to make photographing conditions of a corrected image to be output to a difference circuit 63 constant before differentiating. COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置に関する。 The present invention relates to an imaging apparatus that cancels disturbance light such as natural light from a captured image using a difference image.

従来、光源をオンにしたときの画像と、オフにしたときの画像との差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置等が開示されている（特許文献１の図１、特許文献２の段落６５等）。これによれば、外乱光は一定に照射されているとみなせるから、撮像装置は、光源が被写体に当たって反射した光のみに基づく撮像画像を得ることができ、外乱光の影響を除去できる。 2. Description of the Related Art Conventionally, an imaging apparatus that cancels disturbance light such as natural light from a captured image using a difference image between an image when a light source is turned on and an image when the light source is turned off has been disclosed (FIG. 1 of Patent Document 1). 1, paragraph 65 of patent document 2, etc.). According to this, since the disturbance light can be regarded as being constantly irradiated, the imaging apparatus can obtain a captured image based only on the light reflected by the light source hitting the subject, and the influence of the disturbance light can be removed.

図１０のタイミングチャートを用いて、従来の撮像装置の画像出力について説明する。撮像装置のタイミング発生回路は、撮像の開始時期を定めるタイミング信号を出力する。撮像装置の照明部は、タイミング信号と同期して、照明源であるＬＥＤの信号（ＬＥＤ信号と称する）のオン、オフを繰り返す。カメラは、タイミング信号と同期して撮像を開始し、次のタイミング信号で撮像した画像を出力する。第１のフレームメモリは、最近撮像した画像（ＯＮ１画像）を記憶する。撮像装置は、第１のフレームメモリの画像（ＯＮ１画像）を、次のフレーム期間で、第２のフレームメモリに移動させると共に、第１のフレームメモリは、撮像素子で記憶した最新の画像（ＯＦＦ１画像）を記憶する。ここで、ＬＥＤ信号のオン、オフの１回のセットの撮像については、撮像条件を共通にするため、撮像装置は、カメラの露光時間を同じになるよう調整する（カメラ制御１、カメラ制御２・・・）。また、撮像装置は、このオン、オフ１回ずつで撮像された２枚の画像を差分して出力する（ＯＮ１画像−ＯＦＦ１画像・・・）。 The image output of the conventional imaging device will be described using the timing chart of FIG. The timing generation circuit of the imaging device outputs a timing signal that determines the start time of imaging. The illumination unit of the imaging apparatus repeats on / off of a signal (referred to as an LED signal) of an LED serving as an illumination source in synchronization with the timing signal. The camera starts imaging in synchronization with the timing signal and outputs an image captured with the next timing signal. The first frame memory stores a recently captured image (ON1 image). The imaging apparatus moves the first frame memory image (ON1 image) to the second frame memory in the next frame period, and the first frame memory stores the latest image (OFF1) stored in the imaging device. Image). Here, the imaging device adjusts the exposure time of the camera to be the same in order to make the imaging conditions common for the imaging of one set of turning on and off the LED signal (camera control 1, camera control 2). ...). In addition, the imaging apparatus outputs the difference between the two images captured once each on and off (ON1 image-OFF1 image...).

このように、従来の撮像装置は、２回の撮像に対し１回の割合で差分画像を出力していた（特許文献１の図１２、特許文献３の図１）。したがって、撮像装置は、撮像素子本来のフレームレートに対し半分のフレームレートでしか動画を出力できなかった。これは、光源をオンにしたときの画像とオフにしたときとで撮像条件を同じにしつつ、外乱光の変化に対応するためである。 As described above, the conventional imaging apparatus outputs a difference image at a rate of once for two times of imaging (FIG. 12 of Patent Document 1 and FIG. 1 of Patent Document 3). Therefore, the imaging apparatus can output a moving image only at a half frame rate with respect to the original frame rate of the imaging device. This is because the image capturing condition is the same between the image when the light source is turned on and the image when the light source is turned off, and the change in disturbance light is accommodated.

即ち、外乱光の強度によっては、その強度が撮像素子の感度の許容範囲から外れるおそれがある。例えば、撮像素子が飽和して、撮像画像が白やけになってしまったり、逆に撮像画像に輝度がなく黒の塗りつぶしになってしまったりする（特許文献３には、その解決課題が記載されている）。そこで、撮像装置のコントローラは、露光時間の調整を含む撮像条件の調整を行う。この調整は、刻々と変化する外乱の状況に合わせて行われる。 That is, depending on the intensity of disturbance light, the intensity may be out of the allowable range of sensitivity of the image sensor. For example, the image sensor is saturated and the captured image becomes whitish, or conversely, the captured image has no brightness and is painted black (Patent Document 3 describes the problem to be solved). ) Therefore, the controller of the imaging apparatus adjusts the imaging conditions including the adjustment of the exposure time. This adjustment is performed in accordance with the disturbance situation that changes every moment.

ただし、このような差分画像を出力する撮像装置は、光源をオンにしたときの画像と、オフにしたときで撮像条件が同じに設定されていなければ、差分画像において、効果的に外乱光をキャンセルすることができない。そこで、従来は、オン、オフ合わせて２回で１セットの撮像につき、撮像条件を共通にし、このセットから差分画像を１フレーム分、出力していた。そして、撮像条件を、このオン、オフのセットを単位として、状況に合わせて刻々と変化させていた。
特開平７−１３４８００号公報特開２００３−２０８５９９号公報特開平６−３１９０６７号公報 However, an imaging apparatus that outputs such a difference image effectively emits disturbance light in the difference image unless the imaging conditions are set the same when the light source is turned on and when the light source is turned off. It cannot be canceled. Therefore, conventionally, the image pickup condition is common for one set of image pickup twice on and off, and one frame of difference image is output from this set. Then, the imaging condition is changed every moment according to the situation, with this on / off set as a unit.
JP-A-7-134800 JP 2003-208599 A JP-A-6-319067

しかしながら、従来の差分画像を出力する撮像装置は、上述のように撮像素子本来のフレームレートに対し半分のフレームレートでしか動画を出力できない問題があった。その結果、撮像装置は、滑らかに動画を出力できないおそれがあった。 However, the conventional imaging device that outputs a differential image has a problem that a moving image can be output only at a half frame rate with respect to the original frame rate of the imaging device as described above. As a result, the imaging apparatus may not be able to output a moving image smoothly.

また、フレームレートが減少すると、以下の問題が派生する。
第１には、撮像装置のフレームレートが半分になると、撮像装置の外乱光に対する追従速度も半分になる問題があった。つまり、照明をオンにする時間帯、照明をオフにする時間帯における撮像条件を互いに共通にするために、従来の撮像装置は、２回の撮像に対し１回の割合でしか、カメラの制御をしていなかった（図１０のカメラ制御１、カメラ制御２・・・）。したがって、撮像装置が外乱光の急な変化に対応できず、露光時間を適正に設定できない可能性があった。 Further, when the frame rate is reduced, the following problems are derived.
First, when the frame rate of the imaging apparatus is halved, there is a problem that the tracking speed of the imaging apparatus with respect to disturbance light is also halved. That is, in order to make the imaging conditions common in the time zone when the illumination is turned on and the time zone when the illumination is turned off, the conventional imaging apparatus controls the camera only at a rate of once per two imagings. (Camera control 1, camera control 2... In FIG. 10). Therefore, there is a possibility that the imaging apparatus cannot cope with a sudden change in disturbance light and the exposure time cannot be set appropriately.

第２には、動画を圧縮記録する場合に問題が生じうる。即ち、動画を圧縮する装置は、背景に対して動きのある登場人物の移動方向を計算する。フレームレートが減少すると、登場人物が次のフレームまでの間に移動する量が大きくなる。そうすると、どの部分が動いたのかを判断するために、広い範囲を探索する必要があるので、この装置は、その計算に時間がかかる。また、次のフレームまでにこの探索対象物が画像の枠外へはみ出てしまったりして、滑らかに画像を圧縮できない虞があった。 Second, a problem may occur when a moving image is compressed and recorded. That is, an apparatus for compressing a moving image calculates a moving direction of a character who moves with respect to the background. As the frame rate decreases, the amount of movement of the character between the next frame increases. Then, since it is necessary to search a wide range in order to determine which part has moved, this apparatus takes time to calculate. In addition, there is a possibility that the search object may protrude beyond the frame of the image by the next frame and the image cannot be compressed smoothly.

そこで、本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子本来のフレームレートで差分画像を生成することを目的とする。 Accordingly, an object of the present invention is to generate a difference image at a frame rate inherent to an image sensor with a simple configuration in an imaging apparatus that cancels disturbance light such as natural light from the captured image using the difference image.

上記目的を達成するために、以下の構成を備えることができる。 In order to achieve the above object, the following configuration can be provided.

（１）本発明は、
被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
上記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
上記撮像部の撮像方向に向けて光を照射する照明部であって、上記タイミング信号に合わせて、交互に上記光をオン、オフに切り換える照明部と、
上記撮像部が撮像する撮像画像が適正輝度になるように、露光時間を含む撮像条件を設定する撮像条件設定手段と、
上記撮像画像の輝度の補正を行う補正手段と、
上記タイミング信号の隣接する周期において上記撮像部が撮像した撮像画像についてそれぞれ上記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
上記撮像条件設定手段は、上記撮像画像が、上記照明部の光がオンの時間帯、オフの時間帯のいずれに撮像されたかに関わらず、上記タイミング信号ごとに個別に撮像条件を調整し、
上記補正手段は、上記撮像部が撮像した各撮像画像の撮像条件が上記差分画像の生成の際に一定になるように、上記撮像画像の輝度について補正を行い、
上記差分画像生成手段は、上記タイミング信号と同じ周期で、上記差分画像を生成することを特徴とする撮像装置である。 (1) The present invention
In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illuminating unit that emits light toward the imaging direction of the imaging unit, wherein the illuminating unit switches the light alternately on and off in accordance with the timing signal;
An imaging condition setting means for setting an imaging condition including an exposure time so that a captured image captured by the imaging unit has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in the adjacent period of the timing signal,
The imaging condition setting means adjusts the imaging conditions individually for each timing signal regardless of whether the captured image is captured in the time zone when the light of the illumination unit is on or off.
The correction means corrects the luminance of the captured image so that the imaging condition of each captured image captured by the imaging unit is constant when the difference image is generated,
The difference image generation means is an imaging device that generates the difference image at the same cycle as the timing signal.

この構成では、撮像部が撮像する上記タイミングに合わせて、照明部が交互に上記光をオン、オフに切り換えるので、差分画像は、タイミング信号の隣接した周期（隣接したフレーム期間）の撮像画像同士を差分したものであり、常に、上記光をオン、オフにしたときの差になる。 In this configuration, the illumination unit alternately switches on and off the light in accordance with the timing at which the imaging unit captures an image. Therefore, the difference image is obtained by capturing the captured images in adjacent periods (adjacent frame periods) of the timing signal. Is always the difference when the light is turned on and off.

ここで、差分画像により外乱光を効果的にキャンセルするには、上記光をオン、オフにしたときの撮像条件を同じにするのが望ましい。撮像部本来のフレームレートで（つまりタイミング信号の周期毎に）差分画像を生成するには、差分するオン時、オフ時の両画像の撮像条件を常に均一にするのが望ましい。一方、外乱光は刻々変化するから、撮像部の撮像素子の感度の許容範囲外にならないよう、これに対応する必要がある。 Here, in order to effectively cancel the disturbance light by the difference image, it is desirable that the imaging conditions when the light is turned on and off are the same. In order to generate a differential image at the original frame rate of the imaging unit (that is, for each period of the timing signal), it is desirable to always make the imaging conditions of both images different at the time of differential ON and OFF. On the other hand, since disturbance light changes every moment, it is necessary to cope with this so as not to fall outside the permissible range of sensitivity of the image sensor of the imaging unit.

この構成では、上記撮像画像が、上記照明部の光がオンの状態、オフの状態で撮像されたか否かに関わらず、撮像条件設定手段が露光時間を含む撮像条件を調整する。 In this configuration, the imaging condition setting unit adjusts the imaging condition including the exposure time regardless of whether the captured image is captured with the light of the illumination unit turned on or off.

そして、この構成では、補正部が、差分する画像の撮像条件を一定にする補正をしているので、照明部が光をオンにするタイミング、オフにするタイミングのいずれで撮像したかに関わらず、差分画像の生成前に撮像条件が一定になるよう補正することができる。したがって、差分画像生成手段は、外乱光の影響をキャンセルしつつ、撮像部のタイミング信号の周期毎に差分画像を生成することができる。つまり、撮像装置は、撮像素子本来のフレームレートで差分画像を生成することができる。なお、この補正は、例えば、露光時間に反比例して輝度を変化させるようにしてもよいし、パラメータ曲線で対応させてもよい。 In this configuration, since the correction unit corrects the imaging conditions of the difference image to be constant, regardless of whether the illumination unit captures the image at the timing of turning on or off the light. The imaging conditions can be corrected to be constant before the difference image is generated. Therefore, the difference image generation means can generate a difference image for each period of the timing signal of the imaging unit while canceling the influence of disturbance light. That is, the imaging apparatus can generate a difference image at the original frame rate of the imaging device. Note that this correction may be performed by changing the luminance in inverse proportion to the exposure time, or may be performed by a parameter curve.

（２）上記撮像装置は、上記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶するそれぞれ第１のフレームメモリと第２のフレームメモリをさらに備え、
上記補正手段は、上記第１のフレームメモリ、上記第２のフレームメモリが記憶した最近の２枚の撮像画像について、それぞれ補正を行い、
上記差分画像生成手段は、上記第１のフレームメモリ、上記第２のフレームメモリに記憶された撮像画像に対しそれぞれ上記補正手段が補正した補正画像について、上記差分画像を生成するようにしてもよい。 (2) The imaging apparatus further includes a first frame memory and a second frame memory, respectively, for storing the latest two captured images among the captured images captured by the imaging unit,
The correction means corrects each of the two latest captured images stored in the first frame memory and the second frame memory,
The difference image generation means may generate the difference image for the corrected images corrected by the correction means for the captured images stored in the first frame memory and the second frame memory, respectively. .

（３）本発明は、
被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
上記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
上記撮像部の撮像方向に向けて光を照射する照明部であって、上記タイミング信号に合わせて、交互に上記光をオン、オフに切り換える照明部と、
上記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶する第１のフレームメモリと第２のフレームメモリと、
上記撮像の撮像部が撮像する撮像画像が適正輝度になるよう、露光時間を含む撮像条件を設定する撮像条件設定手段と、
上記撮像画像の輝度の補正を行う補正手段と、
上記タイミング信号の隣接する周期において上記撮像部が撮像した撮像画像についてそれぞれ上記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
上記撮像条件設定手段は、上記照明部の光がオンの時間帯、上記照明部の光がオフの時間帯のいずれか一方における撮像条件を、上記撮像画像が適正輝度になるように調整すると共に、他方の時間帯における撮像条件を一定に設定し、
上記補正手段は、上記一方の時間帯における撮像条件が、上記他方の時間帯における撮像条件と、上記差分画像の生成の際に同じになるように上記補正を行い、
上記差分画像生成手段は、上記補正手段により補正された補正画像と上記補正がされていない撮像画像とについて、上記タイミング信号と同じ周期で上記差分画像を生成することを特徴とする撮像装置としてもよい。 (3) The present invention
In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illuminating unit that emits light toward the imaging direction of the imaging unit, wherein the illuminating unit alternately switches the light on and off in accordance with the timing signal;
A first frame memory and a second frame memory for storing the latest two captured images among the captured images captured by the imaging unit;
Imaging condition setting means for setting an imaging condition including an exposure time so that a captured image captured by the imaging unit of the imaging has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in the adjacent period of the timing signal,
The imaging condition setting means adjusts an imaging condition in one of a time zone in which the light of the illumination unit is on and a time zone in which the light of the illumination unit is off so that the captured image has proper luminance. , Set the imaging conditions in the other time zone constant,
The correction means performs the correction so that the imaging condition in the one time zone is the same as the imaging condition in the other time zone when generating the difference image,
The difference image generation unit may generate the difference image with the same period as the timing signal for the corrected image corrected by the correction unit and the captured image that has not been corrected. Good.

この構成では、差分をとる画像のうち片方のフレームメモリに記憶した画像についてだけ、補正部が撮像した撮像画像を補正するので、簡易な構成にすることができる。例えば、光がオンの時間帯について、撮像画像に白焼けが生じにくいようにそれぞれの露光時間を一定の短い時間に設定することができる。この場合には、照明部が光をオフにしているときだけ補正すればよい。また、逆に光がオフの各時間帯について、撮像画像が暗くならないように、露光時間を一定の長い時間に設定することができる。この場合、照明部が光を当てているときだけ補正すればよい。なお、露光時間を一定にするとは、より詳細に言えば、光がオンの時間帯、オフの時間帯は交互に繰り返すので、オンの時間帯、オフの時間帯はそれぞれ複数あり、そのうちの一方について当該複数の時間帯の撮像条件を共通の値にすることをいう。 In this configuration, the captured image captured by the correction unit is corrected only for the image stored in one frame memory among the images for which the difference is taken, so that the configuration can be simplified. For example, each exposure time can be set to a certain short time so that the imaged image is less likely to be burnt in the light-on time zone. In this case, it is only necessary to correct when the illumination unit is turning off the light. Conversely, for each time zone when the light is off, the exposure time can be set to a certain long time so that the captured image does not become dark. In this case, it is only necessary to correct when the illumination unit is shining light. More specifically, making the exposure time constant means that the light on-time and off-time zones are alternately repeated, so there are a plurality of on-time zones and off-time zones. Is a common value for the imaging conditions of the plurality of time zones.

（４）上記撮像装置は、画像を記憶する第１のフレームメモリと第２のフレームメモリをさらに備え、
上記補正手段は、上記撮像部により撮像した撮像画像について補正を行い、
上記撮像装置は、以下の（Ａ）ないし（Ｃ）の処理を実行することを特徴としてもよい。
（Ａ）上記補正手段がすでに補正した最近の補正画像を、上記第１のフレームメモリに記憶させ、
（Ｂ）上記第１のフレームメモリに記憶された上記補正画像を上記第２のフレームメモリに移動させると共に、上記補正手段が新たに補正した最近の補正画像を上記第１のフレームメモリに記憶させて、これにより、上記補正手段により補正した最近の２枚の補正画像を上記第１のフレームメモリ、第２のフレームメモリに記憶させ、
（Ｃ）上記第１のフレームメモリ、第２のフレームメモリに記憶された撮像画像について差分画像を生成する。
。 (4) The imaging apparatus further includes a first frame memory and a second frame memory for storing an image,
The correction unit corrects a captured image captured by the imaging unit,
The imaging apparatus may perform the following processes (A) to (C).
(A) The latest corrected image already corrected by the correcting means is stored in the first frame memory,
(B) The correction image stored in the first frame memory is moved to the second frame memory, and the latest correction image newly corrected by the correction means is stored in the first frame memory. Thus, the latest two corrected images corrected by the correction means are stored in the first frame memory and the second frame memory,
(C) A difference image is generated for the captured images stored in the first frame memory and the second frame memory.
.

この構成では、撮像条件設定手段が露光時間を設定した場合に、補正手段は、露光時間と輝度の補正量を対応付けた補正データに基づいて、輝度を補正する。この構成では、輝度の補正量を露光時間と補正テーブルに基づいて、より厳密に定めることができる。したがって、上記差分画像生成手段は、より正確に外乱光をキャンセルした差分画像を生成できる。 In this configuration, when the imaging condition setting unit sets the exposure time, the correction unit corrects the luminance based on correction data in which the exposure time and the luminance correction amount are associated with each other. In this configuration, the luminance correction amount can be determined more strictly based on the exposure time and the correction table. Therefore, the difference image generation means can generate a difference image in which disturbance light is canceled more accurately.

（５）上記補正手段は、露光時間と輝度の補正量を対応付けた補正データを記憶する記憶部を備え、上記記憶部内の補正データに基づいて、輝度を補正するようにしてもよい。 (5) The correction unit may include a storage unit that stores correction data in which an exposure time and a luminance correction amount are associated with each other, and may correct the luminance based on the correction data in the storage unit.

この構成では、差分画像生成手段は、補正済みの画像を第１のフレームメモリ、第２のフレームメモリへ順に移動させる。ここで、第１のフレームメモリ、第２のフレームメモリに記憶された画像はいずれも補正されたものである。したがって、隣接したフレーム期間で撮像された画像は、常に補正されたものである。したがって、この構成では、第１のフレームメモリ、第２のフレームメモリに対応して、補正部を２つ設ける必要がないので簡易な構成とすることができる。 In this configuration, the difference image generation means moves the corrected image to the first frame memory and the second frame memory in order. Here, both the images stored in the first frame memory and the second frame memory are corrected. Therefore, images captured in adjacent frame periods are always corrected. Therefore, in this configuration, since it is not necessary to provide two correction units corresponding to the first frame memory and the second frame memory, a simple configuration can be achieved.

（６）上記撮像条件設定手段は、周囲の明るさが予め定めた範囲の場合には、上記撮像条件を一定にし、上記範囲を超える場合に限り、周囲の明るさに応じて、上記撮像条件を調整し、
上記補正手段は、上記撮像条件が調整された撮像画像についてのみ、上記補正を行うようにしてもよい。 (6) The imaging condition setting means makes the imaging condition constant when the ambient brightness is in a predetermined range, and according to the ambient brightness only when the ambient condition exceeds the range. Adjust
The correction unit may perform the correction only for a captured image in which the imaging condition is adjusted.

輝度の補正をすると、画質が低下する場合がある。この構成では、補正を最小限にするように、上記撮像部は、周囲の明るさが予め定めた範囲の場合には、露光時間等の撮像条件を一定にする。したがって、この範囲では補正が不要になり、画質を落とさなくて済む。また、この範囲を超える場合には、撮像部が露光時間を調整し、補正手段が画像の補正を行う。したがって、この場合には、撮像装置は、外部光の強度に応じて適正な撮像ができるよう調整できると共に、撮像条件を差分前に一定に保つことができる。 When the luminance is corrected, the image quality may be deteriorated. In this configuration, in order to minimize correction, the imaging unit makes imaging conditions such as exposure time constant when the ambient brightness is in a predetermined range. Accordingly, no correction is required in this range, and the image quality does not have to be degraded. If the range is exceeded, the imaging unit adjusts the exposure time, and the correction unit corrects the image. Therefore, in this case, the imaging apparatus can be adjusted so that appropriate imaging can be performed according to the intensity of external light, and the imaging condition can be kept constant before the difference.

（７）上記差分画像生成手段は、上記タイミング信号と同じ周期で生成された上記差分画像を、複数回分加算して生成する積分手段を備えるようにしてもよい。 (7) The difference image generation means may include integration means for generating the difference image generated at the same cycle as the timing signal by adding the difference image a plurality of times.

この構成では、複数回分のフレームを積分して出力することが前提の撮像装置では、従来の撮像装置の２倍のフレームレートで差分画像を出力することができる。即ち、この構成の撮像装置は、タイミング信号と同じ周期で差分画像を出力するので、従来のように照明部のオン、オフの２回の撮像をセットにして差分画像を出力する撮像装置と同一回数、合成するのであれば、その２倍のフレームレートで差分画像を出力することができる。 With this configuration, an imaging apparatus that is based on the assumption that a plurality of frames are integrated and output can output a difference image at a frame rate twice that of a conventional imaging apparatus. That is, the image pickup apparatus configured as described above outputs a difference image at the same cycle as the timing signal, and thus is the same as the conventional image pickup apparatus that outputs a difference image with two sets of ON / OFF imaging of the illumination unit as a set. If they are combined a number of times, a difference image can be output at twice the frame rate.

本発明によれば、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子のフレームレートで差分画像を生成することができる。 ADVANTAGE OF THE INVENTION According to this invention, in an imaging device which cancels disturbance light, such as natural light, from a captured image using a difference image, a difference image can be produced | generated with the frame rate of an image pick-up element with a simple structure.

図１〜図７を参照して、第１実施形態の撮像装置１について説明する。 With reference to FIGS. 1-7, the imaging device 1 of 1st Embodiment is demonstrated.

図１は、撮像装置１の構成を表している。撮像装置１は、照明２、カメラ３、タイミング発生回路４、照明制御回路５、画像処理回路６を備える。なお、照明２、照明制御回路５は、合わせて、本発明の「照明部」に相当する。タイミング発生回路４は、本発明の「タイミング発生回路」に相当する。 FIG. 1 shows the configuration of the imaging apparatus 1. The imaging device 1 includes an illumination 2, a camera 3, a timing generation circuit 4, an illumination control circuit 5, and an image processing circuit 6. The illumination 2 and the illumination control circuit 5 collectively correspond to the “illumination unit” of the present invention. The timing generation circuit 4 corresponds to the “timing generation circuit” of the present invention.

照明２は、可視光、赤外光、電波のいずれかを発する。なお、以下、これら可視光、赤外光、電波を総称して便宜的に「光」と称する。本願では、カメラ３に入力して画像に変換可能な電磁波はすべて「光」に含まれるものとする。照明２は、例えばＬＥＤとすることができる。照明２は、カメラ３の撮像方向と同じ方向を向いて備えられ、被写体１０１に対し、光を照射する。 The illumination 2 emits one of visible light, infrared light, and radio waves. Hereinafter, these visible light, infrared light, and radio waves are collectively referred to as “light” for convenience. In the present application, all electromagnetic waves that can be input to the camera 3 and converted into an image are included in the “light”. The illumination 2 can be, for example, an LED. The illumination 2 is provided in the same direction as the imaging direction of the camera 3 and irradiates the subject 101 with light.

カメラ３は、内部にＣ−ＭＯＳセンサなどの画像素子、シャッタを備え、被写体１０１を所定のサンプリングレートで動画として撮像し、デジタル形式の画像（以下、「撮像画像」と称する）を出力する。 The camera 3 includes an image element such as a C-MOS sensor and a shutter, captures the subject 101 as a moving image at a predetermined sampling rate, and outputs a digital image (hereinafter referred to as “captured image”).

カメラ３には、照明２のみならず、太陽１０２等の外乱光で被写体１０１（例えば顔）に反射した光が入射する。カメラ３は、露光時間設定部３１を備え、設定部３１は、太陽１０２等の外部の明るさに応じて、シャッタが開いている露光時間を調整し、露光時間をカメラ３に設定する。カメラ３は、露光時間設定部３１が設定した露光時間に基づいて、シャッタを閉じる。 The camera 3 receives not only the illumination 2 but also light reflected by the subject 101 (for example, the face) by disturbance light such as the sun 102. The camera 3 includes an exposure time setting unit 31. The setting unit 31 adjusts the exposure time when the shutter is open according to the external brightness of the sun 102 and the like, and sets the exposure time in the camera 3. The camera 3 closes the shutter based on the exposure time set by the exposure time setting unit 31.

なお、以下では、このような露光時間などの、カメラ３が被写体を撮像する際に必要な条件を適宜「撮像条件」と称する。撮像条件には、少なくとも露光時間の調整を含み、場合により、絞りの調整その他を含めてもよい。 In the following, conditions necessary for the camera 3 to image a subject, such as the exposure time, are appropriately referred to as “imaging conditions”. The imaging conditions include at least adjustment of the exposure time, and may include adjustment of the aperture and the like depending on circumstances.

また、この露光時間設定部３１は、本発明の「撮像条件設定手段」に相当する。 The exposure time setting unit 31 corresponds to “imaging condition setting means” of the present invention.

露光時間設定部３１により、カメラ３は、撮像条件を調整し、撮像画像の輝度を適正にする。例えば、撮像した画像が暗い場合には、次のサンプリングレートでは、カメラ３の制御機構は、露光時間を長くして撮像画像の輝度を上げるような調整が可能であるし、逆に露光時間を短くして、撮像画像の輝度を抑えることも可能である。ただし、フレーム期間（後述で定義する）を一定に保つ必要性から、露光時間を１フレーム期間内に収める必要がある。 With the exposure time setting unit 31, the camera 3 adjusts the imaging conditions to make the brightness of the captured image appropriate. For example, when the captured image is dark, at the next sampling rate, the control mechanism of the camera 3 can be adjusted to increase the brightness of the captured image by increasing the exposure time. It is also possible to reduce the brightness of the captured image by shortening it. However, since it is necessary to keep the frame period (defined later) constant, it is necessary to keep the exposure time within one frame period.

ここで、露光時間設定部３１が撮像画像の輝度を調整するには、前提として、撮像装置１が撮像画像の明るさを測定する必要がある。その測定方法は、外部に明度センサを設けるよりも、カメラ３が撮像した画像に基づいて行うのが一般的である。具体的には、カメラ３を部品として購入した場合、カメラ３内部に露光時間設定部３１が設けられている場合があり、それに基づいて露光時間を調整してもよい。また、補正回路６２が補正する場合のパラメータや補正量によって露光時間を調整してもよい。この場合には、露光時間を調整する構成をタイミング発生回路４または画像処理回路６に付加してもよい。この場合の当該構成も「撮像条件設定手段」に相当する。 Here, in order for the exposure time setting unit 31 to adjust the luminance of the captured image, it is necessary that the imaging apparatus 1 measures the brightness of the captured image. The measurement method is generally performed based on an image captured by the camera 3 rather than providing a brightness sensor outside. Specifically, when the camera 3 is purchased as a part, the exposure time setting unit 31 may be provided inside the camera 3, and the exposure time may be adjusted based on the exposure time setting unit 31. Further, the exposure time may be adjusted according to parameters and correction amounts when the correction circuit 62 corrects. In this case, a configuration for adjusting the exposure time may be added to the timing generation circuit 4 or the image processing circuit 6. This configuration in this case also corresponds to “imaging condition setting means”.

タイミング発生回路４は、発振器、カウンタなどを備え、タイミング信号（後述、図３参照を生成する）。タイミング信号は、カメラ３がシャッタを開くタイミングを定めるパルスである。撮像タイミングは、厳密にはこのパルスのエッジで定められる。カメラ３は、タイミング信号のエッジを検出すると、カメラ３のシャッタを開く。なお、本願において、カメラ３が本来出力できるフレームレートとは、単位時間あたりに、カメラ３が撮像した撮像画像の数とする。また、動画のフレーム期間は、タイミングパルスの立ち上がりエッジと次のタイミングパルスの立ち上がりエッジの間隔とする。 The timing generation circuit 4 includes an oscillator, a counter, and the like, and generates a timing signal (see FIG. 3 described later). The timing signal is a pulse that determines the timing at which the camera 3 opens the shutter. Strictly speaking, the imaging timing is determined by the edge of this pulse. When the camera 3 detects the edge of the timing signal, it opens the shutter of the camera 3. In the present application, the frame rate that the camera 3 can originally output is the number of captured images captured by the camera 3 per unit time. The moving image frame period is the interval between the rising edge of the timing pulse and the rising edge of the next timing pulse.

照明制御回路５は、１フレーム期間ごとに、交互にＨＩ、ＬＯＷを繰り返すパルス状のＬＥＤ信号を生成する。また、照明制御回路５は、定電流源と電流制御用のトランジスタまたはＦＥＴを備え、トランジスタ、ＦＥＴは、このＬＥＤ信号を入力して、照明２の電源のオン、オフを繰り返す。これにより、照明２の電源のオンの時間帯、オフの時間帯は、１フレーム期間ごとに交互に切り換わる。 The illumination control circuit 5 generates a pulsed LED signal that alternately repeats HI and LOW every frame period. The illumination control circuit 5 includes a constant current source and a current control transistor or FET. The transistor and FET input this LED signal, and repeatedly turns on and off the power supply of the illumination 2. Thereby, the power-on time zone and the off-time zone of the illumination 2 are switched alternately every frame period.

画像処理回路６は、高速で画像処理をするためのプロセッサ（ＤＳＰ、デジタルシグナルプロセッサ）である。画像処理回路６は、画像保存メモリ６１、補正回路６２、差分回路６３を備える。これにより、画像処理回路６は、カメラ３が撮像した画像について各々輝度の補正を行い、隣接したサンプリングタイムで撮像された撮像画像同士の差分画像を差分回路６３より出力する。 The image processing circuit 6 is a processor (DSP, digital signal processor) for performing image processing at high speed. The image processing circuit 6 includes an image storage memory 61, a correction circuit 62, and a difference circuit 63. As a result, the image processing circuit 6 corrects the brightness of each image captured by the camera 3, and outputs a difference image between the captured images captured at adjacent sampling times from the difference circuit 63.

画像保存メモリ６１は、カメラ３が撮像した撮像画像のうちの最近の２枚を一時的に保存するフレームメモリ（またはバッファ）である。画像保存メモリ６１は、本発明のフレームメモリに相当する。 The image storage memory 61 is a frame memory (or buffer) that temporarily stores two recent images captured by the camera 3. The image storage memory 61 corresponds to the frame memory of the present invention.

補正回路６２は、カメラ３が撮像した画像の輝度を補正する。補正値は、具体的には、撮像画像の各画素の輝度の値を、カメラ３が露光していた時間に基づいて定めたゲインを掛け算または割り算して求める。撮像画像がＲＧＢ形式とすれば、ＲＧＢの値が大きいほど輝度が高くなる。例えば、補正後のＲの輝度は、Ｒに対し所定のゲインを掛け算して求めることができる。なお、補正回路６２による補正方法の詳細は後述する。 The correction circuit 62 corrects the luminance of the image captured by the camera 3. Specifically, the correction value is obtained by multiplying or dividing the luminance value of each pixel of the captured image by a gain determined based on the time that the camera 3 was exposed. If the captured image is in RGB format, the luminance increases as the RGB value increases. For example, the corrected luminance of R can be obtained by multiplying R by a predetermined gain. Details of the correction method by the correction circuit 62 will be described later.

差分回路６３は、補正回路６２で処理された補正画像同士を引き算して、差分画像を生成する。この差分画像の生成は、タイミング信号の周期と同じ周期で（フレームレートで）行う。 The difference circuit 63 subtracts the corrected images processed by the correction circuit 62 to generate a difference image. The difference image is generated at the same cycle (at the frame rate) as the timing signal.

次に、補正回路６２、差分回路６３、露光時間調整部３１の作用および補正回路６２の補正方法についてより詳細に説明する。 Next, the operation of the correction circuit 62, the difference circuit 63, the exposure time adjustment unit 31, and the correction method of the correction circuit 62 will be described in more detail.

差分回路６３で出力する画像は、最近の撮像画像２枚であって、隣接したフレーム期間で撮像された画像の差分画像である。ここで、照明２は、撮像と同期して交互にオン、オフを繰り返しているので、隣接したフレームの差分画像は、常に、照明２を照射した明るい状態と、照射していない暗い状態との差分画像になる。この差分画像によれば、太陽１０２の外乱光の影響をキャンセルすることができ、照明２を被写体１０１に照射して反射した光に基づく撮像画像のみを取り込むことができる。このように、補正回路６２が隣接するフレーム期間で撮像された画像同士を差分すれば、タイミング信号ごとに外乱光をキャンセルした画像が得られることになる。 The images output by the difference circuit 63 are two recent captured images, and are difference images of images captured in adjacent frame periods. Here, since the illumination 2 is repeatedly turned on and off alternately in synchronization with the imaging, the difference image between adjacent frames always has a bright state in which the illumination 2 is irradiated and a dark state in which the illumination 2 is not irradiated. It becomes a difference image. According to this difference image, it is possible to cancel the influence of disturbance light from the sun 102, and it is possible to capture only a captured image based on the light reflected by illuminating the subject 101 with the illumination 2. In this way, if the correction circuit 62 makes a difference between images captured in adjacent frame periods, an image in which disturbance light is canceled for each timing signal can be obtained.

しかし、外乱光を効果的にキャンセルするには、照明２が上記光をオンにしたとき、オフにしたときの撮像条件を互いに同じにするのが望ましい。本実施形態では、差分回路６３は、サンプリングレートごとに差分画像を出力するから、（オン，オフ）１セットのみならず、オン，オフ，オン，オフ，・・・と連続する状態で、撮像条件を常に同じ条件にするのが望ましいことになる。一方、太陽１０２等の外乱光の強度は刻々変化するから、撮像素子の感度の許容範囲から外れないように、露光時間設定部３１は撮像条件を調整しなければならない。 However, in order to effectively cancel the disturbance light, it is desirable that the imaging conditions when the illumination 2 is turned on are the same as each other when the light is turned on. In the present embodiment, since the difference circuit 63 outputs a difference image for each sampling rate, imaging is performed not only in one set (on, off) but also in a state of being continuously on, off, on, off,. It is desirable that the conditions are always the same. On the other hand, since the intensity of disturbance light such as the sun 102 changes every moment, the exposure time setting unit 31 must adjust the imaging conditions so as not to deviate from the allowable range of sensitivity of the imaging device.

そこで、本実施形態では、外乱光に対する調整には、露光時間設定部３１による露光時間の調整を用い、撮像画像の撮像条件を擬似的に一定にするために、補正回路６２を用いる。ここで「擬似的」とは、ハードウェア的にはカメラ３の露光時間調整部３１が、撮像条件をフレーム期間ごとに調整するので、本来は、撮像条件を一定にすることはできないが、差分回路６３に入力する前の差分する画像同士の撮像条件を補正回路６２により、差分前にあたかも一定にすることをいう。 Therefore, in the present embodiment, the adjustment to the disturbance light uses the adjustment of the exposure time by the exposure time setting unit 31, and the correction circuit 62 is used to make the imaging condition of the captured image pseudo-constant. Here, “pseudo” means that the exposure time adjustment unit 31 of the camera 3 adjusts the imaging condition for each frame period in terms of hardware. This means that the correction circuit 62 makes the imaging conditions of the images to be differentiated before being input to the circuit 63 constant as before the difference.

露光時間設定部３１は、撮像素子の感度の許容範囲外（例えば白焼け、黒の塗りつぶしの画像）にならないよう、または適正輝度で撮像できるよう、露光時間を調整する。この調整は、光の（オン，オフ）１セットを共通に行うのではなく、光のオン，オフにつき個別に行う。具体的には、照明２のオンの時、オフの時で別々に予め撮像条件を設定していてもよいし、外部の光の状態に応じて設定してもよいし、所定パルスごと、所定時間ごとに設定してもよい。 The exposure time setting unit 31 adjusts the exposure time so that it does not fall outside the allowable range of sensitivity of the image sensor (for example, an image with white or black fill), or can be imaged with appropriate luminance. This adjustment is not performed for one set of light (on / off) in common, but separately for each light on / off. Specifically, the imaging conditions may be set separately in advance when the illumination 2 is on or off, or may be set according to the state of the external light, or for each predetermined pulse. It may be set every hour.

露光時間設定部３１が露光時間を調整すると、その調整毎に撮像条件が異なることになり、光のオン，オフのときで互いに撮像条件が異なってしまう。そこで、補正回路６２は、差分回路６３に画像を入力する前に、輝度を補正する。これにより、補正回路６２は、差分回路６３で差分する前の撮像画像が、擬似的に一定の撮像条件（露光時間、その他絞り等）で撮像した画像になるようにする。露光時間と輝度はおおむね比例するから、補正回路６２は、各画素の輝度をカメラ３が露光した露光時間の逆数を積算した値に補正する。 When the exposure time setting unit 31 adjusts the exposure time, the imaging conditions differ for each adjustment, and the imaging conditions differ when the light is on and off. Therefore, the correction circuit 62 corrects the luminance before inputting the image to the difference circuit 63. As a result, the correction circuit 62 causes the captured image before the difference in the difference circuit 63 to be an image captured under a pseudo fixed imaging condition (exposure time, other aperture, etc.). Since the exposure time and the luminance are generally proportional, the correction circuit 62 corrects the luminance of each pixel to a value obtained by integrating the reciprocal of the exposure time exposed by the camera 3.

例えば、カメラ３が出力する画像データがＲＧＢ表色系であるとする。ＲＧＢ表色系は、ＲＧＢの値が大きいほど輝度が高くなる。よって、ＲＧＢのうちの例えばＲの値の補正は、補正したＲの値をＲ’、比例定数Ａ、露光時間Ｔ、輝度Ｒ、補正後の輝度Ｒ’として、
Ｒ’＝Ｒ×Ａ／Ｔ
と算出することができる。 For example, it is assumed that image data output from the camera 3 is an RGB color system. In the RGB color system, the larger the RGB value, the higher the luminance. Therefore, for example, the correction of the R value of RGB is performed by setting the corrected R value as R ′, proportionality constant A, exposure time T, luminance R, and corrected luminance R ′.
R ′ = R × A / T
Can be calculated.

なお、差分回路６３において、輝度を補正した画像を差分できればよく、画像処理回路６は、その限りでどのように構成してもよい。例えば、補正回路６２は、画像保存メモリ６１に記憶したものを補正してもよいし、補正回路６２が補正したものを補正回路６２が記憶してもよい。以下の実施例１〜３でその具体例を示す。 Note that the difference circuit 63 only needs to be able to make a difference between the corrected images, and the image processing circuit 6 may be configured in any way. For example, the correction circuit 62 may correct what is stored in the image storage memory 61, or the correction circuit 62 may store what is corrected by the correction circuit 62. Specific examples are shown in Examples 1 to 3 below.

以下、図２〜図７を用いて、図１に示した撮像装置１の画像処理回路６の実施例１〜３について説明する。図２、図３は、実施例１の構成、タイミングチャートを、図４、図５は、実施例２の構成、タイミングチャートを、図６、図７は、実施例３の構成、タイミングチャートを、それぞれ示している。なお、図１で示した構成と同じ部分については、以上の説明を準用する。また、以下の説明で（）内はタイミングチャートで示す画像の例を表すものとする。 Hereinafter, Embodiments 1 to 3 of the image processing circuit 6 of the imaging apparatus 1 illustrated in FIG. 1 will be described with reference to FIGS. 2 and 3 show the configuration and timing chart of the first embodiment, FIGS. 4 and 5 show the configuration and timing chart of the second embodiment, and FIGS. 6 and 7 show the configuration and timing chart of the third embodiment. , Respectively. Note that the above description applies mutatis mutandis to the same parts as those shown in FIG. In the following description, () represents an example of an image shown in a timing chart.

（実施例１）
図２に示すように、実施例１の撮像装置１Ａは、画像処理回路６の具体例として画像処理回路６Ａを備える。画像処理回路６Ａは、第１のフレームメモリ６１１、第２のフレームメモリ６１２、および各メモリ専用の補正回路６２１、６２２、差分回路６３を備える。 Example 1
As illustrated in FIG. 2, the imaging apparatus 1 A according to the first embodiment includes an image processing circuit 6 A as a specific example of the image processing circuit 6. The image processing circuit 6A includes a first frame memory 611, a second frame memory 612, correction circuits 621 and 622, and a difference circuit 63 dedicated to each memory.

図３に示すように、照明２は、タイミング信号と同期して、照明源であるＬＥＤの信号（ＬＥＤ信号）のオン、オフを繰り返す。カメラ３は、タイミング信号と同期して、撮像を開始する。次のタイミング信号に同期して、画像処理回路６Ａは、カメラ３が撮像した最新の画像を第１のフレームメモリ６１１に入力する（ＯＮ１画像）。次のフレーム期間で、回路６Ａは、第１のフレームメモリ６１１（ＯＮ１画像）の内容を第２のフレームメモリ６１２に移動させ、新たにカメラ３が撮像した画像（ＯＦＦ１画像）を第１のフレームメモリ６１１に入力する。つまり、メモリ６１１には最新の画像が入力され、第２のフレームメモリ６１２には、この最新の画像のフレーム期間と隣接する、１つ前のフレーム期間の補正画像が入力される。補正回路６２１、補正回路６２２は、それぞれ、第１のフレームメモリ６１１、第２のフレームメモリ６１２の内容について、上述したように輝度を補正する。差分回路６３は、第１のフレームメモリ６１１、第２のフレームメモリ６１２の内容について補正された補正画像間で差分（ＯＮ１補正画像−ＯＦＦ１補正画像）をとり、この差分画像を出力する。このように隣接したフレーム期間の撮像画像同士の差分画像は、常に、上記した照明２がオンの時間帯に撮像した画像、オフの時間帯に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、画像処理回路６Ａは、常に、照明２がオンの時に撮像した撮像画像から、照明２がオフの時に撮像した撮像画像を引き算する。図３に示すように、差分回路６３は、ＯＮ１補正画像−ＯＦＦ１補正画像、ＯＮ２補正画像−ＯＦＦ１補正画像・・・を出力する。 As shown in FIG. 3, the illumination 2 repeats on / off of a signal (LED signal) of an LED that is an illumination source in synchronization with the timing signal. The camera 3 starts imaging in synchronization with the timing signal. In synchronization with the next timing signal, the image processing circuit 6A inputs the latest image captured by the camera 3 to the first frame memory 611 (ON1 image). In the next frame period, the circuit 6A moves the contents of the first frame memory 611 (ON1 image) to the second frame memory 612, and newly captures an image (OFF1 image) captured by the camera 3 in the first frame. Input to the memory 611. That is, the latest image is input to the memory 611, and the corrected image of the immediately previous frame period adjacent to the frame period of the latest image is input to the second frame memory 612. The correction circuit 621 and the correction circuit 622 correct the luminance of the contents of the first frame memory 611 and the second frame memory 612 as described above. The difference circuit 63 takes a difference (ON1 corrected image−OFF1 corrected image) between the corrected images corrected for the contents of the first frame memory 611 and the second frame memory 612, and outputs this difference image. As described above, the difference image between the captured images in the adjacent frame periods is always the difference between the image captured in the time zone when the illumination 2 is on and the image captured in the off time zone. The image processing circuit 6A always subtracts the captured image captured when the illumination 2 is off from the captured image captured when the illumination 2 is off so that the negative and positive states of the difference image are constant. As shown in FIG. 3, the difference circuit 63 outputs an ON1 corrected image-OFF1 corrected image, an ON2 corrected image-OFF1 corrected image,.

（実施例２）
図４に示すように、実施例２の撮像装置１Ｂは、画像処理回路６の具体例として画像処理回路６Ｂを備える。画像処理回路６Ｂは、第１のフレームメモリ６１１、第２のフレームメモリ６１２、補正回路６２３、差分回路６３を備える。 (Example 2)
As illustrated in FIG. 4, the imaging apparatus 1 B according to the second embodiment includes an image processing circuit 6 B as a specific example of the image processing circuit 6. The image processing circuit 6B includes a first frame memory 611, a second frame memory 612, a correction circuit 623, and a difference circuit 63.

図５に示すように、照明２は、タイミング信号と同期して、ＬＥＤ信号のオン、オフを繰り返す。カメラ３は、タイミング信号と同期して、撮像を開始する。画像処理回路６Ｂは、カメラ３が撮像した最新の画像を第１のフレームメモリ６１１に入力する（ＯＮ１画像）。次のフレーム期間で、回路６Ｂは、第１のフレームメモリ６１１（ＯＮ１画像）の内容を第２のフレームメモリ６１２に移動させると共に、第１のフレームメモリ６１１の画像を撮像するのに用いた撮像条件を補正回路に入力する。また、画像処理回路６Ｂは、新たにカメラ３が撮像した画像（ＯＦＦ１画像）をメモリ６１１に入力する。つまり、メモリ６１１、補正回路６２３には最新の画像が入力され、メモリ６１２には、この最新の画像のフレーム期間と隣接する、１つ前のフレーム期間の補正画像が入力される。補正回路６２３は、メモリ６１２の内容についてのみ、上述したように輝度を補正する。差分回路６３は、メモリ６１１内の撮像画像、メモリ６１２内の補正画像との間で差分（ＯＮ１補正画像−ＯＦＦ１画像）をとり、この差分画像を出力する。差分画像は、常に、上記した照明２がオンの時間帯に撮像した画像、オフの時間帯に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、画像処理回路６Ｂは、常に、照明２がオンの時間帯に撮像したものから、照明２がオフの時間帯に撮像した撮像画像の差を引き算する。図５に示すように、差分回路６３は、ＯＮ１補正画像−ＯＦＦ１画像、ＯＮ２画像−ＯＦＦ１補正画像・・・を出力する。 As shown in FIG. 5, the illumination 2 repeats turning on and off of the LED signal in synchronization with the timing signal. The camera 3 starts imaging in synchronization with the timing signal. The image processing circuit 6B inputs the latest image captured by the camera 3 to the first frame memory 611 (ON1 image). In the next frame period, the circuit 6B moves the contents of the first frame memory 611 (ON1 image) to the second frame memory 612, and the imaging used to capture the image of the first frame memory 611. The condition is input to the correction circuit. In addition, the image processing circuit 6 B inputs an image (OFF1 image) newly captured by the camera 3 to the memory 611. That is, the latest image is input to the memory 611 and the correction circuit 623, and the corrected image of the immediately previous frame period adjacent to the frame period of the latest image is input to the memory 612. The correction circuit 623 corrects the luminance only for the contents of the memory 612 as described above. The difference circuit 63 takes a difference (ON1 corrected image−OFF1 image) between the captured image in the memory 611 and the corrected image in the memory 612, and outputs this difference image. The difference image is always the difference between the image taken in the time zone when the illumination 2 is on and the image taken in the off time zone. The image processing circuit 6B always makes a difference between the image captured in the time zone when the illumination 2 is on and the image captured in the time zone when the illumination 2 is off so that the negative and positive states of the difference image are constant. Is subtracted. As shown in FIG. 5, the difference circuit 63 outputs ON1 corrected image−OFF1 image, ON2 image−OFF1 corrected image,.

実施例２によれば、第１のフレームメモリ６１１、第２のフレームメモリ６１２の片方しか補正処理をしないので、別段の高速な処理をしなくても、実施例１のように、補正回路を２つ設ける必要がない。したがって、画像処理回路６Ｂを安価かつ簡易に構成できる。このように一方だけ補正する構成を実現するためには、照明２の光を当てている時間帯それぞれ、または照明２の光を当てていない時間帯それぞれのいずれか一方については、露光時間調整部３１は、撮像条件を一定にする。例えば、照明２の光を当てている時間帯それぞれについて、撮像画像に白焼けが生じにくいように、露光時間調整部３１は、光を当てている各時間帯に共通して、露光時間その他の撮像条件をある一定の短い値に設定する。このようにすれば、照明２の光がオンの時間帯には、カメラ３は、適正輝度で撮像できるから、補正が不要になる。他方、光を当てていない時間帯それぞれについては、露光時間調整部３１は、外部の光の強度に応じて撮像条件を調整する。この場合、補正回路６２３は、光を当てていない時間帯に撮像した画像の撮像条件を、それぞれ、光を当てている時間帯に設定した一定の撮像条件と擬似的に同じになるように補正する。この補正は、カメラ３が実際に撮像した時に設定された撮像条件に応じて行う。また、撮像条件は、例えば、第１のフレームメモリ６１１のファイルに撮像条件を記述しておき、この条件を入力してもよい。 According to the second embodiment, since only one of the first frame memory 611 and the second frame memory 612 is corrected, the correction circuit can be configured as in the first embodiment without performing a high-speed process. There is no need to provide two. Therefore, the image processing circuit 6B can be configured inexpensively and simply. In order to realize a configuration in which only one is corrected in this way, an exposure time adjustment unit is provided for each of the time zones in which the light of the illumination 2 is applied or in each of the time zones in which the light of the illumination 2 is not applied. 31 makes imaging conditions constant. For example, for each time zone in which the illumination 2 is applied, the exposure time adjustment unit 31 is common to each time zone in which the light is applied so that the captured image is less likely to be burnt. The imaging condition is set to a certain short value. In this way, in the time zone when the light of the illumination 2 is on, the camera 3 can capture an image with appropriate brightness, and thus no correction is required. On the other hand, the exposure time adjustment unit 31 adjusts the imaging conditions according to the intensity of external light for each of the time periods when no light is applied. In this case, the correction circuit 623 corrects the image capturing conditions of the image captured in the time zone not illuminated with light so as to be substantially the same as the certain imaging conditions set in the time zone illuminated. To do. This correction is performed according to the imaging conditions set when the camera 3 actually captures images. As the imaging condition, for example, the imaging condition may be described in a file of the first frame memory 611 and this condition may be input.

逆に、照明２の光を当てていない時間帯それぞれについて、撮像画像が暗くならないように、露光時間調整部３１は、露光時間をある一定の長い値に設定してもよい。照明２の光がオフの時間帯に撮像した画像には、適正輝度で撮像できるから、補正が不要になる。この場合、補正回路６２３は、光を当てていない時間帯に撮像した画像の撮像条件を、光を当てている時間帯に設定した一定の撮像条件と擬似的に同じになるように補正する。 On the other hand, the exposure time adjustment unit 31 may set the exposure time to a certain long value so that the captured image does not become dark for each time period when the light of the illumination 2 is not applied. Since an image captured in a time zone in which the light of the illumination 2 is off can be captured with appropriate luminance, no correction is required. In this case, the correction circuit 623 corrects the imaging condition of the image captured in the time zone where light is not applied so as to be the same as the fixed imaging condition set in the time zone where light is applied.

なお、この実施例２では、露光時間調整部３１は、上記他方の時間だけ、撮像条件を一定に設定した。しかし、露光時間調整部３１は、照明２のオンの時間帯、オフの時間帯それぞれを別々の一定の撮像条件に設定してもよい。この場合には、露光時間調整部３１は、オンの時間帯、オフの時間帯のいずれか一方の撮像条件についてのみ、他方の撮像条件と同じになるように、一律に同じ補正を行う。 In the second embodiment, the exposure time adjustment unit 31 sets the imaging condition constant for the other time. However, the exposure time adjustment unit 31 may set the lighting 2 on time zone and the off time zone to separate constant imaging conditions. In this case, the exposure time adjustment unit 31 performs the same correction uniformly so that only the imaging condition of either the on time zone or the off time zone is the same as the other imaging condition.

（実施例３）
図６に示すように、実施例２の撮像装置１Ｃは、画像処理回路６の具体例として画像処理回路６Ｃを備える。画像処理回路６Ｃは、第１のフレームメモリ６１１、第２のフレームメモリ６１２、補正回路６２４、差分回路６３を備える。照明２は、タイミング信号と同期して、照明源であるＬＥＤ信号のオン、オフを繰り返す。カメラ３は、タイミング信号と同期して、撮像を開始する。画像処理回路６Ｃは、カメラ３が撮像した最新の画像を補正回路６２４に入力する。また、補正回路６２４で補正済みの画像（補正画像）を第１のフレームメモリ６１１に入力する（ＯＮ１補正画像）。 (Example 3)
As illustrated in FIG. 6, the imaging apparatus 1 C according to the second embodiment includes an image processing circuit 6 C as a specific example of the image processing circuit 6. The image processing circuit 6C includes a first frame memory 611, a second frame memory 612, a correction circuit 624, and a difference circuit 63. The illumination 2 repeats on and off of the LED signal that is the illumination source in synchronization with the timing signal. The camera 3 starts imaging in synchronization with the timing signal. The image processing circuit 6 C inputs the latest image captured by the camera 3 to the correction circuit 624. In addition, the image corrected by the correction circuit 624 (corrected image) is input to the first frame memory 611 (ON1 corrected image).

図７に示すように、次のフレーム期間で、画像処理回路６Ｃは、第１のフレームメモリ６１１（ＯＮ１補正画像）の内容を第２のフレームメモリ６１２に移動させる。また、画像処理回路６Ｃは、新たにカメラ３が撮像し、補正回路６２４が補正した補正画像（ＯＦＦ１補正画像）を第１のフレームメモリ６１１に入力する。つまり、第１のフレームメモリ６１１には最新の画像の補正画像が入力され、第２のフレームメモリ６１２には、この最新の画像のフレーム期間と隣接する、１つ前のフレーム期間の補正画像が入力される。差分回路６３は、第１のフレームメモリ６１１、第２のフレームメモリ６１２の内容の補正画像間で差分（ＯＮ１補正画像−ＯＦＦ１補正画像）をとり、この差分画像を出力する。差分画像は、常に、上記した照明２がオン、オフの時に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、差分回路６３は、常に、照明２がオンの時間帯に撮像したものから、照明２がオフの時間帯に撮像した撮像画像の差を引き算する。例えば、図７に示すように、差分回路６３は、ＯＮ１補正画像−ＯＦＦ１補正画像、ＯＮ２補正画像−ＯＦＦ１補正画像・・・を出力する。 As shown in FIG. 7, in the next frame period, the image processing circuit 6C moves the contents of the first frame memory 611 (ON1 corrected image) to the second frame memory 612. The image processing circuit 6 C inputs a corrected image (OFF1 corrected image) newly captured by the camera 3 and corrected by the correction circuit 624 to the first frame memory 611. In other words, the corrected image of the latest image is input to the first frame memory 611, and the corrected image of the previous frame period adjacent to the frame period of the latest image is input to the second frame memory 612. Entered. The difference circuit 63 calculates a difference (ON1 corrected image−OFF1 corrected image) between the corrected images of the contents of the first frame memory 611 and the second frame memory 612, and outputs this difference image. The difference image is always a difference between images taken when the illumination 2 is on and off. The difference circuit 63 always calculates the difference between the images captured in the time zone when the illumination 2 is on and the images captured in the time zone when the illumination 2 is off so that the negative and positive states of the difference image are constant. Subtract. For example, as shown in FIG. 7, the difference circuit 63 outputs an ON1 corrected image−OFF1 corrected image, an ON2 corrected image−OFF1 corrected image,.

実施例３によれば、予め補正済みの画像を順次第１のフレームメモリ６１１、第２のフレームメモリ６１２へ移動させるので、別段の高速な処理をしなくても、実施例１のように、補正回路を２つ設ける必要がない。したがって、画像処理回路６を安価かつ簡素に構成できる。 According to the third embodiment, the images corrected in advance are sequentially moved to the first frame memory 611 and the second frame memory 612. Therefore, as in the first embodiment, even if high-speed processing is not required, There is no need to provide two correction circuits. Therefore, the image processing circuit 6 can be configured inexpensively and simply.

次に、図８、図９を用いて、第１の実施形態の応用に係る第２の実施形態の撮像装置１０について説明する。図８は、撮像装置１０の構成を表している。図９は、補正テーブル６４の内容の例を表している。第２実施形態は、第１実施形態、その実施例１〜３それぞれに対し、応用可能である。補正テーブル６４以外の構成については、第１実施形態、その実施例１〜３と同じであり、同一の符号を用いて以上の説明を準用する。 Next, the imaging device 10 of the second embodiment according to the application of the first embodiment will be described with reference to FIGS. 8 and 9. FIG. 8 shows the configuration of the imaging apparatus 10. FIG. 9 shows an example of the contents of the correction table 64. The second embodiment can be applied to the first embodiment and the first to third embodiments. The configuration other than the correction table 64 is the same as that of the first embodiment and Examples 1 to 3, and the above description is applied mutatis mutandis using the same reference numerals.

図８に示すように、画像処理回路６０は、補正回路６２に接続された補正テーブル６４を備える。補正回路６２は、補正時に補正テーブル６４を参照し、輝度の補正係数（ゲイン定数）を定め、各画素の輝度を補正係数を乗ずる（または補正係数で除算する）。補正テーブル６４は、第１実施形態で説明した補正をより正確にするものである。図１０に示すように、補正テーブル６４の具体的な内容は、露光時間と補正係数との関係を示す。補正係数は、具体的には補正回路６２が補正する輝度のゲイン係数である。この例では、差分回路６３は、各画素の輝度を補正係数で除算して補正する。 As shown in FIG. 8, the image processing circuit 60 includes a correction table 64 connected to a correction circuit 62. The correction circuit 62 refers to the correction table 64 during correction, determines a luminance correction coefficient (gain constant), and multiplies the luminance of each pixel by the correction coefficient (or divides by the correction coefficient). The correction table 64 makes the correction described in the first embodiment more accurate. As shown in FIG. 10, the specific contents of the correction table 64 indicate the relationship between the exposure time and the correction coefficient. Specifically, the correction coefficient is a gain coefficient of luminance corrected by the correction circuit 62. In this example, the difference circuit 63 corrects the luminance of each pixel by dividing it by a correction coefficient.

第１実施形態では、露光時間が、撮像画像の輝度と比例するとして、補正回路６２は、各画素の輝度を露光時間で除算して補正した。確かにこれらは比例するものとして近似できるが、厳密には比例にはならない。カメラ３がシャッタを開いている時間には、時間遅れがあったり、カメラ３内部のＣ−ＭＯＳの特性上、光と光電電圧との関係が非線形であったりするからである。そこで、差分回路６３は、露光時間と補正係数を対応付けた離散値の補正テーブル６４を用いて、補正係数を取得する。離散値の間については、差分回路６３は、補正テーブル６４の値を補間して算出する。この補間は、直線補間でもよいし、曲線で近似してもよい。例えば、露光時間が１．５秒であれば、露光時間１ｍ秒、２ｍ秒の時の補正係数１、１．８を補間して、（１＋１．８）/２で算出することができる。 In the first embodiment, assuming that the exposure time is proportional to the luminance of the captured image, the correction circuit 62 corrects the luminance of each pixel by dividing it by the exposure time. Certainly they can be approximated as being proportional, but not strictly proportional. This is because the time during which the camera 3 opens the shutter is delayed, or the relationship between the light and the photoelectric voltage is nonlinear due to the characteristics of the C-MOS inside the camera 3. Therefore, the difference circuit 63 acquires a correction coefficient by using a discrete value correction table 64 in which the exposure time and the correction coefficient are associated with each other. For the discrete values, the difference circuit 63 calculates the values of the correction table 64 by interpolating. This interpolation may be linear interpolation or approximate with a curve. For example, if the exposure time is 1.5 seconds, the correction coefficients 1 and 1.8 when the exposure time is 1 msec and 2 msec can be interpolated to calculate (1 + 1.8) / 2.

なお、補正テーブル６４は、必ずしもＳＱＬ等のデータベースおよびそのテーブルで構成する必要はなく、１対１で参照できるデータであればよい。例えば、テキストファイル、バイナリファイルでもよい。 The correction table 64 does not necessarily need to be configured by a database such as SQL and its table, and may be data that can be referenced on a one-to-one basis. For example, it may be a text file or a binary file.

以上の第１、第２の実施形態について補足する。 It supplements about the above 1st, 2nd embodiment.

以上の第１、第２の実施形態の応用として、外乱光の強度が撮像素子の感度の許容範囲内であれば、露光時間等の撮像条件を一定にする構成も可能である。つまり、補正回路６２による補正を行うと、色調が損なわれるなど、画質が低下する虞があるので、輝度の調整をできるだけカメラ３で行い、補正を最小限にすることが望ましい。しかし、以上の第１、第２実施形態では、外乱光に応じて、撮像条件（露光時間等）を変動させ、差分画像生成時に差し引きする画像同士の撮像条件が擬似的に一定になるよう、この変動に対し補正を行っている。したがって、補正を最小限にするため、周囲の明るさが一定許容範囲内であれば、撮像条件を一定にするようにしてもよい。この範囲は、その一定にした撮像条件で適正輝度で撮像できる範囲とする。この実施形態では、この許容範囲外である場合にのみ、露光時間調整部３１が露光時間を調整して、補正回路６２がこの露光時間に対して上記補正をするようにする。このようにすれば、上記感度の許容範囲内の場合、撮像装置は、補正が必要でなくなり、画質の低下を防ぐことができる。 As an application of the first and second embodiments described above, a configuration in which the imaging conditions such as the exposure time are constant as long as the intensity of disturbance light is within the allowable range of the sensitivity of the imaging device is possible. That is, if the correction by the correction circuit 62 is performed, there is a risk that the image quality may be deteriorated, for example, the color tone may be lost. Therefore, it is desirable to adjust the luminance with the camera 3 as much as possible to minimize the correction. However, in the first and second embodiments described above, the imaging conditions (exposure time, etc.) are changed according to the disturbance light, and the imaging conditions of the images to be subtracted at the time of generating the difference image are made pseudo constant. Corrections are made for this variation. Therefore, in order to minimize the correction, the imaging condition may be made constant if the ambient brightness is within a certain allowable range. This range is a range in which imaging can be performed with appropriate luminance under the fixed imaging conditions. In this embodiment, only when it is outside this allowable range, the exposure time adjustment unit 31 adjusts the exposure time, and the correction circuit 62 performs the above correction for this exposure time. In this way, when the sensitivity is within the allowable range, the imaging apparatus does not need to be corrected and can prevent deterioration in image quality.

以上の図１等の説明では、機能ごとに分離したブロックで説明したが、実装上は、これらの機能のうち、いずれかの複数の機能が一体として構成してもよいし、一つのブロックを複数に分離して構成してもよい。例えば、第１のフレームメモリ６１１、第２のフレームメモリ６１２は、別々の構成としているが、実装上は同一のメモリとして、番地、区画を割り振ってもよいし、動的に番地を割り当ててもよい。画像処理回路６自体を１つの計算チップとして、画像処理回路６内をプログラムで構成してもよい。この場合には、画像処理回路６内部の各構成は、物理的には同じものになる。また、画像処理回路６の内部の構成について別々に計算回路を設けてもよい。さらに、カメラ３でなく、タイミング発生回路４が露光時間を定めてもよいし、カメラ３、タイミング発生回路４のコントローラが一体でもよいし、タイミング発生回路４、照明制御回路５、画像処理回路６のいずれか２つ以上または全部が一体でもよい。 In the above description of FIG. 1 and the like, the description has been made with blocks separated for each function. However, in implementation, any of these functions may be configured integrally, or one block may be configured as one. You may comprise separately in plurality. For example, although the first frame memory 611 and the second frame memory 612 have different configurations, addresses and partitions may be allocated as the same memory in mounting, or addresses may be dynamically allocated. Good. The image processing circuit 6 itself may be used as one calculation chip, and the image processing circuit 6 may be configured by a program. In this case, the components inside the image processing circuit 6 are physically the same. In addition, a calculation circuit may be separately provided for the internal configuration of the image processing circuit 6. Further, not the camera 3, but the timing generation circuit 4 may determine the exposure time, the controller of the camera 3 and the timing generation circuit 4 may be integrated, the timing generation circuit 4, the illumination control circuit 5, and the image processing circuit 6 Any two or more or all of these may be integrated.

また、実施例１〜３では、最新の撮像画像、または補正画像を第１のフレームメモリ６１１に入力するとしたが、第１のフレームメモリ６１１、第２のフレームメモリ６１２交互に入力するようにしてもよい。画像処理回路６では、補正した画像の差分が得られればよく、本発明は以上の実施例１〜３に限定されない。例えば、画像保存メモリ６１は、差分回路６３の差分演算に必要な限りで備えればよく、必ずしも必須ではない。このメモリの代替手段としては画像処理回路６が画像のビット信号を遅延して、差分回路６３に入力して差分演算をしてもよい。 In the first to third embodiments, the latest captured image or corrected image is input to the first frame memory 611. However, the first frame memory 611 and the second frame memory 612 are input alternately. Also good. The image processing circuit 6 only needs to obtain a corrected image difference, and the present invention is not limited to the first to third embodiments. For example, the image storage memory 61 may be provided as long as it is necessary for the difference calculation of the difference circuit 63 and is not necessarily essential. As an alternative to this memory, the image processing circuit 6 may delay the bit signal of the image and input it to the difference circuit 63 to perform the difference calculation.

また、以上のすべての実施形態で、カメラ３は、露光時間に限らず、絞りその他により撮像条件を定め、撮像段階で画像を調整してもよい。この場合には、補正回路６２は、その調整を考慮に入れて、撮像条件が一定になるように補正する。この構成も、本発明の「撮像条件設定手段」に相当する。
タイミング発生回路４は、照明２の照明のオン、オフ、撮像タイミングを定めることができればよい。例えば、タイミング信号は、図３等に示したインパルス状のものでなくてもよく、矩形波の連続でもよい。この信号のエッジは、立ち上がり、立下りいずれでもよい。また、照明２は被写体に光を当てることができればよく、ＬＥＤに限らない。 In all the embodiments described above, the camera 3 is not limited to the exposure time, but may define an imaging condition by an aperture or the like and adjust an image at the imaging stage. In this case, the correction circuit 62 corrects the imaging conditions to be constant taking into account the adjustment. This configuration also corresponds to “imaging condition setting means” of the present invention.
The timing generation circuit 4 only needs to be able to determine the illumination on / off and imaging timing of the illumination 2. For example, the timing signal may not be the impulse-like signal shown in FIG. 3 or the like, and may be a continuous rectangular wave. The edge of this signal may be either rising or falling. Moreover, the illumination 2 should just be able to irradiate light to a to-be-photographed object, and is not restricted to LED.

本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置に応用できる。例えば、車両に搭載し、運転者の表情を察知して、眠気の警告を出す顔認識システムや、車両周囲の障害物等を検出するレーダや、車庫入れの補助をする装置や、交通の混雑状況を報告する路面監視装置等にも応用できる。 The present invention can be applied to an imaging apparatus that cancels disturbance light such as natural light from a captured image using a difference image. For example, a face recognition system that is mounted on a vehicle, detects the driver's facial expression and gives a drowsiness warning, a radar that detects obstacles around the vehicle, a device that assists garage storage, and traffic congestion It can also be applied to road surface monitoring devices that report the situation.

本発明の第１実施形態に係る撮像装置の構成Configuration of Imaging Device According to First Embodiment of the Present Invention 本発明の第１実施形態に係る撮像装置の実施例１の構成Configuration of Example 1 of imaging apparatus according to first embodiment of the present invention 本発明の第１実施形態に係る撮像装置の実施例１のタイミングチャートTiming chart of Example 1 of the imaging apparatus according to the first embodiment of the present invention. 本発明の第１実施形態に係る撮像装置の実施例２の構成Configuration of Example 2 of imaging device according to first embodiment of the present invention 本発明の第１実施形態に係る撮像装置の実施例２のタイミングチャートTiming chart of Example 2 of the imaging apparatus according to the first embodiment of the present invention. 本発明の第１実施形態に係る撮像装置の実施例３の構成Configuration of Example 3 of imaging device according to first embodiment of the present invention 本発明の第１実施形態に係る撮像装置の実施例３のタイミングチャートTiming chart of Example 3 of the imaging device according to the first embodiment of the present invention. 本発明の第２実施形態に係る撮像装置の構成Configuration of Imaging Device According to Second Embodiment of the Present Invention 本発明の第２実施形態に係る撮像装置の補正に用いる補正テーブルCorrection table used for correction of imaging apparatus according to second embodiment of the present invention 従来の差分画像を出力する撮像装置のタイミングチャートTiming chart of conventional imaging device that outputs difference image

符号の説明Explanation of symbols

１…撮像装置
２…照明
３…カメラ
３１…露光時間設定部
４…タイミング発生回路
５…照明制御回路
６…画像処理回路
６１…画像保存メモリ
６１１…第１のフレームメモリ
６１２…第２のフレームメモリ
６２…補正回路
６３…差分回路
６４…補正テーブル
１０１…被写体
１０２…太陽 DESCRIPTION OF SYMBOLS 1 ... Imaging device 2 ... Illumination 3 ... Camera 31 ... Exposure time setting part 4 ... Timing generation circuit 5 ... Illumination control circuit 6 ... Image processing circuit 61 ... Image storage memory 611 ... 1st frame memory 612 ... 2nd frame memory 62 ... Correction circuit 63 ... Difference circuit 64 ... Correction table 101 ... Subject 102 ... Sun

Claims

被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
前記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
前記撮像部の撮像方向に向けて光を照射する照明部であって、前記タイミング信号に合わせて、交互に前記光をオン、オフに切り換える照明部と、
前記撮像部が撮像する撮像画像が適正輝度になるように、露光時間を含む撮像条件を設定する撮像条件設定手段と、
前記撮像画像の輝度の補正を行う補正手段と、
前記タイミング信号の隣接する周期において前記撮像部が撮像した撮像画像についてそれぞれ前記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
前記撮像条件設定手段は、前記撮像画像が、前記照明部の光がオンの時間帯、オフの時間帯のいずれに撮像されたかに関わらず、前記タイミング信号ごとに個別に撮像条件を調整し、
前記補正手段は、前記撮像部が撮像した各撮像画像の撮像条件が前記差分画像の生成の際に一定になるように、前記撮像画像の輝度について補正を行い、
前記差分画像生成手段は、前記タイミング信号と同じ周期で、前記差分画像を生成することを特徴とする撮像装置。 In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illumination unit that emits light toward the imaging direction of the imaging unit, and the illumination unit alternately switches the light on and off in accordance with the timing signal;
An imaging condition setting means for setting an imaging condition including an exposure time so that a captured image captured by the imaging unit has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in an adjacent period of the timing signal,
The imaging condition setting means adjusts the imaging condition individually for each timing signal regardless of whether the captured image is captured in a time zone in which the light of the illumination unit is on or in an off time zone,
The correction means corrects the luminance of the captured image so that the imaging condition of each captured image captured by the imaging unit is constant when the difference image is generated,
The difference image generation unit generates the difference image at the same cycle as the timing signal.

前記撮像装置は、前記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶するそれぞれ第１のフレームメモリと第２のフレームメモリをさらに備え、
前記補正手段は、前記第１のフレームメモリ、前記第２のフレームメモリが記憶した最近の２枚の撮像画像について、それぞれ補正を行い、
前記差分画像生成手段は、前記第１のフレームメモリ、前記第２のフレームメモリに記憶された撮像画像に対しそれぞれ前記補正手段が補正した補正画像について、前記差分画像を生成することを特徴とする請求項１に記載の撮像装置。 The imaging device further includes a first frame memory and a second frame memory, respectively, for storing the latest two captured images among the captured images captured by the imaging unit,
The correction means corrects each of the two latest captured images stored in the first frame memory and the second frame memory,
The difference image generation means generates the difference image for the corrected images corrected by the correction means for the captured images stored in the first frame memory and the second frame memory, respectively. The imaging device according to claim 1.

被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
前記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
前記撮像部の撮像方向に向けて光を照射する照明部であって、前記タイミング信号に合わせて、交互に前記光をオン、オフに切り換える照明部と、
前記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶する第１のフレームメモリと第２のフレームメモリと、
前記撮像の撮像部が撮像する撮像画像が適正輝度になるよう、露光時間を含む撮像条件を設定する撮像条件設定手段と、
前記撮像画像の輝度の補正を行う補正手段と、
前記タイミング信号の隣接する周期において前記撮像部が撮像した撮像画像についてそれぞれ前記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
前記撮像条件設定手段は、前記照明部の光がオンの時間帯、前記照明部の光がオフの時間帯のいずれか一方における撮像条件を、前記撮像画像が適正輝度になるように調整すると共に、他方の時間帯における撮像条件を一定に設定し、
前記補正手段は、前記一方の時間帯における撮像条件が、前記他方の時間帯における撮像条件と、前記差分画像の生成の際に同じになるように前記補正を行い、
前記差分画像生成手段は、前記補正手段により補正された補正画像と前記補正がされていない撮像画像とについて、前記タイミング信号と同じ周期で前記差分画像を生成することを特徴とする撮像装置。 In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illumination unit that emits light toward the imaging direction of the imaging unit, and the illumination unit alternately switches the light on and off in accordance with the timing signal;
A first frame memory and a second frame memory for storing two recent captured images of the captured images captured by the imaging unit;
Imaging condition setting means for setting imaging conditions including an exposure time so that a captured image captured by the imaging unit of the imaging has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in an adjacent period of the timing signal,
The imaging condition setting means adjusts an imaging condition in one of a time zone in which the light of the illumination unit is on and a time zone in which the light of the illumination unit is off so that the captured image has appropriate luminance. , Set the imaging conditions in the other time zone constant,
The correction means performs the correction so that the imaging condition in the one time zone is the same as the imaging condition in the other time zone when generating the difference image,
The imaging apparatus according to claim 1, wherein the difference image generation unit generates the difference image at the same cycle as the timing signal for the corrected image corrected by the correction unit and the captured image that has not been corrected.

前記撮像装置は、画像を記憶する第１のフレームメモリと第２のフレームメモリをさらに備え、
前記補正手段は、前記撮像部により撮像した撮像画像について補正を行い、
前記撮像装置は、以下の（Ａ）ないし（Ｃ）の処理を実行することを特徴とする撮像装置。
（Ａ）前記補正手段がすでに補正した最近の補正画像を、前記第１のフレームメモリに記憶させ、
（Ｂ）前記第１のフレームメモリに記憶された前記補正画像を前記第２のフレームメモリに移動させると共に、前記補正手段が新たに補正した最近の補正画像を前記第１のフレームメモリに記憶させて、これにより、前記補正手段により補正した最近の２枚の補正画像を前記第１のフレームメモリ、第２のフレームメモリに記憶させ、
（Ｃ）前記第１のフレームメモリ、第２のフレームメモリに記憶された撮像画像について差分画像を生成する。 The imaging device further includes a first frame memory and a second frame memory for storing an image,
The correction unit corrects a captured image captured by the imaging unit,
The imaging apparatus performs the following processes (A) to (C).
(A) The latest corrected image already corrected by the correcting means is stored in the first frame memory,
(B) The correction image stored in the first frame memory is moved to the second frame memory, and the latest correction image newly corrected by the correction means is stored in the first frame memory. Thus, the latest two corrected images corrected by the correction means are stored in the first frame memory and the second frame memory,
(C) A difference image is generated for the captured images stored in the first frame memory and the second frame memory.

前記補正手段は、露光時間と輝度の補正量を対応付けた補正データを記憶する記憶部を備え、前記記憶部内の補正データに基づいて、輝度を補正することを特徴とする請求項１に記載の撮像装置。 The correction unit includes a storage unit that stores correction data in which an exposure time and a luminance correction amount are associated with each other, and corrects the luminance based on the correction data in the storage unit. Imaging device.

前記撮像条件設定手段は、周囲の明るさが予め定めた範囲の場合には、前記撮像条件を一定にし、前記範囲を超える場合に限り、周囲の明るさに応じて、前記撮像条件を調整し、
前記補正手段は、前記撮像条件が調整された撮像画像についてのみ、前記補正を行うことを特徴とする請求項１に記載の撮像装置。 The imaging condition setting means makes the imaging condition constant when the ambient brightness is in a predetermined range, and adjusts the imaging condition according to the ambient brightness only when exceeding the range. ,
The imaging apparatus according to claim 1, wherein the correction unit performs the correction only on a captured image in which the imaging condition is adjusted.

前記差分画像生成手段は、前記タイミング信号と同じ周期で生成された前記差分画像を、複数回分加算して生成する積分手段を備えることを特徴とする請求項１または請求項２に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the difference image generation unit includes an integration unit that generates the difference image generated at the same cycle as the timing signal by adding the difference image a plurality of times. .