JP2010050535A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2010050535A JP2010050535A JP2008210743A JP2008210743A JP2010050535A JP 2010050535 A JP2010050535 A JP 2010050535A JP 2008210743 A JP2008210743 A JP 2008210743A JP 2008210743 A JP2008210743 A JP 2008210743A JP 2010050535 A JP2010050535 A JP 2010050535A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- captured
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置に関する。 The present invention relates to an imaging apparatus that cancels disturbance light such as natural light from a captured image using a difference image.
従来、光源をオンにしたときの画像と、オフにしたときの画像との差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置等が開示されている(特許文献1の図1、特許文献2の段落65等)。これによれば、外乱光は一定に照射されているとみなせるから、撮像装置は、光源が被写体に当たって反射した光のみに基づく撮像画像を得ることができ、外乱光の影響を除去できる。
2. Description of the Related Art Conventionally, an imaging apparatus that cancels disturbance light such as natural light from a captured image using a difference image between an image when a light source is turned on and an image when the light source is turned off has been disclosed (FIG. 1 of Patent Document 1). 1, paragraph 65 of
図10のタイミングチャートを用いて、従来の撮像装置の画像出力について説明する。撮像装置のタイミング発生回路は、撮像の開始時期を定めるタイミング信号を出力する。撮像装置の照明部は、タイミング信号と同期して、照明源であるLEDの信号(LED信号と称する)のオン、オフを繰り返す。カメラは、タイミング信号と同期して撮像を開始し、次のタイミング信号で撮像した画像を出力する。第1のフレームメモリは、最近撮像した画像(ON1画像)を記憶する。撮像装置は、第1のフレームメモリの画像(ON1画像)を、次のフレーム期間で、第2のフレームメモリに移動させると共に、第1のフレームメモリは、撮像素子で記憶した最新の画像(OFF1画像)を記憶する。ここで、LED信号のオン、オフの1回のセットの撮像については、撮像条件を共通にするため、撮像装置は、カメラの露光時間を同じになるよう調整する(カメラ制御1、カメラ制御2・・・)。また、撮像装置は、このオン、オフ1回ずつで撮像された2枚の画像を差分して出力する(ON1画像−OFF1画像・・・)。
The image output of the conventional imaging device will be described using the timing chart of FIG. The timing generation circuit of the imaging device outputs a timing signal that determines the start time of imaging. The illumination unit of the imaging apparatus repeats on / off of a signal (referred to as an LED signal) of an LED serving as an illumination source in synchronization with the timing signal. The camera starts imaging in synchronization with the timing signal and outputs an image captured with the next timing signal. The first frame memory stores a recently captured image (ON1 image). The imaging apparatus moves the first frame memory image (ON1 image) to the second frame memory in the next frame period, and the first frame memory stores the latest image (OFF1) stored in the imaging device. Image). Here, the imaging device adjusts the exposure time of the camera to be the same in order to make the imaging conditions common for the imaging of one set of turning on and off the LED signal (
このように、従来の撮像装置は、2回の撮像に対し1回の割合で差分画像を出力していた(特許文献1の図12、特許文献3の図1)。したがって、撮像装置は、撮像素子本来のフレームレートに対し半分のフレームレートでしか動画を出力できなかった。これは、光源をオンにしたときの画像とオフにしたときとで撮像条件を同じにしつつ、外乱光の変化に対応するためである。
As described above, the conventional imaging apparatus outputs a difference image at a rate of once for two times of imaging (FIG. 12 of
即ち、外乱光の強度によっては、その強度が撮像素子の感度の許容範囲から外れるおそれがある。例えば、撮像素子が飽和して、撮像画像が白やけになってしまったり、逆に撮像画像に輝度がなく黒の塗りつぶしになってしまったりする(特許文献3には、その解決課題が記載されている)。そこで、撮像装置のコントローラは、露光時間の調整を含む撮像条件の調整を行う。この調整は、刻々と変化する外乱の状況に合わせて行われる。 That is, depending on the intensity of disturbance light, the intensity may be out of the allowable range of sensitivity of the image sensor. For example, the image sensor is saturated and the captured image becomes whitish, or conversely, the captured image has no brightness and is painted black (Patent Document 3 describes the problem to be solved). ) Therefore, the controller of the imaging apparatus adjusts the imaging conditions including the adjustment of the exposure time. This adjustment is performed in accordance with the disturbance situation that changes every moment.
ただし、このような差分画像を出力する撮像装置は、光源をオンにしたときの画像と、オフにしたときで撮像条件が同じに設定されていなければ、差分画像において、効果的に外乱光をキャンセルすることができない。そこで、従来は、オン、オフ合わせて2回で1セットの撮像につき、撮像条件を共通にし、このセットから差分画像を1フレーム分、出力していた。そして、撮像条件を、このオン、オフのセットを単位として、状況に合わせて刻々と変化させていた。
しかしながら、従来の差分画像を出力する撮像装置は、上述のように撮像素子本来のフレームレートに対し半分のフレームレートでしか動画を出力できない問題があった。その結果、撮像装置は、滑らかに動画を出力できないおそれがあった。 However, the conventional imaging device that outputs a differential image has a problem that a moving image can be output only at a half frame rate with respect to the original frame rate of the imaging device as described above. As a result, the imaging apparatus may not be able to output a moving image smoothly.
また、フレームレートが減少すると、以下の問題が派生する。
第1には、撮像装置のフレームレートが半分になると、撮像装置の外乱光に対する追従速度も半分になる問題があった。つまり、照明をオンにする時間帯、照明をオフにする時間帯における撮像条件を互いに共通にするために、従来の撮像装置は、2回の撮像に対し1回の割合でしか、カメラの制御をしていなかった(図10のカメラ制御1、カメラ制御2・・・)。したがって、撮像装置が外乱光の急な変化に対応できず、露光時間を適正に設定できない可能性があった。
Further, when the frame rate is reduced, the following problems are derived.
First, when the frame rate of the imaging apparatus is halved, there is a problem that the tracking speed of the imaging apparatus with respect to disturbance light is also halved. That is, in order to make the imaging conditions common in the time zone when the illumination is turned on and the time zone when the illumination is turned off, the conventional imaging apparatus controls the camera only at a rate of once per two imagings. (
第2には、動画を圧縮記録する場合に問題が生じうる。即ち、動画を圧縮する装置は、背景に対して動きのある登場人物の移動方向を計算する。フレームレートが減少すると、登場人物が次のフレームまでの間に移動する量が大きくなる。そうすると、どの部分が動いたのかを判断するために、広い範囲を探索する必要があるので、この装置は、その計算に時間がかかる。また、次のフレームまでにこの探索対象物が画像の枠外へはみ出てしまったりして、滑らかに画像を圧縮できない虞があった。 Second, a problem may occur when a moving image is compressed and recorded. That is, an apparatus for compressing a moving image calculates a moving direction of a character who moves with respect to the background. As the frame rate decreases, the amount of movement of the character between the next frame increases. Then, since it is necessary to search a wide range in order to determine which part has moved, this apparatus takes time to calculate. In addition, there is a possibility that the search object may protrude beyond the frame of the image by the next frame and the image cannot be compressed smoothly.
そこで、本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子本来のフレームレートで差分画像を生成することを目的とする。 Accordingly, an object of the present invention is to generate a difference image at a frame rate inherent to an image sensor with a simple configuration in an imaging apparatus that cancels disturbance light such as natural light from the captured image using the difference image.
上記目的を達成するために、以下の構成を備えることができる。 In order to achieve the above object, the following configuration can be provided.
(1)本発明は、
被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
上記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
上記撮像部の撮像方向に向けて光を照射する照明部であって、上記タイミング信号に合わせて、交互に上記光をオン、オフに切り換える照明部と、
上記撮像部が撮像する撮像画像が適正輝度になるように、露光時間を含む撮像条件を設定する撮像条件設定手段と、
上記撮像画像の輝度の補正を行う補正手段と、
上記タイミング信号の隣接する周期において上記撮像部が撮像した撮像画像についてそれぞれ上記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
上記撮像条件設定手段は、上記撮像画像が、上記照明部の光がオンの時間帯、オフの時間帯のいずれに撮像されたかに関わらず、上記タイミング信号ごとに個別に撮像条件を調整し、
上記補正手段は、上記撮像部が撮像した各撮像画像の撮像条件が上記差分画像の生成の際に一定になるように、上記撮像画像の輝度について補正を行い、
上記差分画像生成手段は、上記タイミング信号と同じ周期で、上記差分画像を生成することを特徴とする撮像装置である。
(1) The present invention
In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illuminating unit that emits light toward the imaging direction of the imaging unit, wherein the illuminating unit switches the light alternately on and off in accordance with the timing signal;
An imaging condition setting means for setting an imaging condition including an exposure time so that a captured image captured by the imaging unit has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in the adjacent period of the timing signal,
The imaging condition setting means adjusts the imaging conditions individually for each timing signal regardless of whether the captured image is captured in the time zone when the light of the illumination unit is on or off.
The correction means corrects the luminance of the captured image so that the imaging condition of each captured image captured by the imaging unit is constant when the difference image is generated,
The difference image generation means is an imaging device that generates the difference image at the same cycle as the timing signal.
この構成では、撮像部が撮像する上記タイミングに合わせて、照明部が交互に上記光をオン、オフに切り換えるので、差分画像は、タイミング信号の隣接した周期(隣接したフレーム期間)の撮像画像同士を差分したものであり、常に、上記光をオン、オフにしたときの差になる。 In this configuration, the illumination unit alternately switches on and off the light in accordance with the timing at which the imaging unit captures an image. Therefore, the difference image is obtained by capturing the captured images in adjacent periods (adjacent frame periods) of the timing signal. Is always the difference when the light is turned on and off.
ここで、差分画像により外乱光を効果的にキャンセルするには、上記光をオン、オフにしたときの撮像条件を同じにするのが望ましい。撮像部本来のフレームレートで(つまりタイミング信号の周期毎に)差分画像を生成するには、差分するオン時、オフ時の両画像の撮像条件を常に均一にするのが望ましい。一方、外乱光は刻々変化するから、撮像部の撮像素子の感度の許容範囲外にならないよう、これに対応する必要がある。 Here, in order to effectively cancel the disturbance light by the difference image, it is desirable that the imaging conditions when the light is turned on and off are the same. In order to generate a differential image at the original frame rate of the imaging unit (that is, for each period of the timing signal), it is desirable to always make the imaging conditions of both images different at the time of differential ON and OFF. On the other hand, since disturbance light changes every moment, it is necessary to cope with this so as not to fall outside the permissible range of sensitivity of the image sensor of the imaging unit.
この構成では、上記撮像画像が、上記照明部の光がオンの状態、オフの状態で撮像されたか否かに関わらず、撮像条件設定手段が露光時間を含む撮像条件を調整する。 In this configuration, the imaging condition setting unit adjusts the imaging condition including the exposure time regardless of whether the captured image is captured with the light of the illumination unit turned on or off.
そして、この構成では、補正部が、差分する画像の撮像条件を一定にする補正をしているので、照明部が光をオンにするタイミング、オフにするタイミングのいずれで撮像したかに関わらず、差分画像の生成前に撮像条件が一定になるよう補正することができる。したがって、差分画像生成手段は、外乱光の影響をキャンセルしつつ、撮像部のタイミング信号の周期毎に差分画像を生成することができる。つまり、撮像装置は、撮像素子本来のフレームレートで差分画像を生成することができる。なお、この補正は、例えば、露光時間に反比例して輝度を変化させるようにしてもよいし、パラメータ曲線で対応させてもよい。 In this configuration, since the correction unit corrects the imaging conditions of the difference image to be constant, regardless of whether the illumination unit captures the image at the timing of turning on or off the light. The imaging conditions can be corrected to be constant before the difference image is generated. Therefore, the difference image generation means can generate a difference image for each period of the timing signal of the imaging unit while canceling the influence of disturbance light. That is, the imaging apparatus can generate a difference image at the original frame rate of the imaging device. Note that this correction may be performed by changing the luminance in inverse proportion to the exposure time, or may be performed by a parameter curve.
(2)上記撮像装置は、上記撮像部により撮像した撮像画像のうち、最近の2枚の撮像画像を記憶するそれぞれ第1のフレームメモリと第2のフレームメモリをさらに備え、
上記補正手段は、上記第1のフレームメモリ、上記第2のフレームメモリが記憶した最近の2枚の撮像画像について、それぞれ補正を行い、
上記差分画像生成手段は、上記第1のフレームメモリ、上記第2のフレームメモリに記憶された撮像画像に対しそれぞれ上記補正手段が補正した補正画像について、上記差分画像を生成するようにしてもよい。
(2) The imaging apparatus further includes a first frame memory and a second frame memory, respectively, for storing the latest two captured images among the captured images captured by the imaging unit,
The correction means corrects each of the two latest captured images stored in the first frame memory and the second frame memory,
The difference image generation means may generate the difference image for the corrected images corrected by the correction means for the captured images stored in the first frame memory and the second frame memory, respectively. .
(3)本発明は、
被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
上記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
上記撮像部の撮像方向に向けて光を照射する照明部であって、上記タイミング信号に合わせて、交互に上記光をオン、オフに切り換える照明部と、
上記撮像部により撮像した撮像画像のうち、最近の2枚の撮像画像を記憶する第1のフレームメモリと第2のフレームメモリと、
上記撮像の撮像部が撮像する撮像画像が適正輝度になるよう、露光時間を含む撮像条件を設定する撮像条件設定手段と、
上記撮像画像の輝度の補正を行う補正手段と、
上記タイミング信号の隣接する周期において上記撮像部が撮像した撮像画像についてそれぞれ上記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
上記撮像条件設定手段は、上記照明部の光がオンの時間帯、上記照明部の光がオフの時間帯のいずれか一方における撮像条件を、上記撮像画像が適正輝度になるように調整すると共に、他方の時間帯における撮像条件を一定に設定し、
上記補正手段は、上記一方の時間帯における撮像条件が、上記他方の時間帯における撮像条件と、上記差分画像の生成の際に同じになるように上記補正を行い、
上記差分画像生成手段は、上記補正手段により補正された補正画像と上記補正がされていない撮像画像とについて、上記タイミング信号と同じ周期で上記差分画像を生成することを特徴とする撮像装置としてもよい。
(3) The present invention
In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illuminating unit that emits light toward the imaging direction of the imaging unit, wherein the illuminating unit alternately switches the light on and off in accordance with the timing signal;
A first frame memory and a second frame memory for storing the latest two captured images among the captured images captured by the imaging unit;
Imaging condition setting means for setting an imaging condition including an exposure time so that a captured image captured by the imaging unit of the imaging has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in the adjacent period of the timing signal,
The imaging condition setting means adjusts an imaging condition in one of a time zone in which the light of the illumination unit is on and a time zone in which the light of the illumination unit is off so that the captured image has proper luminance. , Set the imaging conditions in the other time zone constant,
The correction means performs the correction so that the imaging condition in the one time zone is the same as the imaging condition in the other time zone when generating the difference image,
The difference image generation unit may generate the difference image with the same period as the timing signal for the corrected image corrected by the correction unit and the captured image that has not been corrected. Good.
この構成では、差分をとる画像のうち片方のフレームメモリに記憶した画像についてだけ、補正部が撮像した撮像画像を補正するので、簡易な構成にすることができる。例えば、光がオンの時間帯について、撮像画像に白焼けが生じにくいようにそれぞれの露光時間を一定の短い時間に設定することができる。この場合には、照明部が光をオフにしているときだけ補正すればよい。また、逆に光がオフの各時間帯について、撮像画像が暗くならないように、露光時間を一定の長い時間に設定することができる。この場合、照明部が光を当てているときだけ補正すればよい。なお、露光時間を一定にするとは、より詳細に言えば、光がオンの時間帯、オフの時間帯は交互に繰り返すので、オンの時間帯、オフの時間帯はそれぞれ複数あり、そのうちの一方について当該複数の時間帯の撮像条件を共通の値にすることをいう。 In this configuration, the captured image captured by the correction unit is corrected only for the image stored in one frame memory among the images for which the difference is taken, so that the configuration can be simplified. For example, each exposure time can be set to a certain short time so that the imaged image is less likely to be burnt in the light-on time zone. In this case, it is only necessary to correct when the illumination unit is turning off the light. Conversely, for each time zone when the light is off, the exposure time can be set to a certain long time so that the captured image does not become dark. In this case, it is only necessary to correct when the illumination unit is shining light. More specifically, making the exposure time constant means that the light on-time and off-time zones are alternately repeated, so there are a plurality of on-time zones and off-time zones. Is a common value for the imaging conditions of the plurality of time zones.
(4)上記撮像装置は、画像を記憶する第1のフレームメモリと第2のフレームメモリをさらに備え、
上記補正手段は、上記撮像部により撮像した撮像画像について補正を行い、
上記撮像装置は、以下の(A)ないし(C)の処理を実行することを特徴としてもよい。
(A)上記補正手段がすでに補正した最近の補正画像を、上記第1のフレームメモリに記憶させ、
(B)上記第1のフレームメモリに記憶された上記補正画像を上記第2のフレームメモリに移動させると共に、上記補正手段が新たに補正した最近の補正画像を上記第1のフレームメモリに記憶させて、これにより、上記補正手段により補正した最近の2枚の補正画像を上記第1のフレームメモリ、第2のフレームメモリに記憶させ、
(C)上記第1のフレームメモリ、第2のフレームメモリに記憶された撮像画像について差分画像を生成する。
。
(4) The imaging apparatus further includes a first frame memory and a second frame memory for storing an image,
The correction unit corrects a captured image captured by the imaging unit,
The imaging apparatus may perform the following processes (A) to (C).
(A) The latest corrected image already corrected by the correcting means is stored in the first frame memory,
(B) The correction image stored in the first frame memory is moved to the second frame memory, and the latest correction image newly corrected by the correction means is stored in the first frame memory. Thus, the latest two corrected images corrected by the correction means are stored in the first frame memory and the second frame memory,
(C) A difference image is generated for the captured images stored in the first frame memory and the second frame memory.
.
この構成では、撮像条件設定手段が露光時間を設定した場合に、補正手段は、露光時間と輝度の補正量を対応付けた補正データに基づいて、輝度を補正する。この構成では、輝度の補正量を露光時間と補正テーブルに基づいて、より厳密に定めることができる。したがって、上記差分画像生成手段は、より正確に外乱光をキャンセルした差分画像を生成できる。 In this configuration, when the imaging condition setting unit sets the exposure time, the correction unit corrects the luminance based on correction data in which the exposure time and the luminance correction amount are associated with each other. In this configuration, the luminance correction amount can be determined more strictly based on the exposure time and the correction table. Therefore, the difference image generation means can generate a difference image in which disturbance light is canceled more accurately.
(5)上記補正手段は、露光時間と輝度の補正量を対応付けた補正データを記憶する記憶部を備え、上記記憶部内の補正データに基づいて、輝度を補正するようにしてもよい。 (5) The correction unit may include a storage unit that stores correction data in which an exposure time and a luminance correction amount are associated with each other, and may correct the luminance based on the correction data in the storage unit.
この構成では、差分画像生成手段は、補正済みの画像を第1のフレームメモリ、第2のフレームメモリへ順に移動させる。ここで、第1のフレームメモリ、第2のフレームメモリに記憶された画像はいずれも補正されたものである。したがって、隣接したフレーム期間で撮像された画像は、常に補正されたものである。したがって、この構成では、第1のフレームメモリ、第2のフレームメモリに対応して、補正部を2つ設ける必要がないので簡易な構成とすることができる。 In this configuration, the difference image generation means moves the corrected image to the first frame memory and the second frame memory in order. Here, both the images stored in the first frame memory and the second frame memory are corrected. Therefore, images captured in adjacent frame periods are always corrected. Therefore, in this configuration, since it is not necessary to provide two correction units corresponding to the first frame memory and the second frame memory, a simple configuration can be achieved.
(6)上記撮像条件設定手段は、周囲の明るさが予め定めた範囲の場合には、上記撮像条件を一定にし、上記範囲を超える場合に限り、周囲の明るさに応じて、上記撮像条件を調整し、
上記補正手段は、上記撮像条件が調整された撮像画像についてのみ、上記補正を行うようにしてもよい。
(6) The imaging condition setting means makes the imaging condition constant when the ambient brightness is in a predetermined range, and according to the ambient brightness only when the ambient condition exceeds the range. Adjust
The correction unit may perform the correction only for a captured image in which the imaging condition is adjusted.
輝度の補正をすると、画質が低下する場合がある。この構成では、補正を最小限にするように、上記撮像部は、周囲の明るさが予め定めた範囲の場合には、露光時間等の撮像条件を一定にする。したがって、この範囲では補正が不要になり、画質を落とさなくて済む。また、この範囲を超える場合には、撮像部が露光時間を調整し、補正手段が画像の補正を行う。したがって、この場合には、撮像装置は、外部光の強度に応じて適正な撮像ができるよう調整できると共に、撮像条件を差分前に一定に保つことができる。 When the luminance is corrected, the image quality may be deteriorated. In this configuration, in order to minimize correction, the imaging unit makes imaging conditions such as exposure time constant when the ambient brightness is in a predetermined range. Accordingly, no correction is required in this range, and the image quality does not have to be degraded. If the range is exceeded, the imaging unit adjusts the exposure time, and the correction unit corrects the image. Therefore, in this case, the imaging apparatus can be adjusted so that appropriate imaging can be performed according to the intensity of external light, and the imaging condition can be kept constant before the difference.
(7)上記差分画像生成手段は、上記タイミング信号と同じ周期で生成された上記差分画像を、複数回分加算して生成する積分手段を備えるようにしてもよい。 (7) The difference image generation means may include integration means for generating the difference image generated at the same cycle as the timing signal by adding the difference image a plurality of times.
この構成では、複数回分のフレームを積分して出力することが前提の撮像装置では、従来の撮像装置の2倍のフレームレートで差分画像を出力することができる。即ち、この構成の撮像装置は、タイミング信号と同じ周期で差分画像を出力するので、従来のように照明部のオン、オフの2回の撮像をセットにして差分画像を出力する撮像装置と同一回数、合成するのであれば、その2倍のフレームレートで差分画像を出力することができる。 With this configuration, an imaging apparatus that is based on the assumption that a plurality of frames are integrated and output can output a difference image at a frame rate twice that of a conventional imaging apparatus. That is, the image pickup apparatus configured as described above outputs a difference image at the same cycle as the timing signal, and thus is the same as the conventional image pickup apparatus that outputs a difference image with two sets of ON / OFF imaging of the illumination unit as a set. If they are combined a number of times, a difference image can be output at twice the frame rate.
本発明によれば、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子のフレームレートで差分画像を生成することができる。 ADVANTAGE OF THE INVENTION According to this invention, in an imaging device which cancels disturbance light, such as natural light, from a captured image using a difference image, a difference image can be produced | generated with the frame rate of an image pick-up element with a simple structure.
図1〜図7を参照して、第1実施形態の撮像装置1について説明する。
With reference to FIGS. 1-7, the
図1は、撮像装置1の構成を表している。撮像装置1は、照明2、カメラ3、タイミング発生回路4、照明制御回路5、画像処理回路6を備える。なお、照明2、照明制御回路5は、合わせて、本発明の「照明部」に相当する。タイミング発生回路4は、本発明の「タイミング発生回路」に相当する。
FIG. 1 shows the configuration of the
照明2は、可視光、赤外光、電波のいずれかを発する。なお、以下、これら可視光、赤外光、電波を総称して便宜的に「光」と称する。本願では、カメラ3に入力して画像に変換可能な電磁波はすべて「光」に含まれるものとする。照明2は、例えばLEDとすることができる。照明2は、カメラ3の撮像方向と同じ方向を向いて備えられ、被写体101に対し、光を照射する。
The
カメラ3は、内部にC−MOSセンサなどの画像素子、シャッタを備え、被写体101を所定のサンプリングレートで動画として撮像し、デジタル形式の画像(以下、「撮像画像」と称する)を出力する。 The camera 3 includes an image element such as a C-MOS sensor and a shutter, captures the subject 101 as a moving image at a predetermined sampling rate, and outputs a digital image (hereinafter referred to as “captured image”).
カメラ3には、照明2のみならず、太陽102等の外乱光で被写体101(例えば顔)に反射した光が入射する。カメラ3は、露光時間設定部31を備え、設定部31は、太陽102等の外部の明るさに応じて、シャッタが開いている露光時間を調整し、露光時間をカメラ3に設定する。カメラ3は、露光時間設定部31が設定した露光時間に基づいて、シャッタを閉じる。
The camera 3 receives not only the
なお、以下では、このような露光時間などの、カメラ3が被写体を撮像する際に必要な条件を適宜「撮像条件」と称する。撮像条件には、少なくとも露光時間の調整を含み、場合により、絞りの調整その他を含めてもよい。 In the following, conditions necessary for the camera 3 to image a subject, such as the exposure time, are appropriately referred to as “imaging conditions”. The imaging conditions include at least adjustment of the exposure time, and may include adjustment of the aperture and the like depending on circumstances.
また、この露光時間設定部31は、本発明の「撮像条件設定手段」に相当する。 The exposure time setting unit 31 corresponds to “imaging condition setting means” of the present invention.
露光時間設定部31により、カメラ3は、撮像条件を調整し、撮像画像の輝度を適正にする。例えば、撮像した画像が暗い場合には、次のサンプリングレートでは、カメラ3の制御機構は、露光時間を長くして撮像画像の輝度を上げるような調整が可能であるし、逆に露光時間を短くして、撮像画像の輝度を抑えることも可能である。ただし、フレーム期間(後述で定義する)を一定に保つ必要性から、露光時間を1フレーム期間内に収める必要がある。 With the exposure time setting unit 31, the camera 3 adjusts the imaging conditions to make the brightness of the captured image appropriate. For example, when the captured image is dark, at the next sampling rate, the control mechanism of the camera 3 can be adjusted to increase the brightness of the captured image by increasing the exposure time. It is also possible to reduce the brightness of the captured image by shortening it. However, since it is necessary to keep the frame period (defined later) constant, it is necessary to keep the exposure time within one frame period.
ここで、露光時間設定部31が撮像画像の輝度を調整するには、前提として、撮像装置1が撮像画像の明るさを測定する必要がある。その測定方法は、外部に明度センサを設けるよりも、カメラ3が撮像した画像に基づいて行うのが一般的である。具体的には、カメラ3を部品として購入した場合、カメラ3内部に露光時間設定部31が設けられている場合があり、それに基づいて露光時間を調整してもよい。また、補正回路62が補正する場合のパラメータや補正量によって露光時間を調整してもよい。この場合には、露光時間を調整する構成をタイミング発生回路4または画像処理回路6に付加してもよい。この場合の当該構成も「撮像条件設定手段」に相当する。
Here, in order for the exposure time setting unit 31 to adjust the luminance of the captured image, it is necessary that the
タイミング発生回路4は、発振器、カウンタなどを備え、タイミング信号(後述、図3参照を生成する)。タイミング信号は、カメラ3がシャッタを開くタイミングを定めるパルスである。撮像タイミングは、厳密にはこのパルスのエッジで定められる。カメラ3は、タイミング信号のエッジを検出すると、カメラ3のシャッタを開く。なお、本願において、カメラ3が本来出力できるフレームレートとは、単位時間あたりに、カメラ3が撮像した撮像画像の数とする。また、動画のフレーム期間は、タイミングパルスの立ち上がりエッジと次のタイミングパルスの立ち上がりエッジの間隔とする。
The
照明制御回路5は、1フレーム期間ごとに、交互にHI、LOWを繰り返すパルス状のLED信号を生成する。また、照明制御回路5は、定電流源と電流制御用のトランジスタまたはFETを備え、トランジスタ、FETは、このLED信号を入力して、照明2の電源のオン、オフを繰り返す。これにより、照明2の電源のオンの時間帯、オフの時間帯は、1フレーム期間ごとに交互に切り換わる。
The
画像処理回路6は、高速で画像処理をするためのプロセッサ(DSP、デジタルシグナルプロセッサ)である。画像処理回路6は、画像保存メモリ61、補正回路62、差分回路63を備える。これにより、画像処理回路6は、カメラ3が撮像した画像について各々輝度の補正を行い、隣接したサンプリングタイムで撮像された撮像画像同士の差分画像を差分回路63より出力する。
The image processing circuit 6 is a processor (DSP, digital signal processor) for performing image processing at high speed. The image processing circuit 6 includes an
画像保存メモリ61は、カメラ3が撮像した撮像画像のうちの最近の2枚を一時的に保存するフレームメモリ(またはバッファ)である。画像保存メモリ61は、本発明のフレームメモリに相当する。
The
補正回路62は、カメラ3が撮像した画像の輝度を補正する。補正値は、具体的には、撮像画像の各画素の輝度の値を、カメラ3が露光していた時間に基づいて定めたゲインを掛け算または割り算して求める。撮像画像がRGB形式とすれば、RGBの値が大きいほど輝度が高くなる。例えば、補正後のRの輝度は、Rに対し所定のゲインを掛け算して求めることができる。なお、補正回路62による補正方法の詳細は後述する。
The
差分回路63は、補正回路62で処理された補正画像同士を引き算して、差分画像を生成する。この差分画像の生成は、タイミング信号の周期と同じ周期で(フレームレートで)行う。
The
次に、補正回路62、差分回路63、露光時間調整部31の作用および補正回路62の補正方法についてより詳細に説明する。
Next, the operation of the
差分回路63で出力する画像は、最近の撮像画像2枚であって、隣接したフレーム期間で撮像された画像の差分画像である。ここで、照明2は、撮像と同期して交互にオン、オフを繰り返しているので、隣接したフレームの差分画像は、常に、照明2を照射した明るい状態と、照射していない暗い状態との差分画像になる。この差分画像によれば、太陽102の外乱光の影響をキャンセルすることができ、照明2を被写体101に照射して反射した光に基づく撮像画像のみを取り込むことができる。このように、補正回路62が隣接するフレーム期間で撮像された画像同士を差分すれば、タイミング信号ごとに外乱光をキャンセルした画像が得られることになる。
The images output by the
しかし、外乱光を効果的にキャンセルするには、照明2が上記光をオンにしたとき、オフにしたときの撮像条件を互いに同じにするのが望ましい。本実施形態では、差分回路63は、サンプリングレートごとに差分画像を出力するから、(オン,オフ)1セットのみならず、オン,オフ,オン,オフ,・・・と連続する状態で、撮像条件を常に同じ条件にするのが望ましいことになる。一方、太陽102等の外乱光の強度は刻々変化するから、撮像素子の感度の許容範囲から外れないように、露光時間設定部31は撮像条件を調整しなければならない。
However, in order to effectively cancel the disturbance light, it is desirable that the imaging conditions when the
そこで、本実施形態では、外乱光に対する調整には、露光時間設定部31による露光時間の調整を用い、撮像画像の撮像条件を擬似的に一定にするために、補正回路62を用いる。ここで「擬似的」とは、ハードウェア的にはカメラ3の露光時間調整部31が、撮像条件をフレーム期間ごとに調整するので、本来は、撮像条件を一定にすることはできないが、差分回路63に入力する前の差分する画像同士の撮像条件を補正回路62により、差分前にあたかも一定にすることをいう。
Therefore, in the present embodiment, the adjustment to the disturbance light uses the adjustment of the exposure time by the exposure time setting unit 31, and the
露光時間設定部31は、撮像素子の感度の許容範囲外(例えば白焼け、黒の塗りつぶしの画像)にならないよう、または適正輝度で撮像できるよう、露光時間を調整する。この調整は、光の(オン,オフ)1セットを共通に行うのではなく、光のオン,オフにつき個別に行う。具体的には、照明2のオンの時、オフの時で別々に予め撮像条件を設定していてもよいし、外部の光の状態に応じて設定してもよいし、所定パルスごと、所定時間ごとに設定してもよい。
The exposure time setting unit 31 adjusts the exposure time so that it does not fall outside the allowable range of sensitivity of the image sensor (for example, an image with white or black fill), or can be imaged with appropriate luminance. This adjustment is not performed for one set of light (on / off) in common, but separately for each light on / off. Specifically, the imaging conditions may be set separately in advance when the
露光時間設定部31が露光時間を調整すると、その調整毎に撮像条件が異なることになり、光のオン,オフのときで互いに撮像条件が異なってしまう。そこで、補正回路62は、差分回路63に画像を入力する前に、輝度を補正する。これにより、補正回路62は、差分回路63で差分する前の撮像画像が、擬似的に一定の撮像条件(露光時間、その他絞り等)で撮像した画像になるようにする。露光時間と輝度はおおむね比例するから、補正回路62は、各画素の輝度をカメラ3が露光した露光時間の逆数を積算した値に補正する。
When the exposure time setting unit 31 adjusts the exposure time, the imaging conditions differ for each adjustment, and the imaging conditions differ when the light is on and off. Therefore, the
例えば、カメラ3が出力する画像データがRGB表色系であるとする。RGB表色系は、RGBの値が大きいほど輝度が高くなる。よって、RGBのうちの例えばRの値の補正は、補正したRの値をR’、比例定数A、露光時間T、輝度R、補正後の輝度R’として、
R’=R×A/T
と算出することができる。
For example, it is assumed that image data output from the camera 3 is an RGB color system. In the RGB color system, the larger the RGB value, the higher the luminance. Therefore, for example, the correction of the R value of RGB is performed by setting the corrected R value as R ′, proportionality constant A, exposure time T, luminance R, and corrected luminance R ′.
R ′ = R × A / T
Can be calculated.
なお、差分回路63において、輝度を補正した画像を差分できればよく、画像処理回路6は、その限りでどのように構成してもよい。例えば、補正回路62は、画像保存メモリ61に記憶したものを補正してもよいし、補正回路62が補正したものを補正回路62が記憶してもよい。以下の実施例1〜3でその具体例を示す。
Note that the
以下、図2〜図7を用いて、図1に示した撮像装置1の画像処理回路6の実施例1〜3について説明する。図2、図3は、実施例1の構成、タイミングチャートを、図4、図5は、実施例2の構成、タイミングチャートを、図6、図7は、実施例3の構成、タイミングチャートを、それぞれ示している。なお、図1で示した構成と同じ部分については、以上の説明を準用する。また、以下の説明で()内はタイミングチャートで示す画像の例を表すものとする。
Hereinafter,
(実施例1)
図2に示すように、実施例1の撮像装置1Aは、画像処理回路6の具体例として画像処理回路6Aを備える。画像処理回路6Aは、第1のフレームメモリ611、第2のフレームメモリ612、および各メモリ専用の補正回路621、622、差分回路63を備える。
Example 1
As illustrated in FIG. 2, the
図3に示すように、照明2は、タイミング信号と同期して、照明源であるLEDの信号(LED信号)のオン、オフを繰り返す。カメラ3は、タイミング信号と同期して、撮像を開始する。次のタイミング信号に同期して、画像処理回路6Aは、カメラ3が撮像した最新の画像を第1のフレームメモリ611に入力する(ON1画像)。次のフレーム期間で、回路6Aは、第1のフレームメモリ611(ON1画像)の内容を第2のフレームメモリ612に移動させ、新たにカメラ3が撮像した画像(OFF1画像)を第1のフレームメモリ611に入力する。つまり、メモリ611には最新の画像が入力され、第2のフレームメモリ612には、この最新の画像のフレーム期間と隣接する、1つ前のフレーム期間の補正画像が入力される。補正回路621、補正回路622は、それぞれ、第1のフレームメモリ611、第2のフレームメモリ612の内容について、上述したように輝度を補正する。差分回路63は、第1のフレームメモリ611、第2のフレームメモリ612の内容について補正された補正画像間で差分(ON1補正画像−OFF1補正画像)をとり、この差分画像を出力する。このように隣接したフレーム期間の撮像画像同士の差分画像は、常に、上記した照明2がオンの時間帯に撮像した画像、オフの時間帯に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、画像処理回路6Aは、常に、照明2がオンの時に撮像した撮像画像から、照明2がオフの時に撮像した撮像画像を引き算する。図3に示すように、差分回路63は、ON1補正画像−OFF1補正画像、ON2補正画像−OFF1補正画像・・・を出力する。
As shown in FIG. 3, the
(実施例2)
図4に示すように、実施例2の撮像装置1Bは、画像処理回路6の具体例として画像処理回路6Bを備える。画像処理回路6Bは、第1のフレームメモリ611、第2のフレームメモリ612、補正回路623、差分回路63を備える。
(Example 2)
As illustrated in FIG. 4, the
図5に示すように、照明2は、タイミング信号と同期して、LED信号のオン、オフを繰り返す。カメラ3は、タイミング信号と同期して、撮像を開始する。画像処理回路6Bは、カメラ3が撮像した最新の画像を第1のフレームメモリ611に入力する(ON1画像)。次のフレーム期間で、回路6Bは、第1のフレームメモリ611(ON1画像)の内容を第2のフレームメモリ612に移動させると共に、第1のフレームメモリ611の画像を撮像するのに用いた撮像条件を補正回路に入力する。また、画像処理回路6Bは、新たにカメラ3が撮像した画像(OFF1画像)をメモリ611に入力する。つまり、メモリ611、補正回路623には最新の画像が入力され、メモリ612には、この最新の画像のフレーム期間と隣接する、1つ前のフレーム期間の補正画像が入力される。補正回路623は、メモリ612の内容についてのみ、上述したように輝度を補正する。差分回路63は、メモリ611内の撮像画像、メモリ612内の補正画像との間で差分(ON1補正画像−OFF1画像)をとり、この差分画像を出力する。差分画像は、常に、上記した照明2がオンの時間帯に撮像した画像、オフの時間帯に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、画像処理回路6Bは、常に、照明2がオンの時間帯に撮像したものから、照明2がオフの時間帯に撮像した撮像画像の差を引き算する。図5に示すように、差分回路63は、ON1補正画像−OFF1画像、ON2画像−OFF1補正画像・・・を出力する。
As shown in FIG. 5, the
実施例2によれば、第1のフレームメモリ611、第2のフレームメモリ612の片方しか補正処理をしないので、別段の高速な処理をしなくても、実施例1のように、補正回路を2つ設ける必要がない。したがって、画像処理回路6Bを安価かつ簡易に構成できる。このように一方だけ補正する構成を実現するためには、照明2の光を当てている時間帯それぞれ、または照明2の光を当てていない時間帯それぞれのいずれか一方については、露光時間調整部31は、撮像条件を一定にする。例えば、照明2の光を当てている時間帯それぞれについて、撮像画像に白焼けが生じにくいように、露光時間調整部31は、光を当てている各時間帯に共通して、露光時間その他の撮像条件をある一定の短い値に設定する。このようにすれば、照明2の光がオンの時間帯には、カメラ3は、適正輝度で撮像できるから、補正が不要になる。他方、光を当てていない時間帯それぞれについては、露光時間調整部31は、外部の光の強度に応じて撮像条件を調整する。この場合、補正回路623は、光を当てていない時間帯に撮像した画像の撮像条件を、それぞれ、光を当てている時間帯に設定した一定の撮像条件と擬似的に同じになるように補正する。この補正は、カメラ3が実際に撮像した時に設定された撮像条件に応じて行う。また、撮像条件は、例えば、第1のフレームメモリ611のファイルに撮像条件を記述しておき、この条件を入力してもよい。
According to the second embodiment, since only one of the
逆に、照明2の光を当てていない時間帯それぞれについて、撮像画像が暗くならないように、露光時間調整部31は、露光時間をある一定の長い値に設定してもよい。照明2の光がオフの時間帯に撮像した画像には、適正輝度で撮像できるから、補正が不要になる。この場合、補正回路623は、光を当てていない時間帯に撮像した画像の撮像条件を、光を当てている時間帯に設定した一定の撮像条件と擬似的に同じになるように補正する。
On the other hand, the exposure time adjustment unit 31 may set the exposure time to a certain long value so that the captured image does not become dark for each time period when the light of the
なお、この実施例2では、露光時間調整部31は、上記他方の時間だけ、撮像条件を一定に設定した。しかし、露光時間調整部31は、照明2のオンの時間帯、オフの時間帯それぞれを別々の一定の撮像条件に設定してもよい。この場合には、露光時間調整部31は、オンの時間帯、オフの時間帯のいずれか一方の撮像条件についてのみ、他方の撮像条件と同じになるように、一律に同じ補正を行う。
In the second embodiment, the exposure time adjustment unit 31 sets the imaging condition constant for the other time. However, the exposure time adjustment unit 31 may set the
(実施例3)
図6に示すように、実施例2の撮像装置1Cは、画像処理回路6の具体例として画像処理回路6Cを備える。画像処理回路6Cは、第1のフレームメモリ611、第2のフレームメモリ612、補正回路624、差分回路63を備える。照明2は、タイミング信号と同期して、照明源であるLED信号のオン、オフを繰り返す。カメラ3は、タイミング信号と同期して、撮像を開始する。画像処理回路6Cは、カメラ3が撮像した最新の画像を補正回路624に入力する。また、補正回路624で補正済みの画像(補正画像)を第1のフレームメモリ611に入力する(ON1補正画像)。
(Example 3)
As illustrated in FIG. 6, the
図7に示すように、次のフレーム期間で、画像処理回路6Cは、第1のフレームメモリ611(ON1補正画像)の内容を第2のフレームメモリ612に移動させる。また、画像処理回路6Cは、新たにカメラ3が撮像し、補正回路624が補正した補正画像(OFF1補正画像)を第1のフレームメモリ611に入力する。つまり、第1のフレームメモリ611には最新の画像の補正画像が入力され、第2のフレームメモリ612には、この最新の画像のフレーム期間と隣接する、1つ前のフレーム期間の補正画像が入力される。差分回路63は、第1のフレームメモリ611、第2のフレームメモリ612の内容の補正画像間で差分(ON1補正画像−OFF1補正画像)をとり、この差分画像を出力する。差分画像は、常に、上記した照明2がオン、オフの時に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、差分回路63は、常に、照明2がオンの時間帯に撮像したものから、照明2がオフの時間帯に撮像した撮像画像の差を引き算する。例えば、図7に示すように、差分回路63は、ON1補正画像−OFF1補正画像、ON2補正画像−OFF1補正画像・・・を出力する。
As shown in FIG. 7, in the next frame period, the image processing circuit 6C moves the contents of the first frame memory 611 (ON1 corrected image) to the
実施例3によれば、予め補正済みの画像を順次第1のフレームメモリ611、第2のフレームメモリ612へ移動させるので、別段の高速な処理をしなくても、実施例1のように、補正回路を2つ設ける必要がない。したがって、画像処理回路6を安価かつ簡素に構成できる。
According to the third embodiment, the images corrected in advance are sequentially moved to the
次に、図8、図9を用いて、第1の実施形態の応用に係る第2の実施形態の撮像装置10について説明する。図8は、撮像装置10の構成を表している。図9は、補正テーブル64の内容の例を表している。第2実施形態は、第1実施形態、その実施例1〜3それぞれに対し、応用可能である。補正テーブル64以外の構成については、第1実施形態、その実施例1〜3と同じであり、同一の符号を用いて以上の説明を準用する。
Next, the
図8に示すように、画像処理回路60は、補正回路62に接続された補正テーブル64を備える。補正回路62は、補正時に補正テーブル64を参照し、輝度の補正係数(ゲイン定数)を定め、各画素の輝度を補正係数を乗ずる(または補正係数で除算する)。補正テーブル64は、第1実施形態で説明した補正をより正確にするものである。図10に示すように、補正テーブル64の具体的な内容は、露光時間と補正係数との関係を示す。補正係数は、具体的には補正回路62が補正する輝度のゲイン係数である。この例では、差分回路63は、各画素の輝度を補正係数で除算して補正する。
As shown in FIG. 8, the
第1実施形態では、露光時間が、撮像画像の輝度と比例するとして、補正回路62は、各画素の輝度を露光時間で除算して補正した。確かにこれらは比例するものとして近似できるが、厳密には比例にはならない。カメラ3がシャッタを開いている時間には、時間遅れがあったり、カメラ3内部のC−MOSの特性上、光と光電電圧との関係が非線形であったりするからである。そこで、差分回路63は、露光時間と補正係数を対応付けた離散値の補正テーブル64を用いて、補正係数を取得する。離散値の間については、差分回路63は、補正テーブル64の値を補間して算出する。この補間は、直線補間でもよいし、曲線で近似してもよい。例えば、露光時間が1.5秒であれば、露光時間1m秒、2m秒の時の補正係数1、1.8を補間して、(1+1.8)/2で算出することができる。
In the first embodiment, assuming that the exposure time is proportional to the luminance of the captured image, the
なお、補正テーブル64は、必ずしもSQL等のデータベースおよびそのテーブルで構成する必要はなく、1対1で参照できるデータであればよい。例えば、テキストファイル、バイナリファイルでもよい。 The correction table 64 does not necessarily need to be configured by a database such as SQL and its table, and may be data that can be referenced on a one-to-one basis. For example, it may be a text file or a binary file.
以上の第1、第2の実施形態について補足する。 It supplements about the above 1st, 2nd embodiment.
以上の第1、第2の実施形態の応用として、外乱光の強度が撮像素子の感度の許容範囲内であれば、露光時間等の撮像条件を一定にする構成も可能である。つまり、補正回路62による補正を行うと、色調が損なわれるなど、画質が低下する虞があるので、輝度の調整をできるだけカメラ3で行い、補正を最小限にすることが望ましい。しかし、以上の第1、第2実施形態では、外乱光に応じて、撮像条件(露光時間等)を変動させ、差分画像生成時に差し引きする画像同士の撮像条件が擬似的に一定になるよう、この変動に対し補正を行っている。したがって、補正を最小限にするため、周囲の明るさが一定許容範囲内であれば、撮像条件を一定にするようにしてもよい。この範囲は、その一定にした撮像条件で適正輝度で撮像できる範囲とする。この実施形態では、この許容範囲外である場合にのみ、露光時間調整部31が露光時間を調整して、補正回路62がこの露光時間に対して上記補正をするようにする。このようにすれば、上記感度の許容範囲内の場合、撮像装置は、補正が必要でなくなり、画質の低下を防ぐことができる。
As an application of the first and second embodiments described above, a configuration in which the imaging conditions such as the exposure time are constant as long as the intensity of disturbance light is within the allowable range of the sensitivity of the imaging device is possible. That is, if the correction by the
以上の図1等の説明では、機能ごとに分離したブロックで説明したが、実装上は、これらの機能のうち、いずれかの複数の機能が一体として構成してもよいし、一つのブロックを複数に分離して構成してもよい。例えば、第1のフレームメモリ611、第2のフレームメモリ612は、別々の構成としているが、実装上は同一のメモリとして、番地、区画を割り振ってもよいし、動的に番地を割り当ててもよい。画像処理回路6自体を1つの計算チップとして、画像処理回路6内をプログラムで構成してもよい。この場合には、画像処理回路6内部の各構成は、物理的には同じものになる。また、画像処理回路6の内部の構成について別々に計算回路を設けてもよい。さらに、カメラ3でなく、タイミング発生回路4が露光時間を定めてもよいし、カメラ3、タイミング発生回路4のコントローラが一体でもよいし、タイミング発生回路4、照明制御回路5、画像処理回路6のいずれか2つ以上または全部が一体でもよい。
In the above description of FIG. 1 and the like, the description has been made with blocks separated for each function. However, in implementation, any of these functions may be configured integrally, or one block may be configured as one. You may comprise separately in plurality. For example, although the
また、実施例1〜3では、最新の撮像画像、または補正画像を第1のフレームメモリ611に入力するとしたが、第1のフレームメモリ611、第2のフレームメモリ612交互に入力するようにしてもよい。画像処理回路6では、補正した画像の差分が得られればよく、本発明は以上の実施例1〜3に限定されない。例えば、画像保存メモリ61は、差分回路63の差分演算に必要な限りで備えればよく、必ずしも必須ではない。このメモリの代替手段としては画像処理回路6が画像のビット信号を遅延して、差分回路63に入力して差分演算をしてもよい。
In the first to third embodiments, the latest captured image or corrected image is input to the
また、以上のすべての実施形態で、カメラ3は、露光時間に限らず、絞りその他により撮像条件を定め、撮像段階で画像を調整してもよい。この場合には、補正回路62は、その調整を考慮に入れて、撮像条件が一定になるように補正する。この構成も、本発明の「撮像条件設定手段」に相当する。
タイミング発生回路4は、照明2の照明のオン、オフ、撮像タイミングを定めることができればよい。例えば、タイミング信号は、図3等に示したインパルス状のものでなくてもよく、矩形波の連続でもよい。この信号のエッジは、立ち上がり、立下りいずれでもよい。また、照明2は被写体に光を当てることができればよく、LEDに限らない。
In all the embodiments described above, the camera 3 is not limited to the exposure time, but may define an imaging condition by an aperture or the like and adjust an image at the imaging stage. In this case, the
The
本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置に応用できる。例えば、車両に搭載し、運転者の表情を察知して、眠気の警告を出す顔認識システムや、車両周囲の障害物等を検出するレーダや、車庫入れの補助をする装置や、交通の混雑状況を報告する路面監視装置等にも応用できる。 The present invention can be applied to an imaging apparatus that cancels disturbance light such as natural light from a captured image using a difference image. For example, a face recognition system that is mounted on a vehicle, detects the driver's facial expression and gives a drowsiness warning, a radar that detects obstacles around the vehicle, a device that assists garage storage, and traffic congestion It can also be applied to road surface monitoring devices that report the situation.
1…撮像装置
2…照明
3…カメラ
31…露光時間設定部
4…タイミング発生回路
5…照明制御回路
6…画像処理回路
61…画像保存メモリ
611…第1のフレームメモリ
612…第2のフレームメモリ
62…補正回路
63…差分回路
64…補正テーブル
101…被写体
102…太陽
DESCRIPTION OF
Claims (7)
被写体を撮像する撮像部と、
前記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
前記撮像部の撮像方向に向けて光を照射する照明部であって、前記タイミング信号に合わせて、交互に前記光をオン、オフに切り換える照明部と、
前記撮像部が撮像する撮像画像が適正輝度になるように、露光時間を含む撮像条件を設定する撮像条件設定手段と、
前記撮像画像の輝度の補正を行う補正手段と、
前記タイミング信号の隣接する周期において前記撮像部が撮像した撮像画像についてそれぞれ前記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
前記撮像条件設定手段は、前記撮像画像が、前記照明部の光がオンの時間帯、オフの時間帯のいずれに撮像されたかに関わらず、前記タイミング信号ごとに個別に撮像条件を調整し、
前記補正手段は、前記撮像部が撮像した各撮像画像の撮像条件が前記差分画像の生成の際に一定になるように、前記撮像画像の輝度について補正を行い、
前記差分画像生成手段は、前記タイミング信号と同じ周期で、前記差分画像を生成することを特徴とする撮像装置。 In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illumination unit that emits light toward the imaging direction of the imaging unit, and the illumination unit alternately switches the light on and off in accordance with the timing signal;
An imaging condition setting means for setting an imaging condition including an exposure time so that a captured image captured by the imaging unit has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in an adjacent period of the timing signal,
The imaging condition setting means adjusts the imaging condition individually for each timing signal regardless of whether the captured image is captured in a time zone in which the light of the illumination unit is on or in an off time zone,
The correction means corrects the luminance of the captured image so that the imaging condition of each captured image captured by the imaging unit is constant when the difference image is generated,
The difference image generation unit generates the difference image at the same cycle as the timing signal.
前記補正手段は、前記第1のフレームメモリ、前記第2のフレームメモリが記憶した最近の2枚の撮像画像について、それぞれ補正を行い、
前記差分画像生成手段は、前記第1のフレームメモリ、前記第2のフレームメモリに記憶された撮像画像に対しそれぞれ前記補正手段が補正した補正画像について、前記差分画像を生成することを特徴とする請求項1に記載の撮像装置。 The imaging device further includes a first frame memory and a second frame memory, respectively, for storing the latest two captured images among the captured images captured by the imaging unit,
The correction means corrects each of the two latest captured images stored in the first frame memory and the second frame memory,
The difference image generation means generates the difference image for the corrected images corrected by the correction means for the captured images stored in the first frame memory and the second frame memory, respectively. The imaging device according to claim 1.
被写体を撮像する撮像部と、
前記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
前記撮像部の撮像方向に向けて光を照射する照明部であって、前記タイミング信号に合わせて、交互に前記光をオン、オフに切り換える照明部と、
前記撮像部により撮像した撮像画像のうち、最近の2枚の撮像画像を記憶する第1のフレームメモリと第2のフレームメモリと、
前記撮像の撮像部が撮像する撮像画像が適正輝度になるよう、露光時間を含む撮像条件を設定する撮像条件設定手段と、
前記撮像画像の輝度の補正を行う補正手段と、
前記タイミング信号の隣接する周期において前記撮像部が撮像した撮像画像についてそれぞれ前記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
前記撮像条件設定手段は、前記照明部の光がオンの時間帯、前記照明部の光がオフの時間帯のいずれか一方における撮像条件を、前記撮像画像が適正輝度になるように調整すると共に、他方の時間帯における撮像条件を一定に設定し、
前記補正手段は、前記一方の時間帯における撮像条件が、前記他方の時間帯における撮像条件と、前記差分画像の生成の際に同じになるように前記補正を行い、
前記差分画像生成手段は、前記補正手段により補正された補正画像と前記補正がされていない撮像画像とについて、前記タイミング信号と同じ周期で前記差分画像を生成することを特徴とする撮像装置。 In an imaging device that images a subject as a moving image,
An imaging unit for imaging a subject;
A timing generation circuit for outputting a timing signal for determining a timing at which the imaging unit opens the shutter;
An illumination unit that emits light toward the imaging direction of the imaging unit, and the illumination unit alternately switches the light on and off in accordance with the timing signal;
A first frame memory and a second frame memory for storing two recent captured images of the captured images captured by the imaging unit;
Imaging condition setting means for setting imaging conditions including an exposure time so that a captured image captured by the imaging unit of the imaging has an appropriate luminance;
Correction means for correcting the brightness of the captured image;
Difference image generation means for generating a difference image of each other, although the correction is made for each of the captured images captured by the imaging unit in an adjacent period of the timing signal,
The imaging condition setting means adjusts an imaging condition in one of a time zone in which the light of the illumination unit is on and a time zone in which the light of the illumination unit is off so that the captured image has appropriate luminance. , Set the imaging conditions in the other time zone constant,
The correction means performs the correction so that the imaging condition in the one time zone is the same as the imaging condition in the other time zone when generating the difference image,
The imaging apparatus according to claim 1, wherein the difference image generation unit generates the difference image at the same cycle as the timing signal for the corrected image corrected by the correction unit and the captured image that has not been corrected.
前記補正手段は、前記撮像部により撮像した撮像画像について補正を行い、
前記撮像装置は、以下の(A)ないし(C)の処理を実行することを特徴とする撮像装置。
(A)前記補正手段がすでに補正した最近の補正画像を、前記第1のフレームメモリに記憶させ、
(B)前記第1のフレームメモリに記憶された前記補正画像を前記第2のフレームメモリに移動させると共に、前記補正手段が新たに補正した最近の補正画像を前記第1のフレームメモリに記憶させて、これにより、前記補正手段により補正した最近の2枚の補正画像を前記第1のフレームメモリ、第2のフレームメモリに記憶させ、
(C)前記第1のフレームメモリ、第2のフレームメモリに記憶された撮像画像について差分画像を生成する。 The imaging device further includes a first frame memory and a second frame memory for storing an image,
The correction unit corrects a captured image captured by the imaging unit,
The imaging apparatus performs the following processes (A) to (C).
(A) The latest corrected image already corrected by the correcting means is stored in the first frame memory,
(B) The correction image stored in the first frame memory is moved to the second frame memory, and the latest correction image newly corrected by the correction means is stored in the first frame memory. Thus, the latest two corrected images corrected by the correction means are stored in the first frame memory and the second frame memory,
(C) A difference image is generated for the captured images stored in the first frame memory and the second frame memory.
前記補正手段は、前記撮像条件が調整された撮像画像についてのみ、前記補正を行うことを特徴とする請求項1に記載の撮像装置。 The imaging condition setting means makes the imaging condition constant when the ambient brightness is in a predetermined range, and adjusts the imaging condition according to the ambient brightness only when exceeding the range. ,
The imaging apparatus according to claim 1, wherein the correction unit performs the correction only on a captured image in which the imaging condition is adjusted.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008210743A JP2010050535A (en) | 2008-08-19 | 2008-08-19 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008210743A JP2010050535A (en) | 2008-08-19 | 2008-08-19 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010050535A true JP2010050535A (en) | 2010-03-04 |
Family
ID=42067301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008210743A Pending JP2010050535A (en) | 2008-08-19 | 2008-08-19 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010050535A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012161036A (en) * | 2011-02-02 | 2012-08-23 | Nissan Motor Co Ltd | Camera device |
JP2014038269A (en) * | 2012-08-20 | 2014-02-27 | Panasonic Corp | Stroboscopic device, imaging apparatus and image processing method |
KR101559630B1 (en) | 2013-01-25 | 2015-10-12 | 후지쯔 가부시끼가이샤 | Image capturing method and image capturing apparatus |
JP2019126005A (en) * | 2018-01-19 | 2019-07-25 | 三菱電機株式会社 | Imaging apparatus |
DE102019106258A1 (en) | 2018-03-13 | 2019-09-19 | Omron Corporation | PASSENGER MONITORING DEVICE |
WO2020021887A1 (en) * | 2018-07-27 | 2020-01-30 | 富士フイルム株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
CN115349251A (en) * | 2020-03-23 | 2022-11-15 | 株式会社小糸制作所 | Image pickup system |
-
2008
- 2008-08-19 JP JP2008210743A patent/JP2010050535A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012161036A (en) * | 2011-02-02 | 2012-08-23 | Nissan Motor Co Ltd | Camera device |
JP2014038269A (en) * | 2012-08-20 | 2014-02-27 | Panasonic Corp | Stroboscopic device, imaging apparatus and image processing method |
WO2014030330A1 (en) * | 2012-08-20 | 2014-02-27 | パナソニック株式会社 | Strobe device, photography device, and method for processing image |
CN104520765A (en) * | 2012-08-20 | 2015-04-15 | 松下知识产权经营株式会社 | Strobe device, photography device, and method for processing image |
KR101559630B1 (en) | 2013-01-25 | 2015-10-12 | 후지쯔 가부시끼가이샤 | Image capturing method and image capturing apparatus |
JP7008513B2 (en) | 2018-01-19 | 2022-01-25 | 三菱電機株式会社 | Imaging device |
JP2019126005A (en) * | 2018-01-19 | 2019-07-25 | 三菱電機株式会社 | Imaging apparatus |
DE102019106258A1 (en) | 2018-03-13 | 2019-09-19 | Omron Corporation | PASSENGER MONITORING DEVICE |
CN112514370A (en) * | 2018-07-27 | 2021-03-16 | 富士胶片株式会社 | Image processing device, imaging device, image processing method, and program |
JPWO2020021887A1 (en) * | 2018-07-27 | 2021-05-13 | 富士フイルム株式会社 | Image processing equipment, imaging equipment, image processing methods and programs |
WO2020021887A1 (en) * | 2018-07-27 | 2020-01-30 | 富士フイルム株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
US11399145B2 (en) | 2018-07-27 | 2022-07-26 | Fujifilm Corporation | Image processing device, imaging apparatus, image processing method, and program |
CN112514370B (en) * | 2018-07-27 | 2023-07-28 | 富士胶片株式会社 | Image processing device, image capturing device, image processing method, and recording medium |
CN115349251A (en) * | 2020-03-23 | 2022-11-15 | 株式会社小糸制作所 | Image pickup system |
CN115349251B (en) * | 2020-03-23 | 2024-05-10 | 株式会社小糸制作所 | Image pickup system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010050535A (en) | Imaging apparatus | |
CN107005639B (en) | Image pickup apparatus, image pickup method, and image processing apparatus | |
US8970730B2 (en) | Imaging apparatus for controlling and displaying flicker amounts | |
US9232153B2 (en) | Flicker compensation method using two frames | |
JP2019097213A (en) | Imaging device, method for acquiring image data, and program | |
US10560642B2 (en) | Image processing device, image processing method and imaging device | |
US10375316B2 (en) | Imaging device provided with high dynamic range rendering function | |
US9681060B2 (en) | Imaging apparatus, method of correcting flicker, and program | |
JP2015222916A (en) | Imaging apparatus, imaging system and imaging method | |
US8885092B2 (en) | Camera device, exposure control method, and program | |
US7342570B2 (en) | Optical mouse and image capture chip thereof | |
US10560638B2 (en) | Imaging apparatus and imaging method | |
JP2013088587A (en) | Stereoscopic imaging apparatus | |
JP7190355B2 (en) | Image processing device and image processing method | |
JP5653163B2 (en) | Endoscope device | |
JP6466809B2 (en) | Imaging apparatus and imaging method | |
JP2009273691A (en) | Apparatus and method of endoscope image processing | |
JP7204480B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, MOVING OBJECT, AND IMAGING DEVICE CONTROL METHOD | |
JP2009219719A (en) | Endoscope system | |
WO2012043063A1 (en) | Image processing apparatus | |
US9161026B2 (en) | Systems and methods for calibrating an imager | |
JP2014098859A (en) | Imaging apparatus and imaging method | |
JP4777266B2 (en) | Imaging apparatus and control method thereof | |
WO2014196166A1 (en) | Image pickup control apparatus | |
JP6314667B2 (en) | Imaging apparatus, image correction program, and image processing apparatus |