JP2012090152A - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP2012090152A JP2012090152A JP2010236324A JP2010236324A JP2012090152A JP 2012090152 A JP2012090152 A JP 2012090152A JP 2010236324 A JP2010236324 A JP 2010236324A JP 2010236324 A JP2010236324 A JP 2010236324A JP 2012090152 A JP2012090152 A JP 2012090152A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- subject
- image
- optical filter
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、主に遠方の被写体を撮像する技術に関する。 The present invention mainly relates to a technique for imaging a distant subject.
カメラなどの撮像装置のなかには、複数の光学フィルタを備えるものがある。たとえば、特開平７−２８４１１１号公報（特許文献１）や特開２０００−１３１７４８号公報（特許文献２）には、赤外光カットフィルタと可視光カットフィルタとを挿脱可能に配置するものが開示されている。 Some imaging devices such as cameras include a plurality of optical filters. For example, in JP-A-7-284111 (Patent Document 1) and JP-A-2000-131748 (Patent Document 2), an infrared light cut filter and a visible light cut filter are detachably arranged. It is disclosed.
ところで、熱による上昇気流が生じて密度の異なる大気が混在する空気層（密度が変化している空気層）が被写体と撮像装置との間に存在すると、被写体からの光がその空気層でランダムな方向に屈折されるため、撮影画像がゆらいでしまう現象（以下、「ゆらぎ現象」ともいう）が生じる。なお、ゆらぎ現象は、太陽光（日射）による熱によって生じる「かげろう現象」としてよく知られるが、焚き火やストーブの炎あるいはエンジンなどの排熱によっても引き起こされる現象である。 By the way, if an air layer (air layer in which the density changes) is generated between the subject and the imaging device, the light from the subject is randomly generated in the air layer. Since the light is refracted in any direction, a phenomenon that the captured image fluctuates (hereinafter also referred to as “fluctuation phenomenon”) occurs. The fluctuation phenomenon is well known as a “burning phenomenon” caused by heat from sunlight (sunlight), but is also a phenomenon caused by bonfire, stove flame or exhaust heat from an engine or the like.
監視用カメラなどによる撮像画像に上述のゆらぎ現象の影響が含まれていると、監視が困難になるという問題が発生する。しかしながら、上述した特許文献１、２には、このような問題を解決する手法について何ら言及されていない。 If an image captured by a monitoring camera or the like includes the influence of the fluctuation phenomenon described above, there arises a problem that monitoring becomes difficult. However, Patent Documents 1 and 2 mentioned above do not mention any technique for solving such a problem.
本発明は、上述の課題を解決するためになされたものであって、その目的は、撮影画像に含まれるゆらぎ現象の影響を軽減することである。 The present invention has been made to solve the above-described problems, and an object thereof is to reduce the influence of the fluctuation phenomenon included in the photographed image.
この発明に係る撮像装置は、被写体を撮像する撮像素子と、被写体と撮像素子との間に挿入される光学フィルタを赤外光を遮断する第１フィルタおよび可視光を遮断する第２フィルタのいずれかに切替可能な切替装置と、撮像された被写体の画像に基づいて、被写体と撮像素子との間に密度の異なる大気が混在する空気層が存在することによって生じるゆらぎ現象の有無を判断する判断部と、判断部の判断結果に応じて切替装置を制御して光学フィルタの切替を制御する制御部とを備える。 The imaging apparatus according to the present invention includes any one of an imaging element that images a subject, and a first filter that blocks infrared light and an optical filter that is inserted between the subject and the imaging element, and a second filter that blocks visible light. Judgment to determine the presence or absence of a fluctuation phenomenon caused by the presence of an air layer in which air of different density exists between the subject and the image sensor, based on the switching device capable of switching between the two and the captured image of the subject And a control unit for controlling the switching of the optical filter by controlling the switching device according to the determination result of the determination unit.
好ましくは、判断部は、撮像された被写体の画像が動く距離および方向を示す動きベクトルに基づいて、ゆらぎ現象の有無を判断する。 Preferably, the determination unit determines the presence / absence of a fluctuation phenomenon based on a motion vector indicating a distance and a direction in which a captured subject image moves.
好ましくは、撮像装置は、単位時間あたりに撮像された被写体の複数の画像を用いて動きベクトルを複数検出する検出部をさらに備える。判断部は、複数の動きベクトルの向きおよび加算平均値に基づいて、ゆらぎ現象の有無を判断する。 Preferably, the imaging apparatus further includes a detection unit that detects a plurality of motion vectors using a plurality of images of the subject imaged per unit time. The determination unit determines the presence / absence of a fluctuation phenomenon based on the directions of the plurality of motion vectors and the addition average value.
好ましくは、判断部は、複数の動きベクトルの向きが特定の一つの向きではなく、かつ、加算平均値が略零である場合に、ゆらぎ現象が生じていると判断する。 Preferably, the determination unit determines that the fluctuation phenomenon has occurred when the directions of the plurality of motion vectors are not one specific direction and the addition average value is substantially zero.
好ましくは、第２フィルタは、第１フィルタに比べて、被写体の画像にゆらぎ現象の影響が含まれ難くする特性を有する。制御部は、光学フィルタを第１フィルタとして判断部によるゆらぎ現象の有無の判断が可能な状態とし、判断部がゆらぎ現象が生じていると判断した時点で光学フィルタを第１フィルタから第２フィルタに切替える。 Preferably, the second filter has a characteristic that the influence of the fluctuation phenomenon is less likely to be included in the image of the subject as compared with the first filter. The control unit sets the optical filter as the first filter so that the determination unit can determine the presence or absence of the fluctuation phenomenon. When the determination unit determines that the fluctuation phenomenon occurs, the control unit changes the optical filter from the first filter to the second filter. Switch to.
好ましくは、制御部は、光学フィルタを第２フィルタに切替えた時点から所定時間が経過した時点で、光学フィルタを再び第１フィルタに戻す。 Preferably, the control unit returns the optical filter to the first filter again when a predetermined time elapses from the time when the optical filter is switched to the second filter.
好ましくは、第２フィルタは、第１フィルタに比べて、被写体の画像にゆらぎ現象の影響が含まれ難くする特性を有する。撮像素子は、被写体を監視するための第１撮像素子と、ゆらぎ現象の有無を判断するため第２撮像素子とを含む。切替装置は、被写体の像が第１撮像素子に入力される経路上に設けられる。判断部は、第２撮像素子で撮像した被写体の画像に基づいてゆらぎ現象の有無を判断する。制御部は、判断部がゆらぎ現象が生じていないと判断している間は光学フィルタを第１フィルタに維持し、判断部がゆらぎ現象が生じていると判断している間は光学フィルタを第２フィルタに維持する。 Preferably, the second filter has a characteristic that the influence of the fluctuation phenomenon is less likely to be included in the image of the subject as compared with the first filter. The image sensor includes a first image sensor for monitoring a subject and a second image sensor for determining the presence or absence of a fluctuation phenomenon. The switching device is provided on a path through which the subject image is input to the first image sensor. The determination unit determines the presence or absence of the fluctuation phenomenon based on the image of the subject imaged by the second image sensor. The control unit maintains the optical filter in the first filter while the determination unit determines that the fluctuation phenomenon does not occur, and the optical filter is changed to the first filter while the determination unit determines that the fluctuation phenomenon occurs. Maintain 2 filters.
この発明の別の局面に係る撮像方法は、被写体を撮像する撮像素子と、被写体と撮像素子との間に挿入される光学フィルタを赤外光を遮断する第１フィルタおよび可視光を遮断する第２フィルタのいずれかに切替可能な切替装置と、を備えた撮像装置が行なう撮像方法であって、撮像された被写体の画像に基づいて、被写体と撮像素子との間に密度の異なる大気が混在する空気層が存在することによって生じるゆらぎ現象の有無を判断するステップと、判断するステップでの判断結果に応じて切替装置を制御して光学フィルタの切替を制御するステップとを含む。 An imaging method according to another aspect of the present invention includes: an imaging element that images a subject; an optical filter that is inserted between the subject and the imaging element; a first filter that blocks infrared light; and a first filter that blocks visible light. An image pickup method performed by an image pickup apparatus including a switching device that can switch to any one of two filters, wherein air having different densities is mixed between the subject and the image sensor based on the image of the taken subject. Determining whether there is a fluctuation phenomenon caused by the presence of the air layer, and controlling the switching of the optical filter by controlling the switching device according to the determination result in the determining step.
本発明によれば、撮影画像に含まれるゆらぎ現象の影響を軽減することができる。 According to the present invention, it is possible to reduce the influence of the fluctuation phenomenon included in the captured image.
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals, and the description thereof will not be repeated in principle.
［実施の形態１］
図１は、本実施の形態に従う撮像装置１００の全体ブロック図である。撮像装置１００は、レンズ１０１、切替装置１０２、撮像素子１０３、メモリ１０４、解析部１０５、映像処理部１０６、判断部１０７、タイマ１０８、切替制御部１０９を含む。なお、撮像装置１００は、高倍率ズームレンズを搭載して遠方の監視を行なうことが可能な監視用に好適であるが、その用途は遠方監視用であることに限定されない。
[Embodiment 1]
FIG. 1 is an overall block diagram of an
被写体像（被写体からの光）はレンズ１０１を介して撮像素子１０３に結像する。レンズ１０１と撮像素子１０３の間には切替装置１０２が装備される。
A subject image (light from the subject) is formed on the
切替装置１０２は、ＩＲカットフィルタ１０２Ａと、可視光カットフィルタ１０２Ｂと、切替制御部１０９からの制御信号によって制御されるモータ（図示せず）とを含む。切替装置１０２は、モータの駆動により、レンズ１０１と撮像素子１０３の間に挿入される光学フィルタ（以下、単に「光学フィルタ」という）を、ＩＲカットフィルタ１０２Ａと可視光カットフィルタ１０２Ｂとの間で切替可能に構成される。
The
図２は、ＩＲカットフィルタ１０２Ａの感度（一点鎖線）と、可視光カットフィルタ１０２Ｂとの感度（実線）とを比較した図である。図２に示すように、ＩＲカットフィルタ１０２Ａは、可視光領域に含まれる可視光波長成分を通過させ、近赤外光（ＩＲ）を含むその他の波長成分を遮断する。なお、ＩＲカットフィルタ１０２Ａを用いることにより、近赤外光の悪影響（たとえばグリーン系の色がグレーや赤茶色に写ったり青紫色の花の色が赤紫色に写ってしまうこと）を排除できる。一方、可視光カットフィルタ１０２Ｂは、可視光領域に含まれる波長成分を遮断し、近赤外光（ＩＲ）を含むその他の波長成分を通過させる。
FIG. 2 is a diagram comparing the sensitivity of the
図１に戻って、光学フィルタ（ＩＲカットフィルタ１０２Ａおよび可視光カットフィルタ１０２Ｂのいずれか）を通過して撮像素子１０３で結像された光学像は電気信号に変換されてメモリ１０４に画像データとして蓄積される。
Returning to FIG. 1, the optical image formed by the
メモリ１０４に蓄積された画像データは、解析部１０５および映像処理部１０６に出力される。
The image data stored in the
映像処理部１０６は、メモリ１０４からの画像データを撮像装置１００の内部あるいは外部に設けられるディスプレイ（図示せず）に表示されるための映像信号に変換し、ディスプレイに出力される。これにより、ディスプレイには、撮像装置１００で撮像した画像が表示される。
The
解析部１０５は、メモリ１０４からの画像データ（被写体画像）の動きベクトルを検出し、検出した動きベクトルの特徴を解析する。なお、動きベクトルとは、被写体画像が動く距離および方向をベクトルで表わしたものである。
The
判断部１０７は、解析部１０５の解析結果に基づいて、被写体画像中にゆらぎ現象の影響が含まれるか否かを判断する。なお、「ゆらぎ現象」とは、既に述べたように、熱による上昇気流が生じて密度の異なる大気が混在する空気層が被写体と撮像装置との間に存在することによって撮影画像がゆらいでしまう現象である。以下では、ゆらぎ現象の例として、主として「かげろう現象」について説明する。判断部１０７は、被写体画像中にかげろう現象の影響が含まれると判断した場合、その時点でかげろう検出信号をタイマ１０８に出力する。なお、判断部１０７の機能については後に詳述する。
Based on the analysis result of the
タイマ１０８は、判断部１０７からかげろう検出信号を受信すると、かげろう検出信号を受信してからの経過時間の計測（カウンタＣのカウントアップ）を開始するとともに、切替制御部１０９および映像処理部１０６にかげろう検出信号を出力する。タイマ１０８は、カウンタＣが規定値ｔに達するまで（かげろう検出後の経過時間が所定時間未満の場合）はかげろう検出信号の出力を継続し、カウンタＣが規定値ｔに達した時点（かげろう検出後の経過時間が所定時間に達した時点）でかげろう検出信号の出力を終了する。なお、タイマ１０８が、カウンタＣが規定値ｔに達した時点で切替制御部１０９および映像処理部１０６にかげろう検出終了信号を出力するようにしてもよい。
When the
切替制御部１０９は、かげろう検出信号の非入力時には光学フィルタをＩＲカットフィルタ１０２Ａとし、かげろう検出信号の入力時には光学フィルタを可視光カットフィルタ１０２Ｂとするように、切替装置１０２を制御する。
The switching
図３は、被写体１（図３に示す例では樹木を想定）から撮像装置１００に入力される光αの経路を模式的に示した図である。地面や建物が太陽光（日射）で熱せられると、熱による上昇気流２が生じて密度の異なる大気が混在する空気層３が発生する。以下では、空気層３を「かげろう３」とも称する。このかげろう３が光αの経路上に存在すると、光αが空気層３で屈折されるため、画像がゆらいでしまう現象が生じる。この現象が、かげろう現象である。かげろう現象の影響は、可視光と近赤外光とでは異なる。すなわち、近赤外光は、可視光に比べて波長が長く直進性が高いため、かげろうの影響が少ない。この相違を利用して、切替制御部１０９は、かげろう検出時に光学フィルタを可視光カットフィルタ１０２Ｂに切替えてかげろう現象の影響を軽減する。
FIG. 3 is a diagram schematically illustrating a path of light α input from the subject 1 (assuming a tree in the example illustrated in FIG. 3) to the
図１に戻って、映像処理部１０６は、かげろう検出信号の非入力時（光学フィルタがＩＲカットフィルタ１０２Ａである場合）は映像信号をカラー信号とし、かげろう検出信号の入力時（光学フィルタが可視光カットフィルタ１０２Ｂである場合）は映像信号を白黒信号とする。なお、かげろう検出時に映像信号を白黒にするのは、可視光がカットされるため撮像素子１０３にカラー情報が入力されなくなり適切な色再現ができなくなり、そのままカラー映像として出力しても本来の色を再現できず監視に不適切なためである。
Returning to FIG. 1, the
以上のように、撮像装置１００は、通常はＩＲカットフィルタ１０２Ａを装着し、かげろう検出時には可視光カットフィルタ１０２Ｂに切り替える。これにより、かげろう検出時には、かげろう現象の影響を受け易い（ゆらぎ易い）可視光波長成分を除去し、かつ直進性が高くかげろう現象の影響を受け難い（ゆらぎ難い）近赤外波長成分を通過させることができる。そのため、撮像素子１０３に結像する被写体像に対してかげろうによる像のゆらぎを減少させることが可能となる。
As described above, the
次に、判断部１０７によるゆらぎ現象の判断手法について詳細に説明する。
図４は、かげろう非発生時の被写体１の画像ｇ１を模式的に示す図である。図５は、かげろう発生時の被写体１の画像ｇ１´を模式的に示す図である。図４に示すように、被写体１のような樹木は本来動きがなく静止しており画像ｇ１にはゆらぎは生じないが、かげろう発生時は空気のゆらぎにより光が屈折するため、図５に示すように画像ｇ１´もゆらいでしまう。
Next, the determination method of the fluctuation phenomenon by the
FIG. 4 is a diagram schematically showing an image g1 of the subject 1 when no shadow is generated. FIG. 5 is a diagram schematically showing an image g1 ′ of the subject 1 at the time of occurrence of beard. As shown in FIG. 4, the tree like the subject 1 is originally stationary and does not move, and the image g1 does not fluctuate. As described above, the image g1 ′ also fluctuates.
通常、かげろう３は、０．１〜０．５秒程度の周期でゆらいでいる。単位時間あたりに撮像される複数のフレーム間の画像に対して動きベクトルに着目すると、かげろう３を通過して入力された画像の動きベクトルには、主に２つの特徴がある。１つめの特徴は、特定の１つの方向ではなくランダムな方向（主に水平方向）に動きベクトルが発生し続けるという特徴である。２つめの特徴は、数秒程度の時間で動きベクトルを加算平均するとほとんど動きが無い状態と等価になるという特徴である。なお、ここでいう「加算平均」とは、複数のベクトルを大きさおよび向きを含めて合成することをいい、「加算平均値」とは、その合成ベクトルの大きさをいうものとする。したがって、たとえば互いに大きさが等しく向きが反対の２つの動きベクトルの加算平均値は「０」となる。 Usually, the kagerou 3 fluctuates with a period of about 0.1 to 0.5 seconds. Focusing on the motion vector with respect to an image between a plurality of frames imaged per unit time, the motion vector of the image input through the Kagerou 3 mainly has two characteristics. The first feature is that a motion vector continues to be generated in a random direction (mainly in the horizontal direction) instead of a specific one direction. The second feature is that when motion vectors are added and averaged in a time of several seconds, it becomes equivalent to a state in which there is almost no motion. Here, “addition average” refers to combining a plurality of vectors including their sizes and orientations, and “addition average” refers to the size of the combined vector. Therefore, for example, the addition average value of two motion vectors having the same magnitude and opposite directions is “0”.
図６は、かげろう発生時のある瞬間の画像ｇ１´の動きベクトルＶを示す図である。上述のように、被写体１のような静止像は本来、動きがなく、動きベクトルは発生しないが、空気のゆらぎによりフレーム間でみれば動きがあり、動きベクトルが発生する。発生する方向はランダムであるが、主に水平のゆらぎが大きいため水平方向に発生しやすい。 FIG. 6 is a diagram showing the motion vector V of the image g1 ′ at a certain moment when the shadow occurs. As described above, a still image such as the subject 1 originally has no motion and no motion vector is generated, but there is motion when viewed between frames due to air fluctuation, and a motion vector is generated. The direction of occurrence is random, but it tends to occur in the horizontal direction mainly because of the large horizontal fluctuation.
図７は、かげろう発生時のある瞬間の画像ｇ１´の動きベクトルＶを数秒間に渡って加算平均した平均ベクトルＶａｖｅを示す図である。ゆらぎによる動きベクトルＶを加算平均した場合、ゆらぎ方向が平均化されるため、平均ベクトルＶａｖｅの大きさは略零となる。このため、結果的にゆらぎが発生していない場合と同じく、動きベクトルがほぼ生じていないことと等価となる。 FIG. 7 is a diagram showing an average vector Vave obtained by adding and averaging the motion vectors V of the image g1 ′ at a certain moment at the time of occurrence of the browning over several seconds. When the motion vectors V due to fluctuations are averaged, the fluctuation directions are averaged, so the average vector Vave has a size of approximately zero. For this reason, as in the case where fluctuation does not occur as a result, this is equivalent to almost no motion vector.
図８は、かげろう発生時に撮像した、一定方向に移動している人物の画像ｇ２の動きベクトルを示す図である。図８に示すように、動きのある人物の画像ｇ２の場合は、被写体自体の動きがあり一定方向に動きベクトルが発生する。 FIG. 8 is a diagram showing a motion vector of an image g2 of a person moving in a certain direction, which is imaged at the time of occurrence of beard. As shown in FIG. 8, in the case of an image g2 of a person with motion, there is a motion of the subject itself and a motion vector is generated in a certain direction.
図９は、かげろう発生時に撮像した、図８の動きのある人物の画像ｇ２に対して、人物の動きによる動きベクトルを除いて、かげろうによる動きベクトルのみを示した画像ｇ２´を示す図である。図１０は、かげろう発生時に撮像した、一定方向に移動している人物の画像ｇ２の動きベクトルの加算平均値を示す図である。人物が移動している場合であっても、図９に示すように、かげろうによる動きベクトルはランダムに発生する。したがって、像自体の移動による一定方向の動きベクトルとかげろうによるランダム方向の動きベクトルとを含めた加算平均値は、図１０に示すように、大きさには多少の差はあるが、基本的には同じ向きにほぼ統一される。 FIG. 9 is a diagram showing an image g2 ′ showing only the motion vector due to the motion of the person g g2 of the person with motion in FIG. . FIG. 10 is a diagram illustrating an average value of motion vectors of a person's image g2 moving in a certain direction, which is picked up when a beard is generated. Even when the person is moving, the motion vector due to the shadow is randomly generated as shown in FIG. Therefore, the average value of the motion vector in a certain direction due to the movement of the image itself and the motion vector in the random direction due to the shadow is slightly different in size as shown in FIG. Are almost unified in the same direction.
なお、図８、９、１０では、かげろう発生時でゆらぎがある場合の画像を示すものであるが、図中では便宜的に像のゆらぎを示していない。 8, 9, and 10 show images when there is a fluctuation at the time of occurrence of a shadow, but the fluctuation of the image is not shown for convenience.
このように、かげろう発生時においても、動きがある被写体と静止した被写体とでは動きベクトルの振る舞いが異なるため、被写体の動きとかげろうによる動きとは区別可能ではある。しかしながら、その区別を正確に行なうためにはより複雑な制御が必要になり実際には難しい。そこで、本実施の形態においては、判断部１０７が、主に背景等の静止画部分に対して上述したかげろう現象の特徴（動きベクトルがランダムな方向に発生しかつその加算平均値が略零であるという特徴）の有無を判断し、その特徴があると判断した時点で、かげろう検出信号をタイマ１０８に出力する。
In this way, even when a shadow is generated, the motion vector behaves differently between a moving subject and a stationary subject, so that the motion of the subject and the motion due to the shadow are distinguishable. However, in order to make the distinction accurately, more complicated control is required and it is actually difficult. Therefore, in the present embodiment, the
図１１は、上述した判断部１０７および切替制御部１０９の機能を実現するための撮像装置１００の処理手順を示すフローチャートである。以下に示すフローチャートの各ステップ（以下、ステップを「Ｓ」と略す）は、ハードウェアによって実現してもよいしソフトウェアによって実現してもよい。図１１に示すフローチャートは、光学フィルタをＩＲカットフィルタ１０２Ａとし映像信号をカラーとする定常状態で開始されるものとする。
FIG. 11 is a flowchart illustrating a processing procedure of the
Ｓ１０にて、撮像装置１００は、複数のフレーム間の画像を比較して動きベクトルを検出する。
In S10,
Ｓ１１にて、撮像装置１００は、動きベクトルが一定方向でなくランダムな方向に動く領域があるかどうかを解析する。動きベクトルがランダムな方向に動く領域がある場合（Ｓ１１にてＹＥＳ）、処理はＳ１２に移される。そうでない場合（Ｓ１１にてＮＯ）、この処理は終了する。
In S11,
Ｓ１２にて、撮像装置１００は、Ｓ１１にてランダムな方向に動くと判断された領域の動きベクトルの所定時間Ｔの加算平均値が略零であるか否かを判断する。なお、所定時間Ｔは、かげろうの状況に応じて最適な値に調整される。また、動きベクトルの加算平均値との比較対象である略零値を、かげろうの状況に応じて「０.０１」、「０.１」、「０.１１」など複数の値に調整できるようにしておけばよい。動きベクトルの所定時間Ｔの平均値が略零である場合（Ｓ１２にてＹＥＳ）、処理はＳ１３に移される。そうでない場合（Ｓ１２にてＮＯ）、この処理は終了する。
In S12,
Ｓ１３にて、撮像装置１００は、かげろうを検出したものと判断し、タイマを起動し、カウンタＣのカウントアップを開始する。なお、カウントダウンでも対応可能である。
In S13,
Ｓ１４にて、撮像装置１００は、カウンタＣが規定値ｔに達したか否かを判断する。
カウンタＣが規定値ｔに達するまでは（Ｓ１４にてＮＯ）、撮像装置１００は、Ｓ１５にて、光学フィルタを可視光カットフィルタ１０２Ｂにする。本処理の直前に光学フィルタがＩＲカットフィルタ１０２Ａであった場合には、本処理の実行により光学フィルタがＩＲカットフィルタ１０２Ａから可視光カットフィルタ１０２Ｂに切替えられることになる。この際、映像信号が白黒に設定される。Ｓ１５の処理後は、処理はＳ１４に戻される。
In S14,
Until the counter C reaches the specified value t (NO in S14), the
一方、カウンタＣが規定値ｔに達した場合（Ｓ１４にてＹＥＳ）、撮像装置１００は、Ｓ１６にて、光学フィルタをＩＲカットフィルタ１０２Ａにする。すなわち、かげろう検出によって可視光カットフィルタ１０２Ｂに切替えられていた光学フィルタを、ＩＲカットフィルタ１０２Ａに戻す。この際、映像信号もカラーに戻される。その後、Ｓ１７にてカウンタＣがリセットされ、処理は終了される。
On the other hand, when counter C reaches specified value t (YES in S14),
以上のように、従来はかげろう発生時に被写体像がゆらぎ、適正な監視が困難になっていたが、本実施の形態に従う撮像装置１００を用いれば、被写体像のかげろうの影響を除去することが実現可能となる。そのため、被写体像が安定し、適正な監視を行なうことが可能となる。
As described above, the subject image has fluctuated at the time of the occurrence of the shadow, and proper monitoring has been difficult. However, the use of the
なお、本実施の形態においては、タイマによる時間経過時に光学フィルタをＩＲカットフィルタに戻していたが、タイマに代えてあるいは加えて、光学フィルタの切替を行なう外部制御を設けてもよい。たとえば、カウンタＣが規定値ｔに達しなくても、外部制御入力時には、かげろう検出の有無に関わらず、光学フィルタを強制的にＩＲカットフィルタ１０２Ａに戻すようにしてもよい。
In this embodiment, the optical filter is returned to the IR cut filter when the timer elapses, but external control for switching the optical filter may be provided instead of or in addition to the timer. For example, even if the counter C does not reach the specified value t, at the time of external control input, the optical filter may be forcibly returned to the IR cut
［実施の形態２］
上述の実施の形態１では、被写体の監視とかげろうの検出とを１つの撮像素子１０３で行なっていた。したがって、かげろう検出時に可視光カットフィルタへ切り替えた後はかげろう検出ができなくなるため、タイマによる時間経過時にＩＲカットフィルタに戻すようにした。
[Embodiment 2]
In the first embodiment described above, the
これに対し、本実施の形態では、撮像素子１０３を被写体監視用とし、撮像素子１０３とは別にかげろう検出専用の撮像素子２０３を新たに設ける。この専用の撮像素子２０３で撮像した画像に基づいてかげろう検出を行なうため、光学フィルタの切替をかげろう現象の有無に応じて適切に行なうことができる。
On the other hand, in the present embodiment, the
図１２は、本実施の形態に従う撮像装置２００の全体ブロック図である。撮像装置２００は、レンズ１０１、切替装置１０２、撮像素子１０３、メモリ１０４、プリズム２０１、ＩＲカットフィルタ２０２、撮像素子２０３、メモリ２０４、解析部２０５、映像処理部２０６、判断部２０７、切替制御部２０９を含む。なお、レンズ１０１、切替装置１０２、撮像素子１０３、メモリ１０４の機能は、上述の実施の形態１で既に述べたため、ここでの詳細な説明は原則として繰り返さない。
FIG. 12 is an overall block diagram of
プリズム２０１は、レンズ１０１に入力された被写体の光路を、撮像素子１０３に入力される光路と、撮像素子２０３に入力される光路とに分離する。かげろう検出用の撮像素子２０３の前面にはＩＲカットフィルタ２０２を固定で装着しておく。撮像素子２０３で撮像された画像はメモリ２０４を経由して解析部２０５に出力され、解析部２０５で解析される。解析部２０５の解析結果を用いて判断部２０７はかげろう現象の有無を検出する。メモリ２０４、解析部２０５、判断部２０７の基本的な機能は、実施の形態１で述べたメモリ１０４、解析部１０５、判断部１０７と同様である。
The
切替制御部２０９は、判断部２０７からかげろう検出信号を受信していない間は光学フィルタをＩＲカットフィルタ１０２Ａに維持し、かげろう検出信号を受信している間は光学フィルタを可視光カットフィルタ１０２Ｂに維持するように、切替装置１０２を制御する。
The switching
以上のように、本実施の形態によれば、かげろう検出専用の撮像素子２０３を新たに設け、常時かげろう検出が可能となるため、かげろう検出の有無に応じて光学フィルタの切替を適切に行なうことが可能となる。
As described above, according to the present embodiment, the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ 被写体、２ 上昇気流、３ 空気層（かげろう）、１００，２００ 撮像装置、１０１ レンズ、１０２ 切替装置、１０２Ａ，２０２ ＩＲカットフィルタ、１０２Ｂ 可視光カットフィルタ、１０３，２０３ 撮像素子、１０４，２０４ メモリ、１０５，２０５ 解析部、１０６，２０６ 映像処理部、１０７，２０７ 判断部、１０８ タイマ、１０９，２０９ 切替制御部、２０１ プリズム。
DESCRIPTION OF SYMBOLS 1 Subject, Ascending air current, 3 Air layer (Kagerou), 100,200 Imaging device, 101 Lens, 102 Switching device, 102A, 202 IR cut filter, 102B Visible light cut filter, 103, 203 Imaging device, 104, 204
Claims (8)
前記被写体と前記撮像素子との間に挿入される光学フィルタを赤外光を遮断する第１フィルタおよび可視光を遮断する第２フィルタのいずれかに切替可能な切替装置と、
撮像された前記被写体の画像に基づいて、前記被写体と前記撮像素子との間に密度の異なる大気が混在する空気層が存在することによって生じるゆらぎ現象の有無を判断する判断部と、
前記判断部の判断結果に応じて前記切替装置を制御して前記光学フィルタの切替を制御する制御部とを備える、撮像装置。 An image sensor for imaging a subject;
A switching device capable of switching an optical filter inserted between the subject and the image sensor to either a first filter that blocks infrared light or a second filter that blocks visible light;
A determination unit that determines the presence or absence of a fluctuation phenomenon caused by the presence of an air layer in which air having different densities is mixed between the subject and the imaging element, based on the captured image of the subject;
An imaging apparatus comprising: a control unit that controls the switching of the optical filter by controlling the switching device according to a determination result of the determination unit.
前記判断部は、複数の前記動きベクトルの向きおよび加算平均値に基づいて、前記ゆらぎ現象の有無を判断する、請求項２に記載の撮像装置。 The imaging apparatus further includes a detection unit that detects a plurality of the motion vectors using a plurality of images of the subject imaged per unit time,
The imaging apparatus according to claim 2, wherein the determination unit determines the presence or absence of the fluctuation phenomenon based on a plurality of motion vector directions and an addition average value.
前記制御部は、前記光学フィルタを前記第１フィルタとして前記判断部による前記ゆらぎ現象の有無の判断が可能な状態とし、前記判断部が前記ゆらぎ現象が生じていると判断した時点で前記光学フィルタを前記第１フィルタから前記第２フィルタに切替える、請求項１〜４のいずれかに記載の撮像装置。 The second filter has a characteristic that the influence of the fluctuation phenomenon is less likely to be included in the image of the subject as compared to the first filter.
The control unit sets the optical filter as the first filter so that the determination unit can determine the presence or absence of the fluctuation phenomenon, and when the determination unit determines that the fluctuation phenomenon occurs, the optical filter The imaging apparatus according to claim 1, wherein the first filter is switched to the second filter.
前記撮像素子は、前記被写体を監視するための第１撮像素子と、前記ゆらぎ現象の有無を判断するため第２撮像素子とを含み、
前記切替装置は、前記被写体の像が前記第１撮像素子に入力される経路上に設けられ、
前記判断部は、前記第２撮像素子で撮像した前記被写体の画像に基づいて前記ゆらぎ現象の有無を判断し、
前記制御部は、前記判断部が前記ゆらぎ現象が生じていないと判断している間は前記光学フィルタを前記第１フィルタに維持し、前記判断部が前記ゆらぎ現象が生じていると判断している間は前記光学フィルタを前記第２フィルタに維持する、請求項１〜４のいずれかに記載の撮像装置。 The second filter has a characteristic that the influence of the fluctuation phenomenon is less likely to be included in the image of the subject as compared to the first filter.
The image sensor includes a first image sensor for monitoring the subject and a second image sensor for determining the presence or absence of the fluctuation phenomenon,
The switching device is provided on a path through which an image of the subject is input to the first image sensor,
The determination unit determines the presence or absence of the fluctuation phenomenon based on the image of the subject imaged by the second image sensor,
The control unit maintains the optical filter in the first filter while the determination unit determines that the fluctuation phenomenon has not occurred, and the determination unit determines that the fluctuation phenomenon has occurred. The image pickup apparatus according to claim 1, wherein the optical filter is maintained in the second filter while the optical filter is in use.
撮像された前記被写体の画像に基づいて、前記被写体と前記撮像素子との間に密度の異なる大気が混在する空気層が存在することによって生じるゆらぎ現象の有無を判断するステップと、
前記判断するステップでの判断結果に応じて前記切替装置を制御して前記光学フィルタの切替を制御するステップとを含む、撮像方法。 An image sensor that captures an image of a subject and an optical filter that is inserted between the subject and the image sensor can be switched between a first filter that blocks infrared light and a second filter that blocks visible light. An imaging method performed by an imaging apparatus comprising:
Determining the presence or absence of a fluctuation phenomenon caused by the presence of an air layer in which air having different densities is mixed between the subject and the image sensor based on the image of the imaged subject;
And controlling the switching of the optical filter by controlling the switching device according to the determination result in the determining step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010236324A JP2012090152A (en) | 2010-10-21 | 2010-10-21 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010236324A JP2012090152A (en) | 2010-10-21 | 2010-10-21 | Imaging apparatus and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012090152A true JP2012090152A (en) | 2012-05-10 |
Family
ID=46261272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010236324A Withdrawn JP2012090152A (en) | 2010-10-21 | 2010-10-21 | Imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012090152A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103969924A (en) * | 2013-02-04 | 2014-08-06 | 陈国诚 | Embedded IR-CUT lens |
| JP2017017593A (en) * | 2015-07-02 | 2017-01-19 | キヤノン株式会社 | Imaging device |
| US9569825B2 (en) | 2014-03-05 | 2017-02-14 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, monitoring camera, and image processing method |
| US10551535B2 (en) | 2015-06-11 | 2020-02-04 | Canon Kabushiki Kaisha | Image pickup apparatus capable of inserting and extracting filter |
-
2010
- 2010-10-21 JP JP2010236324A patent/JP2012090152A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103969924A (en) * | 2013-02-04 | 2014-08-06 | 陈国诚 | Embedded IR-CUT lens |
| US9569825B2 (en) | 2014-03-05 | 2017-02-14 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, monitoring camera, and image processing method |
| US10551535B2 (en) | 2015-06-11 | 2020-02-04 | Canon Kabushiki Kaisha | Image pickup apparatus capable of inserting and extracting filter |
| JP2017017593A (en) * | 2015-07-02 | 2017-01-19 | キヤノン株式会社 | Imaging device |
| US10313589B2 (en) | 2015-07-02 | 2019-06-04 | Canon Kabushiki Kaisha | Imaging device having an image mode set according to a filter |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8786760B2 (en) | Digital photographing apparatus and method using face recognition function | |
| JP4018695B2 (en) | Method and apparatus for continuous focusing and exposure adjustment in a digital imaging device | |
| JP5954336B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US8289399B2 (en) | System and method for image capture device | |
| KR20100109502A (en) | Image selection device and method for selecting image | |
| US9961269B2 (en) | Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing | |
| US8860840B2 (en) | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus | |
| US9875423B2 (en) | Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic | |
| US8823863B2 (en) | Image capturing apparatus and control method therefor | |
| US9338368B2 (en) | Imaging apparatus, method of detecting flicker, and information processing unit | |
| US20130335619A1 (en) | Imaging device and imaging method | |
| JP5868061B2 (en) | Imaging device | |
| JP5499853B2 (en) | Electronic camera | |
| US9615031B2 (en) | Imaging device and scene determination method | |
| JP2012090152A (en) | Imaging apparatus and imaging method | |
| WO2016051850A1 (en) | Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program | |
| JP2013012940A (en) | Tracking apparatus and tracking method | |
| US10609275B2 (en) | Image processing device, image processing method, and recording medium | |
| JP2001255451A (en) | Automatic focusing device, digital camera and portable information input device | |
| KR20110125077A (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium | |
| JP2014150409A (en) | Image processing device, imaging device, and image processing program | |
| US20150116500A1 (en) | Image pickup apparatus | |
| JP2009055539A (en) | Imaging device and method | |
| JP5839857B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP5977526B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140107 |