JP6128203B2 - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP6128203B2 JP6128203B2 JP2015500004A JP2015500004A JP6128203B2 JP 6128203 B2 JP6128203 B2 JP 6128203B2 JP 2015500004 A JP2015500004 A JP 2015500004A JP 2015500004 A JP2015500004 A JP 2015500004A JP 6128203 B2 JP6128203 B2 JP 6128203B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure control
- unit
- group
- local area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19663—Surveillance related processing done local to the camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
Description
本発明は、撮像手段で撮像して得られた画像に基づいて侵入物を検出する画像認識装置、画像認識方法、およびプログラムに関する。
ビデオカメラ等の撮像手段で撮像された画像を基に、人、車、動物等の行動を検出する画像認識装置が開発されている。この種の画像認識装置では、一般に、撮像手段の撮像画面(ファインダあるいはディスプレイにより観察される被写体画像)の全体を分析するのではなく、撮像画面内に局所領域を設定し、その局所領域内の画像を分析する。
例えば、立入禁止の区域を示す白線を上から下に横切って侵入する不審物を画像認識処理によって検出することが本発明に関連する第1の関連技術によって提案されている(例えば特許文献1参照)。より詳細には、上記第1の関連技術では、上記白線を含む侵入物出現可能範囲を撮像手段によって撮像し、撮像画面内の上記白線の上側のエッジ近傍を局所領域に設定し、局所領域の画像を分析して、白線が侵入物によって隠されたことを検出する。また、上記第1の関連技術では、撮像手段には絞り調整機構が設けられており、時刻、天候等による画像の明るさの変化を補正するようにしている。
他方、使用者が指定した領域が最適な明るさになるように被写体画像の全体の露出制御を行うことが本発明に関連する第2の関連技術によって提案されている(例えば特許文献2参照)。より詳細には、上記第2の関連技術では、例えばユーザがタッチパネルの所定範囲を囲むように操作するなどして、被写体画像における白飛びを抑制したい領域を対象領域として設定し、対象領域内を測光して、適正な露出を決定している。
また、夜間の視界を確保するナイトビジョンシステム等において車両前方を撮影するカメラの映像内のヘッドライトによる照射領域の画像の明るさに基づいて上記カメラの露出を制御することが本発明に関連する第3の関連技術によって提案されている(例えば特許文献3参照)。より詳細には、車両に搭載され車両の前方の画像を撮像するカメラの撮像した画像に対して、カメラの露出を制御する際に用いるべき露出制御使用領域を設定し、当該露出制御使用領域の画像の明るさに基づいてカメラの露出制御を行う露出制御手段と、車両の走行状況に応じて車両のヘッドライトの照射光軸を車両の上下、左右の方向に変更する照射光軸偏向手段とを有し、上記露出制御手段は、上記照射光軸偏向手段によって偏向される照射光軸の偏向角度に基づいて、上記露出制御使用領域の設定位置、及び大きさの少なくとも一方を変更する。
さらに、撮像手段で撮像された画像を分析して侵入物を検出する画像認識装置において、誤検出や検出漏れが発生しやすい状況を警告することが本発明に関連する第4の関連技術によって提案されている(例えば特許文献4参照)。より詳細には、上記第4の関連技術では、撮像画面内のうち侵入物による遮蔽が発生せず、かつエッジが多くコントラストを測定しやすい領域を画質測定領域として設定し、画質測定領域の画質の劣化を常時監視し、劣化が発生した際に警告を発するようにしている。
撮像画面内に局所領域を設定し、その局所領域内の画像を分析する画像認識装置では、局所領域内の画像の品質が画像認識結果に大きく影響する。上記第1の関連技術では、撮像手段に備わる絞り調整機構によって、時刻、天候等による画像の明るさの変化を補正している。しかし、撮像画面全体の平均的な明るさを最適化しても、局所領域内の明るさが必ずしも最適化されるとは限らない。上記第2および第3の関連技術に見られるように、ユーザが指定した領域あるいは車両のヘッドライトによる照射領域が最適な明るさになるように露出を制御する機能を有する撮像手段が提案されているけれども、ユーザが指定した露出制御用の領域あるいはヘッドライトによる照射領域が、画像認識処理を行う局所領域と無関係に設定される構成では、画像認識処理を行う局所領域の画像品質は最適化されない。
本発明の目的は、上述した課題、すなわち、撮像手段の露出を制御するために使用する撮像画面内の領域が、画像認識処理を行う撮像画面内の領域と無関係に設定される構成では、画像認識処理を行う領域の画像品質は最適化されない、という課題を解決する画像認識装置を提供することにある。
本発明の第1の観点に係る画像認識装置は、
被写体の画像を生成する撮像手段と、
上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶する局所領域記憶手段と、
上記撮像手段によって生成された上記画像のうち、上記局所領域記憶手段に記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う画像データ処理手段と
を有する。
被写体の画像を生成する撮像手段と、
上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶する局所領域記憶手段と、
上記撮像手段によって生成された上記画像のうち、上記局所領域記憶手段に記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う画像データ処理手段と
を有する。
また本発明の第2の観点に係る画像認識方法は、
撮像手段と、上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶する局所領域記憶手段と、画像データ処理手段とを有する画像認識装置が実行する画像認識方法であって、
上記撮像手段が、被写体の画像を生成し、
上記画像データ処理手段が、上記撮像手段によって生成された上記画像のうち、上記局所領域記憶手段に記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う。
撮像手段と、上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶する局所領域記憶手段と、画像データ処理手段とを有する画像認識装置が実行する画像認識方法であって、
上記撮像手段が、被写体の画像を生成し、
上記画像データ処理手段が、上記撮像手段によって生成された上記画像のうち、上記局所領域記憶手段に記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う。
また本発明の第3の観点に係るプログラムは、
被写体の画像を生成する撮像手段に接続され、上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶するメモリを有するコンピュータを、
上記撮像手段によって生成された上記画像のうち、上記メモリに記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う画像データ処理手段
として機能させる。
被写体の画像を生成する撮像手段に接続され、上記撮像手段の撮像画面内に設定された局所領域に関する情報を記憶するメモリを有するコンピュータを、
上記撮像手段によって生成された上記画像のうち、上記メモリに記憶された上記情報によって特定される上記局所領域内の上記画像に基づいて、上記撮像手段の露出制御と画像認識処理とを行う画像データ処理手段
として機能させる。
本発明は上述した構成を有するため、画像認識処理を行う領域の画像品質が最適化されるように撮像手段の露出を制御することができる。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1を参照すると、本発明の第1の実施形態にかかる画像認識装置100は、撮像手段110と局所領域記憶手段120と画像データ処理手段130とを有する。
[第1の実施形態]
図1を参照すると、本発明の第1の実施形態にかかる画像認識装置100は、撮像手段110と局所領域記憶手段120と画像データ処理手段130とを有する。
撮像手段110は、被写体の画像を生成する機能を有する。
局所領域記憶手段120は、撮像手段110の撮像画面内に設定された局所領域に関する情報を記憶する機能を有する。
画像データ処理手段130は、撮像手段110によって生成された画像のうち、局所領域記憶手段120に記憶された情報によって特定される局所領域内の画像に基づいて、撮像手段110の露出制御と画像認識処理とを行う機能を有する。
次に本実施形態に係る画像認識装置100の動作を説明する。
画像認識装置100によって侵入物の検出等の画像認識処理を開始するのに先立って、局所領域記憶手段120に局所領域を特定する情報を登録する。画像認識装置100は、局所領域に関する情報が局所領域記憶手段120に記憶された後、以下のような動作を継続して実行する。
まず画像認識装置100の撮像手段110は、被写体の画像を撮像し、画像データ処理手段130に出力する。次に画像データ処理手段130は、画像データ処理手段130で生成された画像から、局所領域記憶手段120に記憶された情報で特定される局所領域の画像を抽出する。次に画像データ処理手段130は、上記抽出した局所領域内の画像に基づいて露出制御信号を生成し、撮像手段110の露出を制御する。また、画像データ処理手段130は、上記抽出した局所領域内の画像に基づいて侵入物の有無等のための画像認識処理を行い、認識結果を出力する。画像認識装置100は、以上のような動作を所定の周期で繰り返し実行する。
このように本実施形態によれば、画像認識処理を行う領域の画像品質が最適化されるように撮像手段110の露出を制御することができる。その理由は、画像データ処理手段130が、撮像手段110によって生成された画像のうち、局所領域記憶手段120に記憶された情報によって特定される局所領域内の画像に基づいて、撮像手段110の露出制御と画像認識処理とを行うためである。
[第2の実施形態]
図2を参照すると、本発明の第2の実施形態にかかる画像認識装置200は、ネットワーク240を介して管理装置250に接続されている。また、画像認識装置200は、カメラ210と局所領域メモリ220と画像データ処理部230とを有する。
図2を参照すると、本発明の第2の実施形態にかかる画像認識装置200は、ネットワーク240を介して管理装置250に接続されている。また、画像認識装置200は、カメラ210と局所領域メモリ220と画像データ処理部230とを有する。
カメラ210は、通常のビデオカメラ、赤外線カメラ、高感度カメラなどによって構成される。カメラ210は、レンズを通して被写体の画像を撮像し、1フレーム毎に、撮像した画像211を増幅後、デジタル信号に変換して画像データ処理部230へ送信する機能を有する。また、カメラ210は、画像データ処理部230から与えられる露出制御信号2331によって露出が制御される。
局所領域メモリ220は、RAM等で構成され、局所領域に関する情報を記憶する。図3は局所領域メモリ220の構成例である。この例の局所領域メモリ220は、n行m列の合計n×m個のメモリセルから構成される。各メモリセルは、カメラ210の撮像画面をn行m列に分割した場合の個々の分割領域に1対1に対応し、論理値1または論理値0を記憶する。論理値1を記憶するメモリセルは、撮像画面内の対応する分割領域が局所領域の一部であることを示し、論理値0は局所領域外であることを示す。n、mは2以上であれば、任意である。局所領域の形状、数は任意である。
画像データ処理部230は、抽出部231と、画像メモリ232と、露出制御部233と、侵入物検出部234と、通信インターフェイス(通信I/F)部235とを有する。
抽出部231は、カメラ210から受信した画像211から、局所領域メモリ220に記憶された情報によって特定される局所領域内の画像を抽出する機能を有する。例えば、抽出部231は、図2に示すように、カメラ210の1画面分の容量を有する画面メモリ2311と、カメラ210から受信した画像211を画面メモリ2311に書き込む書き込み部2312と、画面メモリ2311から局所領域内の画像を読み出して画像メモリ232に書き込む読み出し部2313とを有する。読み出し部2313は、画面メモリ2311からの読み出しでは、局所領域メモリ220に論理値1が記憶されている分割領域に対応する画面メモリ2311の領域のみから画像データの読み出しを行う。
画像メモリ232は、抽出部231によって抽出された局所領域の画像を記憶するRAM等で構成される。
露出制御部233は、画像メモリ232から局所領域内の画像を読み出し、この読み出した画像の明るさに基づいてカメラ210の露出を制御するための露出制御信号2331を生成し、カメラ210へ送信する機能を有する。具体的には、露出制御部233は、まず、局所領域内の画素値を平均化して、局所領域の平均輝度を算出する。次に露出制御部233は、上記平均輝度が或る輝度レベルの範囲内であれば、露出制御量を現状の露出制御量のまま保持し、上記或る輝度レベルの範囲から外れる場合には、その範囲内に収めるための露出制御量を算出する。次に、露出制御部233は、上記算出した露出制御量に応じた露出制御信号2331をカメラ210へ送信する。露出制御信号2331は、カメラ210のレンズの絞り量、シャッタースピード、フレームレート、映像信号を増幅する増幅部のゲインの何れか1つ、または2つ、または3つ、あるいは全てを調整するための信号であって良い。
侵入物検出部234は、画像メモリ232から局所領域内の画像を読み出し、この読み出した画像に対して侵入物の有無を検出するための画像認識処理を実行する機能を有する。画像を分析して侵入物を検出する手法は任意である。例えば、複数枚の連続する画像間で差分値を各画素毎に算出し、差分値が大きい領域を侵入物として検出する方法を使用して良い。あるいは特許文献1に記載されるように局所領域内の画像特徴の消失を検出することにより侵入物の有無を検出する方法を使用しても良い。また侵入物検出部234は、侵入物の有無の検出結果2341を出力する機能を有する。検出結果2341には、侵入物の検出位置等の情報が含まれていて良い。
通信I/F部235は、ネットワーク240を通じて管理装置250から受信した局所領域に関する情報を局所領域メモリ220へ送信する機能と、カメラ210で生成された画像211および侵入物検出部234の検出結果2341をネットワーク240を通じて管理装置250へ送信する機能とを有する。
管理装置250は、画像認識装置200を管理する機能を有する。図4は管理装置250の一例を示すブロック図である。この例の管理装置250は、通信I/F部251と、操作入力部252と、画面表示部253と、記憶部254と、プロセッサ255とを有する。
通信I/F部251は、ネットワーク240を介して接続された画像認識装置200などの各種装置との間でデータ通信を行う機能を有している。操作入力部252は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出してプロセッサ255に出力する機能を有している。画面表示部253は、LCD(Liquid Crystal Display)やPDP(Plasma Display Panel)などの画面表示装置からなり、プロセッサ255からの指示に応じて、検出結果などの各種情報を画面表示する機能を有している。
記憶部254は、ハードディスクやメモリなどの記憶装置からなり、プロセッサ255に必要なプログラム256を記憶する機能を有している。プログラム256は、プロセッサ255に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信I/F部251などのデータ入出力機能を介して外部装置(図示せず)や記憶媒体(図示せず)から予め読み込まれて記憶部254に保存される。
プロセッサ255は、MPUなどのマイクロプロセッサとその周辺回路を有し、記憶部254からプログラム256を読み込んで実行することにより、上記ハードウェアとプログラム256とを協働させて各種処理部を実現する機能を有している。プロセッサ255で実現される主な処理部として、局所領域設定部257と監視部258とがある。
局所領域設定部257は、画像認識装置200から通信I/F部251を通じて受信したカメラ210の画像を画面表示部253に表示する機能と、この表示された画像上で局所領域として設定する領域の指定を操作入力部252から入力する機能と、この入力された局所領域を特定する情報を通信I/F部251を通じて画像認識装置200へ送信する機能とを有する。
また監視部258は、画像認識装置200から通信I/F部251を通じて侵入物の検出結果を受信し、画面表示部253に検出結果を表示し、また通信I/F部251を通じて外部に送信する機能を有する。
次に本実施形態の動作を説明する。まず、局所領域を設定する動作を図5のフローチャートを参照して説明する。
管理装置250のオペレータが操作入力部252から局所領域の設定開始を指示すると、局所領域設定部257は、図5に示す処理の実行を開始する。まず局所領域設定部257は、通信I/F部251を通じて画像認識装置200に対してカメラ210の画像を送信するよう要求する通信メッセージを送信する(S1)。この要求を受信した画像認識装置200の通信I/F部235は、カメラ210から出力されている画像211をネットワーク240を通じて管理装置250へ送信する。管理装置250の局所領域設定部257は、画像認識装置200から画像を受信し、画面表示部253に表示する(S2)。
次に局所領域設定部257は、局所領域として設定する領域の指定を操作入力部252から入力する(S3)。指定の入力方法は任意である。例えば、局所領域設定部257は、画面表示部253に表示した画像認識装置200の画像をn行m列のマトリクスに分割し、個々の分割領域が例えばダブルクリックされると、その分割領域が局所領域の一部として指定されたものと認識して良い。或いは、表示画面上に描かれた閉曲線の内部を局所領域として認識して良い。
次に局所領域設定部257は、局所領域の指定操作の終了を検出すると、指定された局所領域を特定する情報を通信I/F部251を通じて画像認識装置200へ送信し、その応答を受信して図5に示す処理を終える。画像認識装置200の通信I/F部235は、上記情報を受信すると局所領域メモリ220へ転送する。局所領域メモリ220は、局所領域を特定する情報を自メモリに書き込み、設定完了応答を通信I/F部235を通じて管理装置250へ送信する。
次に画像認識装置200における露出制御と侵入物検出の動作を、図6のフローチャートを参照して説明する。
画像認識装置200のカメラ210は、被写体を撮像し、撮像して得られた画像211を出力する(S11)。抽出部231は、画像211から、局所領域メモリ220に記憶された情報で特定される局所領域内の画像を抽出し、画像メモリ232に記憶する(S12)。露出制御部233は、画像メモリ232から局所領域内の画像を読み出し、その画像に基づいて露出制御信号2331を生成し、カメラ210の露出を制御する(S13)。また侵入物検出部234は、画像メモリ232から局所領域内の画像を読み出し、その画像を分析して侵入物の有無を検出する(S14)。そして、侵入物検出部234は、侵入物を検出すると(S15でYES)、侵入物を検出した旨の検出結果2341を通信I/F部235を通じて管理装置250へ送信する(S16)。侵入物が検出されない場合、ステップS16の処理はスキップされる。
カメラ210は、次の撮像タイミングの到来を監視し(S17)、次の撮像タイミングが到来すると、ステップS11の処理へと戻る。以降、前述と同様の動作が繰り返される。
このように本実施形態によれば、侵入物検出を行う領域の画像品質が最適化されるようにカメラ210の露出を制御することができる。その理由は、カメラ210によって生成された画像のうち、局所領域メモリ220に記憶された情報によって特定される局所領域内の画像に基づいて、カメラ210の露出制御と侵入物検出とが行われるためである。
[第3の実施形態]
図7を参照すると、本発明の第3の実施形態にかかる画像認識装置300は、図2に示した本発明の第2の実施形態にかかる画像認識装置200と比較して、抽出部231が2つの読み出し部2313、2314を有する点と、2つの画像メモリ232、236を有する点で相違する。
図7を参照すると、本発明の第3の実施形態にかかる画像認識装置300は、図2に示した本発明の第2の実施形態にかかる画像認識装置200と比較して、抽出部231が2つの読み出し部2313、2314を有する点と、2つの画像メモリ232、236を有する点で相違する。
読み出し部2313は、第2の実施形態における読み出し部2313と同じものであり、画面メモリ2311に記憶された画像から、局所領域メモリ220に記憶された情報で特定される局所領域内の画像を抽出し、画像メモリ232に書き込む。侵入物検出部234は、第2の実施形態における侵入物検出部234と同じものであり、画像メモリ232から画像を読み出して侵入物の有無を検出する。
他方、読み出し部2314は、画面メモリ2311に記憶された画像から、局所領域メモリ220に記憶された情報で特定される局所領域を一定量あるいは一定割合だけ拡大した領域内の画像を抽出し、画像メモリ236に書き込む機能を有する。露出制御部233は、画像メモリ236に記憶された画像に基づいてカメラ210の露出を制御する。
上記以外の構成および動作は第2の実施形態と同じである。
このように本実施形態では、露出制御用の領域を、侵入物の検出を行う領域を包含する、より広い領域としている。これにより、局所領域のサイズや幅が露出制御用領域としては小さ過ぎる場合に、露出制御誤差を抑える効果がある。
[第4の実施形態]
図8を参照すると、本発明の第4の実施形態にかかる画像認識装置400は、図2に示した本発明の第2の実施形態にかかる画像認識装置200と比較して、局所領域メモリ220が第1の局所領域に関する情報221と第2の局所領域に関する情報222とを記憶し、また、画像データ処理部230がグループ選択部237を有する点で相違する。
図8を参照すると、本発明の第4の実施形態にかかる画像認識装置400は、図2に示した本発明の第2の実施形態にかかる画像認識装置200と比較して、局所領域メモリ220が第1の局所領域に関する情報221と第2の局所領域に関する情報222とを記憶し、また、画像データ処理部230がグループ選択部237を有する点で相違する。
グループ選択部237は、複数のグループの中から処理対象とするグループを順番に選択する機能を有する。ここで、グループとは、カメラ210によって生成する複数の画像を、時間軸方向に、複数の局所領域に1対1に対応する複数のグループに分けた場合の個々のグループのことを意味する。具体例を図9を参照して説明する。
図9において、画像g11、g21、g12、g22、g13は、カメラ210で生成される画像を時間順に並べたものであり、画像g11が最も古い画像、画像g13が最も最新の画像である。すなわち、カメラ210からは、画像g11、画像g21、画像g12、画像g22、画像g13の順番で出力される。また、各画像中に記載した菱形の領域は局所領域メモリ220中の情報221によって特定される第1の局所領域、楕円の領域は情報222によって特定される第2の局所領域をそれぞれ示す。ここでは、二つの局所領域を用いたが、3つ以上あっても良い。また、複数の局所領域は、図示の例のように互いに離れていても良いし、隣接していても良い。
今、第1の局所領域に対応するグループをG1、第2の局所領域に対応するグループをG2とすると、図9に示すグループ化では、画像g11、g12、g13をグループG1に分類し、画像g21、g22をグループG2に分類している。つまり、図9に示す例では、カメラ210から出力される奇数番目の画像をグループG1とし、偶数番目の画像をグループG2としている。但し、このようなグループ分けは例示であり、他の方法でグループ分けしても良い。例えば、カメラ210から連続して出力される合計n(n≧2)個の画像をグループG1、続いて出力される合計m(m≧2)個の画像をグループG2、続いて出力される合計n個の画像を再びグループG1とする、といった方法であっても良い。
グループ選択部237は、選択しているグループの情報を制御信号として読み出し部2313、侵入物検出部234、および露出制御部233へ出力する。
読み出し部2313は、局所領域メモリ220から、上記制御信号で示されるグループに対応する局所領域を特定する情報221または222を読み出し、画面メモリ2311に記憶された画像から、上記読み出した情報で特定される局所領域内の画像を抽出し、画像メモリ232に書き込む。
また、露出制御部233は、画像メモリ232から、上記制御信号で示されるグループに対応する局所領域内の画像を読み出し、この読み出した画像の明るさに基づいて、当該グループ用の露出制御信号を生成して保持し、カメラ210において当該グループの画像が次回撮像される際に上記保持しておいた露出制御信号を露出制御信号2331としてカメラ210に出力して露出を制御する。この点を図9を参照して以下に説明する。
露出制御部233は、カメラ210からグループG1の画像g11が生成され、抽出部231によって画像g11中の第1の局所領域内の画像が抽出されると、この画像g11の第1の局所領域内の画像の明るさに基づいてグループG1用の露出制御信号を生成して、一時的に内部に保持する。
次に、露出制御部233は、カメラ210からグループG2の画像g21が生成され、抽出部231によって画像g21中の第2の局所領域内の画像が抽出されると、この画像g21の第2の局所領域内の画像の明るさに基づいてグループG2用の露出制御信号を生成して、一時的に内部に保持する。
そして、露出制御部233は、カメラ210においてグループG1の画像g12が撮像される直前のタイミングで、上記保持していたグループG1用の露出制御信号によってカメラ210の露出を制御し、この露出制御の下で画像g12の撮像がカメラ210で行われるようにする。また露出制御部233は、カメラ210においてグループG2の画像g22が撮像される直前のタイミングで、上記保持していたグループG2用の露出制御信号によってカメラ210の露出を制御し、この露出制御の下で画像g22の撮像がカメラ210で行われるようにする。
このように露出制御部233は、カメラ210の露出制御をグループ毎に独立に行う。
他方、侵入物検出部234は、画像メモリ232から、上記制御信号で示されるグループに対応する局所領域内の画像を読み出し、この読み出した画像に基づいて侵入物の検出を行う。この点を図9を参照して以下に説明する。
侵入物検出部234は、カメラ210からグループG1の画像g11が生成され、抽出部231によって画像g11中の第1の局所領域内の画像が抽出されると、この画像g11の第1の局所領域内の画像に基づいて侵入物の検出を行う。次に、侵入物検出部234は、カメラ210からグループG2の画像g21が生成され、抽出部231によって画像g21中の第2の局所領域内の画像が抽出されると、この画像g21の第2の局所領域内の画像に基づいて侵入物の検出を行う。このように侵入物検出部234は、侵入物検出をグループ毎に独立に行う。
以下、画像認識装置400における露出制御と侵入物検出の動作を、図10のフローチャートを参照して説明する。
画像認識装置400のグループ選択部237は、まずグループG1を選択する(S21)。画像認識装置400のカメラ210は、グループG1用の露出制御信号による露出制御の下で被写体を撮像し、撮像して得られた画像211を出力する(S22)。抽出部231は、画像211から、局所領域メモリ220に記憶された情報221で特定される第1の局所領域内の画像を抽出し、画像メモリ232に記憶する(S23)。露出制御部233は、画像メモリ232から第1の局所領域内の画像を読み出し、その画像に基づいて次回使用するグループG1用の露出制御信号2331を生成し、保持する(S24)。また侵入物検出部234は、画像メモリ232から第1の局所領域内の画像を読み出し、その画像を分析して侵入物の有無を検出する(S25)。そして、侵入物検出部234は、侵入物を検出すると(S26でYES)、侵入物を検出した旨の検出結果2341を通信I/F部235を通じて管理装置250へ送信する(S27)。侵入物が検出されない場合、ステップS27の処理はスキップされる。
グループ選択部237は、次の撮像タイミングの到来を監視し(S28)、次の撮像タイミングが到来すると、選択グループを現在のグループG1からグループG2に切り換える(S29)。また露出制御部233は、内部に保持しているグループG2用の露出制御信号をカメラ210へ出力する(S30)。そして、ステップS22の処理へと戻り、グループG2用の露出制御信号によって露出制御された状況下で、カメラ210が撮像を行って新たな画像211を生成する。
次に、抽出部231は、生成された画像211から、局所領域メモリ220に記憶された情報222で特定される第2の局所領域内の画像を抽出し、画像メモリ232に記憶する(S23)。露出制御部233は、画像メモリ232から第2の局所領域内の画像を読み出し、その画像に基づいてグループG2用の露出制御信号2331を生成し、保持する(S24)。また侵入物検出部234は、画像メモリ232から第2の局所領域内の画像を読み出し、その画像を分析して侵入物の有無を検出する(S25)。そして、侵入物検出部234は、侵入物を検出すると(S26でYES)、侵入物を検出した旨の検出結果2341を通信I/F部235を通じて管理装置250へ送信する(S27)。侵入物が検出されない場合、ステップS27の処理はスキップされる。
グループ選択部237は、再び、次の撮像タイミングの到来を監視し(S28)、次の撮像タイミングが到来すると、選択グループを現在のグループG2からグループG1に切り換える(S29)。また露出制御部233は、内部に保持しているグループG1用の露出制御信号をカメラ210へ出力する(S30)。そして、ステップS22の処理へと戻り、グループG1用の露出制御信号によって露出制御された状況下で、カメラ210が撮像を行って新たな画像を生成する。以降、前述と同様の動作がグループ毎に交互に繰り返される。
上記以外の構成および動作は第2の実施形態と同じである。
このように本実施形態によれば、侵入物検出を行う領域の画像品質が最適化されるようにカメラ210の露出を制御することができる。その理由は、カメラ210によって生成された画像のうち、局所領域メモリ220に記憶された情報によって特定される局所領域内の画像に基づいて、カメラ210の露出制御と侵入物検出とが行われるためである。
また本実施形態によれば、複数の局所領域に関する情報221、222を記憶し、画像データ処理部230は、カメラ210によって生成する複数の画像を、時間軸方向に、上記複数の局所領域に1対1に対応する複数のグループに分け、カメラ210の露出制御と侵入物検出とをグループ毎に独立に行うため、明暗の相違する複数の局所領域のそれぞれについて品質の良い被写体像を得ることができ、侵入物の検出精度を高めることができる。
[その他の実施形態]
以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態にのみ限定されず、その他各種の付加変更が可能である。
以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態にのみ限定されず、その他各種の付加変更が可能である。
例えば、撮像手段の画像から局所領域内の画像を抽出する処理をデジタル画像で実施したが、アナログ画像で実施するようにしても良い。また、カメラ210等の撮像手段と、露出制御や画像認識処理を行う画像データ処理手段とを一体として実装した画像認識装置について主として説明したが、撮像手段と画像データ処理手段とが物理的に別の筐体に実装された画像認識装置に対しても本発明は適用可能である。
さらに、カメラ210等の撮像手段から、表示装置に表示させるための映像信号と露出制御用の映像信号とが別々に出力されている場合、表示装置に表示させるための映像信号から局所領域内の映像信号を抽出し、露出制御用の映像信号から局所領域内の映像信号を抽出し、それぞれ画像認識処理用の局所領域画像、露出制御用の局所領域画像として使用するようにしても良い。
また、本発明で実施する画像認識処理は、侵入物検出に限定されず、人等の行動監視や、各種装置の発熱状態等の監視などであっても良い。
また、本発明の画像認識装置は、ハードウェアによって実現することができる以外に、MPU等のプロセッサと局所領域情報等を記憶するメモリを有するコンピュータと、上記プロセッサで実行されるプログラムとによって実現することも可能である。プログラムは、半導体メモリや磁気ディスク等のコンピュータ読取可能な記録媒体に記録されて提供され、コンピュータの立ち上げ時等にコンピュータに読み取られ、コンピュータの動作を制御することにより、コンピュータ上に上述した画像データ処理手段130、230を実現する。
なお、本発明は、日本国にて2013年2月13日に特許出願された特願2013−025096の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明はカメラで撮像した画像を分析して侵入物検出等の画像認識処理を行うシステム全般に適用することができる。
100…画像認識装置
110…撮像手段
120…局所領域記憶手段
130…画像データ処理手段
110…撮像手段
120…局所領域記憶手段
130…画像データ処理手段
Claims (2)
- 被写体の画像を生成する撮像手段と、
局所領域の特定に関する情報を記憶する局所領域記憶手段と、
前記撮像手段によって生成された前記画像内の領域のうち、前記情報によって特定される前記局所領域に基づいて、前記撮像手段の露出制御を行う露出制御手段と、
前記露出制御が行われた後、前記画像内の前記局所領域への侵入物を検出する侵入物検出手段と
を有し、
前記局所領域記憶手段は、複数の前記局所領域の特定に関する情報を記憶し、
前記撮像手段によって生成する複数の前記画像を、時間軸方向に、前記複数の局所領域に1対1に対応する複数のグループに分けるグループ選択手段を有し、
前記露出制御手段は、各グループ毎に、各グループに対する前記局所領域の前記画像に基づいて、前記撮像手段の露出制御を行い、
前記侵入物検出手段は、各グループ毎に、各グループに対する前記局所領域の前記画像に基づいて、侵入物検出のための画像認識処理を行い、
前記グループ選択手段は、前記複数のグループの中から処理対象とする前記グループを順番に選択し、
前記撮像手段によって生成された前記画像から、前記選択された前記グループに対応する前記局所領域内の前記画像を抽出する局所領域画像抽出手段を有し、
前記露出制御手段は、前記抽出された前記局所領域内の前記画像の明るさに基づいて露出制御信号を生成し、該生成した露出制御信号を用いて前記選択された前記グループの前記画像が次回撮像される際の前記撮像手段の露出を制御し、
前記侵入物検出手段は、前記抽出された前記局所領域内の前記画像に対して侵入物検出のための前記画像認識処理を行う、
画像認識装置。 - 撮像手段と、局所領域の特定に関する情報を記憶する局所領域記憶手段と、露出制御手段と、侵入物検出手段とを有する画像認識装置が実行する画像認識方法であって、
前記撮像手段が、被写体の画像を生成し、
前記露出制御手段が、前記撮像手段によって生成された前記画像のうち、前記情報によって特定される前記局所領域内の前記画像に基づいて、前記撮像手段の露出制御を行い、
前記侵入物検出手段が、前記露出制御が行われた後、前記局所領域内の前記画像に基づいて、侵入物を検出し、
前記局所領域記憶手段は、複数の前記局所領域の特定に関する情報を記憶し、
グループ選択手段が、前記撮像手段によって生成する複数の前記画像を、時間軸方向に、前記複数の局所領域に1対1に対応する複数のグループに分け、
前記露出制御手段が、各グループ毎に、各グループに対応する前記局所領域の前記画像に基づいて、前記撮像手段の露出制御を行い、
前記侵入物検出手段が、各グループ毎に、各グループに対する前記局所領域の前記画像に基づいて、侵入物検出のための画像認識処理を行い、
前記グループ選択手段が、前記複数のグループの中から処理対象とする前記グループを順番に選択し、
局所領域画像抽出手段が、前記撮像手段によって生成された前記画像から、前記選択された前記グループに対応する前記局所領域内の前記画像を抽出し、
前記露出制御手段が、前記抽出された前記局所領域内の前記画像の明るさに基づいて露出制御信号を生成し、該生成した露出制御信号を用いて前記選択された前記グループの前記画像が次回撮像される際の前記撮像手段の露出を制御し、
前記侵入物検出手段が、前記抽出された前記局所領域内の前記画像に対して侵入物検出のための前記画像認識処理を行う
画像認識方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025096 | 2013-02-13 | ||
JP2013025096 | 2013-02-13 | ||
PCT/JP2013/007423 WO2014125544A1 (ja) | 2013-02-13 | 2013-12-18 | 画像認識装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016248737A Division JP2017098980A (ja) | 2013-02-13 | 2016-12-22 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014125544A1 JPWO2014125544A1 (ja) | 2017-02-02 |
JP6128203B2 true JP6128203B2 (ja) | 2017-05-17 |
Family
ID=51353581
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015500004A Active JP6128203B2 (ja) | 2013-02-13 | 2013-12-18 | 画像認識装置 |
JP2016248737A Pending JP2017098980A (ja) | 2013-02-13 | 2016-12-22 | 画像認識装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016248737A Pending JP2017098980A (ja) | 2013-02-13 | 2016-12-22 | 画像認識装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160260299A1 (ja) |
EP (1) | EP2790398A4 (ja) |
JP (2) | JP6128203B2 (ja) |
BR (1) | BR112014010399A2 (ja) |
SG (1) | SG11201401108SA (ja) |
WO (1) | WO2014125544A1 (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300516A (ja) | 1992-04-24 | 1993-11-12 | Toshiba Corp | 動画処理装置 |
JP4046387B2 (ja) * | 1997-07-24 | 2008-02-13 | 三菱電機株式会社 | 監視カメラ |
JPH11127380A (ja) * | 1997-10-23 | 1999-05-11 | Mitsubishi Electric Engineering Co Ltd | 撮像装置 |
JP2001160146A (ja) | 1999-12-01 | 2001-06-12 | Matsushita Electric Ind Co Ltd | 画像認識方法および画像認識装置 |
JP4556777B2 (ja) | 2005-06-15 | 2010-10-06 | 株式会社デンソー | 夜間運転視界支援装置 |
JP4485423B2 (ja) * | 2005-07-07 | 2010-06-23 | 富士フイルム株式会社 | 監視カメラ、監視方法、及び監視プログラム |
US8165416B2 (en) * | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
JP2009147906A (ja) * | 2007-11-19 | 2009-07-02 | Autonetworks Technologies Ltd | 車両周辺監視装置 |
US9584710B2 (en) * | 2008-02-28 | 2017-02-28 | Avigilon Analytics Corporation | Intelligent high resolution video system |
JP5202245B2 (ja) * | 2008-11-20 | 2013-06-05 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP4998522B2 (ja) * | 2009-06-26 | 2012-08-15 | ソニー株式会社 | 制御装置、カメラシステム、及びプログラム |
KR101048856B1 (ko) * | 2009-09-04 | 2011-07-13 | 주식회사 에스원 | 도트 조명을 이용한 영상 침입 감지 시스템 및 방법 |
JP5355371B2 (ja) | 2009-12-15 | 2013-11-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2013
- 2013-12-18 EP EP13838065.4A patent/EP2790398A4/en not_active Withdrawn
- 2013-12-18 JP JP2015500004A patent/JP6128203B2/ja active Active
- 2013-12-18 WO PCT/JP2013/007423 patent/WO2014125544A1/ja active Application Filing
- 2013-12-18 BR BR112014010399A patent/BR112014010399A2/pt not_active Application Discontinuation
- 2013-12-18 SG SG11201401108SA patent/SG11201401108SA/en unknown
- 2013-12-18 US US14/348,568 patent/US20160260299A1/en not_active Abandoned
-
2016
- 2016-12-22 JP JP2016248737A patent/JP2017098980A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20160260299A1 (en) | 2016-09-08 |
BR112014010399A2 (pt) | 2017-04-25 |
JPWO2014125544A1 (ja) | 2017-02-02 |
SG11201401108SA (en) | 2014-09-26 |
JP2017098980A (ja) | 2017-06-01 |
EP2790398A1 (en) | 2014-10-15 |
EP2790398A4 (en) | 2015-08-05 |
WO2014125544A1 (ja) | 2014-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8792681B2 (en) | Imaging system and imaging method | |
KR101187908B1 (ko) | 복수의 이벤트 영상을 표시하는 통합 감시 시스템 및 이를이용한 복수의 이벤트 영상 표시 방법 | |
TW201313012A (zh) | 用於決定一影像調整參數之方法及攝影機 | |
JP6141084B2 (ja) | 撮像装置 | |
US9613429B2 (en) | Image reading out control apparatus, image reading out control method thereof, and storage medium | |
US11037013B2 (en) | Camera and image processing method of camera | |
JP2012084967A (ja) | 運転者状態検知カメラ | |
CN106445195B (zh) | 屏幕中激光点的位置检测方法、装置及*** | |
CN105577983A (zh) | 检测运动遮罩的设备和方法 | |
KR20130119706A (ko) | 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 | |
JP2012185684A (ja) | 対象物検出装置、対象物検出方法 | |
JP5955170B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP6602067B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
JP6666841B2 (ja) | 撮像制御装置、撮像装置、および、撮像装置の制御方法 | |
JP2008244649A (ja) | 動き検出撮像装置 | |
JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
JP6128203B2 (ja) | 画像認識装置 | |
JP2021019288A (ja) | 撮像装置およびその制御方法 | |
US20100315523A1 (en) | Object detection using an in-sensor detector | |
WO2021014867A1 (ja) | 撮像装置およびその制御方法 | |
JP2012212235A (ja) | 物体検出システム、物体検出方法、及びプログラム | |
US10091441B1 (en) | Image capture at multiple resolutions | |
EP3101888B1 (en) | Image-capturing device, camera system, and signal output method | |
JP2018037897A (ja) | 監視カメラシステム及び再生方法 | |
US20210281743A1 (en) | Imaging control device, imaging device, and imaging control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal | ||
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6128203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |