JP2010109859A - 監視用画像処理装置 - Google Patents

監視用画像処理装置 Download PDF

Info

Publication number
JP2010109859A
JP2010109859A JP2008281636A JP2008281636A JP2010109859A JP 2010109859 A JP2010109859 A JP 2010109859A JP 2008281636 A JP2008281636 A JP 2008281636A JP 2008281636 A JP2008281636 A JP 2008281636A JP 2010109859 A JP2010109859 A JP 2010109859A
Authority
JP
Japan
Prior art keywords
persons
unit
correction
luminance
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008281636A
Other languages
English (en)
Other versions
JP5058127B2 (ja
Inventor
Kenichi Shinbo
健一 新房
Tomoyuki Kuwabara
智之 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008281636A priority Critical patent/JP5058127B2/ja
Publication of JP2010109859A publication Critical patent/JP2010109859A/ja
Application granted granted Critical
Publication of JP5058127B2 publication Critical patent/JP5058127B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】カメラにより絞り補正やホワイトバランス補正が実施されて、映像中のコントラストが変動しても、精度よく、映像中に存在する人物の数を類推することができるようにする。
【解決手段】輝度データ抽出部9により抽出された輝度データを参照して、映像の輝度の分布を示す輝度ヒストグラムを作成する輝度ヒストグラム作成部9を設け、補正係数特定部10が輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがってコーナー点抽出部8により計数された個数を補正することで、人数類推部13により類推される人物の数を間接的に補正する。
【選択図】図1

Description

この発明は、カメラにより撮影された映像を解析して、その映像中に存在する人物の数を類推する監視用画像処理装置に関するものである。
カメラにより撮影された映像を解析して、その映像中に存在する人物の数を類推する監視用画像処理装置の一般的な構成は、図12のような構成である。
以下、従来の監視用画像処理装置の処理内容を説明する。
A/Dコンバータ102は、ビデオ入力部101がカメラにより撮影された映像を示すビデオ信号を入力すると、そのビデオ信号をアナログデータからデジタルデータに変換し、そのデジタルデータである画像データを画像蓄積部103に格納する。
なお、A/Dコンバータ102は、アナログデータからデジタルデータに変換するに際して、1画素当り、8ビットの多値データに変換するのが一般的である。
輝度抽出部104は、画像蓄積部103から画像データを読み込み、その画像データから映像を構成する各画素の輝度データを抽出する。
コントラスト算出部105は、輝度抽出部104が各画素の輝度データを抽出すると、その輝度データを参照して、映像中の各箇所のコントラストを算出する。
図2はコントラストの算出例を示す説明図である。
図2では、四角(3×3の範囲)で表されている箇所のコントラストを算出する例、即ち、人物Aの服の輝度と床の輝度からコントラストを算出する例を示しており、映像中の注目画素(3×3の範囲の中央の画素)の輝度と、その注目画素の上下左右に存在する4つの画素の輝度との輝度差の絶対値を算出し、4つの絶対値の平均値をコントラストとして算出している。
図2の算出例では、コントラストが「15」となっている。
フィルタリング部106は、コントラスト算出部105により算出されたコントラストのうち、ノイズの影響で値が高くなっていると思われるコントラストの値を「0」に修正する処理を行う。
例えば、時間的に一瞬だけ値が高くなり、継続的に値が高くないコントラストは、ノイズの影響で値が高くなっていると判断する。
具体的には、コントラスト算出部105により算出された値「15」のコントラストが、例えば、1フレーム(33ms)しか現れない場合には、画像中のノイズであると判断する。この場合、当該箇所のコントラストの値を「0」に修正する。
なお、通常、人物であれば、1フレーム(33ms)だけ現れるような高速移動はないので、フィルタリングによって、コントラストの値が「0」に修正されることはない。
コーナー点抽出部108は、フィルタリング部106によるフィルタリング後のコントラストのうち、コントラスト閾値記憶部107により記憶されているコントラスト閾値より大きいコントラストを有する箇所をコーナー点として抽出し、その抽出したコーナー点の個数を計数する。
例えば、コントラスト閾値が「12」であるとき、図2に示す人物Aの服装の箇所は、そのコントラスト閾値を上回る「15」のコントラストを有しているので、コーナー点があると判断される。
コントラスト算出部105が一定間隔(例えば、3画素間隔)おきにコントラストを算出すると、図3に示すように、コーナー点抽出部108によって、人物Aの服装に沿って、コーナー点が等間隔に抽出される。
図3では、21個のコーナー点が抽出されている例を示している。図中、○印がコーナー点である。
なお、通常のコーナー点は、明確に背景とコントラストを持つ物体の輪郭に沿って、均等に発生する。その発生量は、輪郭線の総長に比例するのが理想的である。
人数類推部110は、コーナー点抽出部108がコーナー点の個数を計数すると、そのコーナー点の個数と、人物コーナー点数記憶部109により記憶されている人物に係る個数(オペレータにより事前に決定された個数)を比較して、映像中に存在する人物の数を類推する。
例えば、人物に係る個数が「20」であるとすると、図3の例では、21個のコーナー点が抽出されており、ほぼ1人分のコーナー点の個数であるため、映像中に存在する人物の数は1名であると類推される。
人数類推部110の類推結果は、他の装置等に通知される。
ここまでは、カメラが映像を撮影する際、絞り補正やホワイトバランス補正などを実施することについて言及していないが、絞り補正やホワイトバランス補正などが自動的に実施される場合、同じ背景と同じ対象物であっても、コントラストが変化することがある。
例えば、図4のように、一人の人物Aだけが存在している環境下の映像では、床と人物Aのコントラストは図2の場合と同様に「15」となる。
しかし、全く同じ床であっても、図5のように、多数の人物(人物Aを含む)が存在している環境下の映像では、カメラが映像中の濃度分布を独自に判断して、レンズの絞りを適度に解放するため、映像の全体が明るく撮影されるようになり、映像の平均輝度が高くなる。
この結果、図5の環境下において、例えば、床の輝度が「88」、人物Aの服装の輝度が「48」になると、図6に示すように、コントラストが「11」になる(図4の環境下では、床の輝度が「67」、人物Aの服装の輝度が「15」、コントラストが「15」)。
したがって、コントラスト閾値が同じ「12」のままであるとすると、図5の人物Aの服装の位置において、そのコントラスト閾値を上回るコントラストが存在しなくなるか、非常に少なくなる。
図7は図5の環境下でのコーナー点の抽出例を示す説明図である。
図7の例では、人物Aに発生するコーナー点が極端に減り、7個となっている。また、人物Aを含む全人物に発生するコーナー点は46個となっている。
例えば、人物に係る個数が「20」のままであるとすると、図7の例では、46個のコーナー点が抽出されており、ほぼ2人分のコーナー点の個数であるため、実際には、7人の人物が存在しているにもかかわらず、映像中に存在する人物の数が2名であると類推される。
なお、上記の監視用画像処理装置の他に、ヒストグラムを用いて、逆光のレベルを判別している技術が以下の特許文献1に開示されているが、絞り補正やホワイトバランス補正を逆補正するものとは異なる。
特開2000−134467号公報(段落番号[0018])
従来の監視用画像処理装置は以上のように構成されているので、カメラにより絞り補正やホワイトバランス補正が実施されることで、映像中のコントラストが変動すると、コーナー点が抽出される個数が変動して、映像中に存在する人物の数の類推精度が劣化してしまうなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、カメラにより絞り補正やホワイトバランス補正が実施されて、映像中のコントラストが変動しても、精度よく、映像中に存在する人物の数を類推することができる監視用画像処理装置を得ることを目的とする。
この発明に係る監視用画像処理装置は、輝度データ抽出手段により抽出された輝度データを参照して、映像の輝度の分布を示すヒストグラムを作成するヒストグラム作成手段と、ヒストグラム作成手段により作成されたヒストグラムの形状を解析し、その形状の解析結果にしたがって人数類推手段により類推される人物の数を補正する補正手段とを設けるようにしたものである。
この発明によれば、輝度データ抽出手段により抽出された輝度データを参照して、映像の輝度の分布を示すヒストグラムを作成するヒストグラム作成手段と、ヒストグラム作成手段により作成されたヒストグラムの形状を解析し、その形状の解析結果にしたがって人数類推手段により類推される人物の数を補正する補正手段とを設けるように構成したので、カメラにより絞り補正やホワイトバランス補正が実施されて、映像中のコントラストが変動しても、精度よく、映像中に存在する人物の数を類推することができる効果がある。
実施の形態1.
図1はこの発明の実施の形態1による監視用画像処理装置を示す構成図であり、図において、ビデオ入力部1はカメラにより撮影された映像を示すビデオ信号を入力する端子である。
A/Dコンバータ2はビデオ入力部1より入力されたビデオ信号をアナログデータからデジタルデータに変換し、そのデジタルデータである画像データを画像蓄積部3に格納する処理を実施する。
画像蓄積部3は画像データを蓄積するメモリである。
輝度抽出部4は画像蓄積部3に格納されている現在の映像の画像データから映像を構成する各画素の輝度データを抽出する処理を実施する。なお、輝度抽出部4は輝度データ抽出手段を構成している。
コントラスト算出部5は輝度抽出部4により抽出された輝度データを参照して、映像中の各箇所のコントラストを算出する処理を実施する。なお、コントラスト算出部5はコントラスト算出手段を構成している。
フィルタリング部6はコントラスト算出部5により算出されたコントラストのうち、ノイズの影響で値が高くなっていると思われるコントラストの値を「0」に修正する処理を行う。
コントラスト閾値記憶部7は事前にオペレータにより設定されたコントラスト閾値を記憶するメモリである。
コーナー点抽出部8はフィルタリング部6によるフィルタリング後のコントラストのうち、コントラスト閾値記憶部7により記憶されているコントラスト閾値より大きいコントラストを有する箇所をコーナー点として抽出し、その抽出したコーナー点の個数を計数する処理を実施する。
なお、コントラスト閾値記憶部7及びコーナー点抽出部8から計数手段が構成されている。
輝度ヒストグラム作成部9は輝度抽出部4により抽出された輝度データを参照して、映像の輝度の分布を示す輝度ヒストグラムを作成する処理を実施する。なお、輝度ヒストグラム作成部9はヒストグラム作成手段を構成している。
補正係数特定部10は輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがって補正係数を特定する処理を実施する。
補正係数乗算部11は補正係数特定部10により特定された補正係数をコーナー点抽出部8により計数されたコーナー点の個数に乗算することで、コーナー点の個数を補正する処理を実施する。
なお、補正係数特定部10及び補正係数乗算部11から補正手段が構成されている。
人物コーナー点数記憶部12は事前にオペレータにより設定された人物に係る個数を記憶するメモリである。
人数類推部13は補正係数乗算部11により補正された個数と人物コーナー点数記憶部12により記憶されている人物に係る個数を比較して、映像中に存在する人物の数を類推する処理を実施する。
なお、人物コーナー点数記憶部12及び人数類推部13から人数類推手段が構成されている。
次に動作について説明する。
A/Dコンバータ2は、ビデオ入力部1がカメラにより撮影された映像を示すビデオ信号を入力すると、そのビデオ信号をアナログデータからデジタルデータに変換し、そのデジタルデータである画像データを画像蓄積部3に格納する。
なお、A/Dコンバータ2は、アナログデータからデジタルデータに変換するに際して、1画素当り、8ビットの多値データに変換するのが一般的である。
輝度抽出部4は、画像蓄積部3から画像データを読み込み、その画像データから映像を構成する各画素の輝度データを抽出する。
コントラスト算出部5は、輝度抽出部4が各画素の輝度データを抽出すると、その輝度データを参照して、映像中の各箇所のコントラストを算出する。
図2はコントラストの算出例を示す説明図である。
図2では、四角(3×3の範囲)で表されている箇所のコントラストを算出する例、即ち、人物Aの服の輝度と床の輝度からコントラストを算出する例を示しており、映像中の注目画素(3×3の範囲の中央の画素)の輝度と、その注目画素の上下左右に存在する4つの画素の輝度との輝度差の絶対値を算出し、4つの絶対値の平均値をコントラストとして算出している。
図2の算出例では、コントラストが「15」となっている。
フィルタリング部6は、コントラスト算出部5により算出されたコントラストのうち、ノイズの影響で値が高くなっていると思われるコントラストの値を「0」に修正する処理を行う。
例えば、時間的に一瞬だけ値が高くなり、継続的に値が高くないコントラストは、ノイズの影響で値が高くなっていると判断する。
具体的には、コントラスト算出部5により算出された値「15」のコントラストが、例えば、1フレーム(33ms)しか現れない場合には、画像中のノイズであると判断する。この場合、当該箇所のコントラストの値を「0」に修正する。
なお、通常、人物であれば、1フレーム(33ms)だけ現れるような高速移動はないので、フィルタリングによって、コントラストの値が「0」に修正されることはない。
コーナー点抽出部8は、フィルタリング部6によるフィルタリング後のコントラストのうち、コントラスト閾値記憶部7により記憶されているコントラスト閾値より大きいコントラストを有する箇所をコーナー点として抽出し、その抽出したコーナー点の個数を計数する。
例えば、コントラスト閾値が「12」であるとき、図2に示す人物Aの服装の箇所は、そのコントラスト閾値を上回る「15」のコントラストを有しているので、コーナー点があると判断される。
コントラスト算出部5が一定間隔(例えば、3画素間隔)おきにコントラストを算出すると、図3に示すように、コーナー点抽出部8によって、人物Aの服装に沿って、コーナー点が等間隔に抽出される。
図3では、21個のコーナー点が抽出されている例を示している。図中、○印がコーナー点である。
なお、通常のコーナー点は、明確に背景とコントラストを持つ物体の輪郭に沿って、均等に発生する。その発生量は、輪郭線の総長に比例するのが理想的である。
輝度ヒストグラム作成部9は、輝度抽出部4が各画素の輝度データを抽出すると、その輝度データを参照して、映像の輝度の分布を示す輝度ヒストグラムを作成する。
ここで、図8及び図9は輝度ヒストグラムの作成例を示す説明図である。
図8では、一人の人物Aだけが存在しているため、輝度ヒストグラムがほぼ背景色に偏っている例を示している。図8では、人物Aが輝度ヒストグラムの中に埋もれており、人物Aの存在に伴う輝度ヒストグラムの目立った変形が生じていない。
一方、図9では、多数の人物が存在しているため、カメラの絞り補正が働いて、図8よりも、背景色の中心と思われる位置が右(輝度の高い方)にシフトしている。これは人数が増えて、全体に黒い色が増えたために絞りが開いた結果である。
また、図9では、その絞りを動かす原因となった人物達の輝度の中央点らしきものが左側に現れている。これは、カメラの絞りが映像全体のバランスを取るために、絞りを開いて、全体に輝度を高い方向にシフトしているが、映像中の輝度平均値については変化しないようにしているためである。
補正係数特定部10は、輝度ヒストグラム作成部9が輝度ヒストグラムを作成すると、その輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがって補正係数を特定する。
以下、補正係数特定部10による補正係数の特定例を説明する。
補正係数特定部10は、輝度ヒストグラム作成部9により作成された輝度ヒストグラム形状を解析して、その輝度ヒストグラムのピーク点の個数Pを計数する。
また、補正係数特定部10は、その輝度ヒストグラム上の人物達の輝度(人物達の中央点の輝度)と、背景色の輝度(背景色の中央点の輝度)との差分Lを算出する。
また、補正係数特定部10は、その輝度ヒストグラムの中で、白い色(右側)が飽和している数(サチっている数)Wを計数する。
補正係数特定部10は、予め、輝度ヒストグラムのピーク点の個数Pと、人物達と背景色の輝度の差分Lと、白い色(右側)が飽和している数Wとの組み合わせに対応する補正係数Hを示す補正係数テーブル(3次元のテーブル)を保持しており、その補正係数テーブルから、ピーク点の個数P、輝度の差分L及び飽和している数Wに対応する補正係数Hを取得する。
ピーク点の個数P、輝度の差分L及び飽和している数Wに対応する補正係数Hは、例えば、カメラの性能や監視対象場所などの設置条件等によって変化するので、これらの設置条件等に合わせて適宜設定される。
例えば、ピーク点の個数Pが1個の場合、存在している人物の数が少なく、カメラの絞り補正が働いていない可能性が高いので、他の条件(輝度の差分L、飽和している数W)にもよるが、“1”に近い補正係数Hが特定される。
一方、ピーク点の個数Pが2個の場合、存在している人物の数が多く、カメラの絞り補正が働いて、絞りが開いている可能性が高いので、他の条件(輝度の差分L、飽和している数W)にもよるが、“1”よりも大きい補正係数Hが特定される。例えば、輝度の差分Lが“30”ぐらいであれば、“3”程度の補正係数Hが特定される。
ここでは、補正係数特定部10が、予め保持している補正係数テーブルを参照して、補正係数Hを特定するものについて示したが、これは一例に過ぎず、例えば、ピーク点の個数P、輝度の差分Lや飽和している数Wなどを計算式に代入して、補正係数Hを計算により求めるようにしてもよい。
補正係数乗算部11は、補正係数特定部10が補正係数Hを特定すると、その補正係数Hをコーナー点抽出部8により計数されたコーナー点の個数Cに乗算することで、コーナー点の個数を補正する。
補正後の個数C’=C×H
補正係数乗算部11による補正は、カメラの絞り補正やホワイトバランス補正がキャンセルされる方向に作用する。
多数の人物(人物Aを含む)が存在している図5のような環境下では、図7に示すように、人物Aに発生するコーナー点が極端に減って7個となり、人物Aを含む全人物に発生するコーナー点が46個となることを上述しているが、例えば、補正係数Hが“3”であれば、補正係数乗算部11によって、人物Aに発生するコーナー点が21個(=7×3)、人物Aを含む全人物に発生するコーナー点が138個(=46×3)となる。
人数類推部13は、補正係数乗算部11による補正後のコーナー点の個数C’を受けると、補正後のコーナー点の個数C’と、人物コーナー点数記憶部12により記憶されている人物に係る個数(オペレータにより事前に決定された個数)を比較して、映像中に存在する人物の数を類推する。
例えば、人物に係る個数が「20」であるとすると、補正後のコーナー点の個数C’が138個であれば、ほぼ7人分のコーナー点の個数であるため、映像中に存在する人物の数は7名であると類推される(図7を参照)。
人数類推部13の類推結果は、他の装置等に通知される。
以上で明らかなように、この実施の形態1によれば、輝度データ抽出部9により抽出された輝度データを参照して、映像の輝度の分布を示す輝度ヒストグラムを作成する輝度ヒストグラム作成部9を設け、補正係数特定部10が輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがってコーナー点抽出部8により計数された個数を補正することで、人数類推部13により類推される人物の数を間接的に補正するように構成したので、カメラにより絞り補正やホワイトバランス補正が実施されて、映像中のコントラストが変動しても、精度よく、映像中に存在する人物の数を類推することができる効果を奏する。
実施の形態2.
図10はこの発明の実施の形態2による監視用画像処理装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
閾値補正部21は輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがってコントラスト閾値記憶部7により記憶されているコントラスト閾値を補正する処理を実施する。なお、閾値補正部21は補正手段を構成している。
上記実施の形態1では、補正係数特定部10が輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがってコーナー点抽出部8により計数された個数を補正することで、人数類推部13により類推される人物の数を間接的に補正するものについて示したが、閾値補正部21が輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがってコントラスト閾値記憶部7により記憶されているコントラスト閾値を補正することで、人数類推部13により類推される人物の数を間接的に補正するようにしてもよい。
即ち、閾値補正部21は、図1の補正係数特定部10と同様にして、輝度ヒストグラムの形状を解析することで、輝度ヒストグラムのピーク点の個数Pと、人物達と背景色の輝度の差分Lと、白い色(右側)が飽和している数Wとを特定する。
閾値補正部21は、予め、ピーク点の個数Pと、輝度の差分Lと、飽和している数Wとの組み合わせに対応する補正値Tを示す補正値テーブル(3次元のテーブル)を保持しており、その補正値テーブルから、ピーク点の個数P、輝度の差分L及び飽和している数Wに対応する補正値Tを取得する。
ピーク点の個数P、輝度の差分L及び飽和している数Wに対応する補正値Tは、例えば、カメラの性能や監視対象場所などの設置条件等によって変化するので、これらの設置条件等に合わせて適宜設定される。
例えば、ピーク点の個数Pが1個の場合、存在している人物の数が少なく、カメラの絞り補正が働いていない可能性が高いので、他の条件(輝度の差分L、飽和している数W)にもよるが、“1”に近い補正値Tが取得される。
一方、ピーク点の個数Pが2個の場合、存在している人物の数が多く、カメラの絞り補正が働いて、絞りが開いている可能性が高いので、他の条件(輝度の差分L、飽和している数W)にもよるが、“1”よりも小さい補正値Tが取得される。例えば、輝度の差分Lが“30”ぐらいであれば、“0.8”程度の補正値Tが取得される。
閾値補正部21は、補正値テーブルから補正値Tを取得すると、例えば、その補正値Tをコントラスト閾値記憶部7により記憶されているコントラスト閾値に乗算することで、そのコントラスト閾値を補正する。
これにより、カメラにより絞り補正やホワイトバランス補正が実施されて、映像中のコントラストが変動している場合でも、コーナー点抽出部8により抽出されるコーナー点の個数が、映像中に存在している人数分ぐらいまで増加する。
よって、上記実施の形態1と同様の効果を奏することができる。
ここでは、閾値補正部21が、予め保持している補正値テーブルを参照して、補正値Tを取得するものについて示したが、これは一例に過ぎず、例えば、ピーク点の個数P、輝度の差分Lや飽和している数Wなどを計算式に代入して、補正値Tを計算により求めるようにしてもよい。
実施の形態3.
図11はこの発明の実施の形態3による監視用画像処理装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
人物コーナー点数補正部31は輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがって人物コーナー点数記憶部12により記憶されている人物に係る個数を補正する処理を実施する。なお、人物コーナー点数補正部31は補正手段を構成している。
上記実施の形態1では、補正係数特定部10が輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがってコーナー点抽出部8により計数された個数を補正することで、人数類推部13により類推される人物の数を間接的に補正するものについて示したが、人物コーナー点数補正部31が輝度ヒストグラム作成部9により作成された輝度ヒストグラムの形状を解析し、その形状の解析結果にしたがって人物コーナー点数記憶部12により記憶されている人物に係る個数を補正することで、人数類推部13により類推される人物の数を間接的に補正するようにしてもよい。
即ち、人物コーナー点数補正部31は、図1の補正係数特定部10と同様にして、輝度ヒストグラムの形状を解析することで、輝度ヒストグラムのピーク点の個数Pと、人物達と背景色の輝度の差分Lと、白い色(右側)が飽和している数Wとを特定する。
人物コーナー点数補正部31は、予め、ピーク点の個数Pと、輝度の差分Lと、飽和している数Wとの組み合わせに対応する点数補正値Kを示す点数補正テーブル(3次元のテーブル)を保持しており、その点数補正テーブルから、ピーク点の個数P、輝度の差分L及び飽和している数Wに対応する点数補正値Kを取得する。
ピーク点の個数P、輝度の差分L及び飽和している数Wに対応する点数補正値Kは、例えば、カメラの性能や監視対象場所などの設置条件等によって変化するので、これらの設置条件等に合わせて適宜設定される。
例えば、ピーク点の個数Pが1個の場合、存在している人物の数が少なく、カメラの絞り補正が働いていない可能性が高いので、他の条件(輝度の差分L、飽和している数W)にもよるが、“1”に近い点数補正値Kが取得される。
一方、ピーク点の個数Pが2個の場合、存在している人物の数が多く、カメラの絞り補正が働いて、絞りが開いている可能性が高いので、他の条件(輝度の差分L、飽和している数W)にもよるが、“1”よりも小さい点数補正値Kが取得される。例えば、輝度の差分Lが“30”ぐらいであれば、“0.5”程度の点数補正値Kが取得される。
人物コーナー点数補正部31は、点数補正テーブルから点数補正値Kを取得すると、例えば、その点数補正値Kを人物コーナー点数記憶部12により記憶されている人物に係る個数に乗算することで、その人物に係る個数を補正する。
これにより、カメラにより絞り補正やホワイトバランス補正が実施されて、映像中のコントラストが変動している場合でも、人数類推部13によって、実際に映像中に存在している人数が類推される。
よって、上記実施の形態1と同様の効果を奏することができる。
ここでは、人物コーナー点数補正部31が、予め保持している点数補正テーブルを参照して、点数補正値Kを取得するものについて示したが、これは一例に過ぎず、例えば、ピーク点の個数P、輝度の差分Lや飽和している数Wなどを計算式に代入して、点数補正値Kを計算により求めるようにしてもよい。
この発明の実施の形態1による監視用画像処理装置を示す構成図である。 コントラストの算出例を示す説明図である。 コーナー点の抽出例を示す説明図である。 一人の人物Aだけが存在している環境下の映像を示す説明図である。 多数の人物(人物Aを含む)が存在している環境下の映像を示す説明図である。 コントラストの算出例を示す説明図である。 コーナー点の抽出例を示す説明図である。 輝度ヒストグラムの作成例を示す説明図である。 輝度ヒストグラムの作成例を示す説明図である。 この発明の実施の形態2による監視用画像処理装置を示す構成図である。 この発明の実施の形態3による監視用画像処理装置を示す構成図である。 従来の監視用画像処理装置を示す構成図である。
符号の説明
1 ビデオ入力部、2 A/Dコンバータ、3 画像蓄積部、4 輝度抽出部(輝度データ抽出手段)、5 コントラスト算出部(コントラスト算出手段)、6 フィルタリング部、7 コントラスト閾値記憶部(計数手段)、8 コーナー点抽出部(計数手段)、9 輝度ヒストグラム作成部(ヒストグラム作成手段)、10 補正係数特定部(補正手段)、11 補正係数乗算部(補正手段)、12 人物コーナー点数記憶部、13 人数類推部(人数類推手段)、21 閾値補正部(補正手段)、31 人物コーナー点数補正部(補正手段)、101 ビデオ入力部、102 A/Dコンバータ、103 画像蓄積部、104 輝度抽出部、105 コントラスト算出部、106 フィルタリング部、107 コントラスト閾値記憶部、108 コーナー点抽出部、109 人物コーナー点数記憶部、110 人数類推部。

Claims (4)

  1. カメラにより撮影された映像の画像データから映像を構成する各画素の輝度データを抽出する輝度データ抽出手段と、上記輝度データ抽出手段により抽出された輝度データを参照して、上記映像中の各箇所のコントラストを算出するコントラスト算出手段と、上記コントラスト算出手段により算出されたコントラストのうち、予め設定されている閾値より大きいコントラストを有する箇所の個数を計数する計数手段と、上記計数手段により計数された個数と予め設定されている人物に係る個数を比較して、上記映像中に存在する人物の数を類推する人数類推手段とを備えた監視用画像処理装置において、上記輝度データ抽出手段により抽出された輝度データを参照して、上記映像の輝度の分布を示すヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラム作成手段により作成されたヒストグラムの形状を解析し、上記形状の解析結果にしたがって上記人数類推手段により類推される人物の数を補正する補正手段とを設けたことを特徴とする監視用画像処理装置。
  2. 補正手段は、ヒストグラム作成手段により作成されたヒストグラムの形状を解析し、上記形状の解析結果にしたがって計数手段により計数された個数を補正することで、人数類推手段により類推される人物の数を間接的に補正することを特徴とする請求項1記載の監視用画像処理装置。
  3. 補正手段は、ヒストグラム作成手段により作成されたヒストグラムの形状を解析し、上記形状の解析結果にしたがって予め設定されている閾値を補正することで、人数類推手段により類推される人物の数を間接的に補正することを特徴とする請求項1記載の監視用画像処理装置。
  4. 補正手段は、ヒストグラム作成手段により作成されたヒストグラムの形状を解析し、上記形状の解析結果にしたがって予め設定されている人物に係る個数を補正することで、人数類推手段により類推される人物の数を間接的に補正することを特徴とする請求項1記載の監視用画像処理装置。
JP2008281636A 2008-10-31 2008-10-31 監視用画像処理装置 Expired - Fee Related JP5058127B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008281636A JP5058127B2 (ja) 2008-10-31 2008-10-31 監視用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008281636A JP5058127B2 (ja) 2008-10-31 2008-10-31 監視用画像処理装置

Publications (2)

Publication Number Publication Date
JP2010109859A true JP2010109859A (ja) 2010-05-13
JP5058127B2 JP5058127B2 (ja) 2012-10-24

Family

ID=42298821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008281636A Expired - Fee Related JP5058127B2 (ja) 2008-10-31 2008-10-31 監視用画像処理装置

Country Status (1)

Country Link
JP (1) JP5058127B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053663A (ja) * 2010-09-01 2012-03-15 Honda Motor Co Ltd 物体種別判定装置
JP2017090203A (ja) * 2015-11-09 2017-05-25 任天堂株式会社 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置
WO2019188054A1 (en) * 2018-03-29 2019-10-03 Nec Corporation Method, system and computer readable medium for crowd level estimation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546732A (ja) * 1991-08-10 1993-02-26 Hiroshi Ko 人数検出装置
JPH0578048A (ja) * 1991-09-19 1993-03-30 Hitachi Ltd エレベーターホールの待ち客検出装置
JPH0993472A (ja) * 1995-09-28 1997-04-04 Matsushita Electric Ind Co Ltd 自動監視装置
JPH09282452A (ja) * 1996-04-12 1997-10-31 Omron Corp 監視装置
JPH10312448A (ja) * 1997-05-14 1998-11-24 Mitsubishi Electric Corp 人数検出装置およびこれを用いたエレベータ制御システム
JPH11261994A (ja) * 1998-03-11 1999-09-24 Mitsubishi Electric Corp 物体検出装置及びエレベーターの利用客数検出装置
JP2005025328A (ja) * 2003-06-30 2005-01-27 Ntt Data Corp 混雑監視システムおよび混雑監視プログラム
JP2007180932A (ja) * 2005-12-28 2007-07-12 Secom Co Ltd 画像センサ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546732A (ja) * 1991-08-10 1993-02-26 Hiroshi Ko 人数検出装置
JPH0578048A (ja) * 1991-09-19 1993-03-30 Hitachi Ltd エレベーターホールの待ち客検出装置
JPH0993472A (ja) * 1995-09-28 1997-04-04 Matsushita Electric Ind Co Ltd 自動監視装置
JPH09282452A (ja) * 1996-04-12 1997-10-31 Omron Corp 監視装置
JPH10312448A (ja) * 1997-05-14 1998-11-24 Mitsubishi Electric Corp 人数検出装置およびこれを用いたエレベータ制御システム
JPH11261994A (ja) * 1998-03-11 1999-09-24 Mitsubishi Electric Corp 物体検出装置及びエレベーターの利用客数検出装置
JP2005025328A (ja) * 2003-06-30 2005-01-27 Ntt Data Corp 混雑監視システムおよび混雑監視プログラム
JP2007180932A (ja) * 2005-12-28 2007-07-12 Secom Co Ltd 画像センサ

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053663A (ja) * 2010-09-01 2012-03-15 Honda Motor Co Ltd 物体種別判定装置
JP2017090203A (ja) * 2015-11-09 2017-05-25 任天堂株式会社 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置
US10744404B2 (en) 2015-11-09 2020-08-18 Nintendo Co., Ltd. Information processing system, information processing apparatus, computer-readable non-transitory storage medium having stored therein information processing program, and hand-held information processing apparatus
WO2019188054A1 (en) * 2018-03-29 2019-10-03 Nec Corporation Method, system and computer readable medium for crowd level estimation
JP2021516824A (ja) * 2018-03-29 2021-07-08 日本電気株式会社 群集レベル推定のための方法、システム及びプログラム
JP7040633B2 (ja) 2018-03-29 2022-03-23 日本電気株式会社 群集レベル推定のための方法、システム及びプログラム
US11615626B2 (en) 2018-03-29 2023-03-28 Nec Corporation Method, system and computer readable medium for estimating crowd level using image of crowd
US11893798B2 (en) 2018-03-29 2024-02-06 Nec Corporation Method, system and computer readable medium of deriving crowd information

Also Published As

Publication number Publication date
JP5058127B2 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
KR101944208B1 (ko) 색 보정을 위한 장치 및 방법
US9584716B2 (en) Method and apparatus for autofocus area selection by detection of moving objects
KR100735561B1 (ko) 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
WO2009153836A1 (en) Method and apparatus for motion blur and ghosting prevention in imaging system
US10062152B2 (en) System for conversion of low dynamic range images to high dynamic range images
JP6352547B2 (ja) 画像処理装置及び画像処理方法
JP2012089929A (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
US7327504B2 (en) Method of detecting clipped image pixels
CN102111546A (zh) 图像处理方法、图像处理设备和摄像设备
KR101715489B1 (ko) 화상 생성 장치 및 화상 생성 방법
JP5058127B2 (ja) 監視用画像処理装置
JP5973804B2 (ja) 画像処理装置及びその制御方法
US10565687B2 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium
JP2013207788A (ja) 映像処理装置
US10728476B2 (en) Image processing device, image processing method, and image processing program for determining a defective pixel
JP2016046701A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2012039440A (ja) 暗領域ノイズ補正装置
JP2009296210A5 (ja)
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2013210778A (ja) 撮像装置
KR101477736B1 (ko) 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법
JPWO2017042854A1 (ja) 画像処理装置および画像処理方法
KR101067516B1 (ko) 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법
JP5398860B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
KR102099299B1 (ko) 객체 검출 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5058127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees