JP6444331B2 - 対象識別装置 - Google Patents

対象識別装置 Download PDF

Info

Publication number
JP6444331B2
JP6444331B2 JP2016071934A JP2016071934A JP6444331B2 JP 6444331 B2 JP6444331 B2 JP 6444331B2 JP 2016071934 A JP2016071934 A JP 2016071934A JP 2016071934 A JP2016071934 A JP 2016071934A JP 6444331 B2 JP6444331 B2 JP 6444331B2
Authority
JP
Japan
Prior art keywords
target
feature
feature amount
image
silhouette
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016071934A
Other languages
English (en)
Other versions
JP2017182633A (ja
Inventor
徳見 修
修 徳見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2016071934A priority Critical patent/JP6444331B2/ja
Publication of JP2017182633A publication Critical patent/JP2017182633A/ja
Application granted granted Critical
Publication of JP6444331B2 publication Critical patent/JP6444331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、入力画像に所定の対象が撮影されているか否かを識別する対象識別装置に関する。
監視カメラやデジタルスチルカメラで撮影された画像から人などの対象が撮影された画像を識別する技術として識別器を用いる方法が知られている。識別器は、対象が撮影された対象画像および対象が撮影されていない非対象画像からなる多数の学習データを用いた学習により生成される。
また、識別器においては、対象の輪郭や模様などを表現するHOG(Histograms of Oriented Gradients)などの勾配特徴量が用いられることが多い。
識別器の識別精度を向上させるには、学習データのバリエーションを増やす必要がある。例えば、入力画像が人の写った画像であるか否かを識別するための識別器を学習する場合、姿勢、体格、服装や撮影角度が異なる人の画像を多数撮影するなどして収集し、さらに被写体や場所が異なった人以外の画像を多数撮影するなどして収集する必要があり、多大な労力を要する。
ところが、このように収集しても識別精度が頭打ちになる傾向がある。その原因のひとつに学習データの偏りが挙げられる。例えば、人の写った学習データであれば、スカートを履いた人、子供などが少数派となる場合があり、これら少数派が偏りを生じさせる。
また、識別精度頭打ちの別の原因として、服と背景の色が似ている場合などに入力画像中の人の輪郭があいまいとなり、輪郭から抽出される勾配特徴が希薄となってしまうことが挙げられる。さらには、服の模様などから抽出される勾配特徴が多様なため、人の輪郭より内側の勾配特徴がデータ不足となることも原因として挙げられる。
このような問題を回避する方法として、学習データを人工的に生成する方法が考えられる。
例えば、特許文献1に記載の対象物識別装置においては、顔画像に対して拡大、縮小および回転の少なくとも1つの変形を段階的に行うことで学習用の画像を生成することが記載されている。
特開2015−191426号公報
しかしながら、画像を拡大、縮小、回転させる従来技術では増やすことが困難なバリエーションがあり、データ不足の解消には不十分であった。例えば、増やすことが困難なバリエーションとして、服の模様のバリエーションなどが挙げられる。
また、従来技術においては、画像空間において変形を行っているため、変形後の画像から抽出される勾配特徴量が対象クラスを逸脱し、非対象クラスに属する学習データとなる可能性がある。対象クラスから逸脱したものを含む学習データで学習した識別器を用いると、却って性能を低下させてしまうことになる。
本発明は、上記問題を鑑みてなされたものであり、学習データに偏りや不足があっても高精度に対象を識別できる対象識別装置を提供することを目的とする。
本発明に係る対象識別装置は、入力画像に所定の対象が撮影されているか否かを識別する対象識別装置であって、入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する特徴量抽出手段と、対象が撮影された対象画像から抽出した勾配特徴量である対象特徴量を記憶している対象特徴量記憶手段と、対象のシルエット画像から抽出した勾配特徴量であるシルエット特徴量を記憶しているシルエット特徴量記憶手段と、対象特徴量とシルエット特徴量の間を線形補間して線形補間データを生成する特徴量補間手段と、対象が撮影されていない非対象画像から抽出した勾配特徴量である非対象特徴量を記憶している非対象特徴量記憶手段と、入力特徴量が非対象特徴量よりも線形補間データに類似している場合は入力画像に対象が含まれていると判定し、入力特徴量が線形補間データよりも非対象特徴量に類似している場合は入力画像に対象が含まれていないと判定する対象識別手段と、を備えたことを特徴とする。
本発明に係る対象識別装置において、特徴量補間手段は、勾配特徴量の特徴空間において対象特徴量とシルエット特徴量とを結ぶ線分を線形補間データとして生成する構成とすることができる。
本発明に係る対象識別装置において、対象特徴量記憶手段は、複数の対象特徴量を記憶し、特徴量補間手段は、複数の対象特徴量のうち入力特徴量に最も類似した対象特徴量と、シルエット特徴量の間を線形補間して線形補間データを生成する構成とすることができる。
本発明に係る対象識別装置において、シルエット特徴量記憶手段は、複数のシルエット特徴量を記憶し、特徴量補間手段は、対象特徴量と、複数のシルエット特徴量のうち入力特徴量に最も類似したシルエット特徴量との間を線形補間して線形補間データを生成する構成とすることができる。
他の本発明に係る対象識別装置は、入力画像に所定の対象が撮影されているか否かを識別する対象識別装置であって、入力画像から当該入力画像の勾配特徴量である入力量特徴量を抽出する特徴抽出手段と、対象が撮影された対象画像から抽出した勾配特徴量である対象特徴量と対象のシルエット画像から抽出した勾配特徴量であるシルエット特徴量との間を線形補間した線形補間データを記憶している補間データ記憶手段と、対象が撮影されていない非対象画像から抽出した勾配特徴量である非対象特徴量を記憶している非対象特徴量記憶手段と、入力特徴量が非対象特徴量よりも線形補間データに類似している場合は入力画像に対象が含まれていると判定し、入力特徴量が線形補間データよりも非対象特徴量に類似している場合は入力画像に対象が含まれていないと判定する対象識別手段と、を備えたことを特徴とする。
他の本発明に係る対象識別装置は、入力画像に所定の対象が撮影されているか否かを識別する対象識別装置であって、対象が撮影された対象画像から抽出した勾配特徴量と対象のシルエット画像から抽出した勾配特徴量との間を線形補間した線形補間データ、および対象が撮影されていない非対象画像から抽出した勾配特徴量を用いて学習した、対象の勾配特徴量を識別する識別関数を記憶している識別関数記憶手段と、入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する特徴量抽出手段と、入力特徴量を識別関数に入力して入力画像に対象が含まれているか否かを識別する対象識別手段と、を備えたことを特徴とする。
本発明によれば、学習データ、特に対象特徴量に偏りや不足があっても対象を高精度に識別可能な対象識別装置を提供することが可能となる。
第一の実施形態に係る侵入検知装置の構成を表すブロック図である。 第一の実施形態に係る対象識別装置の機能を表すブロック図である。 線形補間データを説明するイメージ図である。 線形補間データにより拡張される対象クラスを説明するイメージ図である。 第一の実施形態に係る対象識別装置が行う識別処理を説明するイメージ図である。 第一の実施形態に係る侵入検知装置が行う処理の流れの動作を示すフローチャートである。 第一の実施形態に係る対象識別装置が行う人画像識別処理の流れの動作を示すフローチャートである。 第二の実施形態に係る対象識別装置の機能を表すブロック図である。 第二の実施形態に係る対象識別装置が行う人画像識別処理の流れの動作を示すフローチャートである。 第三の実施形態に係る対象識別装置の機能を表すブロック図である。 第三の実施形態に係る対象識別装置が行う人画像識別処理の流れの動作を示すフローチャートである。
以下、本発明の実施形態による対象識別装置が実装された侵入検知装置の例について説明する。
<第一の実施形態>
第一の実施形態に係る侵入検知装置10について説明する。
[侵入検知装置10の構成]
図1は侵入検知装置10の概略の構成を示すブロック図である。侵入検知装置10は撮影部20、記憶部30、画像処理部40および出力部50から構成される。
撮影部20はいわゆる監視カメラであり、CCD素子またはC−MOS素子等の撮像素子、光学系部品、A/D変換機等を含んで構成される。撮影部20は画像処理部40と接続され、所定の監視空間を順次撮影して監視画像を生成し、各監視画像を画像処理部40に入力する。
記憶部30は、ROM、RAM等の記憶装置である。記憶部30は画像処理部40で用いられる各種プログラムや各種データを記憶し、画像処理部40との間でこれらの情報を入出力する。
画像処理部40は、CPU、DSP、MCU等の演算装置を用いて構成され、撮影部20、記憶部30および出力部50に接続される。画像処理部40は記憶部30からプログラムを読み出して実行することで後述する各手段などとして機能する。画像処理部40は撮影部20からの監視画像を処理し、監視画像から人を検出した場合にアラーム信号を出力部50に出力する。
出力部50は画像処理部40と外部装置を接続する通信インターフェース回路である。例えば、出力部50は監視センターのサーバーとの通信を行う通信装置であり、画像処理部40から入力されたアラーム信号をサーバーに送信する。
図2は、第一の実施形態に係る対象識別装置の概略の機能ブロック図である。記憶部30は対象特徴量記憶手段300、シルエット特徴量記憶手段301および非対象特徴量記憶手段302などとして機能し、画像処理部40は特徴量抽出手段400、特徴量補間手段401および対象識別手段402などとして機能する。
また、図2には示さないが画像処理部40は切り出し手段および侵入判定手段としても機能する。切り出し手段は、撮影部20から監視画像を入力される度に監視画像から複数の部分画像を切り出して各部分画像を対象識別装置の特徴量抽出手段400に入力する。これらの各部分画像は第一の実施形態に係る対象識別装置への入力画像となる。対象識別装置は各部分画像に人が撮影されているか否かを識別し、侵入判定手段は部分画像のいずれかに人が撮影されていると識別された場合に侵入者が検知されたとしてアラーム信号を出力する。
対象特徴量記憶手段300は予め複数の対象特徴量を記憶している。
対象特徴量のそれぞれは人の勾配特徴を参照するために予め用意された勾配特徴量のデータである。勾配特徴量は画素間の輝度の勾配を表す特徴量であり、輪郭形状やテクスチャーなどの特徴を捉えることができる。本実施形態においては勾配特徴量としてHOGを用いる。
対象画像は、背景とともに様々な人がそれぞれに撮影された複数の人画像である。対象画像は、様々な場所、アングルで、様々な人物が様々な姿勢、服装で撮影された画像から人をほぼ中央に含む矩形を手作業等により切り出し、所定の大きさ(例えば64×128画素)に拡大または縮小して作成される。
これらの対象画像のそれぞれから対象特徴量が抽出され、それぞれに付与された識別符号と対応付けて対象特徴量記憶手段300に記憶されている。なお、対象特徴量は多様な人の特徴を識別するために十分な数だけ用意され、対象特徴量記憶手段300は例えば2000個の対象特徴量を記憶している。
シルエット特徴量記憶手段301は予め複数のシルエット特徴量を記憶している。
シルエット特徴量のそれぞれは人の輪郭形状のみの勾配特徴を参照するために予め用意された勾配特徴量のデータであり、具体的にはシルエット特徴量のそれぞれは複数枚の人のシルエット画像のそれぞれから抽出したHOGである。
シルエット画像のそれぞれは、人が撮影された人画像における人の輪郭形状をかたどった人領域と、人領域以外である背景領域とに異なる画素値を設定した画像である。シルエット画像は、人画像における人の輪郭画素を目視確認により特定することで作成される。例えば、特定された輪郭画素及び輪郭画素に囲まれる領域を人領域として人領域内の画素の画素値を255、人領域以外の画素の画素値を0に設定する。
シルエット画像は、後述する線形補間データが人の特徴量であることを高確度で担保するために、対象画像のそれぞれから作成される。
これらのシルエット画像のそれぞれからシルエット特徴量が抽出され、それぞれに付与された識別符号と対応付けてシルエット特徴量記憶手段301に記憶されている。
また、複数のシルエット特徴量は予めクラスタリングされ、それぞれが属するクラスタの識別符号(以下、クラスタ識別子と称する)と対応付けてシルエット特徴量記憶手段301に記憶されている。クラスタ識別子が同一のシルエット特徴量は、互いに類似し、例えば同一姿勢の人についてのシルエット特徴量となる。
非対象特徴量記憶手段302は予め複数の非対象特徴量を記憶している。
非対象特徴量は、人の勾配特徴と対比するために用意された勾配特徴量であり、人が撮影されていない複数の非対象画像のそれぞれから予め抽出されたHOGである。非対象特徴量記憶手段302は複数の非対象特徴量をそれぞれに付与された識別符号と対応付けて記憶している。なお非対象画像の大きさは対象画像と同一である。
なお、対象特徴量、シルエット特徴量、非対象特徴量はそれぞれ1つ以上あればよい。ちなみにシルエット特徴量が1つの場合、上述したクラスタリングは不要である。
このように、対象特徴量記憶手段300は対象が撮影された対象画像から抽出した勾配特徴量である1または複数の対象特徴量を予め記憶しており、シルエット特徴量記憶手段301は対象の輪郭形状をかたどった対象領域と背景領域とに異なる画素値が設定されたシルエット画像から抽出した勾配特徴量である1または複数のシルエット特徴量を予め記憶しており、非対象特徴量記憶手段302は対象が撮影されていない非対象画像から抽出した勾配特徴量である1または複数の非対象特徴量を予め記憶している。
特徴量抽出手段400は、切り出し手段から入力された入力画像からHOGを抽出し、抽出したHOGを特徴量補間手段401および対象識別手段402に出力する。以降、入力画像から抽出された勾配特徴量を入力特徴量と称する。すなわち特徴量抽出手段400は入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する。
特徴量補間手段401は、対象特徴量記憶手段300から対象特徴量を読み出すとともにシルエット特徴量記憶手段301からシルエット特徴量を読み出し、HOGの特徴空間において対象特徴量とシルエット特徴量の間を線形補間して線形補間データを生成し、生成した線形補間データを対象識別手段402に出力する。
具体的には、特徴量補間手段401は、特徴量抽出手段400から入力された入力特徴量と対象特徴量記憶手段300に記憶されている各対象特徴量の距離を算出して最小距離の対象特徴量(以下、最近傍対象特徴量と称する)を選出するとともに、入力特徴量と各シルエット特徴量の距離を算出して、最小距離のシルエット特徴量(以下、最近傍シルエット特徴量と称する)を選出し、最近傍対象特徴量と最近傍シルエット特徴量を結ぶ線分を線形補間データとして生成する。
一般に勾配特徴量は複数の要素からなるベクトルデータであり、特徴量補間手段401は最近傍対象特徴量と最近傍シルエット特徴量の対応する要素ごとに線分を算出する。 つまり、特徴空間における線分の端点である最近傍対象特徴量と最近傍シルエット特徴量、およびこれらの各要素を結ぶ線分の傾きからなる傾きベクトルの組が線形補間データとして生成される。
なお最近傍対象特徴量と最近傍シルエット特徴量の選出は距離の代わりに相関値を用いて行ってもよい。ただし、その場合、特徴量補間手段401は、入力特徴量との相関値が最も高い対象特徴量とシルエット特徴量をそれぞれ最近傍対象特徴量と最近傍シルエット特徴量として選出する。
図3は線形補間データを説明するイメージ図である。
対象特徴量612およびシルエット特徴量611は、それぞれの抽出元である対象画像602およびシルエット画像601を、画像空間600から勾配特徴量の特徴空間610に射影したものである。
シルエット画像601とは異なり、シルエット特徴量611においては、対象の輪郭形状のみの勾配特徴量の成分がそれ以外の成分と高い精度で分離されていると考えられる。ヒストグラム621は、シルエット特徴量611のHOGを簡略的に例示したものであり、そのビン631の高さは対象の輪郭形状のみの勾配特徴量の成分量をイメージしたものである。対象の輪郭形状は、勾配特徴量の中でも個体間での共通性が高く、対象の識別に最も有用な成分である。
一方、対象特徴量612には、対象の輪郭形状の勾配特徴量の成分とそれ以外の成分とが混在している。ヒストグラム622は、対象特徴量612のHOGを簡略的に例示したものである。輪郭形状の成分量はビン632の高さで例示するようにシルエット特徴量611のそれよりも低いと考えられる。また、ビン642、ビン652、ビン662は対象特徴量612における輪郭形状以外の成分をイメージしたものである。輪郭形状以外の成分には背景の勾配特徴量も含まれ得るが、対象の部位の特徴、服の模様など、対象を非対象と識別するために有用なテクスチャー成分が含まれている。
勾配特徴量の特徴空間610において対象特徴量612とシルエット特徴量611を結ぶ線分650が線形補間データである。ヒストグラム623、ヒストグラム624はそれぞれ線分650上の2点である点613、点614に対応するHOGをイメージしたものである。
ヒストグラム623、ヒストグラム624において対象の輪郭形状の成分に対応すると考えられるビン633、ビン634は、シルエット特徴量611に近い点であるほど高くなり、対象特徴量612に近い点であるほど低くなる。それらの高さの上限はシルエット特徴量611におけるビン631の高さであり、下限は対象特徴量612におけるビン632の高さである。このように、輪郭成分が高い精度で分離されていると考えられる特徴空間610において、対象の実画像である対象画像602から抽出された対象特徴量612と人が目視確認して作成したシルエット画像601から抽出されたシルエット特徴量611を線形補間して線形補間データ650を生成することで、対象の勾配特徴量として逸脱せず、且つ対象の識別に最も有用な輪郭形状を強調したデータを増やすことができる。
一方、ヒストグラム623、ヒストグラム624において対象の輪郭形状以外の成分に対応すると考えられるビン643、ビン653、ビン663、ビン644、ビン654、ビン664は、シルエット特徴量611に近い点であるほど低くなり、対象特徴量612に近い点であるほど高くなる。それらの高さの下限は0であり、上限は対象特徴量612におけるビン642、ビン652、ビン662の高さである。これらの成分についても、対象の実画像である対象画像602から抽出された対象特徴量612と人が目視確認して作成したシルエット画像601から抽出されたシルエット特徴量611を線形補間した線形補間データ650を生成することで、対象の勾配特徴量として逸脱しない範囲で、且つ輪郭形状の強調を阻害することなくデータを増やすことができる。
このように、特徴量補間手段401は、勾配特徴量の特徴空間において対象特徴量とシルエット特徴量の間を線形補間する線形補間データを生成する。その際、特徴量補間手段401は、勾配特徴量の特徴空間において対象特徴量とシルエット特徴量とを結ぶ線分を線形補間データとして生成する。また、特徴量補間手段401は、処理量を減じるために、複数の対象特徴量のうち入力特徴量に最も類似した対象特徴量と、複数のシルエット特徴量のうち入力特徴量に最も類似したシルエット特徴量を選出し、勾配特徴量の特徴空間において、選出した対象特徴量と選出したシルエット特徴量の間を補間する線形補間データを生成する。
こうすることによって、勾配特徴量の特徴空間において線形補間して線形補間データを生成することにより、限られた対象画像を用いて対象の勾配特徴量として逸脱しない範囲で対象の識別に最も有用な輪郭形状を保持しつつ、対象のテクスチャー成分のバリエーションを増やすことができる。
図4は、線形補間データによって特徴空間における対象クラスの領域が拡張される様子を説明するイメージ図である。
点線の楕円700で囲んだ、円701を含む9個の円の中心座標はそれぞれ特徴空間における対象特徴量をイメージしている。また、点線の楕円710で囲んだ4個の円711〜714の中心座標はそれぞれ特徴空間におけるシルエット特徴量をイメージしている。これら4個のシルエット特徴量はクラスタ#1に帰属している。また、点線の楕円720で囲んだ5個の円の中心座標はそれぞれ特徴空間における別のシルエット特徴量をイメージしている。これら5個のシルエット特徴量はクラスタ#2に帰属している。
以下、円701の中心座標で表される対象特徴量を対象特徴量701と表記し、円711、712、713、714それぞれの中心座標で表されるシルエット特徴量をシルエット特徴量711、712、713、714と表記する。
シルエット特徴量711の抽出元のシルエット画像は、対象特徴量701の抽出元の対象画像から作成されたシルエット画像である。対象特徴量701とシルエット特徴量711の組み合わせからは線分750が線形補間データとして生成され得、これにより線分750上の領域が対象クラスの領域として追加されることになる。同様に同一の対象画像に由来する対象特徴量とシルエット特徴量の組の間にも線形補間データが生成され得る。結局、図中の太線で示した9本の線分上に同一の対象画像に由来する線形補間データが生成され得、これらの線分上の領域が対象クラスの領域として拡張される。
さらに、対象特徴量701に関し、同一の対象画像に由来するシルエット特徴量711が帰属するクラスタ#1の他のメンバーである3つのシルエット特徴量712、713、714のそれぞれとの間でも線形補間データが生成され得る。同様に同一のクラスタに由来する対象特徴量とシルエット特徴量の組の間にも線形補間データが生成され得る。結局、図中の細線で示した33本の線分上に同一のクラスタに由来する線形補間データが生成され得、これらの線分上の領域も対象クラスの領域として拡張される。
これらの線形補間データは図3を参照して説明したように、対象クラスの領域としての信頼度が高い。ちなみに識別の処理の仕組みを考慮すると、実質的には上記計41本の線分の周辺も対象クラスの領域として拡張される。このように、線形補間データを用いることにより、限られた対象特徴量を用いて、高い信頼性の下で対象クラスの領域を拡張できる。
対象識別手段402は、特徴量抽出手段400から入力された入力特徴量と特徴量補間手段401から入力された線形補間データとの距離(以下、ポジティブ距離と称する)を算出する。また、対象識別手段402は、非対象特徴量記憶手段302から複数の非対象特徴量を読み出して入力特徴量と読み出した各非対象特徴量のそれぞれとの距離を算出し、算出した距離のうちの最小値(以下、ネガティブ距離と称する)をポジティブ距離と比較する。そして、対象識別手段402は、ポジティブ距離がネガティブ距離未満である場合に入力画像に人が撮影されていると判定し、ポジティブ距離がネガティブ距離以上である場合に入力画像に人が撮影されていないと判定する識別を行い、識別結果を侵入者判定手段に出力する。
線形補間データと入力特徴量の間のポジティブ距離は、特徴空間における線分と点の間の距離となる。因みに、線形補間データと入力特徴量が、線形補間データが表す線分を伸ばした先で入力特徴量からの垂線と直交する位置関係にある場合は、線形補間データが表す線分の端点(すなわちシルエット特徴量または対象特徴量)と入力特徴量が表す点の間の距離がポジティブ距離となる。
このように、対象識別手段402は、入力特徴量が非対象特徴量よりも線形補間データに類似している場合は入力画像に対象が含まれていると判定し、入力特徴量が線形補間データよりも非対象特徴量に類似している場合は入力画像に対象が含まれていないと判定する。
対象識別装置においては、対象の識別に最も有用な輪郭形状を保持しつつ、対象のテクスチャー成分のバリエーションの増えた線形補間データを用いて識別するため、対象が撮影された画像を対象が撮影されていないと誤る誤識別が低減される。また、対象識別装置においては、対象の勾配特徴量として逸脱しない範囲で生成された線形補間データを用いて識別するため、バリエーションを増やしても対象が撮影されていない画像を対象が撮影されていると誤る誤識別は増加しない。
よって、対象特徴量の分布の偏りの影響を抑制して高精度な識別が可能となる。
図5を参照して、対象識別手段402の処理のイメージと対象識別装置が奏する効果について説明する。
星印800の重心座標は特徴空間における入力特徴量をイメージしている。以下、星印800の重心座標で表される入力特徴量を入力特徴量800と表記する。この入力特徴量800が抽出された入力画像には対象が撮影されているものとする。
点線の楕円810で囲んだ、円811を含む9個の円の中心座標はそれぞれ特徴空間における対象特徴量をイメージしている。この対象特徴量の集合は、スカートを履いた人物に関するものが少ないなど、少数派の学習データが少なく偏りがちである。入力特徴量800は、少数派の入力画像から抽出されたものであり、対象特徴量が分布する楕円810から外れている。
また、点線の楕円820で囲んだ、円821を含む4個の円の中心座標はそれぞれ特徴空間におけるシルエット特徴量をイメージしている。これら4個のシルエット特徴量はクラスタ#1に帰属している。また、点線の楕円830で囲んだ5個の円の中心座標はそれぞれ特徴空間における別のシルエット特徴量をイメージしている。これら5個のシルエット特徴量はクラスタ#2に帰属している。また、点線の楕円840で囲んだ、円841を含む20個の円の中心座標はそれぞれ特徴空間における非対象特徴量をイメージしている。
以下、円811の中心座標で表される対象特徴量を対象特徴量811と表記し、円821の中心座標で表されるシルエット特徴量をシルエット特徴量821と表記し、円841の中心座標で表される非対象特徴量を非対象特徴量841と表記する。
対象識別手段402は、入力特徴量800の最近傍シルエット特徴量としてシルエット特徴量821を、入力特徴量800の最近傍対象特徴量として対象特徴量811をそれぞれ選出し、これらの間を線形補間する線分850を線形補間データとして生成する。
そして、対象識別手段402は、入力特徴量800と線分850の距離Dpをポジティブ距離として算出するとともに、入力特徴量800と各非対象特徴量との距離を算出してその最小距離Dnをネガティブ距離とする。図の例では、非対象特徴量841との間でネガティブ距離Dnが算出されている。
対象識別手段402は、ポジティブ距離Dpがネガティブ距離Dn未満であることから、入力特徴量800が抽出された入力画像は対象が撮影された画像であると正しい識別結果を出力する。
ちなみに、入力特徴量800を、線形補間データを用いない従前の方法で識別した場合は、入力特徴量800と最近傍対象特徴量である対象特徴量811の間の距離Doがネガティブ距離Dn以上であるため、入力特徴量800が抽出された入力画像は対象が撮影されていない画像であると誤識別される。
このように、従前の方法では誤識別されていた入力特徴量800(が抽出された入力画像)も、線形補間データを用いることで正しく識別されるようになる。
[侵入検知装置10の動作]
図6、図7のフローチャートを参照して、第一の実施形態に係る侵入検知装置10の動作を説明する。
侵入検知装置10が動作を開始した後、撮影部20は所定のフレーム周期で監視空間を撮影して監視画像を出力する。このフレーム周期で図6に示す処理が繰り返される。
画像処理部40は、上記フレーム周期で撮影部20から監視画像を取得すると(S10)、まず切り出し手段として機能し、監視画像から順次部分画像を切り出す(S20)。例えば、切り出し手段は、640×480画素の監視画像に対し、監視画像中の人の最大サイズを128×256画素、最小サイズを64×128画素と想定して、3段階の大きさ、サイズの1/4のステップ幅を設定して部分画像を切り出すことができる。この場合、切り出し手段は64×128画素、96×192画素、128×256画素の3通りのサイズの部分画像を、それぞれ幅16画素・高さ32画素刻み、幅24画素・高さ48画素刻み、幅36画素・高さ64画素刻みで監視画像の各所から順次切り出す。切り出し手段は、部分画像を必要に応じて縮小して64×128画素のサイズに統一し、対象識別装置への入力画像とする。なお、入力画像と対象画像のサイズが同一となればよく、その他のサイズ、ステップ幅には撮影部20の仕様や設置条件に応じて適宜の値を設定することができる。
部分画像(入力画像)が切り出されると、画像処理部40および記憶部30は対象識別装置の構成要素として機能し、当該入力画像が人画像であるか否かを識別する人画像識別処理を行う(S30)。図7を参照してその処理を説明する。
まず画像処理部40は、特徴量抽出手段400として機能し、入力画像から入力特徴量を抽出する(S300)。
次に、画像処理部40は特徴量補間手段401として機能し、記憶部30は対象特徴量記憶手段300およびシルエット特徴量記憶手段301として機能する。
特徴量補間手段401はシルエット特徴量記憶手段301からシルエット特徴量を順次読み出して、各シルエット特徴量と入力特徴量の距離を算出し、シルエット特徴量のうち最小の距離が算出されたシルエット特徴量を入力特徴量の最近傍シルエット特徴量として選出する(S301)。
続いて特徴量補間手段401は対象特徴量記憶手段300から対象特徴量を順次読み出して、各対象特徴量と入力特徴量の距離を算出し、対象特徴量のうち最小の距離が算出された対象特徴量を入力特徴量の最近傍対象特徴量として選出する(S302)。
続いて特徴量補間手段401は最近傍シルエット特徴量と最近傍対象特徴量を結ぶ線分を求めることによって線形補間データを生成する(S303)。
線形補間データを生成し終えると、画像処理部40は対象識別手段402として機能し、記憶部30は非対象特徴量記憶手段302として機能する。
対象識別手段402は線形補間データと入力特徴量の距離をポジティブ距離として算出する(S304)。
続いて対象識別手段402は非対象特徴量記憶手段302から非対象特徴量を順次読み出して、各非対象特徴量と入力特徴量の距離を算出し、算出した距離のうち最小の距離をネガティブ距離として選び出す(S305)。
続いて対象識別手段402は、ポジティブ距離とネガティブ距離を比較し(S306)、ポジティブ距離がネガティブ距離未満であれば(S306にてYES)、入力画像は人が撮影されている人画像であると判定し(S307)、ポジティブ距離がネガティブ距離以上であれば(S306にてNO)、入力画像は人画像でないと判定し(S308)、識別結果を出力する。
以上の処理が終了すると、処理は図6のステップS40に進められる。
切り出した部分画像(入力画像)に対する識別結果が得られると、画像処理部40は、当該識別結果を記憶部30に一時記憶させるとともに、設定された全ての位置およびサイズでの切り出しが完了したか否かを確認する(S40)。未だ完了していなければ(S40にてNO)、画像処理部40は処理をステップS20に戻して次の切り出しを行う。
他方、全ての位置およびサイズでの切り出しが完了すると(S40にてYES)、画像処理部40は侵入判定手段として機能する。
侵入判定手段は、記憶部30を参照して、監視画像から切り出した部分画像の中に、ステップS30にて人画像との識別結果を得た部分画像が含まれているか否かを確認する(S50)。
人画像が含まれていれば(ステップS50にてYES)、侵入判定手段は、監視空間に侵入者が存在するとして所定のアラーム信号を出力部50に出力する(S60)。アラーム信号を入力された出力部50は当該信号を監視センターのサーバーに送信する。他方、部分画像の中に人画像との識別結果を得た部分画像がひとつも含まれていなければ(ステップS50にてNO)、ステップS60の処理はスキップされる。
以上の処理を終えると、処理はステップS10に戻され、新たな監視画像に対する処理が行われる。
<第一の実施形態の変形例>
上記実施形態においては、線形補間データを線分とする例を示したが、線形補間データを離散的な特徴量とすることもできる。この場合、特徴量補間手段401は勾配特徴量の特徴空間における最近傍対象特徴量と最近傍シルエット特徴量の間の1または複数の内分点に対応する勾配特徴量を算出し、最近傍対象特徴量、最近傍シルエット特徴量および各内分点に対応する勾配特徴量を線形補間データとして生成する。その際の内分点の個数は予め定めた固定の個数としてもよいし、内分点の間隔が予め定めた距離となるよう可変の個数としてもよい。また、内分点の数が複数個となる場合、対象識別手段402は複数の内分点に対応する勾配特徴量のうち入力特徴量に最も類似する勾配特徴量に基づいて識別を行う。
このように線形補間データを線分ではなく離散的な特徴量とする変形例においては、対象識別手段402が、入力特徴量と線形補間データの類似性を相関値など距離以外の尺度で判定することが可能となる。
上記実施形態およびその変形例においては、対象画像のそれぞれと対応するシルエット特徴量を用いる例を示したが、クラスタごとに当該クラスタを代表するシルエット特徴量のみを用いてもよい。例えば、クラスタの平均値に最も近いシルエット特徴量、またはクラスタの平均値を当該クラスタの識別符号と対応付けてシルエット特徴量記憶手段301に記憶しておく。
このようにすることで、生成可能な線形補間データの数は減るものの、シルエット特徴量の数が少なくなるため最近傍シルエット特徴量を選出する処理量を減じることができる。
上記実施形態およびその変形例においては、シルエット特徴量をクラスタリングしておく例を示したが、クラスタリングを省略してもよい。その場合、各シルエット特徴量にはその作成元となった対象画像の識別符号を対応付けてシルエット特徴量記憶手段301に記憶しておく。そして、特徴量補間手段401は、ステップS301にて最近傍シルエット特徴量を選出すると、最近傍対象特徴量を選出する代わりにステップS302にて当該最近傍シルエット特徴量に対応付けられている対象画像の識別符号と同一の識別符号が付与されている対象特徴量を選出し、選出した対象特徴量と最近傍シルエット特徴量の間を線形補間して線形補間データを生成する。
このようにすることで、生成可能な線形補間データの数は減るものの、最近傍対象特徴量を選出する処理量を減じることができる。
なお、対象画像に含まれない人画像からシルエット画像を作成してもよいが、その場合は、そのシルエット特徴量が対象画像を元とするシルエット特徴量の平均値付近となるような人画像とするなど、対象画像を元とするシルエット特徴量が分布する範囲内に含まれる人画像であることを必要とする。
<第二の実施形態>
第二の実施形態に係る侵入検知装置11について説明する。
[侵入検知装置11の構成]
侵入検知装置11は撮影部21、記憶部31、画像処理部41および出力部51から構成される。撮影部21、記憶部31、画像処理部41および出力部51の接続関係はそれぞれ図1に示した撮影部20、記憶部30、画像処理部40および出力部50の接続関係と同様であるため構成図は省略する。
撮影部21は、撮像部20と同様の監視カメラであり、所定の監視空間を順次撮影して監視画像を生成し、各監視画像を画像処理部41に入力する。
記憶部31は、記憶部30と同様の記憶装置であり、画像処理部41で用いられる各種プログラムや各種データを記憶し、画像処理部41との間でこれらの情報を入出力する。
画像処理部41は、画像処理部40と同様の演算装置を用いて構成され、記憶部31からプログラムを読み出して実行することで後述する各手段などとして機能する。
出力部51は、出力部50と同様の通信インターフェース回路であり、画像処理部41から入力されたアラーム信号を監視センターのサーバーに送信する。
図8は、第二の実施形態に係る対象識別装置の概略の機能ブロック図である。記憶部31は補間データ記憶手段310および非対象特徴量記憶手段312などとして機能し、画像処理部41は特徴量抽出手段410および対象識別手段412などとして機能する。
また、図8には示さないが画像処理部41は切り出し手段および侵入判定手段としても機能する。切り出し手段は監視画像から複数の部分画像を切り出して各部分画像を対象識別装置の特徴抽出手段410に入力する。これらの各部分画像は第二の実施形態に係る対象識別装置への入力画像となる。対象識別装置は各部分画像に人が撮影されているか否かを識別し、侵入判定手段は部分画像のいずれかに人が撮影されていると識別された場合に侵入者が検知されたとしてアラーム信号を出力する。
補間データ記憶手段310は複数の線形補間データを予め記憶している。
具体的には、線形補間データは、HOGの特徴空間において、対象特徴量とシルエット特徴量を結ぶ線分のデータである。補間データ記憶手段310は線分の端点のデータとして複数の対象特徴量および複数のシルエット特徴量を記憶するとともに、対象特徴量とシルエット特徴量の組み合わせごとに線分の傾きを記憶している。
複数の対象特徴量のそれぞれは、第一の実施形態において説明した対象特徴量と同様、複数の人画像のそれぞれから抽出されたHOGである。また、複数のシルエット特徴量のそれぞれは、第一の実施形態において説明したシルエット特徴量と同様、人のシルエット画像から抽出したHOGである。
各シルエット画像は対象特徴量の抽出元となった人画像である。よって、各シルエット特徴量には同一の人画像を由来とする対象特徴量が存在する。また、シルエット特徴量は予めクラスタリングされている。
補間データ記憶手段310は、各クラスタに帰属する複数のシルエット特徴量のそれぞれと、当該クラスタに帰属する複数のシルエット特徴量のそれぞれと同一の人画像に由来する対象特徴量とを結んだ複数の線分(例えば図4にて太線および細線で示した41本の線分)のデータを線形補間データとして記憶している。
非対象特徴量記憶手段312は複数の非対象特徴量を予め記憶している。
具体的には、複数の非対象特徴量のそれぞれは、第一の実施形態において説明した非対象特徴量と同様、人が撮影されていない複数の非対象画像のそれぞれから抽出したHOGである。
なお、線形補間データおよび非対象特徴量はそれぞれ1つ以上あればよい。
このように、補間データ記憶手段310は、予め、勾配特徴量の特徴空間において、対象が撮影された複数の対象画像から抽出した勾配特徴量である対象特徴量と、対象の輪郭形状をかたどった対象領域と背景領域とに異なる画素値が設定されたシルエット画像から抽出した勾配特徴量であるシルエット特徴量の間を線形補間した1または複数の線形補間データを記憶し、非対象特徴量記憶手段312は、対象が撮影されていない非対象画像から抽出した勾配特徴量である1または複数の非対象特徴量を記憶している。
特徴量抽出手段410は、切り出し手段から入力された入力画像からHOGを抽出し、抽出したHOGを対象識別手段412に出力する。すなわち、特徴量抽出手段410は、特徴量抽出手段400と同様、入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する。
対象識別手段412は、補間データ記憶手段310に記憶されている1または複数の線形補間データを読み出して、特徴量抽出手段410から入力された入力特徴量と読み出した各線形補間データとの距離を算出し、算出した距離の最小値であるポジティブ距離を算出する。また、対象識別手段412は、非対象特徴量記憶手段312から複数の非対象特徴量を読み出して入力特徴量と読み出した各非対象特徴量のそれぞれとの距離を算出し、算出した距離のうちの最小値であるネガティブ距離と比較する。そして、対象識別手段412は、ポジティブ距離がネガティブ距離未満である場合に入力画像に人が撮影されていると判定し、ポジティブ距離がネガティブ距離以上である場合に入力画像に人が撮影されていないと判定する識別を行い、識別結果を侵入者判定手段に出力する。
なお、対象識別手段412が読み出す線形補間データは記憶している線形補間データ全てとすることができる。或いは、第一の実施形態と同様、最近傍シルエット特徴量と最近傍対象特徴量の組み合わせに対する線形補間データのみを読み出してもよい。
このように、対象識別手段412は、入力特徴量が非対象特徴量よりも線形補間データに類似している場合は入力画像に対象が含まれていると判定し、入力特徴量が線形補間データよりも非対象特徴量に類似している場合は入力画像に対象が含まれていないと判定する。
第二の実施形態に係る対象識別装置においても、第一の実施形態にて説明した対象識別装置と同様、対象の識別に最も有用な輪郭形状を保持しつつ、対象のテクスチャー成分のバリエーションの増えた線形補間データを用いて識別するため、対象が撮影された画像を対象が撮影されていないと誤る誤識別が低減される。また、対象識別装置においては、対象の勾配特徴量として逸脱しない範囲で生成された線形補間データを用いて識別するため、バリエーションを増やしても対象が撮影されていない画像を対象が撮影されていると誤る誤識別は増加しない。
[侵入検知装置11の動作]
以下、第二の実施形態に係る侵入検知装置11の動作を説明する。
侵入検知装置11の動作と、第一の実施形態にて示した侵入検知装置10の動作は、人画像識別処理のサブルーチン以外においては同様の流れで行われる。まず、図6を援用して人画像識別処理のサブルーチン以外の動作を説明する。
撮影部21は所定のフレーム周期で監視空間を撮影して監視画像を出力する。このフレーム周期で図6に示した処理が繰り返される。
画像処理部41は撮影部21から監視画像を取得すると(S10)、まず切り出し手段として機能し、監視画像から順次部分画像を切り出す(S20)。部分画像(入力画像)が切り出されると、画像処理部41および記憶部31は対象識別装置の構成要素として機能し、当該入力画像が人画像であるか否かを識別する人画像識別処理を行う(S30)。人画像識別処理については後述する。
切り出した部分画像(入力画像)に対する識別結果が得られると、画像処理部41は、当該識別結果を記憶部31に一時記憶させ、切り出しが完了するまでステップS20〜S40の処理を繰り返す(ステップS40にてNO→S20)。
切り出しが完了すると(ステップS40にてYES)、画像処理部41は侵入判定手段として機能する。侵入判定手段は、記憶部31を参照し、監視画像から切り出した部分画像の中に人画像が含まれていれば所定のアラーム信号を出力部51に出力する(ステップS50にてYES→S60)、出力部51は入力されたアラーム信号を監視センターに送信する。人画像が含まれていなければ(ステップS50にてNO)、ステップS60の処理はスキップされる。
以上の処理を終えると、処理はステップS10に戻され、新たな監視画像に対する処理が行われる。
以下、図9を参照して、第二の実施形態に係る対象識別装置が行うステップS30の人画像識別処理について説明する。
まず画像処理部41は、特徴量抽出手段410として機能し、入力画像から入力特徴量を抽出する(S310)。
次に、画像処理部41は対象識別手段412として機能し、記憶部31は補間データ記憶手段310および非対象特徴量記憶手段312として機能する。
対象識別手段412は、補間データ記憶手段310から線形補間データを順次読み出して(S311)、ステップS311にて抽出した入力特徴量と読み出した線形補間データの間の距離を算出する(S312)。このループ処理は、全線形補間データについて繰り返される(ステップS313にてNO→S311)。
全ての線形補間データを処理し終えると(ステップS313にてYES)、対象識別手段412はステップS312にて算出した距離の中の最小距離をポジティブ距離として選び出す(S314)。
続いて対象識別手段412は、非対象特徴量記憶手段312から非対象特徴量を順次読み出して、各非対象特徴量と入力特徴量の距離を算出し、算出した距離の中の最小の距離をネガティブ距離として選び出す(S315)。
続いて対象識別手段412は、ポジティブ距離とネガティブ距離を比較し(S316)、ポジティブ距離がネガティブ距離未満であれば(S316にてYES)、入力画像は人が撮影されている人画像であると判定し(S317)、ポジティブ距離がネガティブ距離以上であれば(S316にてNO)、入力画像は人画像でないと判定し(S318)、識別結果を出力する。
以上の処理が終了すると、処理は前述したステップS40に進められる。
<第二の実施形態の変形例>
上記第二の実施形態においては、線形補間データを線分とする例を示したが、線形補間データを離散的な特徴量とすることもできる。この場合、補間データ記憶手段310は、勾配特徴量の特徴空間における対象特徴量とシルエット特徴量の間の1または複数の内分点に対応する勾配特徴量を線形補間データとして記憶する。その際の内分点の個数は予め定めた固定の個数としてもよいし、内分点の間隔が予め定めた距離となるよう可変の個数としてもよい。
このように線形補間データを線分ではなく離散的な特徴量とする変形例においては、対象識別手段412が、入力特徴量と線形補間データの類似性を相関値など距離以外の尺度で判定することが可能となる。
また、上記第二の実施形態の変形例において、対象識別手段412は、入力特徴量を中心とする探索範囲を段階的に広げて設定し、設定した探索範囲内の線形補間データに対するポジティブ距離を算出する構成とすることもできる。この場合、対象識別手段412は、ポジティブ距離が算出できた段階で探索を打ち切ることで、ポジティブ距離の算出処理を減じることが可能となる。
<第三の実施形態>
第三の実施形態に係る侵入検知装置12について説明する。
[侵入検知装置12の構成]
侵入検知装置12は撮影部22、記憶部32、画像処理部42および出力部52から構成される。撮影部22、記憶部32、画像処理部42および出力部52の接続関係はそれぞれ図1に示した撮影部20、記憶部30、画像処理部40および出力部50の接続関係と同様であるため構成図は省略する。
撮影部22は、撮像部20と同様の監視カメラであり、所定の監視空間を順次撮影して監視画像を生成し、各監視画像を画像処理部42に入力する。
記憶部32は、記憶部30と同様の記憶装置であり、画像処理部42で用いられる各種プログラムや各種データを記憶し、画像処理部42との間でこれらの情報を入出力する。
画像処理部42は、画像処理部40と同様の演算装置を用いて構成され、記憶部32からプログラムを読み出して実行することで後述する各手段として機能する。
出力部52は、出力部50と同様の通信インターフェース回路であり、画像処理部42から入力されたアラーム信号を監視センターのサーバーに送信する。
図10は、第三の実施形態に係る対象識別装置の概略の機能ブロック図である。記憶部32は識別関数記憶手段320などとして機能し、画像処理部42は特徴量抽出手段420および対象識別手段422などとして機能する。
また、図10には示さないが画像処理部41は切り出し手段および侵入判定手段としても機能する。切り出し手段は監視画像から複数の部分画像を切り出して各部分画像を対象識別装置の特徴抽出手段420に入力する。これらの各部分画像は第三の実施形態に係る対象識別装置への入力画像となる。対象識別装置は各部分画像に人が撮影されているか否かを識別し、侵入判定手段は部分画像のいずれかに人が撮影されていると識別された場合に侵入者が検知されたとしてアラーム信号を出力する。
識別関数記憶手段320は、対象の識別に用いる識別関数を予め記憶している。
識別関数は、入力画像が対象の特徴を有する度合いである評価値を入力特徴量から導出する関数である。例えばサポートベクターマシン(SVM:Support Vector Machine)法を用いて対象を識別する場合、識別関数は識別境界法線ベクトルaと識別境界バイアス項bの組からなるパラメータで構成され、評価値は尤度である。
識別関数は予めの学習により導出される。ここで、本実施形態における識別関数は線形補間データを用いて学習されている点に特徴がある。すなわち、識別関数記憶手段320が記憶している識別関数は、複数の線形補間データおよび複数の非対象特徴量を用いて学習したものである。
例えば、複数の線形補間データおよび複数の非対象特徴量にSVM法を適用すると、線形補間データにより拡張された対象クラスと非対象クラスを識別するのに適した識別境界法線ベクトルaと識別境界バイアス項bが導出される。
なお、SVM法に代えて、アダブースト(AdaBoost)法、他のブースティング(Boosting)法、3層以上の層を持つパーセプトロン法またはランダムフォレスト法等など他の機械学習法を利用することもできる。ちなみにブースティング法を用いた学習では、対象を識別するのに適した入力画像中の位置、特徴量の要素、重みの組のセットで構成された識別関数が導出される。
学習に用いられる線形補間データは対象特徴量とシルエット特徴量の間を補間したデータであり、線分の形式ではなく離散的な特徴量である。すなわち、線形補間データは、複数の対象特徴量、複数のシルエット特徴量、勾配特徴量の特徴空間において、上記複数の対象特徴量と当該対象特徴量が由来するシルエット特徴量との間の1または複数の内分点に対応する勾配特徴量、および上記複数の対象特徴量と当該対象特徴量が由来するシルエット特徴量のクラスタメンバーであるシルエット特徴量との間の1または複数の内分点に対応する勾配特徴量である。
複数の対象特徴量のそれぞれは、第一の実施形態において説明した対象特徴量と同様、複数の人画像のそれぞれから抽出されたHOGである。また、複数のシルエット特徴量のそれぞれは、第一の実施形態において説明したシルエット特徴量と同様、人のシルエット画像から抽出したHOGである。シルエット画像のそれぞれは、対象特徴量の元となった人画像から人手で作成される。上述した対象特徴量が由来するシルエット特徴量とは、対象特徴量と共通の人画像から抽出されたシルエット特徴量である。
また、複数のシルエット特徴量は予めクラスタリングされ、その結果が線形補間データの生成に利用される。上述したクラスタメンバーとは同一クラスタにクラスタリングされたシルエット特徴量、つまり互いに類似するシルエット特徴量である。
複数の非対象特徴量のそれぞれは、第一の実施形態において説明した非対象特徴量と同様、人が撮影されていない複数の非対象画像のそれぞれから予め抽出されたHOGである。
このように、識別関数記憶手段320は、予め、対象が撮影された対象画像から抽出した勾配特徴量と対象のシルエット画像から抽出した勾配特徴量との間を線形補間した複数の線形補間データ、および対象が撮影されていない非対象画像から抽出した複数の勾配特徴量を用いて学習した、対象の勾配特徴量を識別する識別関数を記憶している。
特徴量抽出手段420は、切り出し手段から入力された入力画像からHOGを抽出し、抽出したHOGを対象識別手段422に出力する。すなわち、特徴量抽出手段420は、特徴量抽出手段400と同様、入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する。
対象識別手段422は、識別関数記憶手段320に記憶されている識別関数を読み出し、特徴量抽出手段410から入力された入力特徴量を、読み出した識別関数に入力して入力画像に対象が含まれているか否かを判定する識別を行い、識別結果を侵入者判定手段に出力する。例えば、SVM法で学習した識別関数を利用する場合、尤度に対する閾値は0である。この場合、対象識別手段422は、尤度が正値であれば入力画像に対象が含まれていると判定し、尤度が0以下であれば入力画像に対象が含まれていないと判定する。
第三の実施形態に係る対象識別装置は、対象の識別に最も有用な輪郭形状を保持しつつ、対象のテクスチャー成分のバリエーションの増えた線形補間データを用いて学習した識別関数にて識別するため、対象が撮影された画像を対象が撮影されていないと誤る誤識別が低減される。また、当該対象識別装置においては、対象の勾配特徴量として逸脱しない範囲で生成された線形補間データを用いて学習した識別関数にて識別するため、バリエーションを増やしても対象が撮影されていない画像を対象が撮影されていると誤る誤識別は増加しない。
[侵入検知装置12の動作]
以下、第三の実施形態に係る侵入検知装置12の動作を説明する。
侵入検知装置12の動作と、第一の実施形態にて示した侵入検知装置10の動作は、人画像識別処理のサブルーチン以外においては同様の流れで行われる。まず、図6を援用して人画像識別処理のサブルーチン以外の動作を説明する。
撮影部22は所定のフレーム周期で監視空間を撮影して監視画像を出力する。このフレーム周期で図6に示した処理が繰り返される。
画像処理部42は撮影部22から監視画像を取得すると(S10)、まず切り出し手段として機能し、監視画像から順次部分画像を切り出す(S20)。部分画像(入力画像)が切り出されると、画像処理部42および記憶部32は対象識別装置の構成要素として機能し、当該入力画像が人画像であるか否かを識別する人画像識別処理を行う(S30)。人画像識別処理については後述する。
切り出した部分画像(入力画像)に対する識別結果が得られると、画像処理部42は、当該識別結果を記憶部32に一時記憶させ、切り出しが完了するまでステップS20〜S40の処理を繰り返す(ステップS40にてNO→S20)。
切り出しが完了すると(ステップS40にてYES)、画像処理部42は侵入判定手段として機能する。侵入判定手段は、記憶部32を参照し、監視画像から切り出した部分画像の中に人画像が含まれていれば所定のアラーム信号を出力部51に出力する(ステップS50にてYES→S60)。人画像が含まれていなければ(ステップS50にてNO)、ステップS60の処理はスキップされる。
以上の処理を終えると、処理はステップS10に戻され、新たな監視画像に対する処理が行われる。
以下、図11を参照して、第三の実施形態に係る対象識別装置が行うステップS30の人画像識別処理について説明する。
まず画像処理部42は、特徴量抽出手段420として機能し、入力画像から入力特徴量を抽出する(S320)。
次に、画像処理部42は対象識別手段422として機能し、記憶部32は識別関数記憶手段320として機能する。
対象識別手段422は、識別関数記憶手段320から識別関数を読み出して(S321)、読み出した識別関数にステップS321にて抽出した入力特徴量を入力して尤度を算出する(S322)。
続いて対象識別手段412は、算出した尤度を閾値と比較し(S323)、尤度が正値であれば(S323にてYES)、入力画像は人が撮影されている人画像であると判定し(S324)、尤度が0以下の値であれば(S323にてNO)、入力画像は人画像でないと判定し(S325)、識別結果を出力する。
以上の処理が終了すると、処理は前述したステップS40に進められる。
<その他の変形例>
上記各実施形態においては、人を識別の対象とする例を示したが、識別対象は人に限らず種々の物体とすることができる。例えば、識別対象を車両または什器など、人以外の物体とすることもでき、人の顔または手など人の特定部位とすることもできる。
上記各実施形態およびその変形例においては、勾配特徴量としてHOGを用いた例を示したが、HOG以外にも種々の勾配特徴量を用いることができる。例えば、勾配特徴量としてハールライク(Haar-Like)特徴量、ローカル・バイナリー・パターン(LBP;Local Binary Pattern)を用いることもでき、また、ソーベルオペレータ、ロバーツオペレータ、キャニーフィルタ、ラプラシアンなど公知の種々のエッジオペレータにより各画素位置において抽出したエッジを画素順に並べたベクトルを用いることもできる。
上記各実施形態およびその変形例においては、特徴抽出手段が監視画像から切り出された部分画像(入力画像)ごとに勾配特徴量を抽出する例を示した。別の変形例において、特徴抽出手段は監視画像の全体にわたり勾配特徴量を抽出して記憶部に記憶させ、各入力画像と対応する領域の勾配特徴量を記憶部から逐次読み出す構成としてもよい。この場合、切り出しの機能は特徴抽出手段に含まれるため、上述した切り出し手段は不要となる。この構成では記憶部に必要とされる容量は増すものの、同じ領域の勾配特徴量を繰り返し抽出する無駄な処理を省くことができる。
また、さらに別の変形例において、特徴量抽出手段は、後続して切り出される部分画像(入力画像)と重複する領域から抽出した勾配特徴量のみを記憶部に保持するよう制御してもよい。この構成でも、記憶部に必要とされる容量は増すものの、同じ領域の勾配特徴量を繰り返し抽出する無駄な処理を省くことができる。
10・・・侵入検知装置
20・・・撮影部
30・・・記憶部
40・・・画像処理部
50・・・出力部
300・・・対象特徴量記憶手段
301・・・シルエット特徴量記憶手段
302、312・・・非対象特徴量記憶手段
310・・・補間データ記憶手段
320・・・識別関数記憶手段
400、410、420・・・特徴量抽出手段
401・・・特徴量補間手段
402、412、422・・・対象識別手段

Claims (4)

  1. 入力画像に所定の対象が撮影されているか否かを識別する対象識別装置であって、
    前記入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する特徴量抽出手段と、
    前記対象が撮影された対象画像から抽出した勾配特徴量である対象特徴量を記憶している対象特徴量記憶手段と、
    前記対象のシルエット画像から抽出した勾配特徴量であるシルエット特徴量を記憶しているシルエット特徴量記憶手段と、
    前記対象特徴量と前記シルエット特徴量の間を線形補間して線形補間データを生成する特徴量補間手段と、
    前記対象が撮影されていない非対象画像から抽出した勾配特徴量である非対象特徴量を記憶している非対象特徴量記憶手段と、
    前記入力特徴量が前記非対象特徴量よりも前記線形補間データに類似している場合は前記入力画像に前記対象が含まれていると判定し、前記入力特徴量が前記線形補間データよりも前記非対象特徴量に類似している場合は前記入力画像に前記対象が含まれていないと判定する対象識別手段と、
    を備え
    前記対象特徴量記憶手段は、複数の前記対象特徴量を記憶し、
    前記特徴量補間手段は、前記複数の対象特徴量のうち前記入力特徴量に最も類似した対象特徴量と、前記シルエット特徴量の間を線形補間して前記線形補間データを生成することを特徴とする対象識別装置。
  2. 前記シルエット特徴量記憶手段は、複数の前記シルエット特徴量を記憶し、
    前記特徴量補間手段は、前記対象特徴量と、前記複数のシルエット特徴量のうち前記入力特徴量に最も類似したシルエット特徴量との間を線形補間して前記線形補間データを生成する請求項に記載の対象識別装置。
  3. 入力画像に所定の対象が撮影されているか否かを識別する対象識別装置であって、
    前記入力画像から当該入力画像の勾配特徴量である入力特徴量を抽出する特徴量抽出手段と、
    前記対象が撮影された対象画像から抽出した勾配特徴量である対象特徴量を記憶している対象特徴量記憶手段と、
    前記対象のシルエット画像から抽出した勾配特徴量であるシルエット特徴量を記憶しているシルエット特徴量記憶手段と、
    前記対象特徴量と前記シルエット特徴量の間を線形補間して線形補間データを生成する特徴量補間手段と、
    前記対象が撮影されていない非対象画像から抽出した勾配特徴量である非対象特徴量を記憶している非対象特徴量記憶手段と、
    前記入力特徴量が前記非対象特徴量よりも前記線形補間データに類似している場合は前記入力画像に前記対象が含まれていると判定し、前記入力特徴量が前記線形補間データよりも前記非対象特徴量に類似している場合は前記入力画像に前記対象が含まれていないと判定する対象識別手段と、
    を備え、
    前記シルエット特徴量記憶手段は、複数の前記シルエット特徴量を記憶し、
    前記特徴量補間手段は、前記対象特徴量と、前記複数のシルエット特徴量のうち前記入力特徴量に最も類似したシルエット特徴量との間を線形補間して前記線形補間データを生成することを特徴とする対象識別装置。
  4. 前記特徴量補間手段は、前記勾配特徴量の特徴空間において前記対象特徴量と前記シルエット特徴量とを結ぶ線分を前記線形補間データとして生成する請求項1〜3のいずれかひとつに記載の対象識別装置。
JP2016071934A 2016-03-31 2016-03-31 対象識別装置 Active JP6444331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016071934A JP6444331B2 (ja) 2016-03-31 2016-03-31 対象識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016071934A JP6444331B2 (ja) 2016-03-31 2016-03-31 対象識別装置

Publications (2)

Publication Number Publication Date
JP2017182633A JP2017182633A (ja) 2017-10-05
JP6444331B2 true JP6444331B2 (ja) 2018-12-26

Family

ID=60007408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016071934A Active JP6444331B2 (ja) 2016-03-31 2016-03-31 対象識別装置

Country Status (1)

Country Link
JP (1) JP6444331B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032054A (zh) * 2018-08-03 2018-12-18 深圳众厉电力科技有限公司 一种监控预警***
KR20200084395A (ko) 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
CN110021028B (zh) * 2019-03-06 2022-11-29 上海工程技术大学 一种基于服装款式图的自动制衣方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5882976B2 (ja) * 2013-11-19 2016-03-09 ヤフー株式会社 学習用局所特徴量生成装置及び学習用局所特徴量生成方法

Also Published As

Publication number Publication date
JP2017182633A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
US9202126B2 (en) Object detection apparatus and control method thereof, and storage medium
JP4528309B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5376906B2 (ja) 特徴量抽出装置、物体識別装置及び特徴量抽出方法
EP2120211A1 (en) Marker generating and marker detecting system, method and program
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
KR102322546B1 (ko) 봉제 스티칭 불량 검출 방법 및 시스템
JP5290227B2 (ja) 対象物検知装置及びその学習装置
JP2012108785A (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
JP4518139B2 (ja) 画像処理装置
JP6444331B2 (ja) 対象識別装置
CN112733814A (zh) 一种基于深度学习的行人徘徊滞留检测方法、***及介质
JP2009163682A (ja) 画像識別装置及びプログラム
JP2012252621A (ja) 画像特徴量抽出装置及びこれを用いた画像処理によるマーカ検出装置
JP2003187248A (ja) 画像処理システムおよび画像処理装置
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP6527183B2 (ja) 放置物検出装置
JP4390487B2 (ja) 頭部領域抽出装置
KR20080079443A (ko) 영상으로부터의 객체 검출 방법 및 장치
JP6090162B2 (ja) 部位分離位置抽出装置、プログラム、方法
CN112347988A (zh) 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
CN111104857A (zh) 一种基于步态能量图的身份识别方法及***
JP4203648B2 (ja) 画像処理装置
JP2013003861A (ja) 物体形状推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181127

R150 Certificate of patent or registration of utility model

Ref document number: 6444331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250