JP2013192154A - 監視装置、信頼度算出プログラム、および信頼度算出方法 - Google Patents

監視装置、信頼度算出プログラム、および信頼度算出方法 Download PDF

Info

Publication number
JP2013192154A
JP2013192154A JP2012058459A JP2012058459A JP2013192154A JP 2013192154 A JP2013192154 A JP 2013192154A JP 2012058459 A JP2012058459 A JP 2012058459A JP 2012058459 A JP2012058459 A JP 2012058459A JP 2013192154 A JP2013192154 A JP 2013192154A
Authority
JP
Japan
Prior art keywords
detection
target person
detection target
reliability
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012058459A
Other languages
English (en)
Inventor
Shihong Lao
世紅 労
Tsuyoshi Kurata
剛 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2012058459A priority Critical patent/JP2013192154A/ja
Priority to EP13156462.7A priority patent/EP2639741A3/en
Priority to CN2013100596890A priority patent/CN103310185A/zh
Priority to US13/777,519 priority patent/US8971577B2/en
Publication of JP2013192154A publication Critical patent/JP2013192154A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】より多くの撮像装置を使用して検出対象者を検出する可能性を向上させた場合であっても、撮像されている他人を検出対象者であると誤認識したことによる検出通知についての捜索等にかかる人手が十分に抑えられる監視装置を提供する。
【解決手段】画像処理部13が撮像エリアが異なる複数の撮像装置2で撮像した撮像画像を処理し、検出対象者が撮像されている撮像画像を検出する。検出情報記憶部15が、検出した検出対象者が撮像されている撮像画像について、撮像されている検出対象者、撮像エリア、および撮像日時を含む検出情報を記憶する。制御ユニット11が、検出対象者毎に、その検出対象者について検出情報記憶部15が記憶する複数の検出情報から判断した時空間の合理性に基づいて、画像処理部13における検出の信頼度を算出し、ここで算出した信頼度に基づいて検出対象者の検出通知を出力する。
【選択図】図1

Description

この発明は、撮像エリアが異なる複数の撮像装置で撮像した撮像画像を処理して、検出対象者が撮像されている撮像画像を検出し、撮像画像を検出した検出対象者についての検出通知を出力する監視装置、信頼度算出プログラム、および信頼度算出方法に関する。
従来、空港、駅、ショッピングセンター、街角等、様々な場所に監視カメラが設置されている。また、指名手配中の人物等を検出対象者とし、監視カメラの撮像画像に撮像されている人物の顔を、検出対象者の顔と照合する顔認識を行って、検出対象者が撮像されている撮像画像を検出することが行われている(特許文献1等参照)。
また、この種の装置では、検出対象者が撮像されている撮像画像を検出すると、この撮像画像が撮像された場所、日時、撮像されている検出対象者等を含む検出通知を関係機関等に通知することも行っている。
関係機関等では、通知された検出通知に基づいて、捜査員等が検出対象者の捜索を行っている。
特開2004− 62560号公報
しかしながら、顔認識では、監視カメラの撮像画像に撮像されている人物の顔の特徴量と、検出対象者の顔の特徴量と、の類似度を算出し、算出した類似度が予め定めた判定値を超えていれば、監視カメラの撮像画像に撮像されている人物が検出対象者であると判定している。
顔認識では、監視カメラの撮像画像に撮像されている他人を検出対象者であると誤認識する確率(他人受入率)を0にするには、類似度の判定値を極めて大きくしなければならない。一方で、類似度の判定値を大きくするにつれて、監視カメラの撮像画像に撮像されている検出対象者を他人であると誤認識する確率(本人排他率)が大きくなる。したがって、顔認識では、監視カメラの撮像画像に撮像されている他人を検出対象者であると誤認識する確率(他人受入率)を0にすることは、監視カメラの撮像画像に撮像されている検出対象者を他人であると誤認識する確率(本人排他率)を1に近づけることになり、実用性の面から判断すれば、両立が難しい。
このため、検出対象者の検出に用いる監視カメラの台数が増加するにつれて、検出対象者の誤検出による検出通知(他人を検出対象者であると誤認識したことによる通知)が増加する。例えば、監視カメラの撮像画像に撮像されている他人を検出対象者であると誤認識する確率が、たとえ0.1%であっても、1分間に100人の通行者を撮像する監視カメラであれば、他人を検出対象者であると誤認識したことによる検出通知が10分間に1回行われることになる。10万台の監視カメラを使用する場合(上記と同じく1台当たり1分間に100人の通行者を撮像するとした場合)、他人を検出対象者であると誤認識したことによる検出通知が1分間に10000回行われることになる。すなわち、関係機関では、捜査員等が、1分間に10000回行われる、他人を検出対象者であると誤認識したことによる検出通知についても、検出対象者の捜索(実質的には無駄な捜索になる。)を行うべきであるが、そのような人員を確保することは殆ど不可能であり、実用性に欠けるという問題がある。また、人員の不足により、検出対象者を検出対象者であると正しく認識したことによる検出通知について、その検出対象者の捜索が行われないこともある。
なお、使用する監視カメラの台数を少なくすれば、他人を検出対象者であると誤認識したことによる検出通知を減少させることはできるが、検出対象者が撮像される可能性(すなわち検出対象者が検出できる可能性)を低下させることになる。
この発明の目的は、より多くの撮像装置を使用して検出対象者を検出する可能性を向上させた場合であっても、撮像されている他人を検出対象者であると誤認識したことによる検出通知についての捜索等にかかる人手が十分に抑えられる監視装置、信頼度算出プログラム、および信頼度算出方法を提供することにある。
この発明の監視装置は、上記課題を解決し、その目的を達するために以下のように構成している。
検出対象者記憶部が、検出対象者毎に、その検出対象者の顔の特徴を記憶する。検出対象者は、例えば指名手配中の人物である。検出対象者記憶部が記憶する検出対象者の顔の特徴は、当該検出対象者の顔画像であってもよいし、この顔画像から抽出した顔の特徴量(顔の輪郭、目、鼻、口等の顔部品の特徴量)であってもよい。
画像処理部は、撮像エリアが異なる複数の撮像装置が撮像した撮像画像を処理し、出対象記憶部に記憶している検出対象者が撮像されている撮像画像を検出する。画像処理部は、撮像画像に撮像されている人物の顔の特徴を抽出し、検出対象記憶部に記憶している検出対象者の顔の特徴と照合する顔認識により、検出対象者が撮像されている撮像画像を検出する。
画像処理部が検出対象者が撮像されている撮像画像を検出すると、この撮像画像に撮像されている検出対象者、撮像エリア、および撮像日時を含む検出情報を作成し、これを検出情報記憶部に記憶する。検出情報記憶部に記憶される検出情報には、検出対象者を正しく認識した検出情報だけでなく、他人を検出対象者であると誤認識した検出情報も含まれる。
信頼度算出部は、検出対象者毎に、その検出対象者について検出情報記憶部が記憶する複数の検出情報から判断した時空間の合理性に基づいて、画像処理部における検出の信頼度を算出する。例えば、検出対象者の複数の検出情報を時系列に並べ、各検出情報が示す検出対象者の位置によって、この検出対象者の移動経路を推定する。そして、この推定した移動経路についての時空間の合理性に基づいて、画像処理部における検出の信頼度を算出する。ここで言う時空間の合理性とは、例えば時間的に移動が可能な位置で検出されているか、時間的に移動が不可能な位置で検出されているかである。ほぼ同じ日時に、比較的離れた複数の場所(例えば、大阪、京都、名古屋)で、同じ検出対象者が検出されている場合、時空間の合理性がないと判定する。時空間の合理性がない場合、検出対象者の検出情報には、誤認識によるものが含まれていると考えられる。
そして、出力部は、検出対象者の検出通知を、信頼度算出部が算出した画像処理部における検出の信頼度に基づいて出力する。この場合、算出した信頼度が予め定めたレベルよりも低い検出対象者については、顔認識による検出結果にかかる検出通知を出力しない構成としてもよい。
したがって、検出対象者の検出にかかる検出通知が通知される関係機関等では、信頼度の高い検出通知から順番に検出対象者の捜索等を行うことができる。このため、より多くの撮像装置を使用して検出対象者を検出する可能性を向上させた場合であっても、撮像されている他人を検出対象者であると誤認識したことによる検出通知についての捜索等にかかる人手が十分に抑えられる。
また、信頼度算出部が算出した検出の信頼度で、検出対象者をランク付けした信頼度ランキングを生成し、検出対象者の検出通知を、生成した信頼度ランキングに基づくランキング形式で出力してもよい。
さらに、信頼度算出部は、検出対象者毎に、その検出対象者について同じ移動経路を推定した回数が多くなるにつれて、画像処理部における検出の信頼度を大きく算出するようにしてもよい。
この発明によれば、より多くの撮像装置を使用して検出対象者を検出する可能性を向上させた場合であっても、撮像されている他人を検出対象者であると誤認識したことによる検出通知についての捜索等にかかる人手が十分に抑えられる。
監視装置の主要部の構成を示すブロック図である。 画像処理部における顔認識処理を示すフローチャートである。 移動経路推定処理を示すフローチャートである。 推定される移動経路を示す図である。 信頼度算出処理を示すフローチャートである。 信頼度ランキング生成処理を示すフローチャートである。
以下、この発明の実施形態である監視装置について説明する。
図1は、この発明の実施形態である監視装置の主要部の構成を示すブロック図である。
この監視装置1には、撮像エリアが異なる複数の撮像装置2が接続されている。撮像装置2は、空港、駅、ショッピングセンター、街角等、様々な場所に設置した監視カメラである。撮像装置2は、いわゆるビデオカメラであり、撮像エリアの撮像画像を、1秒間に10〜30フレーム程度出力する。
この監視装置1は、図1に示すように、制御ユニット11と、画像入力部12と、画像処理部13と、検出対象者データベース14(検出対象者DB14)と、検出情報記憶部15と、地図データベース16(地図DB16)と、出力部17と、を備えている。
制御ユニット11は、この監視装置1本体各部の動作を制御するとともに、後述する移動経路推定処理、信頼度算出処理、信頼度ランキング生成処理等を行う。
この例にかかる監視装置1は、撮像装置2毎に画像入力部12、画像処理部13、および検出対象者DB14を備えている。
画像入力部12には、接続している撮像装置2の撮像画像が入力される。画像入力部12は、接続している撮像装置2から入力された撮像画像を記憶するハードディスク等の記録媒体(不図示)を備えている。
画像処理部13は、画像入力部12毎に設けている。画像処理部13は、接続されている画像入力部12に入力された撮像装置2の撮像画像に対する画像処理(顔認識処理)を行う。この顔認識処理の詳細については後述する。
検出対象者DB14は、検出対象者の顔の特徴を記憶している。検出対象者は、例えば指名手配中の人物である。検出対象者DB14は、検出対象者の顔画像を記憶したデータベースであってもよいし、検出対象者の顔画像から抽出した顔の特徴量(顔の輪郭、目、鼻、口等の顔部品の特徴量)を記憶したデータベースであってもよい。
なお、ここでは、撮像装置2毎に、画像入力部12を備える構成を例にしているが、複数の撮像装置2を設置場所等でグループに分割し、グループ毎に画像入力部12を備える構成としてもよい。この場合、各画像入力部12には、対応するグループに属する1、または複数の撮像装置2が接続される。画像入力部12は、接続した1、または複数の撮像装置2が撮像画像を入力する。
また、上記の例では、画像処理部13毎に検出対象者DB14を備える構成を例にしているが、各画像処理部13が1つの検出対象者DB14を共用する構成としてもよい。図1に示す複数の検出対象者DB14は、記憶内容が同じになるように管理している。
さらに、撮像装置2毎に備える画像入力部12、画像処理部13、および検出対象者DB14を画像処理ユニットとし、監視装置1本体内部に設けるのではなく、各撮像装置2の設置場所近辺に設け、各画像処理ユニットを、監視装置1本体に専用回線やインタネット等を利用してデータ通信可能に接続してもよい。
検出情報記憶部15は、画像処理部13毎に設けている。検出情報記憶部15は、接続されている画像処理部13から通知された検出情報を蓄積的に記憶する。検出情報には、検出対象者を識別する検出対象者コード、撮像装置2を識別する撮像装置コード、および撮像日時を示す日時データが含まれている。検出情報記憶部15は、画像処理部13毎に設けずに、1つに纏めた構成であってもよい。
制御ユニット11は、撮像装置コードと、その撮像装置コードで特定される撮像装置2の撮像エリアの位置を対応付けたデータを記憶している。したがって、制御ユニット11は、検出情報記憶部15が記憶する検出情報によって、検出された検出対象者、検出場所、および検出日時を得ることができる。
地図DB16は、地図データを記憶している。また、監視装置1は、鉄道網における列車の時刻表データや、航空機の時刻表データ等にかかるデータベースを備えていてもよいし、これらの情報をインタネット等で公開しているサイトから取得する構成としてもよい。
制御ユニット11は、各検出情報記憶部15が記憶する検出情報に基づき、検出対象者毎に、その検出対象者の移動経路を地図DB16に記憶している地図データを用いて推定する移動経路推定処理を行う。また、制御ユニット11は、推定した移動経路について、時空間の合理性に基づいて検出対象者の検出の信頼度を算出する信頼度算出処理を行う。また、制御ユニット11は、検出対象者毎に算出した信頼度によって、検出対象者をランク付けした信頼度ランキングを生成する信頼度ランキング生成処理を行う。
出力部17は、ネットワークを介して接続されている関係機関等の端末(不図示)に対して検出結果を通知する。
以下、この例にかかる監視装置1の動作について説明する。
各撮像装置2は、撮像エリアを撮像した撮像画像を画像入力部12に入力している。画像入力部12は、接続されている撮像装置2から入力された撮像画像をハードディスク等の記憶媒体に蓄積的に記憶する。記憶媒体に記憶した撮像画像には撮像日時を示すタイムスタンプが対応付けられている。
まず、各画像処理部13における検出対象者の検出処理について説明する。画像処理部13は、顔認識処理により、検出対象者を検出する。図2は、この画像処理部における顔認識処理を示すフローチャートである。
画像処理部13は、この顔認識処理を行っていない最も古い撮像画像(1フレーム)を画像入力部12から取り込む(s1)。画像処理部13は、s1で取り込んだ撮像画像に人物の顔が撮像されているかどうかを判定する(s2)。s2は、公知のパターンマッチングによる処理である。画像処理部13は、s1で取り込んだ撮像画像に人物の顔が撮像されていなければ、s1に戻る。
画像処理部13は、s1で取り込んだ撮像画像に人物の顔が撮像されていれば、撮像されている人物の顔画像を切り出す(s3)。s3では、撮像されている顔毎に顔画像を切り出す。画像処理部13は、s3で切り出した顔画像毎に、その顔の特徴量を抽出する(s4)。s4では、顔の輪郭、目、鼻、口等の顔部品の特徴量を抽出する。
画像処理部13は、s4で特徴量を抽出した顔毎に、その顔の特徴量と、検出対象者DB14に登録されている各検出対象者の顔の特徴量との類似度を算出する(s5)。画像処理部13は、s5で算出した類似度が予め定めた認識レベルを超える検出対象者の有無を判定する(s6)。画像処理部13は、s5で算出した類似度が予め定めた認識レベルを超える検出対象者がいなければ、s1に戻る。
画像処理部13は、s4で特徴量を抽出したいずれかの顔において、s5で算出した類似度が予め定めた認識レベルを超える検出対象者がいれば、類似度が最大である検出対象者が撮像されていると判定し、検出情報を作成する(s7)。s7で作成する検出情報には、検出した検出対象者を識別する検出対象者コード、撮像装置2を識別する撮像装置コード、および撮像日時を示す日時データが含まれている。この検出情報は、検出した検出対象者、検出した場所、および検出した日時を特定することができる情報を含んでいればよい。例えば、撮像装置2を識別する撮像装置コードは、この撮像装置2の撮像エリアの位置を示す位置情報(緯度、経度)に置き換えてもよい。また、画像処理部13は、認識レベルを超える検出対象者がいる顔を、s3で複数切り出していれば、それぞれについて検出情報をs7で作成する。
画像処理部13は、s7で作成した検出情報を検出情報記憶部15に記憶させ(s8)、s1に戻る。
なお、この例では、検出情報記憶部15を画像処理部13毎に備え、また画像処理部13を画像入力部12毎に備え、さらに画像入力部12を撮像装置2毎に接続している。したがって、各検出情報記憶部15は、検出情報に含まれる撮像装置コードが同一である検出情報を記憶する。このため、検出情報記憶部15が記憶する検出情報には、上述の撮像装置コードが含まれていない構成としてもよい。この場合、制御ユニット11が、検出情報記憶部15毎に、撮像装置コード(または撮像エリアの位置を示す位置情報)を対応付けて記憶しておけばよい。
次に、制御ユニット11が行う移動経路推定処理について説明する。この移動経路推定処理は、制御ユニット11が、各検出情報記憶部15が記憶する検出情報に基づき、検出対象者毎に、その検出対象者の移動経路を地図DB16に記憶している地図データを用いて推定する処理である。この移動経路推定処理は、1時間毎(毎正時)や、毎日午前0時等、予め定めたタイミングで繰り返し実行する。
図3は、この移動経路推定処理を示すフローチャートである。制御ユニット11は、検出情報記憶部15毎に、その検出情報記憶部15が記憶する検出情報を全て読み出す(s11)。
制御ユニット11は、s11で読み出した検出情報を、検出対象者を識別する検出対象者コードで分類する(s12)。これにより、検出対象者毎に、その検出対象者にかかる検出情報がグルーピングされる。
制御ユニット11は、検出対象者毎に、検出情報を時系列に並べる(s13)。制御ユニット11は、検出対象者毎に、この検出対象者についてs13で時系列に並べた検出情報に基づく移動経路を地図DB16が記憶する地図データを用いて推定する(s14)。制御ユニット11は、検出対象者毎に、地図上で、その検出対象者についての検出情報が示す検出位置(撮像装置2の撮像エリアの位置)を、時系列に結ぶことで検出対象者の移動経路を推定する。例えば、図4(A)に示す移動経路や、図4(B)に示す移動経路を推定する。図4(A)、(B)において、A、B、Cで示す点は、検出対象者の検出位置である。また、各検出位置の傍に示す時刻は、検出日時である。図4では、年月日を省略して示している。
なお、制御ユニット11は、検出情報が1つである検出対象者については、移動経路を推定することはない。
次に、制御ユニット11が行う信頼度算出処理について説明する。この信頼度算出処理は、上述した移動経路推定処理で推定した移動経路について、時空間の合理性に基づく検出対象者の検出の信頼度を算出する処理である。図5は、この移動経路推定処理を示すフローチャートである。
制御ユニット11は、検出情報が1つである検出対象者については、上述したように、移動経路を推定していないので、検出の信頼度を予め定めた値X(X>0)に設定する(s21)。
制御ユニット11は、上述の移動経路推定処理で推定した移動経路について、時空間の合理性を判断する(s22)。s22では、推定した移動経路における、隣接する2つの検出位置間毎に、その間の移動が時間的に可能であるかどうかを判断する。具体的には、まず、2つの検出位置間の移動手段(徒歩、自転車、鉄道、自動車等)を推定する。例えば、隣接する2つの検出位置間の距離に応じて移動手段を定めておき(例えば、5km以上であれば鉄道(または自動車)、2〜5kmであれば自転車、2km以下であれば徒歩)、2つの検出位置間の距離に基づいて移動手段を推定(選択)する。
制御ユニット11は、ここで推定(選択)した移動手段で、隣接する2つの検出位置間の移動が時間的に可能であるかどうかを判定する。制御ユニット11は、移動手段毎に予め設定している移動速度を用いて、移動の可否を判定する。また、移動手段が鉄道である場合は、時刻表等を用いて移動の可否を判定してもよい。制御ユニット11は、移動が可能であれば時空間の合理性があると判断し、移動が不可能であれば時空間の合理性がないと判断する。
制御ユニット11は、n地点で検出された検出対象者の場合、s22で隣接する2つの検出位置間の時空間の合理性を(n−1)回判断する。制御ユニット11は、検出情報が複数である検出対象者については、時空間の合理性があると判断した隣接する2つの検出位置間の信頼度をポイントY(Y>0)とし、時空間の合理性がないと判断した隣接する2つの検出位置間の信頼度をポイントZ(Z<0)とし、検出の信頼度を算出する(s23)。
具体的には、
検出の信頼度=α×Y+β×Z
ただし、α+β=n−1であり、
αは時空間の合理性があると判定した隣接する2つの検出位置間の個数、
βは時空間の合理性がないと判定した隣接する2つの検出位置間の個数、
である。
また、Yは、Xよりも大きい値に設定するのが好ましい。
このように、時空間の合理性がある検出情報が多くなるにつれて、検出の信頼度が大きくなる。一方で、時空間の合理性がない検出情報が多くなるにつれて、検出の信頼度が小さくなる。時空間の合理性がないと判定される場合、隣接する2つの検出位置の少なくとも一方の検出情報は、他人を検出対象者であると誤認識したものである。したがって、誤認識の発生が多いと、算出される検出の信頼度が小さくなる。
なお、検出の信頼度の算出手法は、上記の例にかぎらず、他の算出手法で算出してもよい。
制御ユニット11は、検出対象者毎に、その検出対象者の検出情報から推定した移動経路、や検出の信頼度を記憶媒体(不図示)に蓄積的に記憶する。
図6は、制御ユニットにおける信頼度ランキング生成処理を示すフローチャートである。
制御ユニット11は、上述した信頼度算出処理で算出した検出の信頼度の高いものから順番に並べた信頼度ランキングを生成する(s31)。制御ユニット11は、出力部17において、s31で生成した信頼度ランキングに基づくランキング形式の検出通知を関係機関等の端末に出力する(s32)。s32で出力する検出通知は、検出の信頼度の高いものから順に検出対象者を並べたものである。また、検出通知には、対応する検出対象者の検出情報や、上述した移動経路推定処理で推定した移動経路等が含まれている。
関係機関の端末では、各検出対象者の検出通知が信頼度の高いものから順番に表示させることができる。このため、検出対象者の検出にかかる検出通知が通知される関係機関等では、担当者が信頼度の高い検出通知から順番に検出対象者の捜索等を行うことができる。したがって、より多くの撮像装置2を使用して検出対象者を検出する可能性を向上させた場合であっても、撮像されている他人を検出対象者であると誤認識したことによる検出通知についての捜索等にかかる人手が十分に抑えられる。
また、制御ユニット11は、s32において、上述した信頼度算出処理で算出した信頼度が、予め定めた通知レベルよりも低い検出情報については、その検出情報にかかる検出通知を関係機関の端末に通知しない構成としてもよい。このようにすれば、撮像されている他人を検出対象者であると誤認識したことによる検出通知が関係機関等に無駄に通知されるのを防止できる。
さらに、制御ユニット11は、上述の移動経路推定処理で、同じ移動経路が繰り返し検出されている検出対象者について、その信頼度を高めるようにしてもよい。例えば、繰り返し検出された回数mと、比例定数γ(γ≧1)とを用い、上述の検出の信頼度を、
検出の信頼度=m×γ(α×Y+β×Z)
で算出するようにしてもよい。
同じ移動経路が繰り返し検出される検出対象者は、検出されている移動経路を日常的に利用している。したがって、このような検出対象者の検出の信頼度を高めることで、この検出対象者に対する捜索等の対応を関係機関等に迅速且つ適正に行わせることができる。
1…監視装置
2…撮像装置
11…制御ユニット
12…画像入力部
13…画像処理部
14…検出対象者データベース(検出対象者DB)
15…検出情報記憶部
16…地図データベース(地図DB)
17…出力部

Claims (7)

  1. 検出対象者毎に、その検出対象者の顔の特徴を記憶する検出対象者記憶部と、
    撮像エリアが異なる複数の撮像装置で撮像した撮像画像を処理し、前記検出対象記憶部が記憶する検出対象者が撮像されている撮像画像を検出する画像処理部と、
    前記画像処理部が検出した検出対象者が撮像されている撮像画像について、撮像されている検出対象者、撮像エリア、および撮像日時を含む検出情報を記憶する検出情報記憶部と、
    検出対象者毎に、その検出対象者について前記検出情報記憶部が記憶する複数の検出情報から判断した時空間の合理性に基づいて、前記画像処理部における検出の信頼度を算出する信頼度算出部と、
    検出対象者の検出通知を、前記信頼度算出部が算出した前記画像処理部における検出の信頼度に基づいて出力する出力部と、を備えた監視装置。
  2. 前記出力部は、前記信頼度算出部が算出した前記画像処理部における検出の信頼度が、予め定めたレベルよりも低い検出対象者については、前記検出通知を出力しない請求項1に記載の監視装置。
  3. 前記信頼度算出部が算出した前記画像処理部における検出の信頼度で、検出対象者をランク付けした信頼度ランキングを生成する信頼度ランキング生成部を備え、
    前記出力部は、各検出対象者の検出通知を、前記信頼度ランキング生成部が生成した信頼度ランキングに基づくランキング形式で出力する、請求項1、または2に記載の監視装置。
  4. 前記信頼度算出部は、検出対象者毎に、その検出対象者の前記検出情報から得た時間経過にともなう撮像エリアの変化から、この検出対象者の移動経路を推定し、ここで推定した移動経路に対して時空間の合理性を判断する、請求項1〜3のいずれかに記載の監視装置。
  5. 前記信頼度算出部は、検出対象者毎に、その検出対象者について同じ移動経路を推定した回数が多くなるにつれて、前記画像処理部における検出の信頼度を大きく算出する、請求項4に記載の監視装置。
  6. 検出対象者毎に、その検出対象者の顔の特徴を検出対象者記憶部に記憶しておき、
    撮像エリアが異なる複数の撮像装置で撮像した撮像画像を処理し、前記検出対象記憶部が記憶する検出対象者が撮像されている撮像画像を検出する画像処理ステップと、
    前記画像処理ステップが検出した検出対象者が撮像されている撮像画像について、撮像されている検出対象者、撮像エリア、および撮像日時を含む検出情報を検出情報記憶部に記憶する検出情報記憶ステップと、
    検出対象者毎に、その検出対象者について前記検出情報記憶部が記憶する複数の検出情報から判断した時空間の合理性に基づいて、前記画像処理ステップにおける検出の信頼度を算出する信頼度算出ステップと、
    検出対象者の検出通知を、前記信頼度算出ステップが算出した前記画像処理ステップにおける検出の信頼度に基づいて出力する出力ステップと、をコンピュータに実行させる信頼度算出プログラム。
  7. 検出対象者毎に、その検出対象者の顔の特徴を検出対象者記憶部に記憶しておき、
    撮像エリアが異なる複数の撮像装置で撮像した撮像画像を処理し、前記検出対象記憶部が記憶する検出対象者が撮像されている撮像画像を検出する画像処理ステップと、
    前記画像処理ステップが検出した検出対象者が撮像されている撮像画像について、撮像されている検出対象者、撮像エリア、および撮像日時を含む検出情報を検出情報記憶部に記憶する検出情報記憶ステップと、
    検出対象者毎に、その検出対象者について前記検出情報記憶部が記憶する複数の検出情報から判断した時空間の合理性に基づいて、前記画像処理ステップにおける検出の信頼度を算出する信頼度算出ステップと、
    検出対象者の検出通知を、前記信頼度算出ステップが算出した前記画像処理ステップにおける検出の信頼度に基づいて出力する出力ステップと、を備えた信頼度算出方法。
JP2012058459A 2012-03-15 2012-03-15 監視装置、信頼度算出プログラム、および信頼度算出方法 Pending JP2013192154A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012058459A JP2013192154A (ja) 2012-03-15 2012-03-15 監視装置、信頼度算出プログラム、および信頼度算出方法
EP13156462.7A EP2639741A3 (en) 2012-03-15 2013-02-22 Monitoring device, reliability calculation program, and reliability calculation method
CN2013100596890A CN103310185A (zh) 2012-03-15 2013-02-26 监视装置以及可靠度计算方法
US13/777,519 US8971577B2 (en) 2012-03-15 2013-02-26 Monitoring device, reliability calculation program, and reliability calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012058459A JP2013192154A (ja) 2012-03-15 2012-03-15 監視装置、信頼度算出プログラム、および信頼度算出方法

Publications (1)

Publication Number Publication Date
JP2013192154A true JP2013192154A (ja) 2013-09-26

Family

ID=47912906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012058459A Pending JP2013192154A (ja) 2012-03-15 2012-03-15 監視装置、信頼度算出プログラム、および信頼度算出方法

Country Status (4)

Country Link
US (1) US8971577B2 (ja)
EP (1) EP2639741A3 (ja)
JP (1) JP2013192154A (ja)
CN (1) CN103310185A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111312A1 (ja) * 2014-01-23 2015-07-30 株式会社日立国際電気 画像検索システム及び画像検索方法
JP2016146182A (ja) * 2015-02-09 2016-08-12 エンパイア テクノロジー ディベロップメント エルエルシー 画像に基づく写真撮影者の識別
US10863142B2 (en) 2016-03-25 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Monitoring device and monitoring system
JP2022518459A (ja) * 2019-06-28 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 情報処理方法および装置、記憶媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405978B2 (en) * 2013-06-10 2016-08-02 Globalfoundries Inc. Prioritization of facial recognition matches based on likely route
JP6758820B2 (ja) * 2015-11-18 2020-09-23 マクセル株式会社 情報処理装置、及びその画像データ制御方法
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
JP6977345B2 (ja) * 2017-07-10 2021-12-08 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN109299642A (zh) * 2018-06-08 2019-02-01 嘉兴弘视智能科技有限公司 基于人像识别的逻辑布控预警***及方法
CN109143568A (zh) * 2018-07-26 2019-01-04 广州慧睿思通信息科技有限公司 一种带人脸识别***的望远镜及其观测方法
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US11461923B2 (en) * 2019-12-11 2022-10-04 Kabushiki Kaisha Toshiba Calculation system, calculation method, and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
WO2007119355A1 (ja) * 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP2007300185A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 画像監視装置
EP1927947A1 (en) * 2006-11-30 2008-06-04 Mitsubishi Electric Corporation Computer implemented method and system for tracking objects using surveillance database
JP2009510541A (ja) * 2005-09-29 2009-03-12 パナソニック株式会社 オブジェクト追跡方法及びオブジェクト追跡装置
WO2011021588A1 (ja) * 2009-08-20 2011-02-24 日本電気株式会社 移動体軌跡識別システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP3999561B2 (ja) * 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP2004129049A (ja) * 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
JP5213105B2 (ja) * 2008-01-17 2013-06-19 株式会社日立製作所 映像ネットワークシステム及び映像データ管理方法
WO2011083555A1 (ja) * 2010-01-07 2011-07-14 パナソニック株式会社 画像処理装置、画像生成システム、方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2009510541A (ja) * 2005-09-29 2009-03-12 パナソニック株式会社 オブジェクト追跡方法及びオブジェクト追跡装置
WO2007119355A1 (ja) * 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP2007300185A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 画像監視装置
EP1927947A1 (en) * 2006-11-30 2008-06-04 Mitsubishi Electric Corporation Computer implemented method and system for tracking objects using surveillance database
WO2011021588A1 (ja) * 2009-08-20 2011-02-24 日本電気株式会社 移動体軌跡識別システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111312A1 (ja) * 2014-01-23 2015-07-30 株式会社日立国際電気 画像検索システム及び画像検索方法
JPWO2015111312A1 (ja) * 2014-01-23 2017-03-23 株式会社日立国際電気 画像検索システム及び画像検索方法
JP2016146182A (ja) * 2015-02-09 2016-08-12 エンパイア テクノロジー ディベロップメント エルエルシー 画像に基づく写真撮影者の識別
US9836650B2 (en) 2015-02-09 2017-12-05 Empire Technology Development Llc Identification of a photographer based on an image
US10863142B2 (en) 2016-03-25 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Monitoring device and monitoring system
JP2022518459A (ja) * 2019-06-28 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 情報処理方法および装置、記憶媒体

Also Published As

Publication number Publication date
EP2639741A2 (en) 2013-09-18
US8971577B2 (en) 2015-03-03
US20130243246A1 (en) 2013-09-19
CN103310185A (zh) 2013-09-18
EP2639741A3 (en) 2014-11-26

Similar Documents

Publication Publication Date Title
JP2013192154A (ja) 監視装置、信頼度算出プログラム、および信頼度算出方法
US10402634B2 (en) Information processing device, information processing method, and computer program product
WO2019153193A1 (zh) 一种出租车运营监测方法、设备、存储介质和***
US10552687B2 (en) Visual monitoring of queues using auxillary devices
US20190026560A1 (en) Human flow analysis method, human flow analysis apparatus, and human flow analysis system
US10430666B2 (en) Target object identifying device, target object identifying method and target object identifying program
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
JP2018173914A (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
KR102119496B1 (ko) 구원 시스템 및 구원 방법, 및 그것에 사용되는 서버
US11373499B2 (en) Rescue system and rescue method, and server used for rescue system and rescue method
CN103699677A (zh) 一种基于人脸识别技术的罪犯行踪地图绘制***及其方法
KR102043922B1 (ko) Cctv 분할 운영시스템 및 그 운영방법
JP6977328B2 (ja) 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム
CN111611894A (zh) 人员轨迹预测方法、装置、计算机设备及存储介质
Madhavi et al. Traffic Congestion Detection from Surveillance Videos using Deep Learning
CN114842459A (zh) 动作检测方法、装置、电子设备及存储介质
CN114170272A (zh) 一种云端环境下基于感知传感器的事故报告、储存方法
CN113962326A (zh) 聚类方法、装置、设备及计算机存储介质
Xu et al. Intelligent transportation system and future of road safety
KR101842488B1 (ko) 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
CN114999222B (zh) 异常举动通知装置、通知***、通知方法以及记录介质
KR101686851B1 (ko) Cctv 카메라를 이용한 통합 관제 시스템
US20220406069A1 (en) Processing apparatus, processing method, and non-transitory storage medium
CN113542671A (zh) 事件分析***和事件分析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160301