JP2019153908A - 画像認証システム、画像認証方法および画像認証プログラム - Google Patents

画像認証システム、画像認証方法および画像認証プログラム Download PDF

Info

Publication number
JP2019153908A
JP2019153908A JP2018037561A JP2018037561A JP2019153908A JP 2019153908 A JP2019153908 A JP 2019153908A JP 2018037561 A JP2018037561 A JP 2018037561A JP 2018037561 A JP2018037561 A JP 2018037561A JP 2019153908 A JP2019153908 A JP 2019153908A
Authority
JP
Japan
Prior art keywords
image
monitoring
image data
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018037561A
Other languages
English (en)
Other versions
JP7142443B2 (ja
Inventor
久和 柳内
Hisakazu Yanagiuchi
久和 柳内
俊介 馬場
Shunsuke Baba
俊介 馬場
浩二 有水
Koji Arimizu
浩二 有水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2018037561A priority Critical patent/JP7142443B2/ja
Publication of JP2019153908A publication Critical patent/JP2019153908A/ja
Application granted granted Critical
Publication of JP7142443B2 publication Critical patent/JP7142443B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視者が、即座にかつ容易に、監視対象を視覚的に認識することができる画像認証システム、画像認証方法および画像認証プログラムを提供する。【解決手段】画像認証システム100は、監視画像を取得する撮像端末2と、監視画像を記憶する撮像側記憶部26と、監視画像に含まれる入力特徴画像として切出すと共に、入力特徴画像、監視画像を特定する画像特定情報、監視画像における入力特徴画像の切出し位置を特定する位置情報、を含む入力画像データを生成する切出部22と、入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、登録画像データベースに該当する入力画像データを検出画像データとして検出する照合部12と、照合部12による照合の結果、検出画像データが検出された場合に、検出画像データに基づいて特定される監視画像の入力特徴画像を含む少なくとも一部と入力特徴画像の位置とを表示するモニタ35とを備える。【選択図】図1

Description

本発明は、画像認証システム、画像認証方法および画像認証プログラムに関する。
商業施設、空港、銀行、オフィスビル、マンション等の、多数の人が出入りする施設では、セキュリティを確保するために、監視カメラなどの撮像端末で撮像した画像(以下では、監視画像と称する)を用いて人の出入りを監視するシステムが利用されている。この監視画像は、必要に応じて撮像端末からサーバに送信されて画像解析により情報を抽出される。例えば、監視画像から特徴画像として顔画像を切り出し、その画像の特徴量、例えば、顔画像またはその顔の特徴を数値化した特徴量からなる入力画像データとして記憶される。この入力画像データは、例えば顔画像の検索に用いられる(例えば、特許文献1や特許文献2)。監視画像は、必要に応じてユーザ端末に送信されて、当該ユーザ端末の表示部を通じて人(例えば、監視者)に確認されることがある(例えば、特許文献3)。なお、監視画像は、静止画や、当該静止画を時系列に並べた動画として取り扱われている。
特許文献1には、顔画像データサーバに登録もしくは保存された顔画像の中から該当する顔画像の候補を抽出する顔画像照合システム(画像認証システムの一例)に係る発明が開示されている。顔画像照合システムでは、顔画像登録装置より検索対象となる顔画像を取り込み、顔画像データサーバの登録部において、取り込まれた顔画像を特定の顔画像パーツ(目、鼻、口および輪郭等を指す)に分割し、元の顔画像と共に結合されたデータとしてデータベースに登録している。この顔画像照合システムでは、顔画像検索装置で探したい顔画像のパーツに該当する顔全体の画像を検索し、顔画像検索装置へ送信して表示することができる。
特許文献2には、より多くの利用者の個人照合を効率良く行うことができる個人認証システム等(画像認証システムの一例)に係る発明が開示されている。この個人認証システムでは、コントロールサーバが、端末装置が撮像した利用者の顔画像データを部分顔画像データに分割した後さらに暗号化してそれぞれ複数の認証サーバのいずれかに送信する。そして、各認証サーバは、コントロールサーバから受信した暗号化部分顔画像データを復号化した後に顔画像DBにあらかじめ登録した登録顔画像データと照合処理して照合結果をコントロールサーバに送信する。そして、コントロールサーバは、各認証サーバから受信した照合結果に基づいて認証結果の判定処理を行って判定結果を端末装置に通知するようになっている。
特許文献3には、多数の監視カメラが接続されている場合にも監視エリアを適正に監視でき、セキュリティの低下が防止できる監視システム(画像認証システムの一例)に係る発明が開示されている。この監視システムでは、監視カメラで撮像している監視エリアの撮像画像を動画記憶部に記憶している。また、撮像画像に人物が撮像されていれば、当該人物の顔画像を切り出し、静止画で切り出した顔画像をホスト装置に送信するようになっている。さらに、ホスト装置からの要求に応じて、動画記憶部に記憶している動画をホスト装置へ送信することができる。
特開2003−331264号公報 特開2006−293712号公報 特開2005−323046号公報
上述した従来の画像認証システムでは、監視画像から生成された入力画像データに基づいて元の監視画像を特定し、当該監視画像をユーザ端末などで表示した場合、当該入力画像データに対応する特徴画像が、元の監視画像のどの画像部分であるか、当該表示によってはわからない(視覚的に特定できない)場合があった。例えば撮像端末が撮像した監視画像中に監視対象たる窃盗常習犯の顔画像を検出した場合、監視者が自己の端末で当該監視画像を閲覧しても、当該窃盗常習犯の顔画像を即座に認識することは困難である。その理由は、監視画像から生成された入力画像データに基づいて元の監視画像を特定して表示したとしても、当該入力画像データに対応する特徴画像が、当該入力画像データに対応する監視画像もしくはその一部の画像のうち、どの画像部分であるかを視覚的に容易に特定することができないためである。
そのため、監視者が、即座にかつ容易に、監視対象を視覚的に認識することができる画像認証システム、画像認証方法および画像認証プログラムの提供が望まれる。
本発明は、かかる実状に鑑みて為されたものであって、その目的は、監視者が、即座にかつ容易に、監視対象を視覚的に認識することができる画像認証システム、画像認証方法および画像認証プログラムを提供することにある。
上記目的を達成するための本発明に係る画像認証システムの特徴構成は、
監視対象エリアを撮像して監視画像を取得する撮像部と、
前記監視画像を記憶する監視画像記憶部と、
前記監視画像に含まれる撮像対象の特徴画像を入力特徴画像として切出すと共に、当該入力特徴画像と、前記監視画像を特定する画像特定情報と、前記監視画像における前記入力特徴画像の切出し位置を特定する位置情報と、を含む入力画像データを生成する特徴画像切出部と、
前記入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、前記登録画像データベースに該当する前記入力画像データを検出画像データとして検出する照合部と、
前記照合部による照合の結果、前記検出画像データが検出された場合に、前記検出画像データに基づいて特定される前記監視画像の前記入力特徴画像を含む少なくとも一部と前記入力特徴画像の位置とを表示する表示部と、を備える点にある。
上記構成によれば、撮像部で監視対象エリアの監視画像を取得する。そして、当該監視画像に特徴画像が含まれる場合、特徴画像切出部は、当該監視画像から特徴画像を切り出す。また、特徴画像切出部は、監視画像から特徴画像を切り出した場合、特徴画像と、監視画像における特徴画像の位置を特定する位置情報とを含む入力画像データを生成する。
入力画像データが生成された場合、照合部は、当該入力画像データと予め記憶された監視対象の登録画像データベースとを照合することが可能である。このとき、入力画像データは切り出された特徴画像であるので、登録画像データベースとの照合が迅速に実行される。しかも、特徴画像切出部と照合部とを別々の端末に備えている場合、入力画像データは切り出された特徴画像であるので、監視画像全体を送受信する場合に比べて通信速度が極めて早くなる。当該照合により、入力画像データが登録画像データベースに該当することを検出すれば、当該入力画像データを監視対象が撮像されている検出画像データとして特定(選択)することができる。
検出画像データが特定されると、表示部は、当該検出画像データに基づいて特定される監視画像、もしくは、当該監視画像のうち、入力特徴画像を含む少なくとも一部の画像(以下では監視画像全体またはその一部の画像のいずれの場合も包含して監視画像等と称する場合がある)を表示する。換言すれば、表示部は、監視対象の画像が含まれる監視画像等を表示する。当該表示を行う際、表示部は、入力特徴画像の位置を表示する。これにより、表示部を閲覧した人(例えば、画像認証システムを使用して監視対象エリアを監視している監視者、例えば小売店舗の万引きGメン)は、表示されている画像(監視画像等を表示した画像、以下では、表示画と称する)中における、入力画像データに対応する特徴画像が、表示画のうち、どの画像部分であるかを視覚的に容易に特定することができる。したがって、表示画を見た監視者は、即座に監視対象を認識することができる。また、監視者の監視対象の監視負担を軽減することができる。これにより、監視対象の監視目的(例えば、犯罪抑止、事故防止、などのセキュリティの確保)に対して、早期の初動対応が可能になる。
本発明に係る画像認証システムの更なる特徴構成は、
前記監視画像が動画である点にある。
上記構成によれば、検出画像データに基づいて特定される監視動画において、入力特徴画像を含む少なくとも一部の動画部分や、当該動画中の入力特徴画像を含むフレーム(フレーム画像)の一部に入力特徴画像の位置が表示される。これによって、監視者は、監視対象の行動を時系列で把握することができる。
本発明に係る画像認証システムの更なる特徴構成は、
前記画像特定情報が、撮像時刻または画像フレーム番号である点にある。
上記構成によれば、撮像時刻または画像フレーム番号により、入力特徴画像を包含する監視画像を特定する。これによって、迅速且つ誤りなく監視画像を特定することができる。
本発明に係る画像認証システムの更なる特徴構成は、
前記位置情報が、前記監視画像中における座標情報である点にある。
上記構成によれば、検出画像データに、監視画像中における入力特徴画像の座標情報が含まれる。これにより、表示部は、座標情報に基づいて監視画像中における入力特徴画像の位置を特定することができる。例えば、表示画中における監視対象の位置を枠で囲む表示をすることが可能となり、表示画を見た監視者は、即座に監視対象を認識することができる。
本発明に係る画像認証システムの更なる特徴構成は、
前記入力特徴画像は顔画像を含んでおり、
前記位置情報が、前記顔画像における目の部分の座標情報である点にある。
上記構成によれば、入力特徴画像に顔画像を包含し、監視画像中の顔画像に含まれる顔の目の部分の座標情報を、監視画像における顔画像の位置を代表する座標情報として扱う。これにより表示部は、目の部分の座標情報から顔画像の位置を特定し、当該特定した位置を表示することが可能となる。よって、表示画を見た監視者は、即座に監視対象を認識することができる。
本発明に係る画像認証システムの更なる特徴構成は、
前記照合部は、前記入力特徴画像に含まれる前記撮像対象と前記登録特徴画像に含まれる前記監視対象との間の一致度の情報である認証結果情報を生成し、
前記表示部は、前記認証結果情報を取得して表示する点にある。
上記構成によれば、表示部は、照合部が生成した認証結果情報を表示画に含めて表示する。これにより、監視者は、表示画として表示された入力特徴画像が、どの程度監視対象として確からしいかを、一致度の情報として把握することができる。その結果、監視対象の監視目的に応じて、必要な初動対応が可能になる。
例えば、窃盗常習犯を監視対象としている場合において、表示部が表示した窃盗常習犯と認証された人物の顔(入力特徴画像)の一致度が十分に高ければ、監視者は積極的に窃盗常習犯と認証された人物に声掛けなどして犯罪抑止に務めることが可能となる。一方、一致度がさほど高くない場合には、監視者は、誤認(人違い)のおそれを勘案し、慎重に窃盗常習犯と認証された人物の行動を監視するなどして、窃盗常習犯を検出した場合の初動を適切に選択することができるため好適である。
上記目的を達成するための本発明に係る画像認証方法の特徴構成は、
監視対象エリアを撮像して監視画像を取得する撮像ステップと、
前記監視画像を記憶する監視画像記憶ステップと、
前記監視画像に含まれる撮像対象の特徴画像を入力特徴画像として切出すと共に、当該入力特徴画像と、前記監視画像を特定する画像特定情報と、前記監視画像における前記入力特徴画像の切出し位置を特定する位置情報と、を含む入力画像データを生成する特徴画像切出ステップと、
前記入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、前記登録画像データベースに該当する前記入力画像データを検出画像データとして検出する照合ステップと、
前記照合ステップによる照合の結果、前記検出画像データが検出された場合に、前記検出画像データに基づいて特定される前記監視画像の前記入力特徴画像を含む少なくとも一部と前記入力特徴画像の位置とを表示する表示ステップと、を備える点にある。
上記構成によれば、上述した画像認証システムに係る作用効果を得ることができる。
上記目的を達成するための本発明に係る画像認証プログラムの特徴構成は、
監視対象エリアを撮像して取得された監視画像を記憶している撮像端末と当該監視画像を表示するための表示端末との間の情報処理をコンピュータに実行させるための画像認証プログラムであって、
前記撮像端末の前記監視画像に含まれる撮像対象の特徴画像を入力特徴画像として切出すと共に、当該入力特徴画像と、前記監視画像を特定する画像特定情報と、前記監視画像における前記入力特徴画像の切出し位置を特定する位置情報と、を含む入力画像データを生成する特徴画像切出処理と、
前記入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、前記登録画像データベースに該当する前記入力画像データを検出画像データとして検出する照合処理と、
前記照合処理による照合の結果、前記検出画像データが検出された場合に、前記検出画像データに基づいて特定される前記監視画像の前記入力特徴画像を含む少なくとも一部と前記入力特徴画像の位置とを前記表示端末に表示させる表示処理と、を備える点にある。
上記構成によれば、上述した画像認証システムに係る作用効果を得ることができる。
上述の画像認証システム、画像認証方法および画像認証プログラムによれば、監視者が、即座にかつ容易に、監視対象を視覚的に認識することができる。
画像認証システムの構成の説明図 画像認証システムの動作の説明図 表示端末の表示態様の説明図 表示端末の表示態様の説明図 撮像端末の動作を説明するフローチャート 認証サーバの動作を説明するフローチャート 表示端末の動作を説明するフローチャート 表示端末の動作を説明するフローチャート 認証サーバの動作を説明するフローチャート 表示端末の動作を説明するフローチャート 表示端末における強調表示範囲の説明図 表示端末における強調表示範囲の説明図 入力画像データおよび検出画像データのデータ構造 照合および認証方法の説明図 照合および認証方法の説明図 照合および認証方法の説明図 別実施形態に係る画像認証システムの動作の説明図 認証部の動作を説明するフローチャート 撮像端末の動作を説明するフローチャート
図1から図19に基づいて、本発明の実施形態に係る画像認証システムおよび当該システムを実現する画像認証方法、および画像認証プログラムについて説明する。
〔第一実施形態〕
〔概略説明〕
本実施形態に係る画像認証システム100は、図2に示すように、監視対象エリアRを撮像して監視画像Pを取得するカメラ24(撮像部の一例)と、監視画像Pに含まれる撮像対象(例えば、店舗へ入場する人である入場者H)を認証する画像認証サーバであるサーバ1と、サーバ1が認証した認証結果などを表示する表示端末3と、で構成されている。サーバ1は、監視対象(例えば、窃盗常習犯T)の情報である登録情報F(登録認証情報の一例、図14から図16参照)が登録画像データベースとして記憶された登録情報記憶部51を有している。
画像認証システム100は、撮像対象として、人や車などの物体を対象としうる。以下では、画像認証システム100が、店舗や建物などに入場する人である入場者Hから窃盗常習犯Tを検知して店舗の監視者A(図3、図4参照)に通知して警戒行動を促し、窃盗常習犯Tによる窃盗を未然防止するインテリジェントセキュリティシステムである場合を例示して説明する。また、以下では、撮像対象が入場者Hであり、監視対象が窃盗常習犯Tである場合を例示して説明する。
画像認証システム100は、サーバ1、撮像端末2、および表示端末3が連携し、監視対象エリアRを撮像して監視画像Pを取得する撮像ステップと、監視画像Pを記憶する監視画像記憶ステップと、監視画像Pに含まれる入場者Hの特徴画像を入力特徴画像43として切出すと共に、入力特徴画像43と、監視画像Pを特定する画像特定情報と、監視画像Pにおける入力特徴画像43の切出し位置を特定する位置情報と、を含む入力画像データ43dを生成する特徴画像切出ステップと、入力画像データ43dと予め記憶された窃盗常習犯Tの登録画像データベース(登録情報記憶部51、図1参照)とを照合し、登録画像データベースに該当する入力画像データ43dを検出画像データXとして検出する照合ステップと、照合ステップによる照合の結果、検出画像データXが検出された場合に、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示する表示ステップと、を実行するようになっている。
なお、画像認証システム100は、監視対象エリアRを撮像して取得された監視画像Pを記憶している撮像端末2とこれら監視画像Pを表示するための表示端末3との間の情報処理をコンピュータに実行させるための画像認証プログラムの実行により実現される。
この画像認証プログラムは、撮像端末2の監視画像Pに含まれる撮像対象の特徴画像を入力特徴画像43として切出すと共に、入力特徴画像43と、監視画像Pを特定する画像特定情報と、監視画像Pにおける入力特徴画像43の切出し位置を特定する位置情報と、を含む入力画像データ43dを生成する特徴画像切出処理と、入力画像データ43dと予め記憶された監視対象の登録画像データベースとを照合し、登録画像データベースに該当する入力画像データ43dを検出画像データXとして検出する照合処理と、当該照合処理による照合の結果、検出画像データXが検出された場合に、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示端末3に表示させる表示処理と、を備えている。
〔詳細説明〕
〔用語および定義の説明〕
本実施形態における店舗とは、スーパーやコンビニエンスストアなどの小規模小売店や、デパートや百貨店などの総合小売店、ショッピングモールやショッピングセンタなどの商業地域などを含む。また、建物には、会社施設、市役所や小学校、幼稚園などの公共施設を包含する。
図2に示すように、入場者Hとは、店舗に入場する人物であって、画像認証システム100にて認証を受ける人物である。入場者Hは、画像認証システム100ないし監視者A(図3、図4参照)の監視対象の候補である。入場者Hには窃盗常習犯Tが含まれる。
窃盗常習犯Tとは、サーバ1の登録情報記憶部51(図1参照)に登録されている人物である。また、窃盗常習犯Tは、画像認証システム100ないし監視者Aの監視対象とされた人物である。
以下で言及する顔データとは、顔画像の画像情報(つまり情報化されたもの)またはその特徴量であり、入力特徴画像43の概念に含まれる。なお、顔画像とは、人物の顔をカメラ等で撮影した画像である。特徴量とは、顔画像における人物の顔の特徴を数値化した量である。特徴量の例示としては例えば、目や鼻や口などの形や、目間距離、目と鼻の距離、輪郭の情報や、メガネの有無、髪型、およびこれらから判断できる、性別の情報を数値化したものである。以下では、顔画像の画像情報またはその特徴量のいずれかもしくは両方を含めて、単に顔データと称する。
〔システム構成の説明〕
上述のごとく、画像認証システム100は、図1、図2に示すように、サーバ1、撮像端末2、および表示端末3を含んで構成されている。サーバ1、撮像端末2、および表示端末3は、電気通信回線のネットワークN(例えば、ローカルエリアネットワークや、インターネット)で双方向通信可能に接続されており、一体的に連携して動作できるようになっている。サーバ1は、ネットワークNを介して、複数の撮像端末2と接続されている。また、サーバ1は、ネットワークNを介して、複数の表示端末3と接続されている。表示端末3は、ネットワークNを介して、複数の撮像端末2と接続されている。画像認証システム100は、さらに報知機9を含んで構成されている。
画像認証システム100は、複数の撮像端末2と、複数の表示端末3と、一つのサーバ1とが一個のドメインを形成し、当該ドメイン内のサーバ1と、撮像端末2と、表示端末3とがそれぞれ通信可能になっている。以下では、一つの撮像端末2と、一つの表示端末3と、一つのサーバ1とが通信する場合を例示して説明するが、撮像端末2や表示端末3は一つの場合に限られない。
画像認証システム100として、複数の撮像端末2と、複数の表示端末3と、報知機9とが、ネットワークNとしてのイントラネットに接続されている場合を例示して説明する。また、サーバ1は、ネットワークNとしてのインターネットに接続されている場合を例示して説明する。また、表示端末3等が接続されたイントラネットは、インターネットと双方向通信可能に接続されている場合を例示して説明している。また、イントラネット内の通信は、インターネットを介する通信よりも容易に大容量通信が可能で、また、通信コストが低廉である場合を例示して説明している。
〔撮像端末の説明〕
撮像端末2は、カメラ24などを備えた静止画や動画を撮影して記録する装置である。撮像端末2は、図2に示すように、監視対象エリアRを撮像する位置に設置されている。撮像端末2は、監視対象エリアRとして設定した店舗の入口扉の入口周囲を撮像するように設置される。これにより、撮像端末2は、入口扉から店舗内に入場する入場者Hの顔等を撮像する。撮像端末2は、表示端末3が接続されたイントラネット(ネットワークNの一部)と同じイントラネットに接続されている。このイントラネットは、上述のごとく、インターネット(ネットワークNの一部)と双方向通信可能に接続されている。
撮像端末2は、図1に示すように、撮像側中央制御部20と、監視対象エリアRを撮像して監視画像Pを取得するカメラ24と、監視画像Pを記憶する撮像側記憶部26(監視画像記憶部の一例)と、ネットワークNと通信する撮像側通信部29とを備えている。
撮像端末2は、図1、図2に示すように、例えば、ネットワーク機能を有するハードディスクレコーダ(撮像側記憶部26)の画像入力インタフェースにカメラ24を接続し、さらに当該ハードディスクレコーダを、撮像側通信部29を介してネットワークNに接続した一連のシステムである。
撮像側通信部29は、撮像端末2をネットワークNと接続する通信インタフェースである。撮像側通信部29は、ネットワークNとの物理的ないし電気的な接続インタフェースとしての役割と共に、通信のプロトコル制御を行う場合もある。撮像側通信部29の機能としては、いわゆるLANカードなどのようなネットワークNとのインタフェース機能と共に、ルーターやゲートウェイなどの通信制御やプロトコル変換の機能を包含することができる。
カメラ24は、CCDセンサやCMOSセンサなどを有する撮像ユニットである。カメラ24は、撮像端末2の監視対象エリアRを通過する入場者Hの顔を含めて撮影し監視画像Pを取得する。カメラ24は、監視対象エリアRを、一定の間隔で、連続して静止画として監視画像Pを撮像している。そしてカメラ24は、各々の監視画像Pが時系列で配列された動画のデータとして撮像側記憶部26に記憶している。つまり、監視画像Pは、カメラ24が撮像した動画のワンフレームである。
以下では、カメラ24が撮像した動画のワンフレーム(ある時点での静止画)を監視画像Pとして説明する。画像認証システム100においては、下記で説明する監視画像Pに対して行われる処理や操作などが、時系列で配列された監視画像Pに対して時系列で適応される。なお、画像認証システム100のカメラ24は動画を撮像する場合に限られない。
撮像側中央制御部20は、撮像端末2の動作を制御する機能部である。撮像側中央制御部20は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPUと、当該CPUによって制御される各種ハードウェア等によって構成されている。
撮像側中央制御部20は、カメラ24、撮像側記憶部26および撮像側通信部29などへ動作の指示を出力し、カメラ24と、撮像側記憶部26および撮像側通信部29などから情報を取得する。撮像側中央制御部20は、撮像側通信部29を介して監視画像Pもしくは監視画像Pを包含する動画の送信要求を取得して受け付けると、送信要求に対応する監視画像Pもしくは監視画像Pおよび監視画像Pの前後の画像を撮像側記憶部26から読み出して、監視画像Pを撮像側通信部29を介して送信する。以下では、監視画像Pおよび監視画像Pの前後の画像として、監視画像Pおよび監視画像Pの前後所定時間の動画(以下では監視動画45と称する)を、監視動画データ45dとして送信する場合を例示して説明する。
撮像側中央制御部20は、例えば、表示端末3へ監視画像Pもしくは監視動画45を送信する要求をサーバ1から受け付ける。また、撮像側中央制御部20は、表示端末3へ監視画像Pを送信する要求をその表示端末3から受け付ける場合もある。以下、撮像側中央制御部20が、表示端末3へ監視動画45を送信する要求をその表示端末3から受け付ける場合を説明する。なお、以下では、監視画像Pもしくは監視動画45を送信する要求のいずれの場合も包含して、監視画像を送信する要求、と称する場合がある。監視画像Pや監視動画45を包括して、単に監視画像と称する場合がある。
撮像側中央制御部20は、撮像側制御部21と、切出部22(特徴画像切出部の一例)とを有する。
撮像側制御部21は、監視画像Pから入場者Hの顔画像を検出する機能部である。撮像側制御部21は人の顔の構造的な特徴(例えば両目間の距離、目と鼻と口の距離)などに基づいて、監視画像Pにおける入場者Hの顔画像を検出する。撮像側制御部21は、撮像側中央制御部20において、顔を検出するためのプログラムの実行により実現される。
切出部22は、監視画像Pに含まれる入場者Hの顔画像の切り出しなどを行う。切出部22は、撮像側制御部21が入場者Hの顔を検出すると、監視画像Pから入場者Hの顔を含む画像範囲を切り出して、入力特徴画像43とし、入力特徴画像43の画像情報を含む入力画像データ43dを生成する。
切出部22は、撮像側中央制御部20において、顔を含む画像範囲を切り出すためのプログラムの実行により実現される。当該プログラムには、撮像端末2の監視画像Pに含まれる撮像対象の特徴画像を入力特徴画像43として切出すと共に、入力特徴画像43と、監視画像Pを特定する画像特定情報と、監視画像Pにおける入力特徴画像43の切出し位置を特定する位置情報と、を含む入力画像データ43dを生成する特徴画像切出処理が含まれている。
なお、切出部22が入場者Hの顔画像を切り出すことで、入力画像データ43dの情報量(いわゆる、バイトなどを単位とする量)を削減することができる。これにより、後述するサーバ1とのインターネットを介した通信を、高速かつ低廉なコストで実現することができる。
切出部22は、入力画像データ43dに、監視画像Pを特定する情報(画像特定情報と称する)を含ませる。また、切出部22は、入力特徴画像43が、監視画像Pにおけるどの画像範囲であるかを特定する位置情報を入力画像データ43dに含ませる。
また、監視画像Pにおけるどの画像範囲であるかを特定する位置情報が入力画像データ43dに含まれるため、登録画像データベースに該当する入力画像データ43dである検出画像データXにも、入力特徴画像43が、監視画像Pにおけるどの画像範囲であるかを特定する位置情報が含まれることになる。したがって、検出画像データXに含まれる位置情報に基づいて、入力特徴画像43が、監視画像Pにおけるどの画像範囲であるかを特定することが可能となる。
切出部22が入力画像データ43dに含ませる画像特定情報としては、例えば、監視画像Pを撮像した時刻(撮像時刻)の情報が挙げられる。時刻の情報とは、例えば、日時、時分の情報である。また、画像特定情報に含む情報は、監視画像Pを含む動画の撮影を開始してからの経過時間でもよい。また、動画は静止画を経時的に配列したものであるから、先頭画像からの連番(いわゆる、フレーム番号)でもよい。撮像端末2は複数存在する場合は、撮像端末2を特定する情報(例えば、撮像端末2に固有のID番号やカメラ24の設置場所に係る情報)も含みうる。以下では、画像特定情報として、撮像時刻とカメラ24の設置場所に係る情報を含む場合を例示して説明する。
切出部22が入力画像データ43dに含ませる位置情報として、例えば、監視画像Pの画素における座標情報を含むことができる。切出部22が入力画像データ43dに含ませる位置情報としては、図11に示すように、入場者Hの顔画像における両目Eの座標や、図12に示すように、顔Kの輪郭を包含する範囲が含まれる矩形の四隅の座標情報(例えば、位置p1から位置p4の座標)などが挙げられる。座標情報として、顔画像における両目Eの座標を含む場合を説明している。
人の顔のディメンジョンは、通常、所定の比率に定まる。そのため、図11に示すように、画像中における目の位置(座標)を特定すれば、当該画像中における顔画像の範囲を推定することができる。顔画像の位置(顔画像の範囲)を例えば矩形の内側として特定すべく矩形の四隅の四点の座標情報(例えば、図12に示すp1からp4)で表現する場合に比べて、目の座標情報を用いる場合は二点の座標を特定すれば足りるため、情報量を削減できる。
切出部22は、入力画像データ43dを生成すると、撮像側通信部29に送信指令を発して、入力画像データ43dをサーバ1に送信させる。入力画像データ43dは上述のごとく情報量を削減されているため、サーバ1への送信は高速かつ低廉なコストで実現することができる。
入力画像データ43dをサーバ1に送信する際、撮像側通信部29は、入力画像データ43dを、分離できない一つの情報群として送信する。例えば、入力画像データ43dを、JPEG(ジェイペグ、Joint Photographic Experts Group)フォーマットの画像データとし、当該画像データのメタデータの一つとして、監視画像Pを特定する画像特定情報や、監視画像Pにおけるどの画像範囲であるかを特定する位置情報を含ませる。これにより、入力画像データ43dに含まれる情報を、常に一体に管理して、情報の取り違いや、情報の欠落を防止することができる。また、この結果、画像認証システム100の情報セキュリティも高まるため有益である。
入力画像データ43dは、例えば図13に示すように、情報区分i01のヘッダ情報から開始し、情報区分in(ただしnは3以上の整数)のフッタ情報で終了する一群の情報パッケージ(フォーマット)に含めて送信することができる。
図13に図示する例では、情報区分in−1に入力特徴画像43の画像情報を包含している。情報区分in−2には、画像特定情報を包含している。情報区分in−2には、位置情報も包含している。なお、画像特定情報と位置情報とは、それぞれ別の情報区分に包含してもよい。
図5に図示したフローチャートを参照しつつ、撮像端末2の動作を説明する。以下では、各ステップを#123などと記載する。#記号の直後の数字が、各ステップの通し番号に相当する。たとえば、#123と記載する場合、第123番のステップ(ステップ#123)を指し示す。
#101は、カメラ24で監視画像Pの撮像を開始するステップ(撮像ステップの一例)である。また、#102は、監視画像Pを撮像側記憶部26へ記録するステップ(監視画像記憶ステップの一例)である。カメラ24は、撮像を開始する(#101)と、#102に移行して、監視画像Pを動画として撮像側記憶部26への記録を開始し、#103に移行する。
#103は、撮像側制御部21が、監視画像Pから入場者Hの顔画像を検出するまで待機(#103、No)し、監視画像Pから入場者Hの顔画像を検出すると(#103、Yes)、#104へ移行するステップである。#101で監視画像Pの記録を開始した後、当該記録を継続しながら、撮像側制御部21が、監視画像Pから入場者Hの顔画像を検出すると(#103、Yes)、#104へ移行する。
#104は、入力特徴画像43を切出すステップである(特徴画像切出ステップの一例)。#104では、切出部22が監視画像Pに含まれる入場者Hの顔画像の切り出しを行って、入力特徴画像43を生成する。#104で入力特徴画像43を生成すると、切出部22は、#105で入力画像データ43dを生成する。#105で入力画像データ43dを生成すると、切出部22は、サーバ1に、入力画像データ43dを送信する(#106)。当該送信は、切出部22の送信指示に基づいて、撮像側通信部29が行う。撮像側通信部29による入力画像データ43dの送信が行われた後、#107へ移行する。
#107は、撮像端末2が、サーバ1や、表示端末3から、表示端末3へ監視画像を送信する要求を受け付けるまで待機(#107、No)し、当該要求を受け付けると(#107、Yes)、#108へ移行するステップである。
#108は、撮像端末2が表示端末3へ、監視画像を送信するステップである。監視画像は、監視画像Pの前後所定時間(例えば、前後30秒)の範囲を包含した監視動画45である場合を例示して説明している。
#108では、撮像側中央制御部20が撮像側記憶部26から監視動画45を読み出して、撮像側通信部29を介して表示端末3への監視動画45を送信する。その後、#109へ移行して一連の動作を終了する。#109へ移行して一連の動作を終了すると、#101へ戻る。なお、監視画像が監視動画45である場合を例示したが、監視画像が監視画像Pである場合も上記と同様である。また、監視画像として、監視画像Pと監視動画45とを送信する場合もある。
〔サーバの説明〕
〔サーバの構成と動作についての説明〕
サーバ1は、入場者Hを窃盗常習犯Tであると認証する機能を提供する。なお、以下で説明する、入場者Hが窃盗常習犯Tであると認証するとの概念には、後述するように、入場者Hが窃盗常習犯Tであると判定されることが含まれる。また、認証の概念には、入場者Hが窃盗常習犯Tである蓋然性が高いと判定されることが含まれる。さらに、認証の概念には、入場者Hが窃盗常習犯Tであるとの推定が否定されないと判定されることが含まれる。
図1、図2に示すように、サーバ1は、サーバ側中央制御部10と、サーバ1で取り扱う情報を記憶するサーバ側記憶部50と、ネットワークNと通信するサーバ側通信部19とを備えている。サーバ1は、ネットワークNとしてのインターネットを介して撮像端末2や表示端末3と接続されている。
サーバ側通信部19は、サーバ側中央制御部10の動作指令によりサーバ1の外部のネットワークNと通信するための通信インタフェースである。サーバ側通信部19は、ネットワークNを介して、撮像端末2および表示端末3と通信する。
サーバ側記憶部50には、登録情報記憶部51、照合情報記憶部52および一時記憶部53が含まれる。サーバ側記憶部50は、HDD(Hard Disk Drive)や不揮発性RAM(Random Access Memory)といった記憶デバイスで構成される。サーバ側記憶部50は、物理的に別個の記憶デバイスであってもよいし、一つの記憶デバイスに設けられた二つの記憶領域であってもよい。また、サーバ側記憶部50は、画像認証システム100が設けられた場所(例えばサーバールーム)に設けられてもよいし、いわゆるクラウド上の記憶領域であってもよい。
登録情報記憶部51には、図14から図16に示すように、登録情報Fが記憶されている。登録情報Fには、窃盗常習犯Tの顔画像が登録画像44(図2参照)として含まれている。窃盗常習犯Tである人物H1等の顔データを含む登録情報Fを、末尾に同じ番号を付して登録情報F1等と呼ぶ場合がある。また、同じ人物(例えば人物H1)に関して複数の登録情報Fが記憶されている場合があり、それら登録情報Fを、末尾にさらに連番を付して登録情報F11、F12、F13等と呼ぶ場合がある。この場合、アルファベットの直後の数字が人物H1等の番号に対応し、その次の数字が人物H1等の複数の顔データの中での通し番号を表す。
図1、図2に戻り、照合情報記憶部52には、入力画像データ43dと登録情報Fとを照合して一致度を算出するプログラム(以下では照合プログラムと称する)が記憶されている。なお、一致度は0から100の範囲で算出される。一致度は、完全に一致する場合が100である。また、一致度は、完全な不一致である場合が0である。
一時記憶部53には、サーバ1がネットワークNから取得した情報が一時的に記憶される。サーバ側通信部19が、ネットワークNを介して撮像端末2から受信した入力画像データ43dや、照合部12が照合した結果が記憶される。
サーバ側中央制御部10は、サーバ1の動作全体を制御する機能部である。サーバ側中央制御部10は、サーバ側記憶部50や、サーバ側通信部19などへ動作の指示を出力し、また、サーバ側記憶部50やサーバ側通信部19から情報を取得する。
サーバ側中央制御部10は、中央制御部11と、入力画像データ43dと登録情報Fとを照合して検出画像データXを検出する照合部12と、照合部12が照合した結果に基づいて、入場者Hが窃盗常習犯Tであると認証する認証部13と、検出画像データXに認証部13がした認証の結果に係る情報を付加する処理部14と、を備えている。ここで、検出画像データXとは、複数の入力画像データ43dのうち、照合部12が登録情報Fと一致することを検出した入力画像データ43dのことを言う。
図2には、監視画像Pから検出された複数の入場者Hのそれぞれに対応する複数の入力画像データ43dがサーバ1に送信されている場合を図示している。そして、サーバ1に送信された複数の入力画像データ43dのうち、登録情報Fと一致する入力画像データ43dが検出画像データXとして、サーバ1から表示端末3に送信されている場合を図示している。
サーバ側中央制御部10は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPUと、該CPUによって制御される各種ハードウェア等によって構成されている。サーバ側中央制御部10の動作に必要なソフトウェアプログラムやデータはサーバ側記憶部50に保存されるが、保存先は特に限定されず、別途専用に設けられたディスクやフラッシュメモリ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。
中央制御部11は、サーバ1が受信した情報や、サーバ1が送信する情報の送受信を制御する機能部である。中央制御部11は、サーバ側通信部19がネットワークNから入力画像データ43dを受信すると、入力画像データ43dを一時記憶部53に記憶する。
中央制御部11は、検出画像データXが一時記憶部53に記憶されると、サーバ側通信部19に、検出画像データXを表示端末3へ送信させる指示を送る。なお、この際、中央制御部11は、報知機9に、報知を指示することができる。当該指示により、報知機9は、表示端末3が検出画像データXを受信したことを監視者A(図3、図4参照)に報知する。これにより監視者Aは、表示端末3の確認を促されて、表示端末3による検出画像データXの受信を即座に気付くことができる。なお、検出画像データXは、入力画像データ43dと同様に情報量を削減されているため、サーバ1から表示端末3への検出画像データXの送信は、高速かつ低廉なコストで実現される。
照合部12は、入力画像データ43dと登録情報F(図14から図16参照)とを照合し、入場者Hが、登録情報Fに窃盗常習犯Tとして登録されている人物H1等との一致度を算出する。
照合部12は、照合情報記憶部52に記憶されている照合プログラムを呼びだして、当該照合プログラムを実行する。照合部12は、照合プログラムの実行により、入力画像データ43dと登録情報Fとを照合する。照合プログラムには、入力画像データ43dと予め記憶された監視対象の登録画像データベースとを照合し、登録画像データベースに該当する入力画像データ43dを検出画像データXとして検出する照合処理が含まれる。
照合部12は、入力画像データ43dと登録情報Fとを照合するに際し、入力画像データ43dに含まれる顔データ、特に特徴量に基づいて照合することができる。また、入力画像データ43dに基づいて新たに顔画像の特徴量を算出し、照合することもできる。
照合部12は、照合して求めた一致度に基づいて、入力画像データ43dを検出画像データXとして検出する。照合部12は、照合部12が照合して求めた一致度が所定の閾値(例えば第一判定値V1、60)以上である場合に、監視対象が検出されたと判定し、入力画像データ43dを検出画像データXとして検出する。照合部12は一致度が所定の閾値(例えば第一判定値V1)未満である場合に、入力画像データ43dを検出画像データXとして検出しない。なお、画像特定情報が入力画像データ43dに含まれているため、登録画像データベースに該当する入力画像データ43dである検出画像データXにも画像特定情報が含まれることになる。
認証部13は、照合部12が検出画像データXを検出すると、後述するように所定の条件のもと、検出画像データXに対応する入場者Hを窃盗常習犯Tである、と認証する。認証部13は認証に際し、照合部12が求めた一致度の情報を参酌し、認証結果に係る情報として、認証した旨の情報と、後述する認証スコアとを出力し、これらを認証結果として一時記憶部53に記憶する。以下では、認証スコアと認証した旨の情報とを包含して、単に認証結果と称する。
処理部14は、認証部13により検出画像データXに対応する入場者Hが窃盗常習犯Tであると認証されると、すなわち、認証結果が一時記憶部53に記憶されると、検出画像データXとして検出された入力画像データ43dに、照合部12が求めた一致度の情報と、認証部13がした認証結果と、登録画像44の画像データとを付加する。以下では、照合部12が求めた一致度の情報と認証部13がした認証結果に係る情報と登録画像44の画像データとを包括して、単に付帯情報と称する場合がある。
検出画像データXとして検出された入力画像データ43dは、図13に示されるように、情報区分i01のヘッダ情報から開始し、情報区分in(ただしnは3以上の整数)のフッタ情報で終了する一群の情報パッケージとしてハンドリングされている。処理部14は、付帯情報を、検出画像データXの情報区分in−2に記録して検出画像データXを更新し、一時記憶部53に記憶する。つまり、一時記憶部53には、付帯情報が付加されて更新された検出画像データX(以下では単に検出画像データXと称する)が記憶される。
〔サーバが行う認証についての説明〕
照合部12が行う照合について説明する。照合部12は1つの入力画像データ43dと複数の登録情報Fとを照合して一致度を求め、複数の登録情報Fの中で最も一致度が大きい登録情報Fを選択する。この際、最も大きな一致度が第一判定値V1(例えば、60)以上であれば入力画像データ43dを検出画像データXとして検出する。
認証部13が、照合部12で検出された登録情報F(最も一致度が大きい登録情報F)の一致度が所定の閾値よりも大きい場合に、入場者Hを窃盗常習犯Tであると認証する。以下では、特定の窃盗常習犯Tであると認証するための一致度の閾値を、第二判定値V2と称する場合がある。また、以下では、登録情報Fの中で最も一致度が大きい登録情報Fを選択した際の一致度を、単に一致度と称する場合がある。
第二判定値V2は第一判定値V1と等しく設定されている。なお、第二判定値V2は第一判定値V1よりも大きな値を設定してもよい。
以下では、サーバ1における認証の実行について具体例を挙げて説明する。まず、窃盗常習犯Tの登録情報Fについて説明する。
登録情報記憶部51には、図14から図16に示すように、窃盗常習犯Tの登録情報Fがあらかじめ記憶されている。この例では、窃盗常習犯Tである3人の人物H1、H2およびH3について、各々複数の登録情報Fが、人物毎に関連づけられた状態で、登録情報記憶部51に記憶されている。
詳しくは、人物H1について、4つの登録情報F11、F12、F13およびF14が記憶されている。人物H2について、2つの登録情報F21およびF22が記憶されている。人物H3について、3つの登録情報F31、F32およびF33が記憶されている。このように一人の窃盗常習犯Tに対して複数の登録情報Fが関連づけられている。
図14の例では、照合部12により算出された一致度が登録情報Fの下に示されている。例えば、人物H1に係る入力画像データ43dと、人物H2に係る登録情報F21〜F24との一致度は、18、21、22、19と算出されている。
この図14の例では、人物H3に係る登録情報F32が、一致度が97であり最も大きいので、登録情報F32に対応する入力画像データ43dを検出画像データXとして検出する。図15の例では、人物H3に係る登録情報F32が、一致度が67であり最も大きいので、登録情報F32に対応する入力画像データ43dを検出画像データXとして検出する。また、図16の例では、人物H3に係る登録情報F32が、一致度が27であり最も大きいので、登録情報F32に対応する入力画像データ43dを検出画像データXとして検出する。
図6に図示したフローチャートを参照しつつ、サーバ1の動作を説明する。
サーバ1が認証可能な状態になる(#111)と、中央制御部11は、サーバ側通信部19が撮像端末2から入力画像データ43dを受信するまで待機する(#112、No)。サーバ側通信部19が撮像端末2から入力画像データ43dを受信する(#112、Yes)と、中央制御部11は、入力画像データ43dを一時記憶部53に記憶して、#113へ移行する。
#113は照合するステップである(照合ステップの一例)。#113では、照合部12が、入力画像データ43dと登録情報Fとを照合する。照合部12は、入力画像データ43dを一時記憶部53から読み出す。また、照合部12は、登録情報記憶部51から登録情報Fを読み出す。そして照合部12は、入力画像データ43dを登録情報Fと照合し、一致度が第一判定値V1(60)未満であれば(#114、No)、#119へ移行して終了する。照合部12は、一致度が第一判定値V1(60)以上であれば(#114、Yes)、監視対象が検出されたと判定して#115に移行する。この際、照合部12は、入力画像データ43dを検出画像データXとして検出する。
#115は認証を行うステップである。#115では、認証部13は、検出画像データXとして検出された入力画像データ43dに対応する入場者Hを窃盗常習犯Tであると認証し、#116へ移行する。
本実施形態では、第二判定値V2は第一判定値V1と等しいため、検出画像データXとして検出された入力画像データ43dに対応する入場者Hは全て窃盗常習犯Tとして認証される。
なお、#115では、認証部13は認証に際し、認証スコアを生成する。認証スコアとは、認証の確からしさを所定の水準に区分け(例えば、「高」と「低」、など)したり、認証の確からしさを数値表示(例えば、0から100の範囲で表示し、100が最も認証の確からしさが高い)したりするものである。認証部13は、認証すると、認証結果を一時記憶部53に記憶する。認証部13が認証スコアを生成する動作については後述する。
#116は、検出画像データXに付帯情報を付加するステップである。#116では、処理部14は、検出画像データXとして検出された入力画像データ43dに、照合部12が求めた一致度の情報と、認証部13がした認証結果と、を付加し、あらたな検出画像データXとして一時記憶部53に記憶する。そして#117へ移行する。
#117は、検出画像データXを表示端末3へ送信するステップである。#117では、中央制御部11が一時記憶部53から検出画像データXを読み出す。そして、中央制御部11は、サーバ側通信部19を介して検出画像データXを表示端末3へ送信する。そして#118へ移行する。
#118は、報知機9に報知指示を送信するステップである。#118では、中央制御部11は、サーバ側通信部19を介して報知すべき旨の指示を報知機9へ送信する。そして#119へ移行して一連の動作を終了する。#119へ移行して一連の動作を終了すると、#111へ戻る。
〔認証部が認証スコアを生成する動作についての説明〕
図6および図18に示すフローチャートを参照しつつ、認証部13が認証スコアを生成する動作について説明する。
図6に示す#115における認証においては、図18に示すフローチャートの動作が行われる。
#121で認証が開始されると、認証部13は、一致度が第三判定値V3(例えば80)以上であるか否かを判定する(#122)。第三判定値V3は第二判定値V2よりも大きな値として設定される。一致度が第三判定値V3以上であれば(#122、Yes)、#123へ移行する。一致度が第三判定値V3未満であれば(#122、No)、#124へ移行する。
#123と#124とは、認証スコアを生成して出力するステップである。
#123では認証スコアとして「高」を出力する。なお、この認証スコアは、後述するように、表示端末3のモニタ35(表示部の一例)に表示される。一致度が第三判定値V3以上であるから、認証スコアとして「高」を出力して表示することで、監視者A(図3、図4参照)をして、入場者Hが窃盗常習犯Tであると判定されていることを直感的に把握せしめるためである。これにより、監視者Aは、確かな自信をもって、窃盗常習犯Tと認証された入場者Hに声掛けなどして犯罪抑止に務めることが可能となる。
#124では認証スコアとして「低」を出力する。なお、この認証スコアは、後述するように、表示端末3のモニタ35に表示される。一致度が第二判定値V2以上、かつ、第三判定値V3未満であるから、認証スコアとして「低」を出力することで、監視者Aをして、入場者Hが窃盗常習犯Tである蓋然性が高いと判定されていることを直感的に把握せしめるためである。これにより、監視者Aは、誤認(人違い)のおそれを勘案しつつ、慎重に窃盗常習犯Tと認証された入場者Hの行動を監視するなどして、犯罪抑止に備えることが可能となる。
#123もしくは#124において認証スコアを出力すると#125へ移行して認証を終了する。その後、図6に示す#116へ移行する。
〔表示端末の説明〕
〔表示端末の構成と動作についての説明〕
表示端末3は、監視者Aが監視画像Pなどを閲覧する端末である。
図1、図2に示すように、表示端末3は、表示側中央制御部30と、モニタ35と、モニタ35に画像を表示させる描画部34と、端末側記憶部36と、ネットワークNと通信する端末側通信部39とを備えている。表示端末3は、いわゆるタブレット端末である。表示端末3は、撮像端末2が接続されたイントラネットと同じイントラネットに接続されている。
端末側通信部39は、表示側中央制御部30の動作指令により表示端末3の外部のネットワークNと通信するための通信インタフェースである。端末側通信部39は、ネットワークNを介して、サーバ1および撮像端末2と通信する。端末側通信部39は、例えば検出画像データXなどをサーバ1や撮像端末2から受信したり、監視画像を送信する要求を撮像端末2へ送信したりする。
描画部34は、モニタ35に表示させる画像を出力する描画装置である。いわゆるGPU(Graphics Processing Unit、グラフィックスプロセッシングユニット)である。
モニタ35は、タッチ入力機能を兼ね備えた表示装置である。モニタ35は、タッチパネル式の液晶モニタである。モニタ35は描画部34が出力する画像を表示する。モニタ35が表示する情報については後述する。また、モニタ35は、監視者Aがタッチ操作により入力した動作指令を受け付けて、後述する端末側制御部31へ送信する。
端末側記憶部36は、HDD(Hard Disk Drive)や不揮発性RAM(Random Access Memory)といった記憶デバイスで構成される。端末側記憶部36は、物理的に別個の記憶デバイスであってもよいし、一つの記憶デバイスに設けられた二つの記憶領域であってもよい。
端末側記憶部36には、表示端末3の端末側通信部39がネットワークNから受信した検出画像データXや監視画像Pや監視動画45が記憶される。表示端末3は、検出画像データXを、イントラネット内においてインターネットを介して受信する。一方、監視画像Pや監視動画45は、表示端末3が接続されているイントラネットと同じイントラネットに接続された撮像端末2から受信する。これにより、表示端末3は監視画像Pや監視動画45を、イントラネット内の高速な通信網を活用して高速に受信することができる。また、外部通信であるインターネット通信のデータ通信量を削減してコスト削減を容易にする。また、表示端末3は、監視画像Pや監視動画45を、サーバ1を介さずに受信することができるため、インターネット通信のデータ通信量を削減してコスト削減を容易にする。
表示側中央制御部30は、表示端末3の動作全体を制御する機能部である。表示側中央制御部30は、モニタ35、描画部34、端末側記憶部36および端末側通信部39などへ動作の指示を出力し、また、モニタ35、描画部34、端末側記憶部36および端末側通信部39から情報を取得する。
表示側中央制御部30は、端末側制御部31と、位置選択部32と、を備えている。表示側中央制御部30は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPUと、該CPUによって制御される各種ハードウェア等によって構成されている。サーバ側中央制御部10の動作に必要なソフトウェアプログラムやデータはサーバ側記憶部50に保存されるが、保存先は特に限定されず、別途専用に設けられたディスクやフラッシュメモリ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。
端末側制御部31は、モニタ35が受け付けた監視者A(図3、図4参照)の動作指令にしたがって表示端末3の動作を制御し、また、表示端末3が受信した情報や、表示端末3が送信する情報の送受信を制御する機能部である。
端末側制御部31は、端末側通信部39がネットワークNから検出画像データXを受信すると、検出画像データXを端末側記憶部36に記憶する。端末側制御部31は、検出画像データXが端末側記憶部36に記憶されると、撮像端末2に対して検出画像データXに対応する監視画像を送信させる要求を端末側通信部39に指示する。このとき、端末側通信部39は、検出画像データXに含まれる画像特定情報に基づいて特定された監視画像を受信することとなる。
端末側制御部31は、端末側通信部39がネットワークNから監視画像Pや監視動画45を受信すると、これらを端末側記憶部36に記憶する。
位置選択部32は、モニタ35が検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示する際に、入力特徴画像43を含む位置の表示範囲を特定する機能部である。
位置選択部32が特定した表示範囲に基づいて、描画部34がモニタ35に位置表示5を表示させる。位置選択部32は、端末側記憶部36に記憶された表示プログラムを呼びだして実行することで、位置表示5の表示を実現する。表示プログラムには、照合部12の照合処理による照合の結果、検出画像データXが検出された場合に、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示端末3に表示させる表示処理が含まれる。なお、位置表示5については後述する。
モニタ35が表示する情報について説明する。モニタ35は、描画部34が出力する画像を表示する。図3、図4に示すように、モニタ35は、監視画像Pもしくは入力特徴画像43を含む監視画像Pの一部や、後述する位置表示5など表示する。また、後述するその他の情報表示46を行う。
モニタ35が表示する情報表示46としては、後述する第一情報表示46aや第二情報表示46bを含む、種々の情報を表示することができる。情報表示46として第一情報表示46aと第二情報表示46bとが表示される場合を例示して以下説明する。情報表示46は検出画像データXに含まれる画像特定情報や位置情報を基にして表示される。具体的には、第一情報表示46aとして、入力特徴画像43が撮像端末2で撮像された時刻(撮像時刻)と撮像端末2のカメラ24(図1、図2参照)を特定する情報が表示されており、第二情報表示46bとして、本人確率と、認証スコアとが表示されている。
図3には、モニタ35に第一表示画41が表示されている場合を図示している。第一表示画41には、入力特徴画像43と、登録画像44と、情報表示46と、入力操作を受け付ける部分を監視者Aに認識させる表示として入力部49を示す画像が表示されている。なお、入力部49は、監視者Aによる、監視画像Pや監視動画45を表示する指令を受け付ける入力インタフェースである。
入力部49は、監視者Aが監視動画45を再生する指令を受け付けている。監視者Aが入力部49を介して監視動画45を再生する指令を入力すると、中央制御部11は、監視動画45の再生を試みる。この動作については後述する。なお、入力部49が、監視者Aが監視画像Pを表示する指令を受け付けている場合もある。
情報表示46としては、第一情報表示46aと第二情報表示46bとが表示されている。第一情報表示46aとしては、入力特徴画像43が撮像端末2で撮像された時刻(撮像時刻)と撮像端末2のカメラ24を特定する情報が表示されている。また、第二情報表示46bとしては、本人確率と、認証スコアとが表示されている。なお、本人確率は、本実施形態では一致度の値に等しい。
図4には、モニタ35に第二表示画42が表示されている場合を図示している。第二表示画42には、入力特徴画像43と、登録画像44と、監視画像Pを包含する監視動画45と、第一情報表示46aと、入力部49を示す画像が表示されている。なお、第二表示画42においても第二情報表示46bを併せて表示してもよい。監視画像Pを包含する監視動画45は、監視動画45に含まれるフレームの全領域を表示する場合に限られず、入力特徴画像43と少なくともその周囲の画像領域を包含する画像部分とをトリミングして(切出して)表示してもよい。
位置選択部32と位置表示5について説明する。位置表示5は、検出画像データXに基づいて特定される監視画像Pの入力特徴画像43を含む少なくとも一部と入力特徴画像43の位置とを表示する。
検出画像データXは、入力特徴画像43における顔画像の両目E(図11参照)の座標を位置情報として含んでおり、位置選択部32は両目Eの座標を基にして入力特徴画像43を含む位置の表示範囲を特定する。位置選択部32は、特定した表示範囲に基づいて描画部34に位置表示5の描画指令を発する。描画部34は、監視画像Pもしくは入力特徴画像43を含む監視画像Pの一部をモニタ35に表示させる際に、例えば入力特徴画像43を矩形に囲う表示などを、位置表示5としてモニタ35に描画させる。描画部34は、位置表示5を、監視画像Pや監視動画45にオーバーレイ表示することができる。
位置表示5は、図4および図11に示すように、入場者Hの顔Kの輪郭の範囲を包含する領域を表示する記号として例示される。図4および図11に示す例では、位置表示5は、顔画像を包含する矩形に描かれる場合を示している。その他、位置表示5は、入場者Hの顔(入力特徴画像43)を指し示す矢印などの記号を用いる場合もある。位置表示5は、入場者Hの顔Kの輪郭の範囲を特定する座標を示す数値で表示される場合もある。このように、位置表示5は、入場者Hの顔画像(入力特徴画像43)を強調するための表示である。
位置表示5の表示態様は、上記で説明する態様に限定されない。位置表示5は、入場者Hの顔画像(入力特徴画像43、顔画像)を起点とする吹き出しの形態で表示することもできる。そして、吹き出し部分には、入場者Hの顔を拡大表示するとよい。この場合は、吹き出しの形態と、入場者Hの顔の拡大表示とが位置表示5である。位置表示5がこのような入場者Hの顔の拡大表示を含む場合、監視画像Pをそのまま表示すると入場者Hの顔を視認できないときでも、入場者Hの顔が拡大表示されることで、目視可能に表示することができる。
図4および図11に例示した位置表示5について説明する。位置表示5は、上下方向に長手方向が沿う長方形の記号として表示されている。換言すると、位置表示5は、入場者Hの顔画像(入力特徴画像43)を、視覚的に容易に認識する目印となる表示である。位置表示5により、監視者Aは、入場者Hの顔画像(入力特徴画像43)を目視で容易に認識し、入場者Hが窃盗常習犯Tである場合に、即座に必要な行動を起こすことができるため有益である。
位置選択部32は、例えば、位置表示5の長辺および短辺の表示を以下のように定めることができる。位置選択部32は、図11に示すように、左目E1と右目E2との距離を目間距離Edとした場合に、顔の左右の範囲をこの目間距離Edを基準に定めることができる。図11の場合は、左目E1から距離d1だけ左に偏位した位置と、右目E2から距離d1だけ右に偏位した位置と、を顔の左右の範囲として規定して、位置表示5の長辺として表示している。なお、図11の例示では、距離d1を、目間距離Edの1.3倍としている。なお、この実施例で説明する距離d1と目間距離Edとの関係はあくまで例示に過ぎない。
また、位置選択部32は、図11に示すように、左目E1と右目E2との距離を目間距離Edとした場合に、顔の上下の範囲をこの目間距離Edを基準に定めることができる。図11の場合は、両目Eの高さから上方に向けて距離d2だけ偏位した位置と、両目Eの高さから下方に向けて距離d3だけ偏位した位置と、を顔の上下の範囲として規定している場合を例示して図示している。なお、図11の例示では、距離d2を、目間距離Edの1.5倍としている。また、距離d3を、目間距離Edの2.0倍としている。なお、この実施例で説明する距離d2および距離d3と、目間距離Edとの関係はあくまで例示に過ぎない。
図7に図示したフローチャートを参照しつつ、表示端末3の動作を説明する。
表示端末3が検出画像データXを受信可能な状態になる(#131)と、端末側制御部31は、端末側通信部39がサーバ1から検出画像データXを受信するまで待機する(#132、No)。端末側通信部39がサーバ1から検出画像データXを受信する(#132、Yes)と、端末側制御部31は、検出画像データXを端末側記憶部36に記憶して、#133へ移行する。
#133は第一表示画41をモニタ35で表示するステップである。#133では、端末側制御部31が、検出画像データXを端末側記憶部36から読み出す。そして、端末側制御部31は、この検出画像データXに基づいて、描画部34に第一表示画41の描画を指令する。描画部34は当該指令に基づいて、モニタ35に第一表示画41を表示させる(図3参照)。その後、#134へ移行する。
#134は、入力部49で、監視者Aによる監視動画45を再生する指令の入力を待機するステップである。#134では、入力部49に監視者Aによる指令の入力があるまで待機する(#134、No)。入力部49に監視者Aによる指令の入力があると(#134、Yes)、#135へ移行する。
#135は、監視画像を送信する要求を行うステップである。#135では、端末側制御部31が、端末側通信部39を介して、撮像端末2に、監視画像を送信する要求を行う。監視画像を送信する要求として、監視動画45を送信する要求を行うが、監視画像Pを送信する要求である場合もある。その後、#136へ移行する。
#136は、端末側通信部39が監視画像の受信を待機するステップである。#136では、端末側通信部39が監視画像の受信を完了するまで待機する(#136、No)。端末側通信部39が監視画像の受信を完了すると(#136、Yes)、端末側制御部31は監視画像を端末側記憶部36へ記憶して、#137へ移行する。監視画像として監視動画45が端末側記憶部36へ記憶されるが、監視画像として監視画像Pが記憶される場合もある。
#137は、第二表示画42をモニタ35で表示するステップである(表示ステップの一例)。#137では、端末側制御部31が、検出画像データXと監視動画45とを端末側記憶部36から読み出す。そして、端末側制御部31は、この検出画像データXと監視動画45とに基づいて、描画部34に第二表示画42の描画を指令する。描画部34は当該指令に基づいて、モニタ35に第二表示画42を表示させる(図4参照)。この際、位置選択部32は、位置表示5のオーバーレイ表示を描画部34に指令する。これにより、第二表示画42における監視動画45上に、入場者H(窃盗常習犯T)の顔画像(入力特徴画像43)の位置が強調して表示される。そして、一連の動作を終了する(#138)。なお、#138で一連の動作を終了すると、再び#131へ戻る。
〔第一実施形態の変形例の説明〕
なお、表示端末3は、図8に示すフローチャートのように動作させてもよい。図8において、#231から#233、および、#235から#238は、図7における#131から#133、および、#135から#138と同じである。図8の場合は、図7の#134に対応するステップを有さない点で異なる。
図8の場合は、#233において第一表示画41をモニタ35に表示させると供に、#235において監視画像を送信する要求を行う。つまり、監視者Aによる監視動画45を再生する指令の入力が無くても、監視画像を取得するようになっている。この場合、端末側通信部39がサーバ1から検出画像データXを受信してから最短のリードタイムで監視動画45などの監視画像をモニタ35に表示させることができる。監視画像が監視画像Pではなく、情報容量の大きな監視動画45である場合に特に有益である。
〔第二実施形態〕
以下では第二実施形態について説明する。第二実施形態は、第一実施形態に対してサーバ1および表示端末3の動作の一部が異なる。
図6および図9に図示したフローチャートを参照しつつサーバ1の動作を説明する。図9の場合は、#318の動作が図6の#118の動作と異なり、それ以外は同じである。
図9の場合は、サーバ1は、#317で、検出画像データXを表示端末3へ送信すると共に、#318において、表示端末3に対して検出画像データXに対応する監視画像を送信する要求を撮像端末2へ送信する。これにより、表示端末3は、最短のリードタイムで監視画像を受信することができる。なお、サーバ1は、#318を実行すると供に、報知機9へ報知の指示をしてもよい。
図7および図10に図示したフローチャートを参照しつつ表示端末3の動作を説明する。図10の場合は、図10において、#331から#333、および、#336から#338は、図7における#131から#133、および、#136から#138と同じである。図10の場合は、図7の#135に対応するステップを有さない点で異なる。
表示端末3に対して検出画像データXに対応する監視画像を送信する要求をサーバ1が撮像端末2へ送信するため、表示端末3は、#135のような監視画像を送信する要求を行うステップを有さなくとも、監視画像を受信することができる(いわゆるプッシュ受信)。
このように、画像認証システム100においては、撮像端末2で撮像した入力特徴画像43を用いて入場者Hが窃盗常習犯Tであることがサーバ1により認証(検知)されると、表示端末3で入力特徴画像43を含む画像を表示して、監視者Aに通知して注意を促すことができる。これにより、監視者Aは、窃盗常習犯Tであると認証された入場者Hに声掛けしたり、その行動を注意して監視したりすることができる。したがって、画像認証システム100は、窃盗などの犯罪の未然防止を実現することができる。
以上のようにして、本実施形態は、監視画像から生成された入力画像データに基づいて元の監視画像を特定して表示した場合に、当該入力画像データに対応する特徴画像が、当該入力画像データに対応する監視画像もしくはその一部の画像のうち、どの画像部分であるかを視覚的に容易に特定することができる画像認証システム、画像認証方法および画像認証プログラムを提供するものである。
〔別実施形態〕
(1)上記実施形態では、画像認証システム100が、店舗に入場する入場者Hから窃盗常習犯Tを検知して店舗の監視者Aに通知して警戒行動を促し、窃盗常習犯Tによる窃盗を未然防止するインテリジェントセキュリティシステムである場合を例示した。
しかしながら、画像認証システム100は、入場者Hから窃盗常習犯Tを検知する場合に限られない。例えば、図17に示すように、店舗などの駐車場などに入場したり、駐車スペースに駐車したりする車両Cの内、窃盗常習犯Tの車両Cを検知するシステムとすることもできる。この場合、画像認証システム100は、入場者Hの顔画像の代わりに、車両CのナンバープレートGを撮像し、これを入力特徴画像43とすることができる。
(2)上記実施形態では、撮像端末2は、#102で監視画像Pを動画として撮像側記憶部26への記録を開始する場合を説明した。そして、図5のフローチャートには、#101で、カメラ24で監視画像Pの撮像を開始し、#102で監視画像Pを動画として撮像側記憶部26への記録を開始し、さらに#103で監視画像Pから入場者Hの顔画像を検出すると(#103、Yes)、#104、#105へ移行して入力特徴画像43を生成する場合を説明した。
しかしながら、撮像端末2は、監視画像Pを動画として記録する場合に限られない。例えば、図19に示すフローチャートのように、#401で、カメラ24で監視画像Pの撮像を開始するが、監視画像Pを動画として記録することは行わず、#402で監視画像Pから入場者Hの顔画像の検出を待機し(#402、No)、監視画像Pから入場者Hの顔画像を検出すると(#402、Yes)、#403へ移行して、その監視画像Pを静止画として撮像側記憶部26に記録する場合もある。この場合、撮像側記憶部26の記憶容量を節約することができる。なお、図19の#404から#409は、図5の#104から#109と同じとすることができる。
(3)上記実施形態では、サーバ1の認証部13により、認証スコアとして「高」ないし「低」が出力され、表示端末3は、モニタ35に、第二情報表示46bとして、本人確率と、認証スコアとを表示する場合を説明した。
しかしながら、認証部13は、認証スコアを出力しなくてもよい。また、認証部13は、認証スコアを「高」ないし「低」の二水準に区分して出力する場合に限られず、3段階以上の多水準に区分して出力してもよい。例えば、一致度が40以上60未満の場合に認証スコアを「低」とし、一致度が60以上80未満の場合に認証スコアを「中」とし、一致度が80以上の場合に認証スコアを「高」とすることもできる。このように一致度が40以上60未満となる際に認証スコアとして「低」が出力される場合には、監視者Aは入場者Hが窃盗常習犯Tであるとの推定が否定されない、という程度の注意認識を持つことが可能となる。
(4)上記実施形態では、表示端末3は、モニタ35に、情報表示46として第一情報表示46aと第二情報表示46bとが表示される場合を説明した。そして、第一情報表示46aとしては、入力特徴画像43が撮像端末2で撮像された時刻(撮像時刻)と撮像端末2のカメラ24を特定する情報が表示されており、第二情報表示46bとしては、本人確率と、認証スコアとが表示されている場合を例示した。
しかしながら、表示端末3は、モニタ35に上記以外の情報を表示してもよい。例えば、照合部12が入力画像データ43dと登録情報Fとを照合した際に用いた個別の特徴量を表示してもよい。例えば、メガネの有無、髪型、性別の情報を表示してもよい。これにより、監視者Aは、視覚的に容易に窃盗常習犯Tの特徴を把握することができるため犯罪抑止に有益である。
また、モニタ35は、必ずしも情報表示46に含まれる情報の全てを表示しなくてもよい。本実施形態で説明した情報表示46に含まれる情報の一部だけを表示する場合もある。例えば情報表示46に含まれる本人確率や認証スコアを表示することを要しない。本人確率や認証スコアの両方とも表示しなくてもよいし、本人確率もしくは認証スコアを表示してもよい。
(5)上記実施形態では、複数の撮像端末2と、複数の表示端末3とは、ネットワークNとしてのイントラネットに接続されている場合を例示して説明した。また、サーバ1は、ネットワークNとしてのインターネットに接続されている場合を例示して説明した。
しかしながら、撮像端末2、表示端末3、およびサーバ1は、同一のイントラネット内で接続されてもよい。また、撮像端末2、表示端末3、およびサーバ1はそれぞれ、インターネットに直接接続されてもよい。
また、撮像端末2、表示端末3、およびサーバ1は、ネットワークNを介して接続される場合に限られず、撮像端末2、表示端末3、およびサーバ1の機能が、一つのシステム(例えば、コンピュータシステム)にインテグレートされている態様も採り得る。この場合、撮像端末2、表示端末3、およびサーバ1はコンピュータシステム内部のバス(データバス)を介して接続することができる。ネットワークNの代わりにバス接続される場合にも、バスの通信量が削減されるため、高速処理を実現することができる。
(6)上記実施形態では、画像認証システム100の適用対象が、人である入場者Hである場合を説明した。しかしながら、画像認証システム100の適用対象は、入場者Hに限定されるものでは無い。
たとえば、退場する人である場合もある。また、人ではなく、犬や猫などの動物である場合もある。また、人ではなく鞄や、靴、メガネや帽子などの物(たとえば、人の所持品)である場合もある。画像認証システム100の適用対象は、姿、形のある物体であればよい。
(7)上記実施形態では、画像認証システム100を使用する場所として店舗を例示して説明した。しかしながら、画像認証システム100の適用範囲はこれに限られない。
店舗以外にも、商業施設、空港、銀行、オフィスビル、マンション等の、多数の人が出入りする施設等において適用することができる。
なお、上記実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
本発明は、監視者が、即座にかつ容易に、監視対象を視覚的に認識することができる画像認証システム、画像認証方法および画像認証プログラムの提供に適用できる。
1 :サーバ
2 :撮像端末(撮像部)
3 :表示端末(表示部)
5 :位置表示(表示)
12 :照合部
22 :切出部
24 :カメラ(撮像部)
35 :モニタ(表示部)
43 :入力特徴画像
43d :入力画像データ
44 :登録画像
45 :監視動画(監視画像)
100 :画像認証システム
P :監視画像
R :監視対象エリア
X :検出画像データ

Claims (8)

  1. 監視対象エリアを撮像して監視画像を取得する撮像部と、
    前記監視画像を記憶する監視画像記憶部と、
    前記監視画像に含まれる撮像対象の特徴画像を入力特徴画像として切出すと共に、当該入力特徴画像と、前記監視画像を特定する画像特定情報と、前記監視画像における前記入力特徴画像の切出し位置を特定する位置情報と、を含む入力画像データを生成する特徴画像切出部と、
    前記入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、前記登録画像データベースに該当する前記入力画像データを検出画像データとして検出する照合部と、
    前記照合部による照合の結果、前記検出画像データが検出された場合に、前記検出画像データに基づいて特定される前記監視画像の前記入力特徴画像を含む少なくとも一部と前記入力特徴画像の位置とを表示する表示部と、を備えた画像認証システム。
  2. 前記監視画像が動画である請求項1に記載の画像認証システム。
  3. 前記画像特定情報が、撮像時刻または画像フレーム番号である請求項1または2に記載の画像認証システム。
  4. 前記位置情報が、前記監視画像中における座標情報である請求項1から3のいずれか一項に記載の画像認証システム。
  5. 前記入力特徴画像は顔画像を含んでおり、
    前記位置情報が、前記顔画像における目の部分の座標情報である請求項4に記載の画像認証システム。
  6. 前記照合部は、前記入力特徴画像に含まれる前記撮像対象と前記登録特徴画像に含まれる前記監視対象との間の一致度の情報である認証結果情報を生成し、
    前記表示部は、前記認証結果情報を取得して表示する請求項1から5のいずれか一項に記載の画像認証システム。
  7. 監視対象エリアを撮像して監視画像を取得する撮像ステップと、
    前記監視画像を記憶する監視画像記憶ステップと、
    前記監視画像に含まれる撮像対象の特徴画像を入力特徴画像として切出すと共に、当該入力特徴画像と、前記監視画像を特定する画像特定情報と、前記監視画像における前記入力特徴画像の切出し位置を特定する位置情報と、を含む入力画像データを生成する特徴画像切出ステップと、
    前記入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、前記登録画像データベースに該当する前記入力画像データを検出画像データとして検出する照合ステップと、
    前記照合ステップによる照合の結果、前記検出画像データが検出された場合に、前記検出画像データに基づいて特定される前記監視画像の前記入力特徴画像を含む少なくとも一部と前記入力特徴画像の位置とを表示する表示ステップと、を備えた画像認証方法。
  8. 監視対象エリアを撮像して取得された監視画像を記憶している撮像端末と当該監視画像を表示するための表示端末との間の情報処理をコンピュータに実行させるための画像認証プログラムであって、
    前記撮像端末の前記監視画像に含まれる撮像対象の特徴画像を入力特徴画像として切出すと共に、当該入力特徴画像と、前記監視画像を特定する画像特定情報と、前記監視画像における前記入力特徴画像の切出し位置を特定する位置情報と、を含む入力画像データを生成する特徴画像切出処理と、
    前記入力画像データと予め記憶された監視対象の登録画像データベースとを照合し、前記登録画像データベースに該当する前記入力画像データを検出画像データとして検出する照合処理と、
    前記照合処理による照合の結果、前記検出画像データが検出された場合に、前記検出画像データに基づいて特定される前記監視画像の前記入力特徴画像を含む少なくとも一部と前記入力特徴画像の位置とを前記表示端末に表示させる表示処理と、を備えた画像認証プログラム。
JP2018037561A 2018-03-02 2018-03-02 画像認証システム、画像認証方法および画像認証プログラム Active JP7142443B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018037561A JP7142443B2 (ja) 2018-03-02 2018-03-02 画像認証システム、画像認証方法および画像認証プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018037561A JP7142443B2 (ja) 2018-03-02 2018-03-02 画像認証システム、画像認証方法および画像認証プログラム

Publications (2)

Publication Number Publication Date
JP2019153908A true JP2019153908A (ja) 2019-09-12
JP7142443B2 JP7142443B2 (ja) 2022-09-27

Family

ID=67947083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018037561A Active JP7142443B2 (ja) 2018-03-02 2018-03-02 画像認証システム、画像認証方法および画像認証プログラム

Country Status (1)

Country Link
JP (1) JP7142443B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021097311A (ja) * 2019-12-17 2021-06-24 シャープ株式会社 表示装置および制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088095A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
WO2015151449A1 (ja) * 2014-03-31 2015-10-08 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法および記録媒体
JP2017045315A (ja) * 2015-08-27 2017-03-02 パナソニックIpマネジメント株式会社 警備システム及び人物画像表示方法
JP2017224186A (ja) * 2016-06-16 2017-12-21 株式会社 日立産業制御ソリューションズ セキュリティシステム
JP2017224956A (ja) * 2016-06-14 2017-12-21 グローリー株式会社 情報処理装置及び情報処理方法
JP2018018150A (ja) * 2016-07-25 2018-02-01 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088095A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
WO2015151449A1 (ja) * 2014-03-31 2015-10-08 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法および記録媒体
JP2017045315A (ja) * 2015-08-27 2017-03-02 パナソニックIpマネジメント株式会社 警備システム及び人物画像表示方法
JP2017224956A (ja) * 2016-06-14 2017-12-21 グローリー株式会社 情報処理装置及び情報処理方法
JP2017224186A (ja) * 2016-06-16 2017-12-21 株式会社 日立産業制御ソリューションズ セキュリティシステム
JP2018018150A (ja) * 2016-07-25 2018-02-01 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021097311A (ja) * 2019-12-17 2021-06-24 シャープ株式会社 表示装置および制御方法
JP7431569B2 (ja) 2019-12-17 2024-02-15 シャープ株式会社 表示装置および制御方法

Also Published As

Publication number Publication date
JP7142443B2 (ja) 2022-09-27

Similar Documents

Publication Publication Date Title
US11410001B2 (en) Method and apparatus for object authentication using images, electronic device, and storage medium
CN108230594B (zh) 一种用于在视频监控***中生成警报的方法
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
US6959099B2 (en) Method and apparatus for automatic face blurring
JP5500303B1 (ja) 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
JP5747116B1 (ja) 防犯システム
KR102237086B1 (ko) 안면인식 기능에 기초하여 5g 이동통신망의 이용이 가능한 통신 단말기를 통해 영상감시가 가능한 로비폰 제어 장치 및 방법
KR101981900B1 (ko) 얼굴 인식 기술을 이용한 안전 관리 시스템 및 그 방법
CN107392178B (zh) 监控方法及***
JP2009252215A (ja) 警備装置および情報表示方法
JP2006309491A (ja) 生体認証システム
CN110544312A (zh) 虚拟场景中的视频显示方法、装置、电子设备与存储装置
JP2007072647A (ja) セキュリティシステム
Bhojane et al. Face recognition based car ignition and security system
EP3968294B1 (en) Apparatus, system, method and program
JP2020198475A (ja) 人物監視システムおよび人物監視方法
JP7142443B2 (ja) 画像認証システム、画像認証方法および画像認証プログラム
US11586682B2 (en) Method and system for enhancing a VMS by intelligently employing access control information therein
US20160378268A1 (en) System and method of smart incident analysis in control system using floor maps
JP2009205594A (ja) 警備装置および不審者判定方法
JPWO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2018195992A (ja) 人物グループ追跡装置および人物グループ追跡方法
US20220130174A1 (en) Image processing apparatus, control method, and non-transitory storage medium
Sankar et al. Intelligent Door Assist system using Chatbot and Facial Recognition
KR20200073669A (ko) 영상 정보 관리 방법, 영상 정보 관리 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220913

R150 Certificate of patent or registration of utility model

Ref document number: 7142443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150