JP6631962B2 - 監視装置及び監視システム - Google Patents

監視装置及び監視システム Download PDF

Info

Publication number
JP6631962B2
JP6631962B2 JP2018506504A JP2018506504A JP6631962B2 JP 6631962 B2 JP6631962 B2 JP 6631962B2 JP 2018506504 A JP2018506504 A JP 2018506504A JP 2018506504 A JP2018506504 A JP 2018506504A JP 6631962 B2 JP6631962 B2 JP 6631962B2
Authority
JP
Japan
Prior art keywords
person
camera
information
monitoring device
purchase history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506504A
Other languages
English (en)
Other versions
JPWO2017163283A1 (ja
Inventor
伊藤　智祥
智祥 伊藤
秦　秀彦
秀彦 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017163283A1 publication Critical patent/JPWO2017163283A1/ja
Application granted granted Critical
Publication of JP6631962B2 publication Critical patent/JP6631962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Description

本開示は、カメラに映っている人物を識別して、識別した人物を追跡するための監視装置及び監視システムに関する。
特許文献１は、複数の監視カメラを備えた監視システムを開示する。この監視システムにおいて、監視カメラは映像に映った対象物の特徴情報を抽出して、その特徴情報を他の監視カメラに伝送する。これにより、複数の監視カメラが連携して、同一の特徴情報を持つ対象物を追跡して監視することを可能にしている。
特開２００３−３２４７２０号公報
本開示は、精度良く対象物を追跡するのに有効な監視装置及び監視システムを提供する。
本開示にかかる監視装置は、複数の商品が配置された所定領域内に設置された複数のカメラによって撮影された映像から人物を識別する監視装置であって、複数のカメラからの映像と、所定領域内に設置されたＰＯＳレジスタからの人物が購入した商品を表す購入履歴情報とを受信する受信部と、人物の特徴を表す特徴情報と、カメラの撮影領域を表す撮影領域情報とを格納する記憶部と、特徴情報に基づいて映像から人物を識別する制御部と、を備え、制御部は、購入履歴情報と撮影領域情報とに基づいて、人物が通過した撮影領域を撮影したカメラを特定する。
本開示における監視装置及び監視システムは、精度良く対象物を追跡するのに有効である。
実施形態１の監視システムの構成を示すブロック図 （ａ）は実施形態１における購入履歴情報テーブルの一例を示す図、（ｂ）は実施形態１における陳列情報テーブルの一例を示す図、（ｃ）は実施形態１における撮影領域情報テーブルの一例を示す図 実施形態１における複数の監視カメラの配置例を示す図 実施形態１における人物の識別の動作を説明するためのフローチャート （ａ）は人物の特徴抽出を説明するための図、（ｂ）は実施形態１における特徴情報テーブルの一例を示す図 実施形態１における撮影時刻情報テーブルの一例を示す図 実施形態１における撮影時刻情報テーブルの修正の動作を説明するためのフローチャート 実施形態１における撮影時刻情報の修正を説明するための図
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施形態１）
実施形態１について、図面を用いて説明する。本実施形態においては、複数の監視カメラのうちの一部において対象物（本実施形態において、人物）の特徴を抽出できない状況が生じても、その対象物を追跡するのに有効な監視システムを提供する。
［１．構成］
図１は、実施形態１の監視システムの構成を示している。本実施形態の監視システム１００は、複数の監視カメラ１（監視カメラａ，ｂ，ｃ）と、複数のＰＯＳ（Point of Sales）レジスタ（レジ）２と、複数の監視カメラ１で撮影された映像に映っている人物を識別し、複数のＰＯＳレジスタ２で取得された購入履歴情報を使用して、識別した人物を追跡する監視装置３とを含む。
各監視カメラ１は、それぞれ、映像を撮影する撮影部１１と、撮影部１１が撮影した映像を送信する送信部１２とを有する。撮影部１１は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどで実現できる。送信部１２は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
各ＰＯＳレジスタ２は、店舗内の人物が購入した商品を表す購入履歴情報を取得する購入履歴情報取得部２１と、取得した購入履歴情報を送信する送信部２２とを有する。購入履歴情報取得部２１は、スキャナ、ＣＣＤ、又はレーザなどを使用したバーコードリーダを備える。送信部２２は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
監視装置３は、各監視カメラ１からの映像と各ＰＯＳレジスタ２からの購入履歴情報とを受信する受信部３１と、受信した映像を格納する映像蓄積部３２ａと、受信した購入履歴情報を含む購入履歴情報テーブルＴ１を格納する購入履歴情報蓄積部３２ｂと、映像蓄積部３２ａに蓄積された映像に映っている人物を識別して、識別した人物を追跡する制御部３３と、を有する。受信部３１は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
制御部３３は、半導体素子などで実現可能である。制御部３３の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部３３は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。
制御部３３は、映像蓄積部３２ａに蓄積された映像に映っている人物を識別する認識部３３ａを含む。認識部３３ａは、映像蓄積部３２ａに蓄積された映像に映っている人物の特徴を抽出して、その特徴を表す特徴情報を生成すると共に、抽出した特徴を持つ人物が監視カメラ１に映っている時間帯を表す撮影時刻情報を生成する。特徴情報と撮影時刻情報は、人物を認識することによって得られる認識情報である。
監視装置３は、さらに、陳列情報テーブルＴ２と撮影領域情報テーブルＴ３とを格納する商品棚情報蓄積部３２ｃと、特徴情報テーブルＴ４と撮影時刻情報テーブルＴ５を格納する認識情報蓄積部３２ｄと、を有する。陳列情報テーブルＴ２と撮影領域情報テーブルＴ３は、商品棚情報蓄積部３２ｃに予め格納されている。陳列情報テーブルＴ２は、どの商品が店舗内のどの商品棚に陳列されているかを示す陳列情報を含む。撮影領域情報テーブルＴ３は、監視カメラ１が撮影可能な領域を示す撮影領域情報を含む。陳列情報は商品が陳列されている商品棚に関する情報を含み、撮影領域情報は監視カメラ１が撮影する商品棚に関する情報を含む。特徴情報テーブルＴ４は、認識部３３ａによって生成された人物の特徴情報を含む。撮影時刻情報テーブルＴ５は、認識部３３ａによって生成された撮影時刻情報を含む。
制御部３３は、さらに、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３と特徴情報テーブルＴ４とに基づいて撮影時刻情報テーブルＴ５を修正する認識情報修正部３３ｂを有する。認識情報修正部３３ｂは、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３とに基づいて、識別した人物が映るはずの監視カメラ１を特定し、特定した監視カメラ１の撮影時刻情報があるか否か（すなわち、特性した監視カメラ１に識別した人物が映っているか否か）を撮影時刻情報テーブルＴ５に基づいて判断する。認識情報修正部３３ｂは、特定した監視カメラ１の撮影時刻情報がない（すなわち、特性した監視カメラ１に識別した人物が映っていない）と判断した場合、撮影時刻情報テーブルＴ５に基づいて、映っていない人物が特定した監視カメラ１に映るはずの時間帯を算出（推定）し、算出（推定）した時間に監視カメラ１に映っている他の人物が、映っていない人物であると判断して、撮影時刻情報テーブルＴ５を修正する。
映像蓄積部３２ａ、購入履歴情報蓄積部３２ｂ、商品棚情報蓄積部３２ｃ、及び認識情報蓄積部３２ｄは、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスクなどで実現できる、同一の又は別個の記憶部である。
監視装置３は、さらに表示部３４を有する。表示部３４は、映像蓄積部３２ａに蓄積された映像と、特徴情報テーブルＴ４及び撮影時刻情報テーブルＴ５とを表示可能である。表示部３４は、液晶ディスプレイなどで実現できる。
図２（ａ）は実施形態１における購入履歴情報テーブルＴ１の一例を示す。購入履歴情報テーブルＴ１は、ＰＯＳレジスタ２の購入履歴情報取得部２１によって取得された購入履歴情報４１を含む。購入履歴情報４１は、人物の識別情報（ＩＤ）と、その人物が購入した商品の識別情報（ＩＤ）とを含む。図２（ｂ）は実施形態１における陳列情報テーブルＴ２の一例を示す。陳列情報テーブルＴ２は、商品の識別情報（ＩＤ）とその商品が陳列されている商品棚の識別情報（ＩＤ）とを含む陳列情報４２によって構成される。陳列情報テーブルＴ２は、予め、例えば商品の陳列場所が決定されたときに、商品棚情報蓄積部３２ｃに格納される。図２（ｃ）は実施形態１における撮影領域情報テーブルＴ３の一例を示している。撮影領域情報テーブルＴ３は、監視カメラ１の識別情報（ＩＤ）とその監視カメラ１の撮影領域とを含む撮影領域情報４３によって構成される。撮影領域情報テーブルＴ３は、予め、例えば監視カメラ１が設置されたときに、商品棚情報蓄積部３２ｃに格納される。
図３に、監視カメラ１の配置例を示す。本実施形態において、監視カメラ１（監視カメラａ，ｂ，ｃ）は、店舗に設置される。図３の例において、監視カメラａは入口を撮影し、監視カメラｂは商品棚Ａ０１及びＡ０２を撮影し、監視カメラｃはＰＯＳレジスタ２を撮影する位置に、それぞれ配置される。なお、監視カメラ１の数と設置場所は、単なる例であって任意に変更可能であるが、監視カメラ１のうちの少なくとも１つはＰＯＳレジスタ２を撮影可能な範囲に設置する。監視カメラ１はそれぞれ、撮影部１１が撮影した映像を、送信部１２から監視装置３に送信する。送信された映像は、監視装置３の映像蓄積部３２ａに格納される。
［２．人物の識別（撮影時刻情報の生成）］
図４は、認識部３３ａによる人物の識別の処理を示す。認識部３３ａは、図４に示す人物の識別の処理を所定のタイミングで行う。例えば、所定のタイミングは、ユーザが監視装置３に指示したときであっても良いし、所定時間（例えば、２４時間）毎であっても良い。
認識部３３ａは、映像蓄積部３２ａに蓄積されている映像を読み出して、映像に映っている人物の特徴を抽出する（Ｓ４０１）。認識部３３ａは、例えば、入口側に設置された監視カメラａの映像から順に、又はＰＯＳレジスタ２側に設置された監視カメラｃの映像から順に、映像を解析する。認識部３３ａは、人物の特徴として、例えば、顔の一部の、形状、色、大きさ、又は位置を抽出する。図５（ａ）に人物の特徴抽出の例を示し、図５（ｂ）に特徴情報テーブルＴ４の一例を示す。認識部３３ａは、人物の特徴として、例えば、図５（ａ）に示すような両目の間の距離（「Ｉ−ＩＩ」間の距離）と一方の目と鼻との距離（「ＩＩ−ＩＩＩ」間の距離）を抽出し、抽出した特徴（距離）を含む特徴情報４４を図５（ｂ）に示すような特徴情報テーブルＴ４に追加する。
このとき、認識部３３ａは、抽出した特徴と一致する特徴を示す特徴情報４４が既に特徴情報テーブルＴ４にあるか否かを判断し（Ｓ４０２）、一致する特徴情報４４がなければ、映像から新たに人物を抽出したと判断して、その人物を識別するための識別情報（ＩＤ）を生成し、生成した識別情報とその人物の特徴（「Ｉ−ＩＩ」間の距離と「ＩＩ−ＩＩＩ」間の距離）を含む特徴情報４４を特徴情報テーブルＴ４に追加する（Ｓ４０３）。
監視カメラ１によって撮影される映像はその映像の撮影時刻の情報を含み、ＰＯＳレジスタ２によって取得される購入履歴情報４１はその購入履歴情報４１の記録時刻の情報を含む。よって、ＰＯＳレジスタ２に設置された監視カメラｃの撮影時刻と、ＰＯＳレジスタ２によって取得された購入履歴情報４１の記録時刻とを参照することによって、監視カメラｃの映像に映っている人物と、購入履歴情報４１に示される商品を購入した人物とを結びつけることができる。認識部３３ａは、ＰＯＳレジスタ２に設置された監視カメラｃの映像を解析しているときに、購入履歴情報テーブルＴ１内の人物の識別情報（ＩＤ）と特徴情報テーブルＴ４内の人物の識別情報（ＩＤ）とを一致させる。
認識部３３ａは、特徴情報４４に基づいて、どの人物がどの監視カメラ１にいつ映っていたかを表す撮影時刻情報を生成して、撮影時刻情報テーブルＴ５に追加する（Ｓ４０４）。図６に、撮影時刻情報テーブルＴ５の一例を示す。撮影時刻情報４５は、人物の識別情報（ＩＤ）と、その人物を撮影した監視カメラ１の識別情報と、監視カメラ１にその人物が映り始めた時刻（ＩＮ時刻）と映り終える時刻（ＯＵＴ時刻）とを含む。撮影時刻情報テーブルＴ５内の人物の識別情報（ＩＤ）は、特徴情報テーブルＴ４内の人物の識別情報（ＩＤ）と同一である。
認識部３３ａは、全ての監視カメラ１からの映像の読み出しが完了したか否かを判断し（Ｓ４０５）、完了していなければ、残りの監視カメラ１の映像について、ステップＳ４０１〜Ｓ４０４の処理を繰り返す。
以上のようにして、監視カメラ１によって撮影された映像から人物の特徴を抽出することによって、その人物を識別でき、撮影時刻情報テーブルＴ５を参照することによって識別した人物がどの監視カメラ１にいつ映っていたかを認識することができる。よって、複数の監視カメラ１の映像を使用した人物の追跡が可能になる。
［３．人物の特定（撮影時刻情報の修正）］
撮影したときの角度や照明条件によって同一人物であっても映像への映り方が異なることがある。そのため、複数の監視カメラ１で撮影した映像から抽出される同一人物の特徴が一致しないことがある。たとえば、明るい場所で高い位置に設置された監視カメラ１と、暗い場所で低い位置に設置された監視カメラ１では、撮影される映像が大きく異なるため、両者で撮影される映像から抽出される人物の特徴は異なる場合がある。この場合、同一人物であっても、抽出した特徴が異なるために、他の人物として認識してしまう。そのため、同一人物が複数の監視カメラ１（例えば、監視カメラａ，ｂ，ｃ）の前を順に通った場合であっても、一部の監視カメラ１（例えば、監視カメラｂ）からはその人物の特徴を抽出できず、その人物の追跡が途切れてしまうことがある。
そこで、本実施形態では、複数の監視カメラ１のうちの一部において人物の特徴を抽出できない状況が生じてもその人物を追跡できるように、特徴が一致せずに別人であると判断した人物の中から、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３とを使用して、同一人物を抽出し、撮影時刻情報テーブルＴ５を修正する。
図７に、認識情報修正部３３ｂによる撮影時刻情報テーブルＴ５の修正の処理を示す。認識情報修正部３３ｂは、撮影時刻情報テーブルＴ５を読み出して、人物のエントリ数が多い順に並べ替える（Ｓ７０１）。図８に、並べ替えた後の撮影時刻情報テーブルＴ５を示す。認識情報修正部３３ｂは、エントリ数が多い順に、人物を１名抽出し（Ｓ７０２）、購入履歴情報テーブルＴ１を参照して、抽出した人物に関して撮影時刻情報４５の欠落があるか否かを確認する（Ｓ７０３）。撮影時刻情報４５の欠落の有無は、購入履歴情報テーブルＴ１を参照して、人物が映るはずの監視カメラ１を特定することによって、確認する。具体的には、図８の例において、認識情報修正部３３ｂは、最初に、購入履歴情報テーブルＴ１を参照して、人物Ａが商品Ａを購入したことを検出する。次に、陳列情報テーブルＴ２を参照して、商品Ａが商品棚Ａ０１に陳列されていることを検出する。そして、撮影領域情報テーブルＴ３を参照して、商品棚Ａ０１は監視カメラｂによって撮影されることを検出する。すなわち、監視カメラｂを、人物Ａが映るはずの監視カメラ１として特定する。それから、認識情報修正部３３ｂは、撮影時刻情報テーブルＴ５を参照し、人物Ａについて監視カメラｂの撮影時刻情報４５があるか否かを確認する。
欠落がなければ（Ｓ７０４でＮｏ）、撮影時刻情報テーブルＴ５に記録されている人物の全員についての撮影時刻情報４５の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ５から次の人物を新たに抽出して、撮影時刻情報４５の欠落の有無を確認する。
欠落があれば（Ｓ７０４でＹｅｓ）、認識情報修正部３３ｂは、撮影時刻情報テーブルＴ５を参照して、撮影時刻情報４５が欠落している監視カメラ１に映っているはずの時間帯を推定（算出）する（Ｓ７０５）。例えば、図８に示すように、人物Ａについては、監視カメラｂの撮影時刻情報４５が欠落している。認識情報修正部３３ｂは、人物Ａについて、入口に設置された監視カメラａのＯＵＴ時刻（１０時１１分）と、ＰＯＳレジスタ２に設置された監視カメラｃのＩＮ時刻（１０時３６分）との間の時間帯に、その他の監視カメラ（ここでは、監視カメラｂ）に映ると推定する。すなわち、監視カメラｂに映る可能性のある時間帯として、１０時１１分〜１０時３６分の間を推定（算出）する。
認識情報修正部３３ｂは、推定した時間帯に映っている人物を撮影時刻情報テーブルＴ５から抽出する（Ｓ７０６）。図８の例では、人物Ｂの監視カメラｂのＩＮ時刻が１０時３１分で且つＯＵＴ時刻が１０時３４分であるため、認識情報修正部３３ｂは、推定した時間帯（１０時１１分〜１０時３６分）の間に監視カメラｂに映っている人物Ｂを抽出する。このとき、認識情報修正部３３ｂは、エントリ数が少ない人の中から、例えば、撮影時刻情報４５が欠落している人物の中から抽出しても良い。抽出した人物が１人であれば、その人物（人物Ｂ）が同一人物（人物Ａ）であると判断して、撮影時刻情報テーブルＴ５を修正する。図８の例では、人物Ｂについての「修正後の人物の識別情報（ＩＤ）」に人物Ａの識別情報を記録する。
推定した時間帯に映っている人物が複数いた場合、認識情報修正部３３ｂは、特徴情報テーブルＴ４に基づいて、特徴情報４４が最も近い人物が同一人物であると判断して、撮影時刻情報テーブルＴ５を修正する（Ｓ７０７）。
撮影時刻情報テーブルＴ５に記録されている人物の全員について、撮影時刻情報４５の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ５から次の人物を新たに抽出して、撮影時刻情報４５の欠落の有無を確認する。撮影時刻情報テーブルＴ５に記録されている人物の全員について、撮影時刻情報４５の欠落の有無の確認が完了すれば、撮影時刻情報テーブルＴ５を表示部３４に表示する（Ｓ７０９）。ユーザは、表示部３４に表示された修正後の撮影時刻情報テーブルＴ５を参照することによって、複数の監視カメラ１で撮影された人物の追跡を確認することができる。
このように、認識情報修正部３３ｂは、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３と特徴情報テーブルＴ４とを使用して、撮影時刻情報４５の欠落を補う。例えば、認識情報修正部３３ｂは、図８のように、人物Ｂを人物Ａとして修正することによって、人物Ａについての監視カメラｂの撮影時刻情報４５を補う。これにより、制御部３３は、精度良く、人物Ａを追跡することが可能になる。
なお、図２（ｃ）の例では、撮影領域情報テーブルＴ３の撮影領域情報４３は、商品棚の識別情報（ＩＤ）を含んでいるが、商品の識別情報（ＩＤ）を含んでもいい。この場合、購入履歴情報テーブルＴ１の商品の識別情報と撮影領域情報テーブルＴ３の商品の識別情報とを参照することによって、陳列情報テーブルＴ２を使用せずに、購入した商品から直接、その商品を含む領域を撮影する監視カメラ１を特定することができる。
［４．効果等］
以上のように、本実施形態の監視装置３は、複数の商品が配置された所定領域（店舗）内に設置された複数の監視カメラ１によって撮影された映像から人物を識別する監視装置であって、複数の監視カメラ１からの映像と、所定領域（店舗）内に設置されたＰＯＳレジスタ２からの人物が購入した商品を表す購入履歴情報４１とを受信する受信部３１と、人物の特徴を表す特徴情報４４を格納する認識情報蓄積部３２ｄと、監視カメラ１の撮影領域を表す撮影領域情報４３を格納する商品棚情報蓄積部３２ｃと、特徴情報４１に基づいて映像から人物を識別する制御部３３と、を備え、制御部３３は、購入履歴情報４１と撮影領域情報４３とに基づいて、人物が通過した撮影領域を撮影した監視カメラ１を特定する。特徴情報４４を使用して人物を識別するだけでなく、購入履歴情報４１と撮影領域情報４３とを使用して、人物を撮影した監視カメラ１を特定するため、人物の追跡を精度良く実現できる。
制御部３３は、人物が通過した撮影領域を撮影した監視カメラ１として、購入履歴情報４１に含まれる商品が配置されていた位置を撮影した監視カメラ１を撮影領域情報４３に基づいて特定する。これにより、購入履歴情報４１と撮影領域情報４３とに基づいて、人物を撮影した監視カメラ１を特定できるため、人物の追跡を精度良く実現できる。
複数の監視カメラ１は、所定の位置に配置された第一のカメラ（監視カメラｃ）と、制御部３３によって、人物が通過した撮影領域を撮影した監視カメラ１として特定された第二のカメラ（監視カメラｂ）と、を含み、第二のカメラ（監視カメラｂ）で撮影された映像から識別できなかった人物を、第一のカメラ（監視カメラｃ）において人物が撮影された時間に基づき、第二のカメラ（監視カメラｂ）により撮影された映像において特定する。具体的には、制御部３３は、特徴情報４４に基づいて識別した人物が監視カメラ１に映っている時刻を表す撮影時刻情報４５を生成する。さらに、制御部３３は、購入履歴情報４１と撮影領域情報４３とに基づいて、人物が映るはずの監視カメラ１（監視カメラｂ）を特定し、人物が特定した監視カメラ１に映っていない場合に、所定の位置に配置された監視カメラ１（監視カメラｃ）の撮影時刻情報４５に基づいて、映っていない人物が特定した監視カメラ１（監視カメラｂ）に映るはずの時間を推定する。そして、制御部３３は、撮影時刻情報４５を参照して、推定した時間に、特定した監視カメラ１に映っている他の人物が、映っていない人物であると特定して、撮影時刻情報４５を書き換える。これにより、特徴情報４４が一致せずに、撮影時刻情報４５の欠落が生じた場合であっても、購入履歴情報４１と撮影領域情報４３とを参照することによって、欠落が生じた撮影時刻情報４５を補うことができる。そのため、一部の監視カメラ１の映像から取得した人物の特徴情報４４が、他の監視カメラ１の映像からは取得されずに、他の監視カメラ１の映像においては別人として認識した場合であっても、購入履歴情報４１と撮影領域情報４３とを参照することによって、同一人物であると認識し直すことができる。よって、人物の追跡を精度良く実現できる。
また、制御部３３は、第一のカメラ（監視カメラｃ）において人物が撮影された時間に基づき、第二のカメラ（監視カメラｂ）の撮影領域を人物が通過した時間帯を算出し、算出した時間帯に、第二のカメラにより撮影された映像において、２人以上の人物候補が映っている場合、特徴情報４４に基づいて、２人以上の人物候補の中から１人をその人物として特定する。これにより、２人以上の人物候補が映像に映っている場合であっても、その人物候補の中から、映っていないと判断した人物を精度良く特定することができる。
さらに、制御部３３は、受信部３１が受信した映像から人物の特徴を抽出して特徴情報４４を生成して、認識情報蓄積部３２ｄに格納する。これにより、新たに人物を抽出した場合でも、その人物を識別して追跡することが可能になる。
第一のカメラ（監視カメラｃ）は、ＰＯＳレジスタ２で購入中の人物を撮影可能な位置に設置される。これにより、第二のカメラ（監視カメラｂ）により撮影された映像から人物を特定する際に、第二のカメラ（監視カメラｂ）の撮影領域を人物が通過した時間帯として、ＰＯＳレジスタ２での会計処理の時刻より前の時間帯に制限することができる。
本実施形態の監視システム１００は、複数の商品が配置された所定領域内に設置された複数の監視カメラ１と、所定領域内に設置され、人物が購入した商品を表す購入履歴情報４１を取得するＰＯＳレジスタ２と、人物の特徴を表す特徴情報４４と監視カメラ１の撮影領域を表す撮影領域情報４３とを有し、特徴情報４４に基づいて映像から人物を識別し、購入履歴情報４１と撮影領域情報４３とに基づいて、人物が通過した撮影領域を撮影した監視カメラ１を特定する監視装置３と、を含む。本実施形態の監視システム１００を使用すれば、精度良く対象物（人物）を追跡できるため、本実施形態の監視システム１００は動線可視化及び動線分析に有用である。例えば、局所に設けた監視カメラ１の映像を使用して、全体の動線を推測することができる。また、監視システム１００は、動線の変更をシミュレーションしたり、店舗エリアの価値を分析するのにも有用である。
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
時間帯推定（Ｓ７０５）及び人物抽出（Ｓ７０６）の他の例について説明する。図８の例では、入口とＰＯＳレジスタ２に設置された監視カメラａ，ｃの映像において人物Ａが識別できている（撮影時刻情報４５が存在する）場合を例にし、入口側の監視カメラａのＯＵＴ時刻からＰＯＳレジスタ２側の監視カメラｃのＩＮ時刻の間の時間帯を算出（推定）したが、少なくともＰＯＳレジスタ２に設置された監視カメラｃの映像において人物Ａを識別できていれば良い。識別した人物（人物Ａ）についての、ＰＯＳレジスタ２側の監視カメラｃの撮影時刻情報４５があれば、又は購入履歴情報４１が購入履歴情報テーブルＴ１の中に一つでもあれば、入口に設置された監視カメラａをその人物が映るはずの監視カメラ１として特定でき、監視カメラａの撮影時刻情報４５の欠落の有無を確認できる。入口側の監視カメラａでの撮影時刻情報４５が欠落しているときは、ＰＯＳレジスタ２側の監視カメラｃのＩＮ時刻より前の所定の時間帯（例えば、ＩＮ時刻より前の１時間分）の、撮影時刻情報４５が欠落している監視カメラ１（監視カメラａ，ｂ）の映像の中から人物を抽出しても良い。また、入口とＰＯＳレジスタ２以外に設置された監視カメラ１が複数個ある場合には、その複数個の監視カメラ１のうち、撮影時刻情報４５が欠落していない監視カメラ１に映っている時間帯を除外して、推定の時間帯を求めても良い。
本開示の監視システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、複数の監視カメラを使用して対象物を追跡する監視装置及びその監視装置を有する監視システムに適用可能である。
１ 監視カメラ
２ ＰＯＳレジスタ
３ 監視装置
１１ 撮影部
１２ 送信部
２１ 購入履歴情報取得部
２２ 送信部
３１ 受信部
３２ａ 映像蓄積部
３２ｂ 購入履歴情報蓄積部
３２ｃ 商品棚情報蓄積部
３２ｄ 認識情報蓄積部
３３ 制御部
３３ａ 認識部
３３ｂ 認識情報修正部
３４ 表示部
１００ 監視システム
Ｔ１ 購入履歴情報テーブル
Ｔ２ 陳列情報テーブル
Ｔ３ 撮影領域情報テーブル
Ｔ４ 特徴情報テーブル
Ｔ５ 撮影時刻情報テーブル

Claims (7)

  1. 複数の商品が配置された所定領域内に設置された複数のカメラによって撮影された映像から人物を識別する監視装置であって、
    前記複数のカメラからの映像と、前記所定領域内に設置されたＰＯＳレジスタからの人物が購入した商品を表す購入履歴情報とを受信する受信部と、
    人物の特徴を表す特徴情報と、前記カメラの撮影領域を表す撮影領域情報とを格納する記憶部と、
    前記特徴情報に基づいて前記映像から人物を識別する制御部と、
    を備え、
    前記制御部は、前記購入履歴情報と前記撮影領域情報とに基づいて、前記人物が通過した撮影領域を撮影したカメラを特定する、
    監視装置。
  2. 前記制御部は、前記人物が通過した撮影領域を撮影したカメラとして、前記購入履歴情報に含まれる商品が配置されていた位置を撮影したカメラを前記撮影領域情報に基づいて特定する、請求項１に記載の監視装置。
  3. 前記複数のカメラは、所定の位置に配置された第一カメラと、前記制御部によって前記人物が通過した撮影領域を撮影したカメラとして特定された第二のカメラと、を含み、
    前記第二のカメラで撮影された映像から識別できなかった前記人物を、前記第一のカメラにおいて前記人物が撮影された時間に基づき、前記第二のカメラにより撮影された映像において特定する、
    請求項１に記載の監視装置。
  4. 前記制御部は、前記第一のカメラにおいて前記人物が撮影された時間に基づき、前記第二のカメラの撮影領域を前記人物が通過した時間帯を算出し、前記算出した時間帯に、前記第二のカメラにより撮影された映像において、２人以上の人物候補が映っている場合、前記特徴情報に基づいて、前記２人以上の人物候補の中から１人を前記人物として特定する、請求項３に記載の監視装置。
  5. 前記制御部は、前記受信部が受信した映像から前記人物の特徴を抽出して前記特徴情報を生成して、前記記憶部に格納する、請求項１に記載の監視装置。
  6. 前記第一のカメラは、前記ＰＯＳレジスタで購入中の人物を撮影可能な位置に設置される、請求項３に記載の監視装置。
  7. 複数の商品が配置された所定領域内に設置された複数のカメラと、
    前記所定領域内に設置され、人物が購入した商品を表す購入履歴情報を取得するＰＯＳレジスタと、
    人物の特徴を表す特徴情報と前記カメラの撮影領域を表す撮影領域情報とを有し、前記特徴情報に基づいて前記映像から人物を識別し、前記購入履歴情報と前記撮影領域情報とに基づいて、前記人物が通過した撮影領域を撮影したカメラを特定する、請求項１から請求項６のいずれかに記載の監視装置と、
    を含む、監視システム。
JP2018506504A 2016-03-25 2016-09-12 監視装置及び監視システム Active JP6631962B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016062033 2016-03-25
JP2016062033 2016-03-25
PCT/JP2016/004149 WO2017163283A1 (ja) 2016-03-25 2016-09-12 監視装置及び監視システム

Publications (2)

Publication Number Publication Date
JPWO2017163283A1 JPWO2017163283A1 (ja) 2019-02-28
JP6631962B2 true JP6631962B2 (ja) 2020-01-15

Family

ID=59901284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506504A Active JP6631962B2 (ja) 2016-03-25 2016-09-12 監視装置及び監視システム

Country Status (4)

Country Link
US (1) US20190026909A1 (ja)
EP (1) EP3435666B1 (ja)
JP (1) JP6631962B2 (ja)
WO (1) WO2017163283A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509949B1 (en) * 2019-01-24 2019-12-17 Capital One Services, Llc Method and system for customizing user experience
CN110414424A (zh) * 2019-07-26 2019-11-05 广州云从信息科技有限公司 数据处理***、方法、平台、机器可读介质及设备
EP3971771A1 (en) * 2020-09-22 2022-03-23 Grazper Technologies ApS A concept for generating training data and training a machine-learning model for use in re-identification

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041770A (ja) * 2000-07-25 2002-02-08 Oki Electric Ind Co Ltd 顧客情報収集システム
JP2005286619A (ja) * 2004-03-29 2005-10-13 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP2006115435A (ja) * 2004-10-12 2006-04-27 Neo Planning:Kk 遠隔監視システム
CA2672511A1 (en) * 2008-07-16 2010-01-16 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP2013196043A (ja) * 2012-03-15 2013-09-30 Glory Ltd 特定人物監視システム
WO2014171258A1 (ja) * 2013-04-16 2014-10-23 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US9361775B2 (en) * 2013-09-25 2016-06-07 Oncam Global, Inc. Mobile terminal security systems
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法

Also Published As

Publication number Publication date
US20190026909A1 (en) 2019-01-24
EP3435666A1 (en) 2019-01-30
EP3435666B1 (en) 2020-07-15
EP3435666A4 (en) 2019-03-27
JPWO2017163283A1 (ja) 2019-02-28
WO2017163283A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
US8559722B2 (en) Image recognition apparatus and method
JP7250443B2 (ja) 画像処理装置
JP6688975B2 (ja) 監視装置及び監視システム
US10572736B2 (en) Image processing apparatus, image processing system, method for image processing, and computer program
US8218833B2 (en) Image capturing apparatus, method of determining presence or absence of image area, and recording medium
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP5450089B2 (ja) 対象検出装置および対象検出方法
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
JP6631962B2 (ja) 監視装置及び監視システム
US20160203454A1 (en) Information processing apparatus and method for recognizing specific person by the same
US9721153B2 (en) Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
JP2013228930A (ja) 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US9571740B2 (en) Image recognition device that recognizes specific object area, method of controlling the device, and storage medium, as well as image pickup apparatus, and display device
JP6113631B2 (ja) 作業確認システム
US20200084416A1 (en) Information processing apparatus, control method, and program
JP6289308B2 (ja) 情報処理装置およびプログラム
US20220172478A1 (en) Video synchronization device, video synchronization method, and program
WO2021181597A1 (ja) 認知度推定装置、認知度推定方法、及び、記録媒体
JP2016045743A (ja) 情報処理装置およびプログラム
JP7164047B2 (ja) 注視点検出装置及び注視点検出方法
JP2015001871A (ja) 人物判定装置、人物判定方法、プログラム及び記録媒体
CN117616468A (zh) 物体检知方法及物体检知装置
JP2009087187A (ja) 自動販売機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R150 Certificate of patent or registration of utility model

Ref document number: 6631962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150