JP7200279B2 - Detection device, detection method, detection program and detection system - Google Patents
Detection device, detection method, detection program and detection system Download PDFInfo
- Publication number
- JP7200279B2 JP7200279B2 JP2021033070A JP2021033070A JP7200279B2 JP 7200279 B2 JP7200279 B2 JP 7200279B2 JP 2021033070 A JP2021033070 A JP 2021033070A JP 2021033070 A JP2021033070 A JP 2021033070A JP 7200279 B2 JP7200279 B2 JP 7200279B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- query
- gallery
- image data
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本開示は、複数の画像データから指定された対象物を検索する技術に関する。 The present disclosure relates to technology for searching for a designated object from a plurality of image data.
商業施設又は交通施設等の施設において迷子又は不審者といった対象者を探すことがある。現在は、施設にいる人に声掛けを行う、監視カメラによって撮像されて得られた画像データから対象者を目視で探すといった方法により、対象者を探している。施設が大きくなり、施設内にいる人が多くなると、対象者を探すための負担が重くなる。 There are cases where a target person such as a lost child or a suspicious person is searched for in facilities such as commercial facilities or transportation facilities. At present, the method of searching for a target person is by calling out to a person in the facility, or by visually searching for the target person from the image data obtained by imaging with a surveillance camera. As the facility becomes larger and the number of people in the facility increases, the burden of searching for the target person becomes heavier.
特許文献1には、複数のカメラのフレーム画像から検知された人の特徴量及び人の画像データを蓄積しておき、ユーザによって指定された画像データに含まれる人と類似する人を蓄積された画像データから検索することが記載されている。 Japanese Patent Application Laid-Open No. 2004-100003 discloses a method in which human feature amounts and human image data detected from frame images of a plurality of cameras are accumulated, and persons similar to persons included in image data specified by a user are accumulated. It describes searching from image data.
特許文献1に記載された技術を用いることにより、監視カメラ等によって撮像されて得られた画像データから機械的に対象者を探すことが可能になる。しかし、特許文献1に記載された技術では、蓄積された大量の画像データから検索する対象者をユーザが指定する必要がある。そのため、対象者が含まれる画像データを探すための負担が重く、対象者の発見が遅くなってしまう。
本開示は、人等の探す対象物が含まれる画像データを探すための負担を軽くできるようにすることを目的とする。
By using the technique described in
An object of the present disclosure is to reduce the burden of searching for image data that includes an object to be searched for, such as a person.
本開示に係る検知装置は、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部と、
前記クエリ抽出部によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部と
を備える。
A detection device according to the present disclosure includes:
a query extraction unit for extracting image data including an object from among a plurality of image data captured by a camera and satisfying a condition as a query image for the object;
Based on the selected image selected from the query image extracted by the query extracting unit, a gallery image that is at least part of the image data other than the query image among the plurality of image data is included in the selected image. a search unit for searching gallery images containing the object.
前記クエリ抽出部は、前記対象物の移動軌跡が移動方向の条件を満たす画像データを前記クエリ画像として抽出する。 The query extracting unit extracts, as the query image, image data that satisfies a moving direction condition of the moving trajectory of the object.
前記移動方向の条件は、前記移動軌跡を示す移動ベクトルと、前記画像データの横方向の直線との成す角によって設定される。 The movement direction condition is set by an angle formed between a movement vector indicating the movement locus and a horizontal straight line of the image data.
前記クエリ抽出部は、複数のカメラによって撮像されて得られた複数の画像データのうち、特定のカメラによって撮像されて得られた画像データから前記クエリ画像を抽出する。 The query extraction unit extracts the query image from image data captured by a specific camera among a plurality of image data captured by a plurality of cameras.
前記検索部は、前記ギャラリ画像のうち、撮像された時刻が指定期間に含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。 The search unit searches for a gallery image including an object included in the selected image from among the gallery images whose image-captured time falls within a designated period.
前記検知装置は、さらに、
前記選択画像と同一の対象物を含む他の画像データとのそれぞれから計算された前記対象物の特徴量から、前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
The detection device further
a statistic calculation unit that calculates a statistic about the feature amount of the object from the feature amount of the object calculated from each of the selected image and other image data including the same object,
The search unit searches for gallery images including objects included in the selected image based on the statistics calculated by the statistics calculation unit.
前記検知装置は、さらに、
前記選択画像と同一の対象物を含む1つ以上の他の画像データとのそれぞれから計算された前記対象物の特徴量に基づき前記選択画像と前記1つ以上の他の画像データとを1つ以上のグループに分類し、前記1つ以上のグループそれぞれを対象として、対象のグループに含まれる前記画像データから計算された前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記1つ以上のグループそれぞれについての前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
The detection device further
combining the selected image and the one or more other image data based on the feature amount of the object calculated from each of the selected image and the one or more other image data including the same object; a statistic calculation unit that classifies the object into the above groups and calculates statistics for the feature amount of the object calculated from the image data included in the target group for each of the one or more groups ,
The search unit searches for gallery images including objects included in the selected image based on the statistics for each of the one or more groups calculated by the statistics calculation unit.
前記検知装置は、さらに、
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量の次元を圧縮してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量の次元を圧縮してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、検索対象とする前記ギャラリ画像を絞り込んだ上で、前記クエリ高次元特徴量と検索対象とする前記ギャラリ画像の前記ギャラリ高次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
The detection device further
A query high-dimensional feature amount, which is a feature amount of the object included in the query image and is represented by a multi-dimensional vector, and a feature amount of the object included in the gallery image, wherein a plurality of a feature amount calculation unit that calculates a gallery high-dimensional feature amount that is a feature amount represented by a dimensional vector;
compressing the dimension of the query high-dimensional feature calculated by the feature calculating unit to generate a query low-dimensional feature, and compressing the dimension of the gallery high-dimensional feature calculated by the feature calculating unit; and a dimensional compression unit that generates a gallery low-dimensional feature amount by
The search unit narrows down the gallery images to be searched by comparing the query low-dimensional feature amount generated by the dimension compression unit and the gallery low-dimensional feature amount, and then narrows down the gallery images to be searched. A gallery image including an object included in the selected image is searched by comparing the feature amount with the gallery high-dimensional feature amount of the gallery image to be searched.
前記検知装置は、さらに、
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
The detection device further
A query high-dimensional feature amount, which is a feature amount of the object included in the query image and is represented by a multi-dimensional vector, and a feature amount of the object included in the gallery image, wherein a plurality of a feature amount calculation unit that calculates a gallery high-dimensional feature amount that is a feature amount represented by a dimensional vector;
A query low-dimensional feature amount is generated by excluding elements that do not change even between different objects from the query high-dimensional feature amount calculated by the feature amount calculation unit, and the query low-dimensional feature amount calculated by the feature amount calculation unit A dimensional compression unit that generates a gallery low-dimensional feature amount by excluding elements that do not change even between different objects from the gallery high-dimensional feature amount,
The search unit searches for a gallery image including an object included in the selected image by comparing the query low-dimensional feature amount generated by the dimension compression unit and the gallery low-dimensional feature amount.
前記検索部は、前記ギャラリ画像のうち、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する。 The search unit searches for a gallery image including an object included in the selected image from among the gallery images captured between a specified time and a reference time before the specified time. , outputting a gallery image including the same object as that contained in the searched gallery image and having the image taken at the designated time.
本開示に係る検知方法は、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出し、
前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
A detection method according to the present disclosure includes:
extracting, from among a plurality of image data captured by a camera, image data that includes an object and that satisfies a condition as a query image for the object;
Based on a selected image selected from the query image, a gallery image including an object included in the selected image is retrieved from gallery images that are at least part of image data other than the query image among the plurality of image data. do.
本開示に係る検知プログラムは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出処理と、
前記クエリ抽出処理によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索処理と
を行う検知装置としてコンピュータを機能させる。
A detection program according to the present disclosure includes:
a query extraction process for extracting image data including an object from among a plurality of image data obtained by imaging with a camera, and image data satisfying a condition, as a query image for the object;
Based on the selected image selected from the query image extracted by the query extraction process, from a gallery image that is at least part of the image data other than the query image among the plurality of image data, included in the selected image The computer is made to function as a detection device that performs search processing for searching gallery images that include objects.
本開示に係る検知システムは、
1つ以上の検知装置と、検索指示装置とを備える検知システムであり、
前記1つ以上の検知装置それぞれは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部
を備え、
前記検索指示装置は、
前記1つ以上の検知装置それぞれの前記クエリ抽出部によって抽出された前記クエリ画像から選択画像を選択するクエリ選択部
を備え、
前記1つ以上の検知装置それぞれは、
前記クエリ選択部によって選択された前記選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部
を備える。
A detection system according to the present disclosure includes:
A detection system comprising one or more detection devices and a search instruction device,
each of the one or more sensing devices comprising:
a query extracting unit for extracting, from among a plurality of image data captured by a camera, image data that includes an object and that satisfies a condition as a query image for the object;
The search instruction device is
a query selection unit that selects a selection image from the query images extracted by the query extraction unit of each of the one or more sensing devices;
each of the one or more sensing devices comprising:
Based on the selected image selected by the query selection unit, a gallery image including an object included in the selected image is selected from a gallery image that is at least part of image data other than the query image among the plurality of image data. a search unit for searching for
本開示では、複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、対象物についてのクエリ画像として抽出し、クエリ画像から選択画像が選択される。そのため、選択画像の選択元の画像データが絞り込まれており、対象物が含まれる画像データを探すための負担が軽い。 In the present disclosure, among a plurality of pieces of image data, image data that includes an object and satisfies a condition is extracted as a query image for the object, and a selected image is selected from the query images. Therefore, the image data from which the selected image is selected is narrowed down, and the burden of searching for the image data including the object is light.
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る検知システム100の構成を説明する。
検知システム100は、1台以上の検知装置10と、検索指示装置20と、ユーザ端末30とを備える。検知装置10は、画像データから対象物を検知するコンピュータである。検索指示装置20は、検知装置10に検索を指示するコンピュータである。ユーザ端末30は、ユーザによって使用されるPC(Personal Computer)又はタブレット端末等のコンピュータである。
各検知装置10と検索指示装置20とユーザ端末30とは伝送路90を介して接続されている。各検知装置10には、1台以上のカメラ40が接続されている。また、各検知装置10には、記憶装置50が接続されている。
*** Configuration description ***
A configuration of a
The
Each
図2を参照して、実施の形態1に係る検知装置10の構成を説明する。
検知装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
A configuration of the
The
検知装置10は、機能構成要素として、取得部111と、検知部112と、特徴量計算部113と、追跡部114と、クエリ抽出部115と、検索部116と、出力部117とを備える。検知装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、検知装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、検知装置10の各機能構成要素の機能が実現される。
The
The
図3を参照して、実施の形態1に係る検索指示装置20の構成を説明する。
検索指示装置20は、プロセッサ21と、メモリ22と、ストレージ23と、通信インタフェース24とのハードウェアを備える。プロセッサ21は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
A configuration of the
The
検索指示装置20は、機能構成要素として、クエリ選択部211と、画像選択部212とを備える。検索指示装置20の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ23には、検索指示装置20の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ21によりメモリ22に読み込まれ、プロセッサ21によって実行される。これにより、検索指示装置20の各機能構成要素の機能が実現される。
The
The
プロセッサ11,21は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11,21は、具体例としては、CPU(Central
Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
The
Processing Unit), DSP (Digital Signal Processor), and GPU (Graphics Processing Unit).
メモリ12,22は、データを一時的に記憶する記憶装置である。メモリ12,22は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
The
ストレージ13,23は、データを保管する記憶装置である。ストレージ13,23は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13,23は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
The
通信インタフェース14,24は、外部の装置と通信するためのインタフェースである。通信インタフェース14,24は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。 Communication interfaces 14 and 24 are interfaces for communicating with external devices. Specific examples of the communication interfaces 14 and 24 are Ethernet (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark, High-Definition Multimedia Interface) ports.
図2では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。同様に、図3では、プロセッサ21は、1つだけ示されていた。しかし、プロセッサ21は、複数であってもよく、複数のプロセッサ21が、各機能を実現するプログラムを連携して実行してもよい。
Only one
***動作の説明***
図4から図10を参照して、実施の形態1に係る検知システム100の動作を説明する。
実施の形態1に係る検知システム100の動作手順は、実施の形態1に係る検知方法に相当する。また、実施の形態1に係る検知システム100の動作を実現するプログラムは、実施の形態1に係る検知プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the
図4を参照して、実施の形態1に係る検知システム100の処理の概要を説明する。
(ステップS1:クエリ抽出処理)
各検知装置10において取得部111は、検知装置10に接続されたカメラ40によって撮像されて得られた複数の画像データを取得する。クエリ抽出部115は、複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、対象物についてのクエリ画像として抽出する。
An overview of the processing of the
(Step S1: query extraction processing)
The
(ステップS2:検索処理)
検索指示装置20においてクエリ選択部211は、各検知装置10のクエリ抽出部115によって抽出されたクエリ画像から、ユーザ端末30からの操作により、探したい対象物についてのクエリ画像を選択画像として選択する。
各検知装置10において検索部116は、検索指示装置20のクエリ選択部211によって選択された選択画像に基づき、複数の画像データのうち前記対象物についてのクエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。出力部117は、検索されたギャラリ画像をユーザ端末30に出力する。また出力部117は、検索されたギャラリ画像の前後複数枚のフレームを追加して動画としてユーザ端末30に出力してもよい。
(Step S2: search processing)
The
The
図5を参照して、実施の形態1に係るクエリ抽出処理(図4のステップS1)を説明する。
ここで、各検知装置10に接続された各カメラ40は、一意なカメラID(IDentifier)が割り当てられており、対象物を検知する対象エリアの一部を撮像するように設置されている。対象物は、人と動物と車といったものである。実施の形態1では、対象物として人を例に説明する。対象エリアは、商業施設と交通施設といった施設である。
各カメラ40は、既定のフレームレートの映像データを取得している。各カメラ40は、映像データを構成する新しいフレームの画像データが取得されると、画像データをカメラID及び画像データの撮像時刻とともに接続された検知装置10に送信する。
The query extraction process (step S1 in FIG. 4) according to the first embodiment will be described with reference to FIG.
Here, each
Each
(ステップS11:画像取得処理)
取得部111は、検知装置10に接続されたカメラ40から送信された画像データとカメラIDと撮像時刻とを取得する。取得部111は、画像データとカメラIDと撮像時刻とを関連付けて記憶装置50に書き込む。
(Step S11: Image Acquisition Processing)
The
(ステップS12:検知処理)
検知部112は、ステップS11で取得された画像データから対象物を検知する。
具体的には、検知部112は、画像データを入力として、画像データに含まれる各対象物について、画像データにおいて対象物が存在する領域と対象物であることの確信度と対象物の属性とを出力する検知モデルを用いる。つまり、検知部112は、ステップS11で取得された画像データを検知モデルに入力として与え、対象物が存在する領域と対象物であることの確信度と対象物の属性とを取得することにより、対象物を検知する。実施の形態1では、対象物は人である。そのため、検知部112は、画像データを検知モデルに入力として与えることにより、画像データにおいて人が存在する領域と、人であることの確信度と、人の属性とを取得する。人の属性は、具体例としては、性別と年齢層と等である。
(Step S12: detection processing)
The
Specifically, the
ステップS13からステップS16の処理がステップS12で検知された各対象物を処理対象として実行される。 The processes from step S13 to step S16 are executed for each object detected in step S12.
(ステップS13:特徴量計算処理)
特徴量計算部113は、処理対象の対象物について特徴量を計算する。ここでは、特徴量は、複数次元ベクトルで表される数値情報とする。なお、特徴量の計算方法は、どのような方法であっても構わない。また、特徴量は、任意の整数N,Mに基づくN行M列の行列として表される数値情報であってもよい。
(Step S13: feature amount calculation processing)
The feature
(ステップS14:追跡処理)
追跡部114は、処理対象の対象物の追跡を行う。
具体的には、追跡部114は、過去追跡期間にステップS11で取得された画像データから検知された対象物から、処理対象の対象物を特定することにより追跡を行う。実施の形態1では、対象物は人であるため、追跡部114は、過去追跡期間にステップS11で取得された画像データから検知された人から、処理対象の人と同じ人を特定し、過去追跡期間に割り当てられた対象物IDと同一のIDを処理対象の人に割り当て、ステップS11で記憶された画像データと紐付けされる。
例えば、追跡部114は、ステップS13で計算された特徴量の類似度と、位置関係とに基づき、各対象物の追跡を行う。なお、具体的な追跡方法は、どのような方法でも構わない。
ステップS12の検知処理で各対象物に対象物IDを付与すると、同じ人に異なる対象物IDを付与してしまう可能性が高い。ステップS14の追跡処理で同じ人と特定した後、対象物IDを付与することにより、同じ人に同じ対象物IDを付与することができる。
(Step S14: Tracking process)
The
Specifically, the
For example, the
If an object ID is given to each object in the detection process of step S12, there is a high possibility that different object IDs will be given to the same person. By assigning an object ID after identifying the same person in the tracking process of step S14, the same object ID can be assigned to the same person.
(ステップS15:クエリ判定処理)
クエリ抽出部115は、処理対象の対象物について、ステップS11で取得された画像データをクエリ画像とするか否かを判定する。クエリ判定処理については後述する。
(Step S15: query determination processing)
The
(ステップS16:データ記憶処理)
図6に示すように、出力部117は、ステップS14で特定された処理対象の対象物についての対象物IDと、処理対象の対象物についてステップS12で検知された存在する領域と確信度と属性と、ステップS13で計算された特徴量と、ステップS15で判定された判定結果とを、ステップS11で記憶された画像データに関連付けて記憶装置50に書き込む。判定結果としては、クエリ画像であると判定された場合には、クエリ画像と設定され、クエリ画像でないと判定された場合には、ギャラリ画像と設定される。
(Step S16: data storage processing)
As shown in FIG. 6, the
図7を参照して、実施の形態1に係るクエリ判定処理(図5のステップS15)を説明する。
(ステップS151:カメラ判定処理)
クエリ抽出部115は、ステップS11で記憶装置50に記憶されている画像データが、検知装置10に接続されたカメラ40のうち、クエリ画像を取得するための特定のカメラ40によって撮像されて得られた画像データであるか否かを判定する。
クエリ抽出部115は、ステップS11で記憶装置50に記憶されている画像データが、特定のカメラ40によって撮像されて得られた画像データである場合には、処理をステップS152に進める。一方、クエリ抽出部115は、ステップS11で記憶装置50に記憶されている画像データが、特定のカメラ40によって撮像されて得られた画像データでない場合には、処理をステップS158に進める。
The query determination process (step S15 in FIG. 5) according to the first embodiment will be described with reference to FIG.
(Step S151: camera determination processing)
The
If the image data stored in the
(ステップS152:対象判定処理)
クエリ抽出部115は、処理対象の対象物についてのクエリ画像が未抽出であるか否かを判定する。つまり、実施の形態1では、クエリ抽出部115は、処理対象の人についてのクエリ画像が未抽出であるか否かを判定する。具体的には、クエリ抽出部115は、ステップS15に対応するステップS151~S158の処理により、記憶装置50に記憶されている対象物の中で、処理対象の人に紐づけられている対象物IDと同一のIDを持ち判定結果がクエリ画像である対象物が記憶されていなければ未抽出であると判定する。クエリ画像は、判定結果としてクエリ画像と設定された画像データである。
クエリ抽出部115は、未抽出である場合には、処理をステップS153に進める。一方、クエリ抽出部115は、未抽出でない場合には、処理をステップS158に進める。
(Step S152: Object determination processing)
The
The
(ステップS153:過去判定処理)
クエリ抽出部115は、ステップS11で取得された画像データの取得元のカメラ40によって過去追跡期間に取得された画像データから、処理対象の対象物が検知されていたか否かを判定する。具体的には、クエリ抽出部115は、ステップS14で追跡された結果を参照することにより、過去追跡期間に取得された画像データから、処理対象の対象物が検知されていたか否かを判定する。
クエリ抽出部115は、処理対象の対象物が検知されていた場合には、処理をステップS154に進める。一方、クエリ抽出部115は、処理対象の対象物が検知されていない場合には、処理をステップS158に進める。
この判定は、後述するステップS155及びステップS156の処理において、処理対象の対象物の移動軌跡に基づく判定を行うために、過去に処理対象の対象物が検知されている必要があるので行われる。
(Step S153: Past determination process)
The
If the object to be processed has been detected, the
This determination is made because the object to be processed must have been detected in the past in order to make a determination based on the movement trajectory of the object to be processed in the processes of steps S155 and S156, which will be described later.
(ステップS154:位置判定処理)
クエリ抽出部115は、処理対象の対象物がクエリ画像を取得するための検知領域内であるか否かを判定する。具体的には、クエリ抽出部115は、ステップS12で特定された処理対象の対象物が存在する領域の基準位置が、検知領域内であるか否かを判定する。実施の形態1では、基準位置は、対象物である人の足元の位置とする。例えば、対象物が存在する領域が対象物を囲む矩形領域である場合には、クエリ抽出部115は、矩形領域の下辺の中心点の位置を足元の位置とすればよい。検知領域は、事前に設定される領域であり、ステップS151における特定のカメラ40についての撮像領域内の領域である。検知領域は、例えば、対象物が十分な大きさで撮像可能な領域等が設定される。
クエリ抽出部115は、処理対象の対象物が検知領域内である場合には、処理をステップS155に進める。一方、クエリ抽出部115は、処理対象の対象物が検知領域内でない場合には、処理をステップS158に進める。
(Step S154: position determination processing)
The
If the object to be processed is within the detection area, the
(ステップS155:方向判定処理)
クエリ抽出部115は、画像データの取得元のカメラ40の奥側から手前側に向かって処理対象の対象物が移動したか否かを判定する。これにより、クエリ抽出部115は、対象物の前面側が撮像されたか否かを判定する。なお、対象物が前を向いて移動していることが前提である。
具体的には、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の位置よりも、処理対象の対象物の位置がカメラ40の手前側であるか否かを判定する。クエリ抽出部115は、手前側であれば、奥側から手前側に向かって処理対象の対象物が移動したと判定する。ここでは、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の基準位置よりも、処理対象の対象物の基準位置がカメラ40の手前側であるか否かを判定する。
図8に示すように、画像データの幅方向にx軸が取られ、奥行方向にy軸が取られているとする。y軸の座標値は、手前側(画像データの下側)ほど大きな値をとるとする。この場合には、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の基準位置のy座標が、処理対象の対象物の基準位置のy座標よりも小さければ、奥側から手前側に向かって処理対象の対象物が移動したと判定する。
クエリ抽出部115は、奥側から手前側に向かって処理対象の対象物が移動した場合には、処理をステップS156に進める。一方、クエリ抽出部115は、奥側から手前側に向かって処理対象の対象物が移動していない場合には、処理をステップS158に進める。
(Step S155: direction determination processing)
The
Specifically, the
As shown in FIG. 8, it is assumed that the x-axis is taken in the width direction of the image data and the y-axis is taken in the depth direction. It is assumed that the y-axis coordinate value increases toward the near side (lower side of the image data). In this case, the
If the object to be processed has moved from the back side to the front side, the
(ステップS156:角度判定処理)
クエリ抽出部115は、図8に示すように、処理対象の対象物の移動ベクトルと、検知領域における画像データの幅方向の直線との成す角の余弦値の絶対値が閾値以下であるか否かを判定する。これにより、クエリ抽出部115は、処理対象の対象物が、カメラ40に向かって斜めに移動するのではなく、ある程度以上カメラ40の方を向いて移動しているか否かを判定する。
クエリ抽出部115は、成す角の余弦値の絶対値が閾値以下である場合には、処理をステップS157に進める。一方、クエリ抽出部115は、成す角の余弦値の絶対値が閾値以下でない場合には、処理をステップS158に進める。
(Step S156: Angle determination processing)
As shown in FIG. 8, the
If the absolute value of the cosine value of the formed angle is equal to or less than the threshold, the
(ステップS157:クエリ特定処理)
クエリ抽出部115は、ステップS11で取得された画像データをクエリ画像とすると判定する。
(Step S157: query identification process)
The
(ステップS158:ギャラリ特定処理)
クエリ抽出部115は、ステップS11で取得された画像データをクエリ画像とせず、ギャラリ画像とすると判定する。
(Step S158: Gallery Specific Processing)
The
つまり、ステップS155及びステップS156では、クエリ抽出部115は、処理対象の対象物の移動軌跡が移動方向の条件を満たすか否かを判定する。そして、移動軌跡が移動方向の条件を満たす場合には、画像データは対象物を正面から撮像して得られた画像データであるとして、ステップS157でクエリ抽出部115は画像データをクエリ画像とする。一方、移動軌跡が移動方向の条件を満たさない場合には、画像データは対象物を正面から撮像して得られた画像データでないとして、ステップS157でクエリ抽出部115は画像データをギャラリ画像とする。
That is, in steps S155 and S156, the
図9を参照して、実施の形態1に係る検索処理(図4のステップS2)を説明する。
(ステップS21:クエリ条件取得処理)
検索指示装置20のクエリ選択部211は、ユーザ端末30からクエリ画像の絞り込み条件1を取得する。絞り込み条件1は、カメラIDと、撮像時刻の範囲と、確信度と、属性と等によって指定される。
具体的には、クエリ選択部211は、図10に示すように、クエリ画像の絞り込み条件1の入力欄61を含む検索画面60をユーザ端末30に表示して、絞り込み条件1をユーザに指定させる。クエリ選択部211は、指定された絞り込み条件1を取得する。
The search process (step S2 in FIG. 4) according to the first embodiment will be described with reference to FIG.
(Step S21: Query condition acquisition process)
The
Specifically, as shown in FIG. 10, the
(ステップS22:クエリ画像取得処理)
検索指示装置20のクエリ選択部211は、ステップS21で取得された絞り込み条件1を、各検知装置10に送信する。すると、各検知装置10において検索部116は、絞り込み条件1に該当するクエリ画像を特定する。具体的には、検索部116は、検知装置10に接続された記憶装置50に記憶された画像データ(図6参照)から、絞り込み条件1が示すカメラID及び撮像時刻の範囲に該当する画像データを特定する。検索部116は、特定された画像データから、絞り込み条件1が示す確信度及び属性に該当する対象物が含まれ、かつ、確信度及び属性に該当する該当する対象物について判定結果としてクエリ画像と設定された画像データを抽出する。
そして、出力部117は、抽出された画像データのうち、該当する対象物が存在する領域部分だけを切り出した部分画像データと、該当する対象物についての特徴量とを検索指示装置20に送信する。この際、出力部117は、部分画像データ及び特徴量とともに、部分画像データの元の画像データについてのカメラID及び撮像時刻と、部分画像データが示す対象物についての確信度及び属性といった情報を送信してもよい。
(Step S22: Query Image Acquisition Processing)
The
Then, the
(ステップS23:クエリ画像選択処理)
検索指示装置20のクエリ選択部211は、ステップS22で送信された部分画像データに基づき、探したい対象物についてのクエリ画像である選択画像を選択する。
具体的には、クエリ選択部211は、図10に示すように、ステップS22で送信された部分画像データを検索画面60のクエリ画像欄62に表示して、探したい対象物についてのクエリ画像をユーザに選択させる。この際、クエリ選択部211は、部分画像データとともに、カメラID及び撮像時刻と、確信度及び属性といった情報も検索画面60に表示してもよい。そして、クエリ選択部211は、選択された部分画像データを選択画像に設定する。
クエリ選択部211は、選択画像の特徴量を各検知装置10に送信する。選択画像の特徴量は、選択画像とともに送信された特徴量である。この際、クエリ選択部211は、特徴量とともに、ギャラリ画像を絞り込む絞り込み条件2を送信してもよい。絞り込み条件2を送信する場合には、検索画面60に絞り込み条件2の入力欄を設け、絞り込み条件2をユーザに指定させる。絞り込み条件2は、指定期間と、確信度と、カメラIDと等によって指定される。
(Step S23: Query image selection process)
The
Specifically, as shown in FIG. 10, the
The
(ステップS24:類似度計算処理)
各検知装置10において検索部116は、選択画像の特徴量に基づき、記憶装置50に記憶されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。
具体的には、検索部116は、ステップS23で送信された選択画像の特徴量と、各ギャラリ画像の特徴量との類似度を計算する。ギャラリ画像は、検知装置10に接続された記憶装置50に記憶された画像データ(図6参照)のうち、判定結果としてギャラリ画像と設定された対象物が存在する領域の部分画像データである。ギャラリ画像の特徴量は、判定結果としてギャラリ画像と設定された対象物についての特徴量である。
なお、ステップS23で絞り込み条件2が送信された場合には、検索部116は、検知装置10に接続された記憶装置50に記憶された画像データのうち、絞り込み条件2に該当するギャラリ画像だけを対象として、類似度を計算する。絞り込み条件2として指定期間が指定されている場合には、検索部116は撮像時刻が指定期間に含まれるギャラリ画像だけを対象とする。絞り込み条件2として確信度が指定されている場合には、検索部116は絞り込み条件2として指定された確信度以上の確信度のギャラリ画像だけを対象とする。絞り込み条件2としてカメラIDが指定された場合には、検索部116は絞り込み条件2として指定されたカメラIDのギャラリ画像だけを対象とする。
なお本実施の形態で用いた撮像時刻は、検知装置10がカメラ40から画像データを取得した取得時刻であってもよい。撮影時刻または取得時刻を指定期間とし絞り込み検索を行うことで、対象物が存在する凡その時間帯が把握できているとき、短い処理時間で対象物を検索することが期待できる。
(Step S24: Similarity calculation process)
The
Specifically, the
It should be noted that when the narrowing condition 2 is transmitted in step S23, the
Note that the imaging time used in the present embodiment may be the acquisition time at which the
(ステップS25:結果送信処理)
各検知装置10において検索部116は、ステップS24で計算された類似度が最も高いギャラリ画像を特定する。検索部116は、特定されたギャラリ画像を、そのギャラリ画像についてのカメラID及び撮像時刻と、ステップS24で計算された類似度とを検索指示装置20に送信する。
なお、検索部116は、カメラ40毎に類似度が最も高いギャラリ画像を特定してもよい。そして、検索部116は、カメラ40毎に、特定されたギャラリ画像を、そのギャラリ画像についてのカメラIDと撮像時刻と対象物IDと、ステップS24で計算された類似度とを検索指示装置20に送信してもよい。
(Step S25: result transmission process)
The
Note that the
(ステップS26:確認画像選択処理)
検索指示装置20の画像選択部212は、ステップS25で送信された情報に基づき、確認したいギャラリ画像を選択する。
具体的には、図10に示すように、検索画面60のギャラリ画像欄63に、ステップS25で送信されたギャラリ画像等を表示して、確認したギャラリ画像をユーザに選択させる。
(Step S26: confirmation image selection process)
The
Specifically, as shown in FIG. 10, the gallery images and the like transmitted in step S25 are displayed in the
(ステップS27:画像出力処理)
検索指示装置20の画像選択部212は、ステップS26で選択されたギャラリ画像についてのカメラIDと撮像時刻と対象物IDとを、選択されたギャラリ画像の送信元の検知装置10に送信する。すると、送信元の検知装置10において出力部117は、送信されたカメラID及び撮像時刻によって特定される画像データを記憶装置50から読み出す。そして、出力部117は、送信された対象物IDが示す対象物が存在する領域を枠で囲む等した上で、画像データをユーザ端末30に送信する。
その後、出力部117は、ユーザ端末30からの操作に応じて、前後の時刻の画像データユーザ端末30に送信する。この際にも、出力部117は、対象物IDが示す対象物が存在する領域を枠で囲む等した上で、画像データを送信する。
(Step S27: image output processing)
The
After that, the
***実施の形態1の効果***
以上のように、実施の形態1に係る検知装置10は、複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、対象物についてのクエリ画像として抽出し、クエリ画像から選択画像が選択される。そのため、選択画像の選択元の画像データが絞り込まれており、対象物が含まれる画像データを探すための負担が軽い。
*** Effect of
As described above, the
実施の形態1に係る検知装置10は、対象物の移動軌跡が移動方向の条件を満たす画像データをクエリ画像として抽出する。これにより、対象物を正面から撮像した画像データがクエリ画像として抽出され易くなる。その結果、探したい対象物が含まれるギャラリ画像を適切に抽出し易くなる。
The
実施の形態1に係る検知装置10は、対象物が検知領域に位置する画像データをクエリ画像として抽出する。これにより、対象物が見切れてしまった画像データがクエリ画像として抽出されづらくなり、対象物の全体等が含まれる画像データがクエリ画像として抽出され易くなる。その結果、探したい対象物が含まれるギャラリ画像を適切に抽出し易くなる。
The
実施の形態1に係る検知システム100は、複数の検知装置10を備え、各検知装置10が接続されたカメラ40によって撮像された画像データから、クエリ画像を抽出するとともに、選択画像に基づく検索を行う。これにより、カメラ40の台数が多い場合等であっても、高速に検索等を行うことが可能である。また、カメラ40の台数が増えた場合には、検知装置10を増やすことにより対応することが可能である。
The
***他の構成***
<変形例1>
図7のステップS154で用いられる検知領域と、ステップS156で用いられる閾値とは、カメラ40毎に設定されてもよい。例えば、検知領域及び閾値は、カメラ40の設置位置と、対象物が通る領域と等に応じて設定される。
***Other Configurations***
<
The detection area used in step S154 of FIG. 7 and the threshold value used in step S156 may be set for each
<変形例2>
図5のステップS13で計算される対象物の特徴量は、対象物全体の画像データに基づき計算されてもよいし、対象物の特定部分の画像データに基づき計算されてもよい。例えば、対象物が人である場合には、顔だけの画像データ、又は、上半身だけの画像データに基づき、特徴量が計算されてもよい。
<Modification 2>
The feature amount of the object calculated in step S13 of FIG. 5 may be calculated based on the image data of the entire object, or may be calculated based on the image data of a specific portion of the object. For example, when the object is a person, the feature amount may be calculated based on the image data of only the face or the image data of only the upper half of the body.
<変形例3>
実施の形態1では、画像データは、各検知装置10に接続された記憶装置50に記憶された。しかし、画像データは、各検知装置10のストレージ13に記憶されてもよい。
<Modification 3>
In
<変形例4>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例4として、各機能構成要素はハードウェアで実現されてもよい。この変形例4について、実施の形態1と異なる点を説明する。
<Modification 4>
In
図11を参照して、変形例4に係る検知装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、検知装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
The configuration of the
If each functional component is implemented in hardware, the
図12を参照して、変形例4に係る検索指示装置20の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、検索指示装置20は、プロセッサ21とメモリ22とストレージ23とに代えて、電子回路25を備える。電子回路25は、各機能構成要素と、メモリ22と、ストレージ23との機能とを実現する専用の回路である。
The configuration of the
When each functional component is implemented by hardware, the
電子回路15,25としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15,25で実現してもよいし、各機能構成要素を複数の電子回路15,25に分散させて実現してもよい。
The
Each functional component may be implemented by one
<変形例5>
変形例5として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<Modification 5>
As Modified Example 5, some functional components may be implemented by hardware, and other functional components may be implemented by software.
プロセッサ11,21とメモリ12,22とストレージ13,23と電子回路15,25とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態2.
実施の形態2は、リアルタイム検索を行う点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
Embodiment 2.
Embodiment 2 differs from
***動作の説明***
図9を参照して、実施の形態2に係る検知システム100の動作を説明する。
実施の形態2に係る検知システム100の動作手順は、実施の形態2に係る検知方法に相当する。また、実施の形態2に係る検知システム100の動作を実現するプログラムは、実施の形態2に係る検知プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the
図9を参照して、実施の形態2に係る検索処理(図4のステップS2)を説明する。
図9のステップS21からステップS23の処理と、ステップS25からステップS26の処理とは、実施の形態1と同じである。
The search process (step S2 in FIG. 4) according to the second embodiment will be described with reference to FIG.
The processing from step S21 to step S23 in FIG. 9 and the processing from step S25 to step S26 are the same as those in the first embodiment.
(ステップS24:類似度計算処理)
各検知装置10において検索部116は、選択画像の特徴量に基づき、直近に取得されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、選択画像の特徴量と、直近に取得されたギャラリ画像との類似度を計算する。そして、ステップS25で類似度が最も高いギャラリ画像が特定される。
(Step S24: Similarity calculation process)
The
つまり、実施の形態1では、記憶装置50に蓄積されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索した。これに対して、実施の形態2では、直近に取得されたフレームのギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。
なお本実施の形態で説明した、リアルタイム検索は直近に取得されたギャラリ画像を検索対象とした。直近を例えば現在時刻から5分前までと定義した場合、5分前から現在時刻までが指定期間となる。撮像された時刻が直近という指定期間に含まれるギャラリ画像から、探したい対象物についてのクエリ画像である選択画像に含まれる対象物を含むギャラリ画像を検索する。
That is, in the first embodiment, the gallery images that include the object included in the selected image are searched from the gallery images accumulated in the
Note that the real-time search described in the present embodiment targets the most recently acquired gallery image. For example, if the latest is defined as five minutes before the current time, the specified period is from five minutes before the current time. A gallery image including an object included in a selected image, which is a query image for an object to be searched for, is searched from the gallery images included in the specified period in which the image was taken most recently.
***実施の形態2の効果***
以上のように、実施の形態2に係る検知システム100は、リアルタイム検索を実現する。例えば、迷子を探すような場合には、過去のいた場所を特定するよりも、現在いる場所を特定する必要がある。そのため、リアルタイム検索は有用である。
なお、リアルタイム検索だけを実現し、過去の画像データについては検索を行わない場合には、過去のフレームのギャラリ画像を記憶装置50に記憶しておく必要はない。したがって、ギャラリ画像については記憶装置50に記憶せず、直近のフレームのギャラリ画像だけをメモリ12に記憶しておくようにしてもよい。これにより、より高速な検索が可能になる。
*** Effect of Embodiment 2 ***
As described above, the
It should be noted that if only real-time search is implemented and past image data is not searched, there is no need to store gallery images of past frames in the
実施の形態3.
実施の形態3は、1つの対象物に対して複数のクエリ画像を抽出する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態3では、実施の形態1の機能を変更した場合について説明する。しかし、実施の形態2の機能を変更することも可能である。
Embodiment 3.
Embodiment 3 differs from
Embodiment 3 describes a case where the functions of
***構成の説明***
図13を参照して、実施の形態3に係る検知装置10の構成を説明する。
検知装置10は、機能構成要素として、統計量計算部118を備える点が図2に示す検知装置10と異なる。統計量計算部118の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the
The
***動作の説明***
図9を参照して、実施の形態3に係る検知システム100の動作を説明する。
実施の形態3に係る検知システム100の動作手順は、実施の形態3に係る検知方法に相当する。また、実施の形態3に係る検知システム100の動作を実現するプログラムは、実施の形態3に係る検知プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the
実施の形態3では、クエリ抽出部115は、1つの対象物について複数のクエリ画像を抽出する。
具体的には、クエリ抽出部115は、クエリ判定処理(図5のステップS15)においてクエリ画像と判定された場合には、クエリ画像と判定された画像データの前後基準時間に撮像時刻が含まれる画像データであって、同一の対象物が含まれている画像データをその対象物についての関連クエリ画像に設定する。
あるいは、クエリ抽出部115は、クエリ判定処理(図5のステップS15)においてクエリ画像と判定された場合には、他のカメラ40のうち特定のカメラ40で撮像された画像データであって、同一の対象物が含まれている画像データをその対象物についての関連クエリ画像に設定する。
In Embodiment 3, the
Specifically, when the query image is determined to be a query image in the query determination process (step S15 in FIG. 5), the
Alternatively, if the query image is determined to be a query image in the query determination process (step S15 in FIG. 5), the
統計量計算部118は、クエリ画像と関連クエリ画像との特徴量についての統計量を計算する。統計量は、例えば、平均値である。特徴量は複数次元ベクトルであるため、統計量が平均値である場合には、各次元の要素についての平均値が計算される。統計量計算部118は、クエリ画像の特徴量として統計量を設定する。
The
図9を参照して、実施の形態3に係る検索処理(図4のステップS2)を説明する。
図9のステップS21からステップS23の処理と、ステップS25からステップS26の処理とは、実施の形態1と同じである。
The search process (step S2 in FIG. 4) according to the third embodiment will be described with reference to FIG.
The processing from step S21 to step S23 in FIG. 9 and the processing from step S25 to step S26 are the same as those in the first embodiment.
(ステップS24:類似度計算処理)
各検知装置10において検索部116は、選択画像の統計量に基づき、記憶装置50に記憶されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、選択画像の特徴量に代えて、統計量を用いる点が実施の形態1と異なる。
(Step S24: Similarity calculation process)
The
***実施の形態3の効果***
以上のように、実施の形態3に係る検知装置10は、複数のクエリ画像(クエリ画像と関連クエリ画像)の特徴量から計算された統計量を用いて、ギャラリ画像を検索する。
ギャラリ画像に含まれる対象物は、クエリ画像に含まれる対象物と異なる角度から撮像されている場合、又は、異なる姿勢になっている場合がある。複数のクエリ画像の特徴量から計算された統計量を用いることにより、様々な映り方の対象物についての特徴量を加味してギャラリ画像を検索することが可能になる。その結果、異なる角度から対象物を撮像したギャラリ画像と、異なる姿勢になっている対象物が含まれるギャラリ画像についても適切に検索することが可能になる。
*** Effect of Embodiment 3 ***
As described above, the
Objects included in the gallery image may be imaged from different angles or in different poses than the objects included in the query image. By using the statistics calculated from the feature amounts of a plurality of query images, it becomes possible to search for gallery images by taking into account the feature amounts of objects with various appearances. As a result, it is possible to appropriately search for gallery images in which objects are captured from different angles and gallery images including objects in different postures.
***他の構成***
<変形例6>
統計量計算部118は、複数のクエリ画像(クエリ画像と関連クエリ画像)を1つ以上のグループに分類し、1つ以上のグループそれぞれを対象として、対象のグループに含まれるクエリ画像(クエリ画像と関連クエリ画像)の特徴量についての統計量を計算してもよい。この際、統計量計算部118は、複数のクエリ画像の特徴量に基づき、複数のクエリ画像を1つ以上のグループに分類することが考えられる。特徴量を構成する要素のうち、対象物を撮像した角度の違いと、対象物の姿勢の違いとの少なくともいずれかによって変化する次元の要素に基づき、複数のクエリ画像を1つ以上のグループに分類することが考えられる。
この場合には、図9のステップS24では、検索部116は、1つ以上のグループそれぞれについての統計量に基づき、選択画像に含まれる対象物を含むギャラリ画像を検索する。
これにより、異なる角度から対象物を撮像したギャラリ画像と、異なる姿勢になっている対象物が含まれるギャラリ画像についてもより適切に検索することが可能になる。
***Other Configurations***
<Modification 6>
The
In this case, in step S24 of FIG. 9, the
This makes it possible to more appropriately search for gallery images in which objects are captured from different angles and gallery images including objects in different postures.
実施の形態4.
実施の形態4は、複数次元ベクトルである特徴量を圧縮して検索を行う点が実施の形態1~3と異なる。実施の形態4では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態4では、実施の形態1の機能を変更した場合について説明する。しかし、実施の形態2,3の機能を変更することも可能である。
Embodiment 4.
Embodiment 4 differs from
Embodiment 4 describes a case where the functions of
***構成の説明***
図14を参照して、実施の形態4に係る検知装置10の構成を説明する。
検知装置10は、機能構成要素として、次元圧縮部119を備える点が図2に示す検知装置10と異なる。次元圧縮部119の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the
The
図15及び図16を参照して、実施の形態4に係る検知システム100の動作を説明する。
実施の形態4に係る検知システム100の動作手順は、実施の形態4に係る検知方法に相当する。また、実施の形態4に係る検知システム100の動作を実現するプログラムは、実施の形態4に係る検知プログラムに相当する。
The operation of the
The operation procedure of the
図15を参照して、実施の形態4に係る検索処理(図4のステップS2)を説明する。
ステップS21AからステップS23Aの処理は、図9のステップS21からステップS21からステップS23の処理と同じである。ステップS26AからステップS28Aの処理は、図9のステップS25からステップS27の処理と同じである。
The search process (step S2 in FIG. 4) according to the fourth embodiment will be described with reference to FIG.
The processing from step S21A to step S23A is the same as the processing from step S21 to step S21 to step S23 in FIG. The processing from step S26A to step S28A is the same as the processing from step S25 to step S27 in FIG.
(ステップS24A:次元圧縮処理)
各検知装置10において次元圧縮部119は、選択画像の特徴量と、各ギャラリ画像の特徴量との次元を圧縮する。
具体的には、次元圧縮部119は、選択画像の特徴量であるクエリ高次元特徴量の次元を圧縮してクエリ低次元特徴量を生成する。また、次元圧縮部119は、各ギャラリ画像を対象として、対象のギャラリ画像の特徴量であるギャラリ高次元特徴量の次元を圧縮してギャラリ低次元特徴量を生成する。例えば、次元圧縮部119は、2
次元のクエリ低次元特徴量及び2次元のギャラリ低次元特徴量を生成する。次元を圧縮するとは、次元を減らすという意味である。次元を圧縮する方法としては、PCA(主成分分析)と、LSA(潜在意味解析)といった手法を用いればよい。
(Step S24A: dimension compression processing)
The
Specifically, the
Generate a dimensional query low-dimensional feature and a 2-dimensional gallery low-dimensional feature. Compressing a dimension means reducing the dimension. Methods such as PCA (principal component analysis) and LSA (latent semantic analysis) may be used as methods for compressing dimensions.
(ステップS25A:類似度計算処理)
各検知装置10において検索部116は、ステップS24Aで生成されたクエリ低次元特徴量を、各ギャラリ画像のギャラリ低次元特徴量と比較することにより、検索対象とするギャラリ画像を絞り込む。具体例としては、検索部116は、図16に示すように、クエリ低次元特徴量が特徴量を有する領域と隣接する領域に特徴量を有するギャラリ低次元特徴量を持つギャラリ画像だけに、検索対象とするギャラリ画像を絞り込む。
検索部116は、クエリ高次元特徴量と検索対象とするギャラリ画像のギャラリ高次元特徴量とを比較することにより、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、クエリ高次元特徴量と検索対象とするギャラリ画像のギャラリ高次元特徴量との類似度を計算する。そして、ステップS26Aで類似度が最も高いギャラリ画像が特定される。
(Step S25A: Similarity calculation process)
The
The
***実施の形態4の効果***
以上のように、実施の形態4に係る検知装置10は、特徴量の次元を圧縮したクエリ低次元特徴量及びギャラリ低次元特徴量を用いて、検索対象とするギャラリ画像を絞り込む。これにより、類似度を計算する処理回数を減らすことができる。その結果、効率的にギャラリ画像の検索を行うことが可能になる。
*** Effect of Embodiment 4 ***
As described above, the
***他の構成***
<変形例7>
次元圧縮部119は、特徴量から、異なる対象物間であっても大きな変化が見られない次元の要素を除外することにより、特徴量の次元を圧縮してもよい。異なる対象物とは、対象物自体が異なるだけでなく、対象物を撮った画角が異なることを含んでもよい。
この場合には、図15のステップS24Aでは、次元圧縮部119は、選択画像の特徴量であるクエリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してクエリ低次元特徴量を生成する。また、次元圧縮部119は、各ギャラリ画像を対象として、対象のギャラリ画像の特徴量であるギャラリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してギャラリ低次元特徴量を生成する。
図15のステップS25Aでは、検索部116は、クエリ低次元特徴量と各ギャラリ画像のギャラリ低次元特徴量とを比較することにより、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、クエリ低次元特徴量と各ギャラリ画像のギャラリ低次元特徴量との類似度を計算する。そして、ステップS26Aで類似度が最も高いギャラリ画像が特定される。
***Other Configurations***
<Modification 7>
The
In this case, in step S24A of FIG. 15, the
In step S25A of FIG. 15, the
実施の形態5.
実施の形態5は、リアルタイム検索において過去の画像データを利用する点が実施の形態2と異なる。実施の形態5では、この異なる点を説明して、同一の点については説明を省略する。
Embodiment 5.
Embodiment 5 differs from Embodiment 2 in that past image data is used in real-time search. In the fifth embodiment, this different point will be explained, and the explanation of the same point will be omitted.
***動作の説明***
図9及び図17を参照して、実施の形態5に係る検知システム100の動作を説明する。
実施の形態5に係る検知システム100の動作手順は、実施の形態5に係る検知方法に相当する。また、実施の形態5に係る検知システム100の動作を実現するプログラムは、実施の形態5に係る検知プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the
図9を参照して、実施の形態2に係る検索処理(図4のステップS2)を説明する。
図9のステップS21からステップS23の処理と、ステップS26からステップS27の処理とは、実施の形態2と同じである。
The search process (step S2 in FIG. 4) according to the second embodiment will be described with reference to FIG.
The processing from step S21 to step S23 and the processing from step S26 to step S27 in FIG. 9 are the same as those in the second embodiment.
(ステップS24:類似度計算処理)
各検知装置10において検索部116は、選択画像の特徴量に基づき、撮像時刻が現在時刻から基準時間前までに含まれるギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、選択画像の特徴量と、撮像時刻が現在時刻から基準時間前までに含まれるギャラリ画像に取得されたギャラリ画像との類似度を計算する。
(Step S24: Similarity calculation process)
The
(ステップS25:結果送信処理)
各検知装置10において検索部116は、ステップS24で計算された類似度が最も高いギャラリ画像を特定する。検索部116は、図17に示すように、特定されたギャラリ画像に含まれる対象物と同じ対象物を含む直近に撮像されたギャラリ画像を特定する。検索部116は、直近に撮像されたギャラリ画像を、そのギャラリ画像についてのカメラID及び撮像時刻と、ステップS24で計算された類似度とを検索指示装置20に送信する。
ここで、検索部116は、図5のステップS14で追跡された結果を用いて、特定されたギャラリ画像に含まれる対象物と同じ対象物を含む直近に撮像されたギャラリ画像を特定することが可能である。
(Step S25: result transmission process)
The
Here, the
***実施の形態5の効果***
以上のように、実施の形態5に係る検知装置10は、現在時刻から基準時間前までに含まれるギャラリ画像を用いて類似度の高いギャラリ画像を特定し、特定されたギャラリ画像から同じ対象物を含む直近に撮像されたギャラリ画像を特定する。
これにより、より適切にリアルタイム検索を行うことが可能である。例えば、直近に撮像されたギャラリ画像において対象物の向きがクエリ画像における対象物の向きと異なるような場合には、直近に撮像されたギャラリ画像と、クエリ画像との間の類似度が低くなってしまい、適切な検索ができない可能性がある。しかし、実施の形態5に係る検知装置10では、対象物の向きがクエリ画像における対象物の向きと近い過去のギャラリ画像が特定され、過去のギャラリ画像と同じ対象物を含む直近のギャラリ画像が特定される。そのため、適切にリアルタイム検索を行うことができる。
*** Effect of Embodiment 5 ***
As described above, the
This makes it possible to perform a real-time search more appropriately. For example, when the orientation of the object in the recently captured gallery image is different from the orientation of the object in the query image, the similarity between the recently captured gallery image and the query image is low. It may not be possible to perform an appropriate search. However, in the
<変形例8>
実施の形態5では、リアルタイム検索の場合について説明した。しかし、リアルタイム検索に限らず、検索する時刻が指定された場合に、指定された指定時刻から基準時間前及び後までに含まれるギャラリ画像を用いて類似度の高いギャラリ画像を特定し、特定されたギャラリ画像から同じ対象物を含む指定時刻に撮像されたギャラリ画像を特定するようにしてもよい。これにより、指定時刻におけるギャラリ画像から、より適切な検索を行うことが可能である。
<Modification 8>
In the fifth embodiment, the case of real-time search has been described. However, not limited to real-time search, when a time to search is specified, a gallery image with a high degree of similarity is specified using the gallery images included before and after the reference time from the specified specified time, and the specified A gallery image captured at a specified time and containing the same object may be identified from the gallery images obtained. As a result, it is possible to perform a more appropriate search from the gallery images at the specified time.
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.
100 検知システム、10 検知装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、111 取得部、112 検知部、113 特徴量計算部、114 追跡部、115 クエリ抽出部、116 検索部、117 出力部、118 統計量計算部、119 次元圧縮部、20 検索指示装置、21 プロセッサ、22 メモリ、23 ストレージ、24 通信インタフェース、25 電子回路、211 クエリ選択部、212 画像選択部、30 ユーザ端末、40 カメラ、50 記憶装置、60 検索画面、61 入力欄、62 クエリ画像欄、63 ギャラリ画像欄、90 伝送路。
100 detection system, 10 detection device, 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 111 acquisition unit, 112 detection unit, 113 feature amount calculation unit, 114 tracking unit, 115 query extraction unit, 116 search Unit, 117 Output Unit, 118 Statistics Calculation Unit, 119 Dimension Compression Unit, 20 Search Instruction Device, 21 Processor, 22 Memory, 23 Storage, 24 Communication Interface, 25 Electronic Circuit, 211 Query Selection Unit, 212 Image Selection Unit, 30
Claims (14)
前記クエリ抽出部によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部と
を備える検知装置。 Image data including an object among a plurality of image data obtained by imaging with a camera, the angle formed between a movement vector indicating the movement trajectory of the object and a straight line in the width direction of the image data a query extracting unit that extracts image data that satisfies the moving direction condition set by the query image of the object;
Based on the selected image selected from the query image extracted by the query extracting unit, a gallery image that is at least part of the image data other than the query image among the plurality of image data is included in the selected image. a search unit for searching gallery images containing objects.
前記クエリ抽出部によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検索部と
を備える検知装置。 a query extraction unit for extracting image data including an object from among a plurality of image data captured by a camera and satisfying a condition as a query image for the object;
A gallery image, which is at least part of the image data other than the query image among the plurality of image data, based on a selected image selected from the query image extracted by the query extraction unit, and the time when the image was captured. is included from the specified time to the reference time before the specified time, the gallery images including the object included in the selected image are searched, and the same object as the object included in the searched gallery image and a search unit that outputs a gallery image captured at the specified time.
請求項1から3までのいずれか1項に記載の検知装置。 4. Any one of claims 1 to 3 , wherein the search unit searches for gallery images including an object included in the selected image from among the gallery images captured in a specified period of time. A detection device according to any one of the preceding paragraphs.
前記選択画像と、前記選択画像と同一の対象物を含む他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量から、前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から4までのいずれか1項に記載の検知装置。 The detection device further
A statistic about the feature amount of the object is calculated from the feature amount of the object calculated from each of the selected image and a related query image that is other image data including the same object as the selected image. Equipped with a statistic calculation unit for calculating,
The detection according to any one of claims 1 to 4 , wherein the search unit searches for gallery images including objects included in the selected image based on the statistic calculated by the statistic calculation unit. Device.
前記選択画像と、前記選択画像と同一の対象物を含む1つ以上の他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量に基づき前記選択画像と前記関連クエリ画像とを1つ以上のグループに分類し、前記1つ以上のグループそれぞれを対象として、対象のグループに含まれる前記画像データから計算された前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記1つ以上のグループそれぞれについての前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から4までのいずれか1項に記載の検知装置。 The detection device further
The selected image and the related query based on the feature amount of the object calculated from each of the selected image and a related query image that is one or more other image data including the same object as the selected image. A statistic for classifying images into one or more groups, and calculating statistics for the feature amounts of the object calculated from the image data included in the target group for each of the one or more groups. Equipped with a quantity calculation unit,
5. The search unit searches for gallery images including objects included in the selected image based on the statistics for each of the one or more groups calculated by the statistics calculation unit. The detection device according to any one of Claims 1 to 3.
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量の次元を圧縮してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量の次元を圧縮してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記選択画像についての前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、検索対象とする前記ギャラリ画像を絞り込んだ上で、前記選択画像についての前記クエリ高次元特徴量と検索対象とする前記ギャラリ画像の前記ギャラリ高次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から6までのいずれか1項に記載の検知装置。 The detection device further
A query high-dimensional feature amount, which is a feature amount of the object included in the query image and is represented by a multi-dimensional vector, and a feature amount of the object included in the gallery image, wherein a plurality of a feature amount calculation unit that calculates a gallery high-dimensional feature amount that is a feature amount represented by a dimensional vector;
compressing the dimension of the query high-dimensional feature calculated by the feature calculating unit to generate a query low-dimensional feature, and compressing the dimension of the gallery high-dimensional feature calculated by the feature calculating unit; and a dimensional compression unit that generates a gallery low-dimensional feature amount by
The search unit narrows down the gallery images to be searched by comparing the query low-dimensional feature amount and the gallery low-dimensional feature amount for the selected image generated by the dimension compression unit. and searching for a gallery image including an object included in the selected image by comparing the query high-dimensional feature amount of the selected image with the gallery high-dimensional feature amount of the gallery image to be searched. Item 7. The detection device according to any one of Items 1 to 6 .
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記選択画像についての前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から6までのいずれか1項に記載の検知装置。 The detection device further
A query high-dimensional feature amount, which is a feature amount of the object included in the query image and is represented by a multi-dimensional vector, and a feature amount of the object included in the gallery image, wherein a plurality of a feature amount calculation unit that calculates a gallery high-dimensional feature amount that is a feature amount represented by a dimensional vector;
A query low-dimensional feature amount is generated by excluding elements that do not change even between different objects from the query high-dimensional feature amount calculated by the feature amount calculation unit, and the query low-dimensional feature amount calculated by the feature amount calculation unit A dimensional compression unit that generates a gallery low-dimensional feature amount by excluding elements that do not change even between different objects from the gallery high-dimensional feature amount,
The search unit compares the query low-dimensional feature amount and the gallery low-dimensional feature amount for the selected image generated by the dimensional compression unit to obtain a gallery image including an object included in the selected image. 7. The sensing device according to any one of claims 1 to 6 , which searches for .
前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検知方法。 Image data including an object among a plurality of image data obtained by imaging with a camera, the angle formed between a movement vector indicating the movement trajectory of the object and a straight line in the width direction of the image data Extract image data that satisfies the moving direction condition set by as a query image for the object,
Based on a selected image selected from the query image, a gallery image including an object included in the selected image is retrieved from gallery images that are at least part of image data other than the query image among the plurality of image data. detection method.
前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検知方法。 extracting, from among a plurality of image data captured by a camera, image data that includes an object and that satisfies a condition as a query image for the object;
A gallery image that is at least part of the image data other than the query image among the plurality of image data based on the selected image selected from the query image, and is captured at a time between the specified time and the specified time. A gallery image including an object included in the selected image is searched from the gallery images included before the reference time, and the imaged time includes the same object as the object included in the searched gallery image. A detection method for outputting the gallery image at the specified time.
前記クエリ抽出処理によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索処理と
を行う検知装置としてコンピュータを機能させる検知プログラム。 Image data including an object among a plurality of image data obtained by imaging with a camera, the angle formed between a movement vector indicating the movement trajectory of the object and a straight line in the width direction of the image data a query extraction process for extracting, as a query image of the object, image data that satisfies the moving direction condition set by
Based on the selected image selected from the query image extracted by the query extraction process, from a gallery image that is at least part of the image data other than the query image among the plurality of image data, included in the selected image A detection program that causes a computer to function as a detection device that performs search processing for searching gallery images containing objects.
前記クエリ抽出処理によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検索処理と
を行う検知装置としてコンピュータを機能させる検知プログラム。 a query extraction process for extracting image data including an object from among a plurality of image data obtained by imaging with a camera, and image data satisfying a condition, as a query image for the object;
A gallery image that is at least part of the image data other than the query image among the plurality of image data based on the selected image selected from the query image extracted by the query extraction process, and the time at which the image was captured. is included from the specified time to the reference time before the specified time, the gallery images including the object included in the selected image are searched, and the same object as the object included in the searched gallery image A detection program that causes a computer to function as a detection device that performs a search process for outputting gallery images captured at the specified time.
前記1つ以上の検知装置それぞれは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、前記対象物の移動軌跡を示す移動ベクトルと、前記画像データの幅方向の直線との成す角によって設定された移動方向の条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部
を備え、
前記検索指示装置は、
前記1つ以上の検知装置それぞれの前記クエリ抽出部によって抽出された前記クエリ画像から選択画像を選択するクエリ選択部
を備え、
前記1つ以上の検知装置それぞれは、
前記クエリ選択部によって選択された前記選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部
を備える検知システム。 A detection system comprising one or more detection devices and a search instruction device,
each of the one or more sensing devices comprising:
Image data including an object among a plurality of image data obtained by imaging with a camera, the angle formed between a movement vector indicating the movement trajectory of the object and a straight line in the width direction of the image data a query extraction unit for extracting image data that satisfies the condition of the moving direction set by the query image for the object,
The search instruction device is
a query selection unit that selects a selection image from the query images extracted by the query extraction unit of each of the one or more sensing devices;
each of the one or more sensing devices comprising:
Based on the selected image selected by the query selection unit, a gallery image including an object included in the selected image is selected from a gallery image that is at least part of image data other than the query image among the plurality of image data. A detection system comprising a search unit for searching for .
前記1つ以上の検知装置それぞれは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部
を備え、
前記検索指示装置は、
前記1つ以上の検知装置それぞれの前記クエリ抽出部によって抽出された前記クエリ画像から選択画像を選択するクエリ選択部
を備え、
前記1つ以上の検知装置それぞれは、
前記クエリ選択部によって選択された前記選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検索部
を備える検知システム。 A detection system comprising one or more detection devices and a search instruction device,
each of the one or more sensing devices comprising:
a query extracting unit for extracting, from among a plurality of image data captured by a camera, image data that includes an object and that satisfies a condition as a query image for the object;
The search instruction device is
a query selection unit that selects a selection image from the query images extracted by the query extraction unit of each of the one or more sensing devices;
each of the one or more sensing devices comprising:
A gallery image, which is at least part of the image data other than the query image among the plurality of image data, based on the selected image selected by the query selection unit, and is imaged at a time from the specified time to the specified time. A gallery image including an object included in the selected image is searched from the gallery images included up to a reference time before the time, and the imaged gallery image including the same object as the object included in the searched gallery image is searched. A detection system comprising a search unit that outputs a gallery image whose time is the specified time.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021033070A JP7200279B2 (en) | 2021-03-03 | 2021-03-03 | Detection device, detection method, detection program and detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021033070A JP7200279B2 (en) | 2021-03-03 | 2021-03-03 | Detection device, detection method, detection program and detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022134143A JP2022134143A (en) | 2022-09-15 |
JP7200279B2 true JP7200279B2 (en) | 2023-01-06 |
Family
ID=83231234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021033070A Active JP7200279B2 (en) | 2021-03-03 | 2021-03-03 | Detection device, detection method, detection program and detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7200279B2 (en) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092413A (en) | 2008-10-10 | 2010-04-22 | Ricoh Co Ltd | Image classification learning device, image classification learning method, and image classification learning system |
JP2010211261A (en) | 2009-03-06 | 2010-09-24 | Panasonic Corp | Device and method for retrieving image |
JP2011203776A (en) | 2010-03-24 | 2011-10-13 | Yahoo Japan Corp | Similar image retrieval device, method, and program |
JP2011237909A (en) | 2010-05-07 | 2011-11-24 | Seiko Epson Corp | Search screen display device, search screen display method, and search screen display program |
JP2015114685A (en) | 2013-12-09 | 2015-06-22 | 株式会社日立製作所 | Video search apparatus, video search method, and storage medium |
JP2018527656A (en) | 2015-07-23 | 2018-09-20 | ベイジン ジンドン シャンケ インフォメーション テクノロジー カンパニー リミテッド | Method and device for comparing similarity of high-dimensional features of images |
JP2018190326A (en) | 2017-05-11 | 2018-11-29 | 日本電信電話株式会社 | Reference image selecting apparatus, method and program |
JP2019045894A (en) | 2017-08-29 | 2019-03-22 | 富士通株式会社 | Retrieval program, retrieval method and information processing apparatus operating retrieval program |
JP2019160001A (en) | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | Image processing device, image processing method, and program |
JP2020095757A (en) | 2020-03-23 | 2020-06-18 | キヤノン株式会社 | Information processing device, information processing method, and program |
JP2021002105A (en) | 2019-06-20 | 2021-01-07 | Kddi株式会社 | Information processing device and combination specifying method |
-
2021
- 2021-03-03 JP JP2021033070A patent/JP7200279B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092413A (en) | 2008-10-10 | 2010-04-22 | Ricoh Co Ltd | Image classification learning device, image classification learning method, and image classification learning system |
JP2010211261A (en) | 2009-03-06 | 2010-09-24 | Panasonic Corp | Device and method for retrieving image |
JP2011203776A (en) | 2010-03-24 | 2011-10-13 | Yahoo Japan Corp | Similar image retrieval device, method, and program |
JP2011237909A (en) | 2010-05-07 | 2011-11-24 | Seiko Epson Corp | Search screen display device, search screen display method, and search screen display program |
JP2015114685A (en) | 2013-12-09 | 2015-06-22 | 株式会社日立製作所 | Video search apparatus, video search method, and storage medium |
JP2018527656A (en) | 2015-07-23 | 2018-09-20 | ベイジン ジンドン シャンケ インフォメーション テクノロジー カンパニー リミテッド | Method and device for comparing similarity of high-dimensional features of images |
JP2018190326A (en) | 2017-05-11 | 2018-11-29 | 日本電信電話株式会社 | Reference image selecting apparatus, method and program |
JP2019045894A (en) | 2017-08-29 | 2019-03-22 | 富士通株式会社 | Retrieval program, retrieval method and information processing apparatus operating retrieval program |
JP2019160001A (en) | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | Image processing device, image processing method, and program |
JP2021002105A (en) | 2019-06-20 | 2021-01-07 | Kddi株式会社 | Information processing device and combination specifying method |
JP2020095757A (en) | 2020-03-23 | 2020-06-18 | キヤノン株式会社 | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022134143A (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (en) | Appearance search system and method | |
US10558884B2 (en) | System and method for creating navigable views | |
CN107798272B (en) | Rapid multi-target detection and tracking system | |
US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
US9691180B2 (en) | Determination of augmented reality information | |
JPWO2006025272A1 (en) | Video classification device, video classification program, video search device, and video search program | |
EP3324307B1 (en) | Retrieval device, retrieval method, and computer-readable medium | |
US20200097501A1 (en) | Information processing system, method for controlling information processing system, and storage medium | |
Baber et al. | A framework for video segmentation using global and local features | |
Mousse et al. | Percentage of human-occupied areas for fall detection from two views | |
JP7200279B2 (en) | Detection device, detection method, detection program and detection system | |
Raval et al. | Survey and analysis of human activity recognition in surveillance videos | |
Ngo et al. | Motion-based video representation for scene change detection | |
JP7174796B2 (en) | Detection device, detection method and detection program | |
JP7202995B2 (en) | Spatio-temporal event prediction device, spatio-temporal event prediction method, and spatio-temporal event prediction system | |
Wu et al. | Intelligent monitoring system based on Hi3531 for recognition of human falling action | |
Henderson et al. | Feature correspondence in low quality CCTV videos | |
Bhaumik et al. | 2 Keyframe selection for video indexing using an approximate minimal spanning tree | |
Truong et al. | Film grammar based refinements to extracting scenes in motion pictures | |
Naphade et al. | Multimedia understanding: challenges in the new millennium | |
Su et al. | Extracting the highlight events of baseball videos using a model-indexing decision approach | |
Jiang et al. | Content-Based Video Semantic Analysis | |
Olena | A TEMPLATE-BASED APPROACH TO KEY FRAME EXTRACTION FROM VIDEO |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7200279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |