JP6516832B2 - 画像検索装置、システム及び方法 - Google Patents
画像検索装置、システム及び方法 Download PDFInfo
- Publication number
- JP6516832B2 JP6516832B2 JP2017511385A JP2017511385A JP6516832B2 JP 6516832 B2 JP6516832 B2 JP 6516832B2 JP 2017511385 A JP2017511385 A JP 2017511385A JP 2017511385 A JP2017511385 A JP 2017511385A JP 6516832 B2 JP6516832 B2 JP 6516832B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- information
- area
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
以下、本発明の第1の実施形態の画像検索システムについて、図面に従って説明する。
図1は、本発明の実施例1の画像検索システム100の全体構成図である。
優先度情報登録部110は、移動物体追跡部108から得られた移動物体から優先度情報を計算し、優先度情報データベース112に登録する。優先度情報について、詳しくは図4、図5、図6の説明として後述する。
優先度情報データベース112は、顕著性判定を行うための優先度情報を保存するためのデータベースである。優先度情報データベース112へのアクセスは、優先度情報登録部110からの登録処理、並びに、顕著性判定部114からの判定処理の際に発生する。優先度データベース112の構造について、詳しくは図4の説明として後述する。
類似ベクトル検索部115は、顕著領域と判定された移動物体の部分領域から抽出された検索用特徴量と類似する特徴量を映像データベース111から検索して、その結果を表示装置104に出力する。
フレームIDフィールド301は、映像データから抽出されたフレーム画像データの識別情報(以下、フレームID)を保持する。
画像データフィールド304は、フレームの静止画像のバイナリデータであり、検索結果などを表示装置104に表示する際に用いられるデータを保持する
移動物体管理情報310は、移動物体IDフィールド311、追跡IDフィールド312、フレームIDフィールド313、及び矩形座標フィールド314を含む。
パッチIDフィールド331は、フレーム画像から移動物体追跡部108によって追跡された移動物体の部分領域の識別情報(以下、パッチID)を保持する。部分領域として、移動物体の外接矩形をグリッド状に分割したブロック領域を用いても良いし、鞄や上半身といった一部を用いても良い。
フレームIDフィールド332は、パッチの部分領域を含む移動物体が検知されたフレームのフレームIDを保持する。このフレームIDは、画像データ画像管理情報300のフレームIDフィールド301に保持されるものと対応する。
図4は、本発明の実施例1の優先度情報データベース112の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。
図4のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。
まず初めに、入力装置103を用いて表示装置104に表示された移動物体をユーザが指定する(ステップS701)。
移動物体選択エリア801では、移動物体が表示されており、ユーザはこの中から検索キーとなる移動物体を指定する(ステップS701)。
ユーザがマウス等を用いて検索ボタン803を操作すると、顕著領域から検索用特徴量を抽出し(ステップS704)、類似検索が実行され(ステップS705)、類似度が大きいデータが検索結果画面804に表示される(ステップS706)。例えば、検索結果の表示方法として、類似度の大きいパッチを含む移動物体が映っているフレーム画像を類似度順に並べて表示し、移動物体を矩形で囲んで表示する。
以下、本発明の第2の実施形態の画像検索システムについて、図面に従って説明する。
プロセッサ201、及びネットワークインタフェース204は実施例1と同一である。記憶装置1001は、任意の種類の記憶媒体によって構成される。この例において、図9に示した映像入力部106、フレーム登録部107、移動物体追跡部108、追跡情報登録部109、優先度情報登録部110、映像データベース111、優先度情報データベース112、顕著性判定部114、類似ベクトル検索部115、個人認証部902、認証情報登録部903、認証情報データベース904、人物指定部905、移動物体決定部906といった機能部は、プロセッサ201が記憶装置1001に格納された処理プログラム1002を実行することによって実現される。
図11は、本発明の実施例2の映像データベース111の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。
人物名フィールド1102は、認証装置901で認証された人物の人物名を保持する。人物名が事前に登録されていない場合は、人物名を意味する他の情報を保持しても良いし、このフィールドは存在しなくても良い。
最後に、映像登録処理で得られた人物ID1104を認証データベース904に登録する。
図13は、本発明の実施例2のサーバ計算機105が人物検索を行う処理を説明するフローチャートである。以下、図13の各ステップについて説明する。
取得した映像データを用いて、図7で説明した移動物体検索のフローチャートと同様に検索を行う(ステップS1303)。図7中のステップ701においてユーザが移動物体を指定する処理は、図13のステップS1301〜ステップS1302に置き換えられる。
(実施例3)
以下、本発明の第3の実施形態の画像検索システムについて、図面に従って説明する。
次に、本発明の実施例3の画像検索システム100について説明する。以下に説明する相違点を除き、実施例2の画像検索システム100の各部は、図1〜図13に示された実施例1及び実施例2の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
101 映像記憶装置
102 映像撮影装置
103 入力装置
104 表示装置
105 サーバ計算機
106 映像入力部
107 フレーム登録部
108 移動物体追跡部
109 追跡情報登録部
110 優先度情報登録部
111 映像データベース
112 優先度情報データベース
113 移動物体指定部
114 顕著性判定部
115 類似ベクトル検索部
201 プロセッサ
202 記憶装置
203 処理プログラム
204 ネットワークインターフェース装置
300 映像データ管理情報
310 移動物体管理情報
320 追跡情報管理情報
330 パッチ特徴量管理情報
400 優先度情報
801 移動物体選択エリア
802 顕著性表示エリア
803 検索ボタン
804 検索結果表示エリア
901 認証装置
902 個人認証部
903 認証情報登録部
904 認証情報データベース
905 人物指定部
906 移動物体決定部
1001 記憶装置
1002 処理プログラム
1100 認証データ管理情報
1401 人物決定部
1402 類似ベクトル検索部
1403 認証情報取得部。
Claims (10)
- 検索対象画像を蓄積する蓄積部と、
複数の前記検索対象画像に含まれる複数の第1領域から抽出した第1情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第2領域から抽出した第2情報を解析し、前記第2情報を用いて検索優先度の高い前記第2領域を顕著領域として検出する領域検出部と、
前記顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する画像検索部と、を有することを特徴とする画像検索装置。 - 請求項1に記載の画像検索装置であって、
前記領域検出部は、複数の前記第1情報を解析し、最も出現頻度の低い前記第1情報を前記検索優先度が最も高い顕著情報として学習し、前記第2情報と前記顕著情報との距離に基づいて、前記顕著領域を検出することを特徴とする画像検索装置。 - 請求項2に記載の画像検索装置であって、
前記第1領域のうち、前フレームあるいは後フレームの前記第1領域との類似度が閾値より高いものについては、複数フレームにわたる前記第1領域に移動体が写っていると判定する移動体判定部と、をさらに有し、
前記蓄積部は、複数の前記第1領域について前記移動体であることを示す移動体識別情報をさらに蓄積することを特徴とする画像検索装置。 - 請求項2に記載の画像検索装置であって、
前記蓄積部は、前記検索対象画像を撮像するカメラごとに前記検索対象画像を蓄積し、
前記領域検出部は、前記カメラごとに前記検索優先度を学習することを特徴とする画像検索装置。 - 画像検索装置と認証装置とを有する画像検索システムであって、
前記画像検索装置は、
検索対象画像および移動物体であることを示す移動体識別情報を蓄積する蓄積部と、
複数の前記検索対象画像に含まれる複数の第1領域から抽出した第1情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第2領域から抽出した第2情報を解析し、前記第2情報を用いて検索優先度の高い前記第2領域を顕著領域として検出する領域検出部と、
前記顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する画像検索部と、
前記第1領域のうち、前フレームあるいは後フレームの前記第1領域との類似度が閾値より高いものについては、複数フレームにわたる第1領域に移動体が写っていると判定する移動体判定部とを有し、
前記認証装置は、
複数の利用者の登録情報を記憶する登録情報記憶部と、
新たに取得したユーザ情報と前記登録情報とを照合する照合部と、
前記照合部が前記ユーザ情報と一致すると判定した前記登録情報である第1登録情報を前記画像検索装置へ出力する出力部と、を有し、
前記蓄積部はさらに、前記第1登録情報と前記移動体識別情報とを対応付けて蓄積することを特徴とする画像検索システム。 - 検索対象画像を蓄積部に蓄積する第1ステップと、
複数の前記検索対象画像に含まれる複数の第1領域から抽出した第1情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第2領域から抽出した第2情報を解析し、前記第2情報を用いて検索優先度の高い前記第2領域を顕著領域として検出する第2ステップと、
前記顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する第3ステップと、を有することを特徴とする画像検索方法。 - 請求項6に記載の画像検索方法であって、
前記第2ステップでは、複数の前記第1情報を解析し、最も出現頻度の低い前記第1情報を前記検索優先度が最も高い顕著情報として学習し、前記第2情報と前記顕著情報との距離に基づいて、前記顕著領域を検出することを特徴とする画像検索方法。 - 請求項7に記載の画像検索方法であって、
前記第1領域のうち、前フレームあるいは後フレームの前記第1領域との類似度が閾値より高いものについては、複数フレームにわたる前記第1領域に移動体が写っていると判定する第4ステップと、をさらに有し、
前記第1ステップでは、複数の前記第1領域について前記移動体であることを示す移動体識別情報を、さらに前記蓄積部に蓄積することを特徴とする画像検索方法。 - 請求項7に記載の画像検索方法であって、
前記第1ステップでは、前記検索対象画像を撮像するカメラごとに前記検索対象画像を蓄積し、
前記第2ステップでは、前記カメラごとに前記検索優先度を学習することを特徴とする画像検索方法。 - 請求項8に記載の画像検索方法であって、
複数の利用者の登録情報を記憶する第5ステップと、
ユーザ情報を取得し、前記ユーザ情報と前記登録情報とを照合する第6ステップと、
前記ユーザ情報と一致すると判定した第1登録情報を出力する第7ステップと、をさらに有し、
前記第1ステップでは、前記第1登録情報と前記移動体識別情報とを対応付けて蓄積することを特徴とする画像検索方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/060906 WO2016162963A1 (ja) | 2015-04-08 | 2015-04-08 | 画像検索装置、システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016162963A1 JPWO2016162963A1 (ja) | 2018-01-11 |
JP6516832B2 true JP6516832B2 (ja) | 2019-05-22 |
Family
ID=57072559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017511385A Active JP6516832B2 (ja) | 2015-04-08 | 2015-04-08 | 画像検索装置、システム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10795928B2 (ja) |
JP (1) | JP6516832B2 (ja) |
CN (1) | CN107408119B (ja) |
WO (1) | WO2016162963A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017006749A1 (ja) * | 2015-07-03 | 2017-01-12 | 株式会社日立国際電気 | 画像処理装置および画像処理システム |
KR101736660B1 (ko) * | 2016-01-15 | 2017-05-17 | 세종대학교산학협력단 | 스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법 |
KR102249498B1 (ko) * | 2016-08-17 | 2021-05-11 | 한화테크윈 주식회사 | 이벤트 검색 장치 및 시스템 |
JP6948787B2 (ja) * | 2016-12-09 | 2021-10-13 | キヤノン株式会社 | 情報処理装置、方法およびプログラム |
CN108229468B (zh) * | 2017-06-28 | 2020-02-21 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
JP7018001B2 (ja) * | 2018-09-20 | 2022-02-09 | 株式会社日立製作所 | 情報処理システム、情報処理システムを制御する方法及びプログラム |
CN110378178B (zh) * | 2018-09-30 | 2022-01-28 | 毫末智行科技有限公司 | 目标跟踪方法及装置 |
EP3905187A4 (en) | 2018-12-27 | 2021-12-29 | NEC Corporation | Information processing system, information processing device, information processing method, and program |
JP7330708B2 (ja) * | 2019-01-28 | 2023-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR102246408B1 (ko) * | 2019-02-14 | 2021-05-18 | 엔에이치엔 주식회사 | 딥러닝 기반 유사상품 제공방법 |
JP7183085B2 (ja) * | 2019-03-14 | 2022-12-05 | 株式会社東芝 | 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置 |
US11507768B2 (en) * | 2019-07-04 | 2022-11-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2021176033A (ja) * | 2020-05-01 | 2021-11-04 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6826316B2 (en) * | 2001-01-24 | 2004-11-30 | Eastman Kodak Company | System and method for determining image similarity |
US8131011B2 (en) * | 2006-09-25 | 2012-03-06 | University Of Southern California | Human detection and tracking system |
JP4979070B2 (ja) * | 2007-03-28 | 2012-07-18 | Kddi株式会社 | 動画像提示システム |
US8195672B2 (en) * | 2009-01-14 | 2012-06-05 | Xerox Corporation | Searching a repository of documents using a source image as a query |
JP5306940B2 (ja) * | 2009-08-11 | 2013-10-02 | 日本放送協会 | 動画像コンテンツ評価装置およびコンピュータプログラム |
US8352465B1 (en) * | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
EP2339537B1 (en) * | 2009-12-23 | 2016-02-24 | Metaio GmbH | Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method |
CN102193934B (zh) * | 2010-03-11 | 2013-05-29 | 株式会社理光 | 用于寻找图像集合中的代表性图像的***和方法 |
US8494983B2 (en) * | 2010-11-16 | 2013-07-23 | Microsoft Corporation | Object-sensitive image search |
US8990201B1 (en) * | 2011-11-03 | 2015-03-24 | Google Inc. | Image search results provisoning |
JP5894492B2 (ja) | 2012-04-19 | 2016-03-30 | 日本放送協会 | 画像処理装置、画像検索装置及びプログラム |
WO2013176263A1 (ja) * | 2012-05-24 | 2013-11-28 | 株式会社日立国際電気 | 類似画像検索システム |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
CN102843547B (zh) | 2012-08-01 | 2014-01-08 | 安科智慧城市技术(中国)有限公司 | 一种嫌疑目标智能追踪方法和*** |
US9940525B2 (en) * | 2012-11-19 | 2018-04-10 | Mace Wolf | Image capture with privacy protection |
CN103838724B (zh) | 2012-11-20 | 2018-04-13 | 百度在线网络技术(北京)有限公司 | 图像搜索方法及装置 |
US9424279B2 (en) * | 2012-12-06 | 2016-08-23 | Google Inc. | Presenting image search results |
JP6100635B2 (ja) * | 2012-12-13 | 2017-03-22 | 株式会社デンソー | 移動体検出装置 |
WO2014132841A1 (ja) * | 2013-02-28 | 2014-09-04 | 株式会社日立国際電気 | 人物検索方法及びホーム滞留人物検索装置 |
US8811673B1 (en) * | 2013-04-18 | 2014-08-19 | TCL Research America Inc. | Intelligent TV system and method |
US11853377B2 (en) * | 2013-09-11 | 2023-12-26 | See-Out Pty Ltd | Image searching method and apparatus |
US9813001B2 (en) * | 2015-05-20 | 2017-11-07 | Denso Corporation | Control device for rotating electric machine |
-
2015
- 2015-04-08 CN CN201580078322.0A patent/CN107408119B/zh active Active
- 2015-04-08 JP JP2017511385A patent/JP6516832B2/ja active Active
- 2015-04-08 US US15/564,649 patent/US10795928B2/en active Active
- 2015-04-08 WO PCT/JP2015/060906 patent/WO2016162963A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN107408119B (zh) | 2020-11-06 |
US20180081908A1 (en) | 2018-03-22 |
US10795928B2 (en) | 2020-10-06 |
CN107408119A (zh) | 2017-11-28 |
JPWO2016162963A1 (ja) | 2018-01-11 |
WO2016162963A1 (ja) | 2016-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6516832B2 (ja) | 画像検索装置、システム及び方法 | |
JP6961363B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
CN107292240B (zh) | 一种基于人脸与人体识别的找人方法及*** | |
US11367219B2 (en) | Video analysis apparatus, person retrieval system, and person retrieval method | |
US10074186B2 (en) | Image search system, image search apparatus, and image search method | |
JP6172551B1 (ja) | 画像検索装置、画像検索システム及び画像検索方法 | |
US20210357678A1 (en) | Information processing method and apparatus, and storage medium | |
JP7018001B2 (ja) | 情報処理システム、情報処理システムを制御する方法及びプログラム | |
JP6589321B2 (ja) | システム、検索方法およびプログラム | |
Lin et al. | Visual-attention-based background modeling for detecting infrequently moving objects | |
JP2011076255A (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
US20140016831A1 (en) | Apparatus for retrieving information about a person and an apparatus for collecting attributes | |
JP2015106300A (ja) | 画像検索装置、画像検索装置の制御方法およびプログラム | |
JP2017174343A (ja) | 入店者属性抽出装置及び入店者属性抽出プログラム | |
JPWO2020136795A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101170676B1 (ko) | 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법 | |
JP2019185205A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Mahmood et al. | Action recognition in poor-quality spectator crowd videos using head distribution-based person segmentation | |
JP2012238111A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
JP7357649B2 (ja) | 識別を容易にするための方法および装置 | |
Wang et al. | Fast filtering-based temporal saliency detection using Minimum Barrier Distance | |
WO2022079841A1 (ja) | グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体 | |
Zheng et al. | Person Detection and Re-identification Across Multiple Images and Videos Obtained via Crowdsourcing | |
Tyan et al. | 18 Video Forensics | |
Jo et al. | Abstraction and specification of local area networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6516832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |