JP7395082B1 - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents

画像検索装置、画像検索方法及び画像検索プログラム Download PDF

Info

Publication number
JP7395082B1
JP7395082B1 JP2023560266A JP2023560266A JP7395082B1 JP 7395082 B1 JP7395082 B1 JP 7395082B1 JP 2023560266 A JP2023560266 A JP 2023560266A JP 2023560266 A JP2023560266 A JP 2023560266A JP 7395082 B1 JP7395082 B1 JP 7395082B1
Authority
JP
Japan
Prior art keywords
image
unit
feature
data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023560266A
Other languages
English (en)
Other versions
JPWO2023157043A1 (ja
Inventor
直大 澁谷
芳美 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2023157043A1 publication Critical patent/JPWO2023157043A1/ja
Application granted granted Critical
Publication of JP7395082B1 publication Critical patent/JP7395082B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

カメラ（１－ｎ）（ｎ＝１，・・・，Ｎ）により撮影された複数の画像のそれぞれを示す画像データと、それぞれの画像を撮影したカメラの種類を示す識別データとを取得するデータ取得部（１１）と、データ取得部（１１）により取得されたそれぞれの識別データが示すカメラの種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する共通種類特定部（１３）とを備えるように、画像検索装置（２）を構成した。また、画像検索装置（２）は、データ取得部（１１）により取得されたそれぞれの画像データが示す画像から、共通種類特定部（１３）により特定された種類についての特徴量を抽出する特徴量抽出部（１４）と、特徴量抽出部（１４）により抽出された複数の特徴量のうち、複数の画像に含まれているいずれか１つの画像であるクエリ画像から抽出された特徴量と、複数の画像に含まれているクエリ画像以外の画像である１つ以上のギャラリ画像のそれぞれから抽出された特徴量とを比較し、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する画像検索部（１６）とを備えている。

Description

本開示は、画像検索装置、画像検索方法及び画像検索プログラムに関するものである。
複数のギャラリ画像の中から、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する画像検索装置がある（例えば、特許文献１を参照）。
当該画像検索装置は、複数のギャラリ画像のそれぞれから抽出された特徴量を保持する特徴テーブルを備えている。また、当該画像検索装置は、クエリ画像から特徴量を抽出する画像特徴抽出部と、特徴テーブルに保持されているそれぞれの特徴量と画像特徴抽出部により抽出された特徴量とを照合することで、複数のギャラリ画像の中から、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する特徴照合部とを備えている。
特開２０１５－２５４７号公報
クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであれば、クエリ画像から抽出可能な特徴量の種類とギャラリ画像から抽出可能な特徴量の種類とが異なることがある。このため、特許文献１に開示されている画像検索装置では、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであれば、画像特徴抽出部が、ギャラリ画像から抽出された特徴量と同じ種類の特徴量をクエリ画像から抽出できるとは限らない。したがって、当該画像検索装置には、画像特徴抽出部が、クエリ画像から同じ種類の特徴量を抽出できなければ、特徴照合部が、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索できないことがあるという課題があった。
本開示は、上記のような課題を解決するためになされたもので、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであっても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる画像検索装置、画像検索方法及び画像検索プログラムを得ることを目的とする。
本開示に係る画像検索装置は、カメラにより撮影された複数の画像のそれぞれを示す画像データと、それぞれの画像を撮影したカメラの種類を示す識別データとを取得するデータ取得部と、データ取得部により取得されたそれぞれの識別データが示すカメラの種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する共通種類特定部とを備えている。また、画像検索装置は、データ取得部により取得されたそれぞれの画像データが示す画像から、共通種類特定部により特定された種類についての特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された複数の特徴量のうち、複数の画像に含まれているいずれか１つの画像であるクエリ画像から抽出された特徴量と、複数の画像に含まれているクエリ画像以外の画像である１つ以上のギャラリ画像のそれぞれから抽出された特徴量とを比較し、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する画像検索部とを備えている。
本開示によれば、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであっても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる。
実施の形態１に係る画像検索装置２を示す構成図である。 実施の形態１に係る画像検索装置２のハードウェアを示すハードウェア構成図である。 画像検索装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 画像検索装置２の処理手順である画像検索方法を示すフローチャートである。 画像から抽出可能な特徴量の種類を示す説明図である。 特徴量の種類に対応する特徴量抽出方法の一例を示す説明図である。 実施の形態２に係る画像検索装置２を示す構成図である。 実施の形態２に係る画像検索装置２のハードウェアを示すハードウェア構成図である。 実施の形態３に係る画像検索装置２を示す構成図である。 実施の形態３に係る画像検索装置２のハードウェアを示すハードウェア構成図である。 実施の形態４に係る画像検索装置２を示す構成図である。 実施の形態４に係る画像検索装置２のハードウェアを示すハードウェア構成図である。
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る画像検索装置２を示す構成図である。
図２は、実施の形態１に係る画像検索装置２のハードウェアを示すハードウェア構成図である。
図１において、カメラ１－１～１－Ｎのそれぞれは、互いに異なる場所に設置されている。Ｎは、２以上の整数である。
カメラ１－ｎ（ｎ＝１，・・・，Ｎ）は、設置場所に現れた人物を被写体として撮影し、被写体が映っている画像を示す画像データを画像検索装置２に出力する。
また、カメラ１－ｎは、カメラの種類を示す識別データを画像検索装置２に出力する。
ここでは、カメラ１－ｎが、設置場所に現れた人物を被写体として撮影している。しかし、これは一例に過ぎず、カメラ１－ｎが、例えば、設置場所に現れたロボット、又は、設置場所に現れた動物を被写体として撮影するようにしてもよい。
画像検索装置２は、データ取得部１１、データ保持部１２、共通種類特定部１３、特徴量抽出部１４、クエリ画像選択部１５及び画像検索部１６を備えている。
画像検索装置２は、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する装置である。
マンマシンインタフェース部３は、タッチパネル等のマンマシンインタフェースを備えている。
マンマシンインタフェース部３は、クエリ画像の選択を受け付け、選択したクエリ画像を示す選択信号を画像検索装置２に出力する。
また、マンマシンインタフェース部３は、画像検索装置２により検索されたギャラリ画像を表示する。
データ取得部１１は、例えば、図２に示すデータ取得回路２１によって実現される。
データ取得部１１は、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）により撮影された画像を示す画像データと、カメラ１－ｎの種類を示す識別データとを取得する。
データ取得部１１は、画像データ及び識別データのそれぞれをデータ保持部１２に出力する。
データ保持部１２は、例えば、図２に示すデータ保持回路２２によって実現される。
データ保持部１２は、データ取得部１１から出力された画像データ及び識別データのそれぞれを保持する。
また、データ保持部１２は、特徴量抽出部１４により抽出された特徴量を保持する。
共通種類特定部１３は、例えば、図２に示す共通種類特定回路２３によって実現される。
共通種類特定部１３は、データ保持部１２から、データ取得部１１により取得されたそれぞれの識別データを取得する。
共通種類特定部１３は、それぞれの識別データが示すカメラ１－ｎ（ｎ＝１，・・・，Ｎ）の種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する。
共通種類特定部１３は、共通の種類の特定結果を特徴量抽出部１４に出力する。
特徴量抽出部１４は、例えば、図２に示す特徴量抽出回路２４によって実現される。
特徴量抽出部１４は、データ保持部１２から、データ取得部１１により取得されたそれぞれの画像データを取得する。
特徴量抽出部１４は、それぞれの画像データが示す画像から、共通種類特定部１３により特定された種類についての特徴量を抽出する。
特徴量抽出部１４は、それぞれの特徴量をデータ保持部１２に出力する。
クエリ画像選択部１５は、例えば、図２に示すクエリ画像選択回路２５によって実現される。
クエリ画像選択部１５は、データ保持部１２に保持されているそれぞれの画像データが示す画像をマンマシンインタフェース部３のタッチパネルに表示させる。
クエリ画像選択部１５は、マンマシンインタフェース部３により選択が受け付けられたクエリ画像を示す選択信号を取得する。
クエリ画像選択部１５は、クエリ画像を示す選択信号を画像検索部１６に出力する。
画像検索部１６は、例えば、図２に示す画像検索回路２６によって実現される。
画像検索部１６は、データ保持部１２に保持されている複数の特徴量の中から、クエリ画像から抽出された特徴量として、クエリ画像選択部１５から出力された選択信号が示すクエリ画像から抽出された特徴量を取得する。
画像検索部１６は、選択信号が示すクエリ画像から抽出された特徴量と、データ保持部１２に保持されているそれぞれのギャラリ画像の特徴量とを比較する。ギャラリ画像は、データ保持部１２に保持されている複数の画像のうち、クエリ画像以外の画像である。
画像検索部１６は、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する。
画像検索部１６は、例えば、検索したギャラリ画像をマンマシンインタフェース部３に出力する。
図１では、画像検索装置２の構成要素であるデータ取得部１１、データ保持部１２、共通種類特定部１３、特徴量抽出部１４、クエリ画像選択部１５及び画像検索部１６のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像検索装置２が、データ取得回路２１、データ保持回路２２、共通種類特定回路２３、特徴量抽出回路２４、クエリ画像選択回路２５及び画像検索回路２６によって実現されるものを想定している。
データ保持回路２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）が該当する。
また、データ取得回路２１、共通種類特定回路２３、特徴量抽出回路２４、クエリ画像選択回路２５及び画像検索回路２６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
画像検索装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像検索装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。
図３は、画像検索装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
画像検索装置２が、ソフトウェア又はファームウェア等によって実現される場合、データ保持部１２がコンピュータのメモリ４１上に構成される。データ取得部１１、共通種類特定部１３、特徴量抽出部１４、クエリ画像選択部１５及び画像検索部１６におけるそれぞれの処理手順をコンピュータに実行させるための画像検索プログラムがメモリ４１に格納される。そして、コンピュータのプロセッサ４２がメモリ４１に格納されている画像検索プログラムを実行する。
また、図２では、画像検索装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、画像検索装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像検索装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図１に示す画像検索装置２の動作について説明する。
図４は、画像検索装置２の処理手順である画像検索方法を示すフローチャートである。画像検索装置２の処理手順には、データ取得処理手順と、共通種類特定処理手順と、特徴量抽出処理手順と、画像検索処理手順とが含まれている。
人物がカメラ１－ｎ（ｎ＝１，・・・，Ｎ）の設置場所に現れると、カメラ１－ｎは、当該人物を被写体として撮影する。
カメラ１－ｎは、被写体が映っている画像を示す画像データを画像検索装置２に出力する。
Ｎ個のカメラ１－１～１－Ｎは、互いに異なる種類のカメラであってもよいし、同一種類のカメラであってもよい。
カメラ１－ｎとしては、例えば、可視カメラ、デプスカメラ、赤外カメラ、又は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）がある。
また、カメラ１－ｎは、カメラの種類を示す識別データを画像検索装置２に出力する。
識別データは、カメラ１－ｎが例えば可視カメラであれば、可視カメラであることを示し、カメラ１－ｎが例えばデプスカメラであれば、デプスカメラであることを示すデータである。また、識別データは、カメラ１－ｎが例えば赤外カメラであれば、赤外カメラであることを示し、カメラ１－ｎが例えばＬｉＤＡＲであれば、ＬｉＤＡＲであることを示すデータである。
データ取得部１１は、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）から、画像データ及び識別データのそれぞれが出力されたとき、画像データ及び識別データのそれぞれを取得する（図４のステップＳＴ１）。
データ取得部１１は、画像データ及び識別データのそれぞれをデータ保持部１２に出力する。
データ保持部１２は、データ取得部１１から出力された画像データ及び識別データのそれぞれを保持する。
共通種類特定部１３は、データ保持部１２から、データ取得部１１により取得されたそれぞれの識別データを取得する。
共通種類特定部１３は、それぞれの識別データが示すカメラ１－ｎ（ｎ＝１，・・・，Ｎ）の種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する（図４のステップＳＴ２）。
図５は、画像から抽出可能な特徴量の種類を示す説明図である。
図５の例では、可視カメラにより撮影された画像及びデプスカメラにより撮影された画像のそれぞれから抽出可能な特徴量の種類が、色、シルエット、又は、テクスチャであることを示している。
また、赤外カメラにより撮影された画像から抽出可能な特徴量の種類が、シルエット、テクスチャ、又は、温度であることを示している。
ＬｉＤＡＲにより撮影された画像から抽出可能な特徴量の種類が、シルエット、又は、テクスチャであることを示している。
したがって、例えば、Ｎ＝２であるとき、カメラ１－１が可視カメラであって、カメラ１－２がデプスカメラであれば、共通種類特定部１３は、それぞれのカメラにより撮影された画像から抽出可能な特徴量の種類において共通している種類が、“色”、“シルエット”、又は、“テクスチャ”であると特定する。
例えば、Ｎ＝３であるとき、カメラ１－１が可視カメラであって、カメラ１－２がデプスカメラ、カメラ１－２が赤外カメラであれば、共通種類特定部１３は、それぞれのカメラにより撮影された画像から抽出可能な特徴量の種類において共通している種類が、“シルエット”、又は、“テクスチャ”であると特定する。
共通種類特定部１３は、共通の種類の特定結果を特徴量抽出部１４に出力する。
特徴量抽出部１４は、データ保持部１２から、データ取得部１１により取得された全ての画像データを取得する。
特徴量抽出部１４は、共通種類特定部１３から、共通の種類の特定結果を取得する。
特徴量抽出部１４は、複数の特徴量抽出方法の中から、特定結果が示す種類についての特徴量を抽出することが可能な特徴量抽出方法を選択する（図４のステップＳＴ３）。
図６は、特徴量の種類に対応する特徴量抽出方法の一例を示す説明図である。
図６の例では、共通の種類が“色”であれば、特徴量抽出方法として、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）（１）を用いることができる。
共通の種類が、“シルエット”又は“テクスチャ”であれば、特徴量抽出方法として、ＣＮＮ（１）、ＣＮＮ（２）、又は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用いることができる。
共通の種類が“温度”であれば、特徴量抽出方法として、ＣＮＮ（２）を用いることができる。
例えば、共通の種類が“色”であれば、ＣＮＮ（１）は、学習時において、入力データとして、カラー画像を示す画像データが与えられ、かつ、学習データとして、当該カラー画像から抽出された“色”についての特徴量が与えられれば、“色”についての特徴量を学習する学習モデルである。ＣＮＮ（１）は、推論時において、入力データとして、カラー画像を示す画像データが与えられれば、当該画像データに対応する“色”についての特徴量を出力する。
例えば、共通の種類が“温度”であれば、ＣＮＮ（２）は、学習時において、入力データとして、グレースケールの赤外画像を示す画像データが与えられ、かつ、学習データとして、当該赤外画像から抽出された特徴量が与えられれば、“温度”についての特徴量を学習する学習モデルである。ＣＮＮ（２）は、推論時において、入力データとして、赤外画像を示す画像データが与えられれば、当該画像データに対応する“温度”についての特徴量を出力する。
特徴量抽出部１４は、例えば、共通の種類が“色”であれば、ＣＮＮ（１）、ＣＮＮ（２）及びＨＯＧの中から、ＣＮＮ（１）を選択する。
特徴量抽出部１４は、例えば、共通の種類が、“シルエット”又は“テクスチャ”であれば、ＣＮＮ（１）、ＣＮＮ（２）及びＨＯＧの中から、ＣＮＮ（１）、ＣＮＮ（２）、又は、ＨＯＧのいずれかを選択する。
特徴量抽出部１４は、例えば、共通の種類が“温度”であれば、ＣＮＮ（１）、ＣＮＮ（２）及びＨＯＧの中から、ＣＮＮ（２）を選択する。
特徴量抽出部１４は、選択した特徴量抽出方法を用いて、それぞれの画像データが示す画像から、共通種類特定部１３により特定された種類についての特徴量を抽出する（図４のステップＳＴ４）。
特徴量抽出部１４は、それぞれの特徴量をデータ保持部１２に出力する。
データ保持部１２は、特徴量抽出部１４から出力されたそれぞれの特徴量を保持する。
ユーザがクエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像の検索を希望する場合、ユーザは、マンマシンインタフェース部３を操作して、画像検索処理の実行を要求する。
マンマシンインタフェース部３は、画像検索処理の実行要求を受け付けて、画像検索処理の実行要求をクエリ画像選択部１５に出力する。
クエリ画像選択部１５は、マンマシンインタフェース部３から画像検索処理の実行要求が出力されたとき、データ保持部１２に保持されている全ての画像データをマンマシンインタフェース部３に出力する。
マンマシンインタフェース部３は、クエリ画像選択部１５から、全ての画像データを取得し、それぞれの画像データが示す画像をディスプレイに表示させる。
ユーザは、マンマシンインタフェース部３を操作して、ディスプレイに表示されている全ての画像の中から、クエリ画像を選択する。
マンマシンインタフェース部３は、クエリ画像の選択を受け付け、選択したクエリ画像を示す選択信号をクエリ画像選択部１５に出力する。
クエリ画像選択部１５は、クエリ画像を示す選択信号を画像検索部１６に出力する。
画像検索部１６は、クエリ画像選択部１５から、選択信号を取得する。
画像検索部１６は、データ保持部１２に保持されている複数の特徴量の中から、選択信号が示すクエリ画像から抽出された特徴量を取得する。
また、画像検索部１６は、データ保持部１２に保持されている複数の特徴量の中から、選択信号が示すクエリ画像以外の画像であるそれぞれのギャラリ画像から抽出された特徴量を取得する。
画像検索部１６は、クエリ画像の特徴量と、それぞれのギャラリ画像の特徴量とを比較する。
画像検索部１６は、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する（図４のステップＳＴ５）。
以下、画像検索部１６によるギャラリ画像の検索処理を具体的に説明する。
ここでは、説明の便宜上、データ保持部１２に保持されているギャラリ画像の数がＭ（Ｍは、１以上の整数）個であり、ギャラリ画像Ｇｍ（ｍ＝１，・・・，Ｍ）から抽出された特徴量がＦｇｍであるとする。また、クエリ画像Ｑから抽出された特徴量がＦｑであるとする。
画像検索部１６は、クエリ画像Ｑから抽出された特徴量Ｆｑと、ギャラリ画像Ｇｍから抽出された特徴量Ｆｇｍとの比較結果として、クエリ画像Ｑから抽出された特徴量Ｆｑとギャラリ画像Ｇｍから抽出された特徴量Ｆｇｍとの類似度Ｓｑ，ｇｍを算出する。
類似度Ｓｑ，ｇｍの算出方法としては、例えば、クエリ画像Ｑから抽出された特徴量Ｆｑとギャラリ画像Ｇｍから抽出された特徴量Ｆｇｍとのユークリッド距離を算出する方法のほか、クエリ画像Ｑから抽出された特徴量Ｆｑとギャラリ画像Ｇｍから抽出された特徴量Ｆｇｍとのコサイン類似度を算出する方法がある。
画像検索部１６は、クエリ画像Ｑに映っている被写体と同じ被写体が映っているギャラリ画像として、Ｍ個のギャラリ画像Ｇ１～ＧＭの中で、特徴量Ｆｑとの類似度Ｓｑ，ｇｍが閾値Ｔｈよりも大きいギャラリ画像Ｇｊを検索する。閾値Ｔｈは、画像検索部１６の内部メモリに格納されていてもよいし、画像検索装置２の外部から与えられるものであってもよい。ｊ＝１，・・・，Ｊであり、Ｊは、０以上、Ｍ以下の整数である。
画像検索部１６は、クエリ画像Ｑに映っている被写体と同じ被写体が映っているギャラリ画像を示す画像データとして、特徴量Ｆｑとの類似度Ｓｑ，ｇｍが閾値Ｔｈよりも大きいギャラリ画像Ｇｊを示す画像データを図示せぬ監視装置等に出力する。
また、画像検索部１６は、特徴量Ｆｑとの類似度Ｓｑ，ｇｍが閾値Ｔｈよりも大きいギャラリ画像Ｇｊを示す画像データをマンマシンインタフェース部３に出力する。
マンマシンインタフェース部３は、ギャラリ画像Ｇｊをディスプレイに表示させる。ギャラリ画像Ｇｊがディスプレイに表示されることで、被写体である人物の追跡が可能になる。
以上の実施の形態１では、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）により撮影された複数の画像のそれぞれを示す画像データと、それぞれの画像を撮影したカメラの種類を示す識別データとを取得するデータ取得部１１と、データ取得部１１により取得されたそれぞれの識別データが示すカメラの種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する共通種類特定部１３とを備えるように、画像検索装置２を構成した。また、画像検索装置２は、データ取得部１１により取得されたそれぞれの画像データが示す画像から、共通種類特定部１３により特定された種類についての特徴量を抽出する特徴量抽出部１４と、特徴量抽出部１４により抽出された複数の特徴量のうち、複数の画像に含まれているいずれか１つの画像であるクエリ画像から抽出された特徴量と、複数の画像に含まれているクエリ画像以外の画像である１つ以上のギャラリ画像のそれぞれから抽出された特徴量とを比較し、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する画像検索部１６とを備えている。したがって、画像検索装置２は、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであっても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる。
図１に示す画像検索装置２では、データ取得部１１が、カメラ１－ｎから識別データを取得している。しかし、これは一例に過ぎず、データ取得部１１が、カメラ１－ｎから取得した画像データに基づいて、カメラの種類を識別するようにしてもよい。
データ取得部１１は、例えば、画像データの拡張子、又は、画像データのデータ配列に基づいて、カメラの種類を識別することができる。この場合、データ取得部１１は、種類の識別結果を示すデータを識別データとしてデータ保持部１２に出力する。
可視カメラにより撮影された画像を示す画像データの拡張子としては、例えば、“．ｃｒｗ”、又は、“．ａｒｗ”がある。デプスカメラにより撮影された画像を示す画像データの拡張子としては、例えば、“．ｈｅｉｆ”、又は、“．ｈｅｉｃ”がある。赤外カメラにより撮影された画像を示す画像データの拡張子としては、例えば、“．ｉｒｉ”、又は、“．ｓｉｘ”がある。ＬｉＤＡＲにより撮影された画像を示す画像データの拡張子としては、例えば、“．ｏｂｊ”、又は、“．ｄｘｆ”がある。
実施の形態２．
実施の形態２では、特徴量抽出部１４により抽出されたそれぞれの特徴量を圧縮する特徴量圧縮部１７を備えている画像検索装置２を説明する。
図７は、実施の形態２に係る画像検索装置２を示す構成図である。図７において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図８は、実施の形態２に係る画像検索装置２のハードウェアを示すハードウェア構成図である。図８において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図７に示す画像検索装置２は、データ取得部１１、データ保持部１２、共通種類特定部１３、特徴量抽出部１４、特徴量圧縮部１７、クエリ画像選択部１５及び画像検索部１８を備えている。
特徴量圧縮部１７は、例えば、図８に示す特徴量圧縮回路２７によって実現される。
特徴量圧縮部１７は、特徴量抽出部１４により抽出されたそれぞれの特徴量を圧縮し、それぞれの圧縮後の特徴量をデータ保持部１２に出力する。
データ保持部１２は、特徴量抽出部１４により抽出された特徴量を保持する代わりに、特徴量圧縮部１７による圧縮後の特徴量を保持する。
画像検索部１８は、例えば、図８に示す画像検索回路２８によって実現される。
画像検索部１８は、データ保持部１２に保持されている複数の圧縮後の特徴量の中から、クエリ画像選択部１５から出力された選択信号が示すクエリ画像に係る圧縮後の特徴量を取得する。
画像検索部１８は、選択信号が示すクエリ画像に係る圧縮後の特徴量と、データ保持部１２に保持されているそれぞれのギャラリ画像に係る圧縮後の特徴量とを比較する。
画像検索部１８は、圧縮後の特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する。
画像検索部１８は、例えば、検索したギャラリ画像をマンマシンインタフェース部３に出力する。
図７では、画像検索装置２の構成要素であるデータ取得部１１、データ保持部１２、共通種類特定部１３、特徴量抽出部１４、特徴量圧縮部１７、クエリ画像選択部１５及び画像検索部１８のそれぞれが、図８に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像検索装置２が、データ取得回路２１、データ保持回路２２、共通種類特定回路２３、特徴量抽出回路２４、特徴量圧縮回路２７、クエリ画像選択回路２５及び画像検索回路２８によって実現されるものを想定している。
データ保持回路２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤが該当する。
また、データ取得回路２１、共通種類特定回路２３、特徴量抽出回路２４、特徴量圧縮回路２７、クエリ画像選択回路２５及び画像検索回路２８のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
画像検索装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像検索装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
画像検索装置２が、ソフトウェア又はファームウェア等によって実現される場合、データ保持部１２が図３に示すメモリ４１上に構成される。データ取得部１１、共通種類特定部１３、特徴量抽出部１４、特徴量圧縮部１７、クエリ画像選択部１５及び画像検索部１８におけるそれぞれの処理手順をコンピュータに実行させるための画像検索プログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されている画像検索プログラムを実行する。
また、図８では、画像検索装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、画像検索装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像検索装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図７に示す画像検索装置２の動作について説明する。特徴量圧縮部１７及び画像検索部１８以外は、図１に示す画像検索装置２と同様である。このため、ここでは、特徴量圧縮部１７及び画像検索部１８の動作のみを説明する。
特徴量圧縮部１７は、特徴量抽出部１４により抽出されたそれぞれの特徴量を取得する。
特徴量圧縮部１７は、スパースコーディング等の圧縮方法によって、それぞれの特徴量を圧縮する。
特徴量圧縮部１７は、それぞれの圧縮後の特徴量をデータ保持部１２に出力する。
データ保持部１２は、特徴量圧縮部１７によるそれぞれの圧縮後の特徴量を保持する。
画像検索部１８は、マンマシンインタフェース部３から出力された選択信号を取得する。
画像検索部１８は、データ保持部１２に保持されている複数の圧縮後の特徴量の中から、選択信号が示すクエリ画像に係る圧縮後の特徴量を取得する。
また、画像検索部１８は、データ保持部１２に保持されている複数の圧縮後の特徴量の中から、選択信号が示すクエリ画像以外の画像であるそれぞれのギャラリ画像に係る圧縮後の特徴量を取得する。
画像検索部１８は、クエリ画像に係る圧縮後の特徴量と、それぞれのギャラリ画像に係る圧縮後の特徴量とを比較する。
画像検索部１８は、圧縮後の特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する。
以下、画像検索部１８によるギャラリ画像の検索処理を具体的に説明する。
ここでは、説明の便宜上、データ保持部１２に保持されているギャラリ画像の数がＭ（Ｍは、１以上の整数）個であり、ギャラリ画像Ｇｍ（ｍ＝１，・・・，Ｍ）に係る圧縮後の特徴量がＣＦｇｍであるとする。また、クエリ画像Ｑに係る圧縮後の特徴量がＣＦｑであるとする。
画像検索部１８は、クエリ画像Ｑに係る圧縮後の特徴量ＣＦｑと、ギャラリ画像Ｇｍに係る圧縮後の特徴量ＣＦｇｍとの比較結果として、クエリ画像Ｑに係る圧縮後の特徴量ＣＦｑとギャラリ画像Ｇｍに係る圧縮後の特徴量ＣＦｇｍとの類似度ＣＳｑ，ｇｍを算出する。
類似度ＣＳｑ，ｇｍの算出方法としては、例えば、クエリ画像Ｑに係る圧縮後の特徴量ＣＦｑとギャラリ画像Ｇｍに係る圧縮後の特徴量ＣＦｇｍとのユークリッド距離を算出する方法のほか、クエリ画像Ｑに係る圧縮後の特徴量ＣＦｑとギャラリ画像Ｇｍに係る圧縮後の特徴量ＣＦｇｍとのコサイン類似度を算出する方法がある。
画像検索部１８は、クエリ画像Ｑに映っている被写体と同じ被写体が映っているギャラリ画像として、Ｍ個のギャラリ画像Ｇ１～ＧＭの中で、特徴量ＣＦｑとの類似度ＣＳｑ，ｇｍが閾値Ｔｈｃよりも大きいギャラリ画像Ｇｊを検索する。閾値Ｔｈｃは、画像検索部１８の内部メモリに格納されていてもよいし、画像検索装置２の外部から与えられるものであってもよい。ｊ＝１，・・・，Ｊであり、Ｊは、０以上、Ｍ以下の整数である。
画像検索部１８は、クエリ画像Ｑに映っている被写体と同じ被写体が映っているギャラリ画像を示す画像データとして、特徴量ＣＦｑとの類似度ＣＳｑ，ｇｍが閾値Ｔｈｃよりも大きいギャラリ画像Ｇｊを示す画像データを図示せぬ監視装置等に出力する。
また、画像検索部１８は、特徴量ＣＦｑとの類似度ＣＳｑ，ｇｍが閾値Ｔｈｃよりも大きいギャラリ画像Ｇｊを示す画像データをマンマシンインタフェース部３に出力する。
マンマシンインタフェース部３は、ギャラリ画像Ｇｊをディスプレイに表示させる。
以上の実施の形態２では、特徴量抽出部１４により抽出されたそれぞれの特徴量を圧縮する特徴量圧縮部１７を備え、画像検索部１８が、特徴量圧縮部１７による複数の圧縮後の特徴量のうち、クエリ画像に係る圧縮後の特徴量と、それぞれのギャラリ画像に係る圧縮後の特徴量とを比較し、圧縮後の特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索するように、図７に示す画像検索装置２を構成した。したがって、図７に示す画像検索装置２は、図１に示す画像検索装置２と同様に、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであっても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる。また、画像検索部１８における比較処理の演算量が、図１に示す画像検索部１６における比較処理の演算量よりも削減される。
実施の形態３．
実施の形態３では、認証装置４から取得した認証情報とカメラ１－ｎにより撮影された画像との紐づけを行うデータ取得部１９を備える画像検索装置２について説明する。
図９は、実施の形態３に係る画像検索装置２を示す構成図である。図９において、図１及び図７と同一符号は同一又は相当部分を示すので説明を省略する。
図１０は、実施の形態３に係る画像検索装置２のハードウェアを示すハードウェア構成図である。図１０において、図２及び図８と同一符号は同一又は相当部分を示すので説明を省略する。
認証装置４は、カメラ１－ｎが設置されている場所に現れた人物によって、例えば、社員証のＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）カードが近づけられたとき、ＩＤカードから、当該人物の認証情報を取得する。当該人物は、カメラ１－ｎにより撮影された画像に映っている被写体である。
図９に示す画像検索装置２では、認証装置４が、ＩＤカードから、人物の認証情報を取得している。しかし、これは一例に過ぎず、例えば、認証装置４が、当該人物が所持している携帯端末から、人物の認証情報を取得するようにしてもよい。
認証装置４は、認証情報を画像検索装置２に出力する。
図９に示す画像検索装置２は、データ取得部１９、データ保持部１２、共通種類特定部１３、特徴量抽出部１４、クエリ画像選択部１５及び画像検索部２０を備えている。
図９に示す画像検索装置２では、データ取得部１９及び画像検索部２０のそれぞれが図１に示す画像検索装置２に適用されている。しかし、これは一例に過ぎず、データ取得部１９及び画像検索部２０のそれぞれが図７に示す画像検索装置２に適用されているものであってもよい。
データ取得部１９は、例えば、図１０に示すデータ取得回路２９によって実現される。
データ取得部１９は、図１に示すデータ取得部１１と同様に、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）により撮影された画像を示す画像データと、カメラの種類を示す識別データとを取得する。
データ取得部１９は、認証装置４から認証情報を取得し、認証情報とカメラ１－ｎにより撮影された画像との紐づけを行う。
データ取得部１９は、画像データ及び識別データのそれぞれをデータ保持部１２に出力する。
画像検索部２０は、例えば、図１０に示す画像検索回路３０によって実現される。
画像検索部２０は、図１に示す画像検索部１６と同様に、データ保持部１２に保持されている複数の特徴量の中から、クエリ画像から抽出された特徴量として、クエリ画像選択部１５から出力された選択信号が示すクエリ画像から抽出された特徴量を取得する。
画像検索部２０は、図１に示す画像検索部１６と同様に、選択信号が示すクエリ画像から抽出された特徴量と、データ保持部１２に保持されているそれぞれのギャラリ画像の特徴量とを比較する。
画像検索部２０は、図１に示す画像検索部１６と同様に、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する。
画像検索部２０は、図１に示す画像検索部１６と異なり、クエリ画像に認証情報が紐づけられていれば、クエリ画像に紐づけられている認証情報と同じ認証情報が紐づけられているギャラリ画像を検索する。
画像検索部２０は、例えば、検索したギャラリ画像をマンマシンインタフェース部３に出力する。
図９では、画像検索装置２の構成要素であるデータ取得部１９、データ保持部１２、共通種類特定部１３、特徴量抽出部１４、クエリ画像選択部１５及び画像検索部２０のそれぞれが、図１０に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像検索装置２が、データ取得回路２９、データ保持回路２２、共通種類特定回路２３、特徴量抽出回路２４、クエリ画像選択回路２５及び画像検索回路３０によって実現されるものを想定している。
データ保持回路２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤが該当する。
また、データ取得回路２９、共通種類特定回路２３、特徴量抽出回路２４、クエリ画像選択回路２５及び画像検索回路３０のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
画像検索装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像検索装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
画像検索装置２が、ソフトウェア又はファームウェア等によって実現される場合、データ保持部１２がコンピュータのメモリ４１上に構成される。データ取得部１９、共通種類特定部１３、特徴量抽出部１４、クエリ画像選択部１５及び画像検索部２０におけるそれぞれの処理手順をコンピュータに実行させるための画像検索プログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されている画像検索プログラムを実行する。
また、図１０では、画像検索装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、画像検索装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像検索装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図９に示す画像検索装置２の動作について説明する。データ取得部１９及び画像検索部２０以外は、図１に示す画像検索装置２と同様である。このため、ここでは、主に、データ取得部１９及び画像検索部２０の動作のみを説明する。
Ｎ個のカメラ１－１～１－Ｎのそれぞれが設置されている場所には、認証装置４が設置されていることがある。
例えば、会社内にＮ個のカメラ１－１～１－Ｎが設置されているとき、カメラ１－１が設置されている会社の入口に認証装置４が設置され、カメラ１－Ｎが設置されている会社の出口に認証装置４が設置されていることがある。カメラ１－２～１－（Ｎ－１）のそれぞれが設置されている場所には、認証装置４が設置されていないものとする。
このような場合、会社の入口に設置されている認証装置４は、会社の入口に現れた人物によって、ＩＤカードが近づけられると、ＩＤカードから、当該人物の認証情報ＩＤｋを取得し、認証情報ＩＤｋを画像検索装置２に出力する。ｋは、１以上の整数である。認証情報ＩＤｋは、人物毎に異なるユニークな番号等である。
会社の出口に設置されている認証装置４は、会社の出口に現れた人物によって、ＩＤカードが近づけられると、ＩＤカードから、当該人物の認証情報ＩＤｋを取得し、認証情報ＩＤｋを画像検索装置２に出力する。
データ取得部１９は、図１に示すデータ取得部１１と同様に、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）により撮影された画像を示す画像データと、カメラの種類を示す識別データとを取得する。
カメラ１－１が設置されている会社の入口に認証装置４が設置されていれば、データ取得部１９は、会社の入口に設置されている認証装置４から認証情報ＩＤｋを取得し、認証情報ＩＤｋとカメラ１－１により撮影された画像との紐づけを行う。
即ち、データ取得部１９は、カメラ１－１により撮影された画像を示す画像データに認証情報ＩＤｋを付加する。
カメラ１－Ｎが設置されている会社の出口に認証装置４が設置されていれば、データ取得部１９は、会社の出口に設置されている認証装置４から認証情報ＩＤｋを取得し、認証情報ＩＤｋとカメラ１－Ｎにより撮影された画像との紐づけを行う。
即ち、データ取得部１９は、カメラ１－Ｎにより撮影された画像を示す画像データに認証情報ＩＤｋを付加する。
データ取得部１９は、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）により撮影された画像を示す画像データと、カメラの種類を示す識別データとをデータ保持部１２に出力する。
ここでは、カメラ１－１により撮影された画像を示す画像データと、カメラ１－Ｎにより撮影された画像を示す画像データとには、認証情報ＩＤｋが付加されており、カメラ１－ｎ（ｎ＝２，・・・，Ｎ－１）により撮影された画像を示す画像データには、認証情報ＩＤｋが付加されていない。
データ保持部１２は、データ取得部１１から出力された画像データ及び識別データのそれぞれを保持する。
画像検索部２０は、図１に示す画像検索部１６と同様に、クエリ画像選択部１５から、クエリ画像を示す選択信号を取得する。
画像検索部２０は、図１に示す画像検索部１６と同様に、データ保持部１２に保持されている複数の特徴量の中から、選択信号が示すクエリ画像から抽出された特徴量を取得する。
また、画像検索部２０は、図１に示す画像検索部１６と同様に、データ保持部１２に保持されている複数の特徴量の中から、それぞれのギャラリ画像から抽出された特徴量を取得する。
画像検索部２０は、図１に示す画像検索部１６と同様に、クエリ画像の特徴量と、それぞれのギャラリ画像の特徴量とを比較する。
画像検索部２０は、図１に示す画像検索部１６と同様に、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する。
例えば、クエリ画像がカメラ１－１により撮影された画像であるとき、カメラ１－２，１－Ｎにより撮影されたギャラリ画像に映っている被写体が、クエリ画像に映っている被写体と同じであることがある。このような場合に、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像として、カメラ１－２により撮影されたギャラリ画像のみが検索されることがある。例えば、カメラ１－１，１－２により撮影されたときには、被写体がコートを着ていたが、カメラ１－Ｎにより撮影されたときには、被写体がコートを着ていないような場合には、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像として、カメラ１－２により撮影されたギャラリ画像のみが検索されることがある。
画像検索部２０は、クエリ画像を示す画像データに認証情報ＩＤｋが付加されていれば、データ保持部１２に保持されている１つ以上のギャラリ画像が示す画像データの中に、当該認証情報ＩＤｋと同じ認証情報が付加されている画像データを検索する。
カメラ１－１が設置されている会社の入口に設置されている認証装置４と、カメラ１－Ｎが設置されている会社の出口に設置されている認証装置４とによって、同じ人物に係る認証情報ＩＤｋが取得されていれば、カメラ１－２により撮影されたギャラリ画像のほかに、カメラ１－Ｎにより撮影されたギャラリ画像が検索される。
画像検索部２０は、例えば、検索したギャラリ画像をマンマシンインタフェース部３に出力する。
マンマシンインタフェース部３は、検索されたギャラリ画像をディスプレイに表示させる。検索されたギャラリ画像がディスプレイに表示されることで、被写体である人物の追跡が可能になる。
以上の実施の形態３では、データ取得部１９が、カメラ１－ｎが設置されている場所に認証装置４が設置されていれば、認証装置４から、カメラ１－ｎにより撮影された画像に映っている被写体の認証情報を取得し、認証情報とカメラ１－ｎにより撮影された画像との紐づけを行うように、図９に示す画像検索装置２を構成した。また、図９に示す画像検索装置２の画像検索部２０は、特徴量の比較結果に基づいて、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索するほかに、クエリ画像に認証情報が紐づけられていれば、クエリ画像に紐づけられている認証情報と同じ認証情報が紐づけられているギャラリ画像を検索するように構成した。したがって、図９に示す画像検索装置２は、図１に示す画像検索装置２と同様に、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであっても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる。また、カメラ１－１～１－Ｎのそれぞれによって被写体が撮影されるとき、被写体の服装等が変化しても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる。
実施の形態４．
実施の形態４では、データ取得部１１’が、それぞれの画像データが示す画像から、被写体が映っている領域を抽出し、抽出した領域の画像データを出力する画像検索装置２について説明する。
図１１は、実施の形態４に係る画像検索装置２を示す構成図である。図１１において、図１、図７及び図９と同一符号は同一又は相当部分を示すので説明を省略する。
図１２は、実施の形態４に係る画像検索装置２のハードウェアを示すハードウェア構成図である。図１２において、図２、図８及び図１０と同一符号は同一又は相当部分を示すので説明を省略する。
画像検索装置２は、データ取得部１１’、データ保持部１２、共通種類特定部１３、特徴量抽出部１４’、クエリ画像選択部１５及び画像検索部１６を備えている。
データ取得部１１’は、例えば、図１２に示すデータ取得回路２１’によって実現される。
データ取得部１１’は、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）により撮影された画像を示す画像データと、カメラの種類を示す識別データとを取得する。
データ取得部１１’は、それぞれの画像データが示す画像から、被写体が映っている領域を抽出する。
データ取得部１１’は、抽出した領域の画像データ及び識別データのそれぞれをデータ保持部１２に出力する。
特徴量抽出部１４’は、例えば、図１２に示す特徴量抽出回路２４’によって実現される。
特徴量抽出部１４’は、データ保持部１２から、データ取得部１１’により取得されたそれぞれの画像データを取得する。
特徴量抽出部１４’は、それぞれの画像データが示す領域の画像から、共通種類特定部１３により特定された種類についての特徴量を抽出する。
特徴量抽出部１４’は、それぞれの特徴量をデータ保持部１２に出力する。
図１１に示す画像検索装置２では、データ取得部１１’及び特徴量抽出部１４’のそれぞれが図１に示す画像検索装置２に適用されている。しかし、これは一例に過ぎず、データ取得部１１’及び特徴量抽出部１４’のそれぞれが、図７に示す画像検索装置２、又は、図９に示す画像検索装置２に適用されているものであってもよい。
図１１では、画像検索装置２の構成要素であるデータ取得部１１’、データ保持部１２、共通種類特定部１３、特徴量抽出部１４’、クエリ画像選択部１５及び画像検索部１６のそれぞれが、図１２に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像検索装置２が、データ取得回路２１’、データ保持回路２２、共通種類特定回路２３、特徴量抽出回路２４’、クエリ画像選択回路２５及び画像検索回路２６によって実現されるものを想定している。
データ取得回路２１’、共通種類特定回路２３、特徴量抽出回路２４’、クエリ画像選択回路２５及び画像検索回路２６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
画像検索装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像検索装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
画像検索装置２が、ソフトウェア又はファームウェア等によって実現される場合、データ保持部１２がコンピュータのメモリ４１上に構成される。データ取得部１１’、共通種類特定部１３、特徴量抽出部１４’、クエリ画像選択部１５及び画像検索部１６におけるそれぞれの処理手順をコンピュータに実行させるための画像検索プログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されている画像検索プログラムを実行する。
また、図１２では、画像検索装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、画像検索装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像検索装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図１１に示す画像検索装置２の動作について説明する。データ取得部１１’及び特徴量抽出部１４’以外は、図１に示す画像検索装置２と同様である。このため、ここでは、データ取得部１１’及び特徴量抽出部１４’の動作のみを説明する。
データ取得部１１’は、カメラ１－ｎ（ｎ＝１，・・・，Ｎ）から、画像データ及び識別データのそれぞれが出力されると、画像データ及び識別データのそれぞれを取得する。
データ取得部１１’は、それぞれの画像データが示す画像から、被写体が映っている領域を抽出する。
被写体が映っている領域の形状は、例えば、矩形である。矩形領域の抽出方法としては、例えば、背景差分のような前景抽出した領域から最大内包矩形を探索する方法のほか、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）のような事前学習済みのモデルを利用して、矩形領域を抽出する方法がある。
データ取得部１１’が、被写体が映っている領域を抽出することで、特徴量抽出部１４’により抽出される特徴量が、概ね被写体の特徴量となる。
データ取得部１１’は、抽出した領域の画像データ及び識別データのそれぞれをデータ保持部１２に出力する。
データ保持部１２は、データ取得部１１’から出力された領域の画像データ及び識別データのそれぞれを保持する。
図１１に示す画像検索装置２では、データ取得部１１’が、被写体が映っている矩形領域を抽出している。しかしながら、データ取得部１１’により抽出される領域は、被写体が映っている領域であればよいため、データ取得部１１’により抽出される領域の形状は、矩形に限るものではなく、例えば、円形であってもよいし、四角形以外の多角形であってもよい。
特徴量抽出部１４’は、データ保持部１２から、データ取得部１１’により取得された全ての画像データを取得する。
特徴量抽出部１４’は、共通種類特定部１３から、共通の種類の特定結果を取得する。
特徴量抽出部１４’は、図１に示す特徴量抽出部１４と同様に、複数の特徴量抽出方法の中から、共通の種類の特徴量を抽出することが可能な特徴量抽出方法を選択する。
特徴量抽出部１４’は、選択した特徴量抽出方法を用いて、それぞれの画像データが示す画像から特徴量を抽出する。
特徴量抽出部１４’は、それぞれの特徴量をデータ保持部１２に出力する。
データ保持部１２は、特徴量抽出部１４’から出力されたそれぞれの特徴量を保持する。
特徴量抽出部１４’により抽出される特徴量は、概ね被写体の特徴量となる。一方、図１に示す特徴量抽出部１４により抽出される特徴量は、被写体の特徴量の他に、背景等の特徴量を含んでいる。したがって、図１１に示す画像検索部１６は、図１に示す画像検索部１６よりも、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像の検索精度が高まる。
以上の実施の形態４では、データ取得部１１’が、それぞれの画像データが示す画像から、被写体が映っている領域を抽出し、領域の画像データを出力するように、図１１に示す画像検索装置２を構成した。また、図１１に示す画像検索装置２の特徴量抽出部１４’は、データ取得部１１’から出力されたそれぞれの画像データが示す領域の画像から、共通種類特定部１３により特定された種類についての特徴量を抽出するように構成した。したがって、図１１に示す画像検索装置２は、図１に示す画像検索装置２と同様に、クエリ画像を撮影したカメラと、ギャラリ画像を撮影したカメラとが異なる種類のカメラであっても、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することができる。また、図１１に示す画像検索装置２は、図１に示す画像検索装置２よりも、クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像の検索精度を高めることができる。
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本開示は、画像検索装置、画像検索方法及び画像検索プログラムに適している。
１－１～１－Ｎ カメラ、２ 画像検索装置、３ マンマシンインタフェース部、４ 認証装置、１１，１１’ データ取得部、１２ データ保持部、１３ 共通種類特定部、１４，１４’ 特徴量抽出部、１５ クエリ画像選択部、１６ 画像検索部、１７ 特徴量圧縮部、１８ 画像検索部、１９ データ取得部、２０ 画像検索部、２１，２１’ データ取得回路、２２ データ保持回路、２３ 共通種類特定回路、２４，２４’ 特徴量抽出回路、２５ クエリ画像選択回路、２６ 画像検索回路、２７ 特徴量圧縮回路、２８ 画像検索回路、２９ データ取得回路、３０ 画像検索回路、４１ メモリ、４２ プロセッサ。

Claims (8)

  1. カメラにより撮影された複数の画像のそれぞれを示す画像データと、それぞれの画像を撮影したカメラの種類を示す識別データとを取得するデータ取得部と、
    前記データ取得部により取得されたそれぞれの識別データが示すカメラの種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する共通種類特定部と、
    前記データ取得部により取得されたそれぞれの画像データが示す画像から、前記共通種類特定部により特定された種類についての特徴量を抽出する特徴量抽出部と、
    前記特徴量抽出部により抽出された複数の特徴量のうち、前記複数の画像に含まれているいずれか１つの画像であるクエリ画像から抽出された特徴量と、前記複数の画像に含まれているクエリ画像以外の画像である１つ以上のギャラリ画像のそれぞれから抽出された特徴量とを比較し、特徴量の比較結果に基づいて、前記クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する画像検索部と
    を備えた画像検索装置。
  2. 前記データ取得部は、
    それぞれの画像を撮影したカメラの種類を示す識別データを取得する代わりに、それぞれの画像データに基づいて、それぞれの画像を撮影したカメラの種類を識別し、前記種類の識別結果を示すデータを前記識別データとして前記共通種類特定部に出力することを特徴とする請求項１記載の画像検索装置。
  3. 前記特徴量抽出部は、
    複数の特徴量抽出方法の中から、前記共通種類特定部により特定された種類についての特徴量を抽出することが可能な特徴量抽出方法を選択し、選択した特徴量抽出方法を用いて、前記データ取得部により取得されたそれぞれの画像データが示す画像から特徴量を抽出することを特徴とする請求項１記載の画像検索装置。
  4. 前記特徴量抽出部により抽出されたそれぞれの特徴量を圧縮する特徴量圧縮部を備え、
    前記画像検索部は、
    前記特徴量圧縮部による複数の圧縮後の特徴量のうち、前記クエリ画像に係る圧縮後の特徴量と、それぞれのギャラリ画像に係る圧縮後の特徴量とを比較し、圧縮後の特徴量の比較結果に基づいて、前記クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索することを特徴とする請求項１記載の画像検索装置。
  5. 前記データ取得部は、
    前記カメラが設置されている場所に認証装置が設置されていれば、前記認証装置から、前記カメラにより撮影された画像に映っている被写体の認証情報を取得し、前記認証情報と前記カメラにより撮影された画像との紐づけを行い、
    前記画像検索部は、
    特徴量の比較結果に基づいて、前記クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索するほかに、前記クエリ画像に認証情報が紐づけられていれば、前記クエリ画像に紐づけられている認証情報と同じ認証情報が紐づけられているギャラリ画像を検索することを特徴とする請求項１記載の画像検索装置。
  6. 前記データ取得部は、
    それぞれの画像データが示す画像から、被写体が映っている領域を抽出し、前記領域の画像データを出力し、
    前記特徴量抽出部は、
    前記データ取得部から出力されたそれぞれの画像データが示す領域の画像から、前記共通種類特定部により特定された種類についての特徴量を抽出することを特徴とする請求項１記載の画像検索装置。
  7. データ取得部が、カメラにより撮影された複数の画像のそれぞれを示す画像データと、それぞれの画像を撮影したカメラの種類を示す識別データとを取得し、
    共通種類特定部が、前記データ取得部により取得されたそれぞれの識別データが示すカメラの種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定し、
    特徴量抽出部が、前記データ取得部により取得されたそれぞれの画像データが示す画像から、前記共通種類特定部により特定された種類についての特徴量を抽出し、
    画像検索部が、前記特徴量抽出部により抽出された複数の特徴量のうち、前記複数の画像に含まれているいずれか１つの画像であるクエリ画像から抽出された特徴量と、前記複数の画像に含まれているクエリ画像以外の画像である１つ以上のギャラリ画像のそれぞれから抽出された特徴量とを比較し、特徴量の比較結果に基づいて、前記クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する
    画像検索方法。
  8. カメラにより撮影された複数の画像のそれぞれを示す画像データと、それぞれの画像を撮影したカメラの種類を示す識別データとを取得するデータ取得処理手順と、
    前記データ取得処理手順で取得されたそれぞれの識別データが示すカメラの種類に基づいて、それぞれの画像から抽出可能な特徴量の種類において共通している種類を特定する共通種類特定処理手順と、
    前記データ取得処理手順で取得されたそれぞれの画像データが示す画像から、前記共通種類特定処理手順で特定された種類についての特徴量を抽出する特徴量抽出処理手順と、
    前記特徴量抽出処理手順で抽出された複数の特徴量のうち、前記複数の画像に含まれているいずれか１つの画像であるクエリ画像から抽出された特徴量と、前記複数の画像に含まれているクエリ画像以外の画像である１つ以上のギャラリ画像のそれぞれから抽出された特徴量とを比較し、特徴量の比較結果に基づいて、前記クエリ画像に映っている被写体と同じ被写体が映っているギャラリ画像を検索する画像検索処理手順と
    をコンピュータに実行させるための画像検索プログラム。
JP2023560266A 2022-02-15 2022-02-15 画像検索装置、画像検索方法及び画像検索プログラム Active JP7395082B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005773 WO2023157043A1 (ja) 2022-02-15 2022-02-15 画像検索装置、画像検索方法及び画像検索プログラム

Publications (2)

Publication Number Publication Date
JPWO2023157043A1 JPWO2023157043A1 (ja) 2023-08-24
JP7395082B1 true JP7395082B1 (ja) 2023-12-08

Family

ID=87577699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023560266A Active JP7395082B1 (ja) 2022-02-15 2022-02-15 画像検索装置、画像検索方法及び画像検索プログラム

Country Status (2)

Country Link
JP (1) JP7395082B1 (ja)
WO (1) WO2023157043A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029784A1 (ja) 2015-08-19 2017-02-23 日本電気株式会社 画像位置合わせシステム、方法および記録媒体
JP2017063266A (ja) 2015-09-24 2017-03-30 富士通株式会社 情報処理方法、情報処理装置、及びプログラム
US20210034842A1 (en) 2019-07-31 2021-02-04 Baidu Usa Llc Method, electronic device, and computer readable medium for image identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029784A1 (ja) 2015-08-19 2017-02-23 日本電気株式会社 画像位置合わせシステム、方法および記録媒体
JP2017063266A (ja) 2015-09-24 2017-03-30 富士通株式会社 情報処理方法、情報処理装置、及びプログラム
US20210034842A1 (en) 2019-07-31 2021-02-04 Baidu Usa Llc Method, electronic device, and computer readable medium for image identification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉田 諭史、外２名，複数の認証技術を組合せた複数カメラでの映像追跡技術，第１１回データ工学と情報マネジメントに関するフォーラム （第１７回日本データベース学会年次大会） ［，日本，2019年04月19日，ｐ．１－５

Also Published As

Publication number Publication date
JPWO2023157043A1 (ja) 2023-08-24
WO2023157043A1 (ja) 2023-08-24

Similar Documents

Publication Publication Date Title
CN106446816B (zh) 人脸识别方法及装置
CN109117714B (zh) 一种同行人员识别方法、装置、***及计算机存储介质
CN109871815B (zh) 一种查询监控信息的方法及装置
US9064171B2 (en) Detection device and method for transition area in space
CN106650662B (zh) 目标对象遮挡检测方法及装置
US9805331B2 (en) Smartphone-based asset management system
CN108933925A (zh) 信息处理装置、信息处理方法以及存储介质
EP3066591A2 (en) Systems and methods for image-feature-based recognition
CN113111844B (zh) 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN108875476B (zh) 自动近红外人脸注册与识别方法、装置和***及存储介质
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
KR20170077366A (ko) 얼굴 인식 시스템 및 방법
CN108885636A (zh) 车型识别装置、车型识别***以及车型识别方法
AU2011252761B2 (en) Automatic identity enrolment
CN105989174A (zh) 关注区域提取装置以及关注区域提取方法
CN111738349A (zh) 目标检测算法的检测效果评估方法、装置、存储介质及设备
US11537639B2 (en) Re-identification of physical objects in an image background via creation and storage of temporary data objects that link an object to a background
CN106682187B (zh) 用于建立图像底库的方法及装置
CN111078924A (zh) 图像检索方法、装置、终端及存储介质
US20200097735A1 (en) System and Method for Display of Object Movement Scheme
JP7395082B1 (ja) 画像検索装置、画像検索方法及び画像検索プログラム
JP6729678B2 (ja) 情報処理装置、容疑者情報生成方法及びプログラム
US11080173B2 (en) Boundary search test support device and boundary search test support method
De Marsico et al. ES-RU: an e ntropy based rule to s elect r epresentative templates in face su rveillance
JP2019083532A (ja) 画像処理システム、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230929

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231128

R150 Certificate of patent or registration of utility model

Ref document number: 7395082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150