JP7200279B2 - 検知装置、検知方法、検知プログラム及び検知システム - Google Patents
検知装置、検知方法、検知プログラム及び検知システム Download PDFInfo
- Publication number
- JP7200279B2 JP7200279B2 JP2021033070A JP2021033070A JP7200279B2 JP 7200279 B2 JP7200279 B2 JP 7200279B2 JP 2021033070 A JP2021033070 A JP 2021033070A JP 2021033070 A JP2021033070 A JP 2021033070A JP 7200279 B2 JP7200279 B2 JP 7200279B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- query
- gallery
- image data
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本開示は、人等の探す対象物が含まれる画像データを探すための負担を軽くできるようにすることを目的とする。
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部と、
前記クエリ抽出部によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部と
を備える。
前記選択画像と同一の対象物を含む他の画像データとのそれぞれから計算された前記対象物の特徴量から、前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
前記選択画像と同一の対象物を含む1つ以上の他の画像データとのそれぞれから計算された前記対象物の特徴量に基づき前記選択画像と前記1つ以上の他の画像データとを1つ以上のグループに分類し、前記1つ以上のグループそれぞれを対象として、対象のグループに含まれる前記画像データから計算された前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記1つ以上のグループそれぞれについての前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量の次元を圧縮してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量の次元を圧縮してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、検索対象とする前記ギャラリ画像を絞り込んだ上で、前記クエリ高次元特徴量と検索対象とする前記ギャラリ画像の前記ギャラリ高次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出し、
前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する。
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出処理と、
前記クエリ抽出処理によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索処理と
を行う検知装置としてコンピュータを機能させる。
1つ以上の検知装置と、検索指示装置とを備える検知システムであり、
前記1つ以上の検知装置それぞれは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部
を備え、
前記検索指示装置は、
前記1つ以上の検知装置それぞれの前記クエリ抽出部によって抽出された前記クエリ画像から選択画像を選択するクエリ選択部
を備え、
前記1つ以上の検知装置それぞれは、
前記クエリ選択部によって選択された前記選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部
を備える。
***構成の説明***
図1を参照して、実施の形態1に係る検知システム100の構成を説明する。
検知システム100は、1台以上の検知装置10と、検索指示装置20と、ユーザ端末30とを備える。検知装置10は、画像データから対象物を検知するコンピュータである。検索指示装置20は、検知装置10に検索を指示するコンピュータである。ユーザ端末30は、ユーザによって使用されるPC(Personal Computer)又はタブレット端末等のコンピュータである。
各検知装置10と検索指示装置20とユーザ端末30とは伝送路90を介して接続されている。各検知装置10には、1台以上のカメラ40が接続されている。また、各検知装置10には、記憶装置50が接続されている。
検知装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
ストレージ13には、検知装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、検知装置10の各機能構成要素の機能が実現される。
検索指示装置20は、プロセッサ21と、メモリ22と、ストレージ23と、通信インタフェース24とのハードウェアを備える。プロセッサ21は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
ストレージ23には、検索指示装置20の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ21によりメモリ22に読み込まれ、プロセッサ21によって実行される。これにより、検索指示装置20の各機能構成要素の機能が実現される。
Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
図4から図10を参照して、実施の形態1に係る検知システム100の動作を説明する。
実施の形態1に係る検知システム100の動作手順は、実施の形態1に係る検知方法に相当する。また、実施の形態1に係る検知システム100の動作を実現するプログラムは、実施の形態1に係る検知プログラムに相当する。
(ステップS1:クエリ抽出処理)
各検知装置10において取得部111は、検知装置10に接続されたカメラ40によって撮像されて得られた複数の画像データを取得する。クエリ抽出部115は、複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、対象物についてのクエリ画像として抽出する。
検索指示装置20においてクエリ選択部211は、各検知装置10のクエリ抽出部115によって抽出されたクエリ画像から、ユーザ端末30からの操作により、探したい対象物についてのクエリ画像を選択画像として選択する。
各検知装置10において検索部116は、検索指示装置20のクエリ選択部211によって選択された選択画像に基づき、複数の画像データのうち前記対象物についてのクエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。出力部117は、検索されたギャラリ画像をユーザ端末30に出力する。また出力部117は、検索されたギャラリ画像の前後複数枚のフレームを追加して動画としてユーザ端末30に出力してもよい。
ここで、各検知装置10に接続された各カメラ40は、一意なカメラID(IDentifier)が割り当てられており、対象物を検知する対象エリアの一部を撮像するように設置されている。対象物は、人と動物と車といったものである。実施の形態1では、対象物として人を例に説明する。対象エリアは、商業施設と交通施設といった施設である。
各カメラ40は、既定のフレームレートの映像データを取得している。各カメラ40は、映像データを構成する新しいフレームの画像データが取得されると、画像データをカメラID及び画像データの撮像時刻とともに接続された検知装置10に送信する。
取得部111は、検知装置10に接続されたカメラ40から送信された画像データとカメラIDと撮像時刻とを取得する。取得部111は、画像データとカメラIDと撮像時刻とを関連付けて記憶装置50に書き込む。
検知部112は、ステップS11で取得された画像データから対象物を検知する。
具体的には、検知部112は、画像データを入力として、画像データに含まれる各対象物について、画像データにおいて対象物が存在する領域と対象物であることの確信度と対象物の属性とを出力する検知モデルを用いる。つまり、検知部112は、ステップS11で取得された画像データを検知モデルに入力として与え、対象物が存在する領域と対象物であることの確信度と対象物の属性とを取得することにより、対象物を検知する。実施の形態1では、対象物は人である。そのため、検知部112は、画像データを検知モデルに入力として与えることにより、画像データにおいて人が存在する領域と、人であることの確信度と、人の属性とを取得する。人の属性は、具体例としては、性別と年齢層と等である。
特徴量計算部113は、処理対象の対象物について特徴量を計算する。ここでは、特徴量は、複数次元ベクトルで表される数値情報とする。なお、特徴量の計算方法は、どのような方法であっても構わない。また、特徴量は、任意の整数N,Mに基づくN行M列の行列として表される数値情報であってもよい。
追跡部114は、処理対象の対象物の追跡を行う。
具体的には、追跡部114は、過去追跡期間にステップS11で取得された画像データから検知された対象物から、処理対象の対象物を特定することにより追跡を行う。実施の形態1では、対象物は人であるため、追跡部114は、過去追跡期間にステップS11で取得された画像データから検知された人から、処理対象の人と同じ人を特定し、過去追跡期間に割り当てられた対象物IDと同一のIDを処理対象の人に割り当て、ステップS11で記憶された画像データと紐付けされる。
例えば、追跡部114は、ステップS13で計算された特徴量の類似度と、位置関係とに基づき、各対象物の追跡を行う。なお、具体的な追跡方法は、どのような方法でも構わない。
ステップS12の検知処理で各対象物に対象物IDを付与すると、同じ人に異なる対象物IDを付与してしまう可能性が高い。ステップS14の追跡処理で同じ人と特定した後、対象物IDを付与することにより、同じ人に同じ対象物IDを付与することができる。
クエリ抽出部115は、処理対象の対象物について、ステップS11で取得された画像データをクエリ画像とするか否かを判定する。クエリ判定処理については後述する。
図6に示すように、出力部117は、ステップS14で特定された処理対象の対象物についての対象物IDと、処理対象の対象物についてステップS12で検知された存在する領域と確信度と属性と、ステップS13で計算された特徴量と、ステップS15で判定された判定結果とを、ステップS11で記憶された画像データに関連付けて記憶装置50に書き込む。判定結果としては、クエリ画像であると判定された場合には、クエリ画像と設定され、クエリ画像でないと判定された場合には、ギャラリ画像と設定される。
(ステップS151:カメラ判定処理)
クエリ抽出部115は、ステップS11で記憶装置50に記憶されている画像データが、検知装置10に接続されたカメラ40のうち、クエリ画像を取得するための特定のカメラ40によって撮像されて得られた画像データであるか否かを判定する。
クエリ抽出部115は、ステップS11で記憶装置50に記憶されている画像データが、特定のカメラ40によって撮像されて得られた画像データである場合には、処理をステップS152に進める。一方、クエリ抽出部115は、ステップS11で記憶装置50に記憶されている画像データが、特定のカメラ40によって撮像されて得られた画像データでない場合には、処理をステップS158に進める。
クエリ抽出部115は、処理対象の対象物についてのクエリ画像が未抽出であるか否かを判定する。つまり、実施の形態1では、クエリ抽出部115は、処理対象の人についてのクエリ画像が未抽出であるか否かを判定する。具体的には、クエリ抽出部115は、ステップS15に対応するステップS151~S158の処理により、記憶装置50に記憶されている対象物の中で、処理対象の人に紐づけられている対象物IDと同一のIDを持ち判定結果がクエリ画像である対象物が記憶されていなければ未抽出であると判定する。クエリ画像は、判定結果としてクエリ画像と設定された画像データである。
クエリ抽出部115は、未抽出である場合には、処理をステップS153に進める。一方、クエリ抽出部115は、未抽出でない場合には、処理をステップS158に進める。
クエリ抽出部115は、ステップS11で取得された画像データの取得元のカメラ40によって過去追跡期間に取得された画像データから、処理対象の対象物が検知されていたか否かを判定する。具体的には、クエリ抽出部115は、ステップS14で追跡された結果を参照することにより、過去追跡期間に取得された画像データから、処理対象の対象物が検知されていたか否かを判定する。
クエリ抽出部115は、処理対象の対象物が検知されていた場合には、処理をステップS154に進める。一方、クエリ抽出部115は、処理対象の対象物が検知されていない場合には、処理をステップS158に進める。
この判定は、後述するステップS155及びステップS156の処理において、処理対象の対象物の移動軌跡に基づく判定を行うために、過去に処理対象の対象物が検知されている必要があるので行われる。
クエリ抽出部115は、処理対象の対象物がクエリ画像を取得するための検知領域内であるか否かを判定する。具体的には、クエリ抽出部115は、ステップS12で特定された処理対象の対象物が存在する領域の基準位置が、検知領域内であるか否かを判定する。実施の形態1では、基準位置は、対象物である人の足元の位置とする。例えば、対象物が存在する領域が対象物を囲む矩形領域である場合には、クエリ抽出部115は、矩形領域の下辺の中心点の位置を足元の位置とすればよい。検知領域は、事前に設定される領域であり、ステップS151における特定のカメラ40についての撮像領域内の領域である。検知領域は、例えば、対象物が十分な大きさで撮像可能な領域等が設定される。
クエリ抽出部115は、処理対象の対象物が検知領域内である場合には、処理をステップS155に進める。一方、クエリ抽出部115は、処理対象の対象物が検知領域内でない場合には、処理をステップS158に進める。
クエリ抽出部115は、画像データの取得元のカメラ40の奥側から手前側に向かって処理対象の対象物が移動したか否かを判定する。これにより、クエリ抽出部115は、対象物の前面側が撮像されたか否かを判定する。なお、対象物が前を向いて移動していることが前提である。
具体的には、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の位置よりも、処理対象の対象物の位置がカメラ40の手前側であるか否かを判定する。クエリ抽出部115は、手前側であれば、奥側から手前側に向かって処理対象の対象物が移動したと判定する。ここでは、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の基準位置よりも、処理対象の対象物の基準位置がカメラ40の手前側であるか否かを判定する。
図8に示すように、画像データの幅方向にx軸が取られ、奥行方向にy軸が取られているとする。y軸の座標値は、手前側(画像データの下側)ほど大きな値をとるとする。この場合には、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の基準位置のy座標が、処理対象の対象物の基準位置のy座標よりも小さければ、奥側から手前側に向かって処理対象の対象物が移動したと判定する。
クエリ抽出部115は、奥側から手前側に向かって処理対象の対象物が移動した場合には、処理をステップS156に進める。一方、クエリ抽出部115は、奥側から手前側に向かって処理対象の対象物が移動していない場合には、処理をステップS158に進める。
クエリ抽出部115は、図8に示すように、処理対象の対象物の移動ベクトルと、検知領域における画像データの幅方向の直線との成す角の余弦値の絶対値が閾値以下であるか否かを判定する。これにより、クエリ抽出部115は、処理対象の対象物が、カメラ40に向かって斜めに移動するのではなく、ある程度以上カメラ40の方を向いて移動しているか否かを判定する。
クエリ抽出部115は、成す角の余弦値の絶対値が閾値以下である場合には、処理をステップS157に進める。一方、クエリ抽出部115は、成す角の余弦値の絶対値が閾値以下でない場合には、処理をステップS158に進める。
クエリ抽出部115は、ステップS11で取得された画像データをクエリ画像とすると判定する。
クエリ抽出部115は、ステップS11で取得された画像データをクエリ画像とせず、ギャラリ画像とすると判定する。
(ステップS21:クエリ条件取得処理)
検索指示装置20のクエリ選択部211は、ユーザ端末30からクエリ画像の絞り込み条件1を取得する。絞り込み条件1は、カメラIDと、撮像時刻の範囲と、確信度と、属性と等によって指定される。
具体的には、クエリ選択部211は、図10に示すように、クエリ画像の絞り込み条件1の入力欄61を含む検索画面60をユーザ端末30に表示して、絞り込み条件1をユーザに指定させる。クエリ選択部211は、指定された絞り込み条件1を取得する。
検索指示装置20のクエリ選択部211は、ステップS21で取得された絞り込み条件1を、各検知装置10に送信する。すると、各検知装置10において検索部116は、絞り込み条件1に該当するクエリ画像を特定する。具体的には、検索部116は、検知装置10に接続された記憶装置50に記憶された画像データ(図6参照)から、絞り込み条件1が示すカメラID及び撮像時刻の範囲に該当する画像データを特定する。検索部116は、特定された画像データから、絞り込み条件1が示す確信度及び属性に該当する対象物が含まれ、かつ、確信度及び属性に該当する該当する対象物について判定結果としてクエリ画像と設定された画像データを抽出する。
そして、出力部117は、抽出された画像データのうち、該当する対象物が存在する領域部分だけを切り出した部分画像データと、該当する対象物についての特徴量とを検索指示装置20に送信する。この際、出力部117は、部分画像データ及び特徴量とともに、部分画像データの元の画像データについてのカメラID及び撮像時刻と、部分画像データが示す対象物についての確信度及び属性といった情報を送信してもよい。
検索指示装置20のクエリ選択部211は、ステップS22で送信された部分画像データに基づき、探したい対象物についてのクエリ画像である選択画像を選択する。
具体的には、クエリ選択部211は、図10に示すように、ステップS22で送信された部分画像データを検索画面60のクエリ画像欄62に表示して、探したい対象物についてのクエリ画像をユーザに選択させる。この際、クエリ選択部211は、部分画像データとともに、カメラID及び撮像時刻と、確信度及び属性といった情報も検索画面60に表示してもよい。そして、クエリ選択部211は、選択された部分画像データを選択画像に設定する。
クエリ選択部211は、選択画像の特徴量を各検知装置10に送信する。選択画像の特徴量は、選択画像とともに送信された特徴量である。この際、クエリ選択部211は、特徴量とともに、ギャラリ画像を絞り込む絞り込み条件2を送信してもよい。絞り込み条件2を送信する場合には、検索画面60に絞り込み条件2の入力欄を設け、絞り込み条件2をユーザに指定させる。絞り込み条件2は、指定期間と、確信度と、カメラIDと等によって指定される。
各検知装置10において検索部116は、選択画像の特徴量に基づき、記憶装置50に記憶されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。
具体的には、検索部116は、ステップS23で送信された選択画像の特徴量と、各ギャラリ画像の特徴量との類似度を計算する。ギャラリ画像は、検知装置10に接続された記憶装置50に記憶された画像データ(図6参照)のうち、判定結果としてギャラリ画像と設定された対象物が存在する領域の部分画像データである。ギャラリ画像の特徴量は、判定結果としてギャラリ画像と設定された対象物についての特徴量である。
なお、ステップS23で絞り込み条件2が送信された場合には、検索部116は、検知装置10に接続された記憶装置50に記憶された画像データのうち、絞り込み条件2に該当するギャラリ画像だけを対象として、類似度を計算する。絞り込み条件2として指定期間が指定されている場合には、検索部116は撮像時刻が指定期間に含まれるギャラリ画像だけを対象とする。絞り込み条件2として確信度が指定されている場合には、検索部116は絞り込み条件2として指定された確信度以上の確信度のギャラリ画像だけを対象とする。絞り込み条件2としてカメラIDが指定された場合には、検索部116は絞り込み条件2として指定されたカメラIDのギャラリ画像だけを対象とする。
なお本実施の形態で用いた撮像時刻は、検知装置10がカメラ40から画像データを取得した取得時刻であってもよい。撮影時刻または取得時刻を指定期間とし絞り込み検索を行うことで、対象物が存在する凡その時間帯が把握できているとき、短い処理時間で対象物を検索することが期待できる。
各検知装置10において検索部116は、ステップS24で計算された類似度が最も高いギャラリ画像を特定する。検索部116は、特定されたギャラリ画像を、そのギャラリ画像についてのカメラID及び撮像時刻と、ステップS24で計算された類似度とを検索指示装置20に送信する。
なお、検索部116は、カメラ40毎に類似度が最も高いギャラリ画像を特定してもよい。そして、検索部116は、カメラ40毎に、特定されたギャラリ画像を、そのギャラリ画像についてのカメラIDと撮像時刻と対象物IDと、ステップS24で計算された類似度とを検索指示装置20に送信してもよい。
検索指示装置20の画像選択部212は、ステップS25で送信された情報に基づき、確認したいギャラリ画像を選択する。
具体的には、図10に示すように、検索画面60のギャラリ画像欄63に、ステップS25で送信されたギャラリ画像等を表示して、確認したギャラリ画像をユーザに選択させる。
検索指示装置20の画像選択部212は、ステップS26で選択されたギャラリ画像についてのカメラIDと撮像時刻と対象物IDとを、選択されたギャラリ画像の送信元の検知装置10に送信する。すると、送信元の検知装置10において出力部117は、送信されたカメラID及び撮像時刻によって特定される画像データを記憶装置50から読み出す。そして、出力部117は、送信された対象物IDが示す対象物が存在する領域を枠で囲む等した上で、画像データをユーザ端末30に送信する。
その後、出力部117は、ユーザ端末30からの操作に応じて、前後の時刻の画像データユーザ端末30に送信する。この際にも、出力部117は、対象物IDが示す対象物が存在する領域を枠で囲む等した上で、画像データを送信する。
以上のように、実施の形態1に係る検知装置10は、複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、対象物についてのクエリ画像として抽出し、クエリ画像から選択画像が選択される。そのため、選択画像の選択元の画像データが絞り込まれており、対象物が含まれる画像データを探すための負担が軽い。
<変形例1>
図7のステップS154で用いられる検知領域と、ステップS156で用いられる閾値とは、カメラ40毎に設定されてもよい。例えば、検知領域及び閾値は、カメラ40の設置位置と、対象物が通る領域と等に応じて設定される。
図5のステップS13で計算される対象物の特徴量は、対象物全体の画像データに基づき計算されてもよいし、対象物の特定部分の画像データに基づき計算されてもよい。例えば、対象物が人である場合には、顔だけの画像データ、又は、上半身だけの画像データに基づき、特徴量が計算されてもよい。
実施の形態1では、画像データは、各検知装置10に接続された記憶装置50に記憶された。しかし、画像データは、各検知装置10のストレージ13に記憶されてもよい。
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例4として、各機能構成要素はハードウェアで実現されてもよい。この変形例4について、実施の形態1と異なる点を説明する。
各機能構成要素がハードウェアで実現される場合には、検知装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
各機能構成要素がハードウェアで実現される場合には、検索指示装置20は、プロセッサ21とメモリ22とストレージ23とに代えて、電子回路25を備える。電子回路25は、各機能構成要素と、メモリ22と、ストレージ23との機能とを実現する専用の回路である。
各機能構成要素を1つの電子回路15,25で実現してもよいし、各機能構成要素を複数の電子回路15,25に分散させて実現してもよい。
変形例5として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
実施の形態2は、リアルタイム検索を行う点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
図9を参照して、実施の形態2に係る検知システム100の動作を説明する。
実施の形態2に係る検知システム100の動作手順は、実施の形態2に係る検知方法に相当する。また、実施の形態2に係る検知システム100の動作を実現するプログラムは、実施の形態2に係る検知プログラムに相当する。
図9のステップS21からステップS23の処理と、ステップS25からステップS26の処理とは、実施の形態1と同じである。
各検知装置10において検索部116は、選択画像の特徴量に基づき、直近に取得されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、選択画像の特徴量と、直近に取得されたギャラリ画像との類似度を計算する。そして、ステップS25で類似度が最も高いギャラリ画像が特定される。
なお本実施の形態で説明した、リアルタイム検索は直近に取得されたギャラリ画像を検索対象とした。直近を例えば現在時刻から5分前までと定義した場合、5分前から現在時刻までが指定期間となる。撮像された時刻が直近という指定期間に含まれるギャラリ画像から、探したい対象物についてのクエリ画像である選択画像に含まれる対象物を含むギャラリ画像を検索する。
以上のように、実施の形態2に係る検知システム100は、リアルタイム検索を実現する。例えば、迷子を探すような場合には、過去のいた場所を特定するよりも、現在いる場所を特定する必要がある。そのため、リアルタイム検索は有用である。
なお、リアルタイム検索だけを実現し、過去の画像データについては検索を行わない場合には、過去のフレームのギャラリ画像を記憶装置50に記憶しておく必要はない。したがって、ギャラリ画像については記憶装置50に記憶せず、直近のフレームのギャラリ画像だけをメモリ12に記憶しておくようにしてもよい。これにより、より高速な検索が可能になる。
実施の形態3は、1つの対象物に対して複数のクエリ画像を抽出する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態3では、実施の形態1の機能を変更した場合について説明する。しかし、実施の形態2の機能を変更することも可能である。
図13を参照して、実施の形態3に係る検知装置10の構成を説明する。
検知装置10は、機能構成要素として、統計量計算部118を備える点が図2に示す検知装置10と異なる。統計量計算部118の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
図9を参照して、実施の形態3に係る検知システム100の動作を説明する。
実施の形態3に係る検知システム100の動作手順は、実施の形態3に係る検知方法に相当する。また、実施の形態3に係る検知システム100の動作を実現するプログラムは、実施の形態3に係る検知プログラムに相当する。
具体的には、クエリ抽出部115は、クエリ判定処理(図5のステップS15)においてクエリ画像と判定された場合には、クエリ画像と判定された画像データの前後基準時間に撮像時刻が含まれる画像データであって、同一の対象物が含まれている画像データをその対象物についての関連クエリ画像に設定する。
あるいは、クエリ抽出部115は、クエリ判定処理(図5のステップS15)においてクエリ画像と判定された場合には、他のカメラ40のうち特定のカメラ40で撮像された画像データであって、同一の対象物が含まれている画像データをその対象物についての関連クエリ画像に設定する。
図9のステップS21からステップS23の処理と、ステップS25からステップS26の処理とは、実施の形態1と同じである。
各検知装置10において検索部116は、選択画像の統計量に基づき、記憶装置50に記憶されたギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、選択画像の特徴量に代えて、統計量を用いる点が実施の形態1と異なる。
以上のように、実施の形態3に係る検知装置10は、複数のクエリ画像(クエリ画像と関連クエリ画像)の特徴量から計算された統計量を用いて、ギャラリ画像を検索する。
ギャラリ画像に含まれる対象物は、クエリ画像に含まれる対象物と異なる角度から撮像されている場合、又は、異なる姿勢になっている場合がある。複数のクエリ画像の特徴量から計算された統計量を用いることにより、様々な映り方の対象物についての特徴量を加味してギャラリ画像を検索することが可能になる。その結果、異なる角度から対象物を撮像したギャラリ画像と、異なる姿勢になっている対象物が含まれるギャラリ画像についても適切に検索することが可能になる。
<変形例6>
統計量計算部118は、複数のクエリ画像(クエリ画像と関連クエリ画像)を1つ以上のグループに分類し、1つ以上のグループそれぞれを対象として、対象のグループに含まれるクエリ画像(クエリ画像と関連クエリ画像)の特徴量についての統計量を計算してもよい。この際、統計量計算部118は、複数のクエリ画像の特徴量に基づき、複数のクエリ画像を1つ以上のグループに分類することが考えられる。特徴量を構成する要素のうち、対象物を撮像した角度の違いと、対象物の姿勢の違いとの少なくともいずれかによって変化する次元の要素に基づき、複数のクエリ画像を1つ以上のグループに分類することが考えられる。
この場合には、図9のステップS24では、検索部116は、1つ以上のグループそれぞれについての統計量に基づき、選択画像に含まれる対象物を含むギャラリ画像を検索する。
これにより、異なる角度から対象物を撮像したギャラリ画像と、異なる姿勢になっている対象物が含まれるギャラリ画像についてもより適切に検索することが可能になる。
実施の形態4は、複数次元ベクトルである特徴量を圧縮して検索を行う点が実施の形態1~3と異なる。実施の形態4では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態4では、実施の形態1の機能を変更した場合について説明する。しかし、実施の形態2,3の機能を変更することも可能である。
図14を参照して、実施の形態4に係る検知装置10の構成を説明する。
検知装置10は、機能構成要素として、次元圧縮部119を備える点が図2に示す検知装置10と異なる。次元圧縮部119の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
実施の形態4に係る検知システム100の動作手順は、実施の形態4に係る検知方法に相当する。また、実施の形態4に係る検知システム100の動作を実現するプログラムは、実施の形態4に係る検知プログラムに相当する。
ステップS21AからステップS23Aの処理は、図9のステップS21からステップS21からステップS23の処理と同じである。ステップS26AからステップS28Aの処理は、図9のステップS25からステップS27の処理と同じである。
各検知装置10において次元圧縮部119は、選択画像の特徴量と、各ギャラリ画像の特徴量との次元を圧縮する。
具体的には、次元圧縮部119は、選択画像の特徴量であるクエリ高次元特徴量の次元を圧縮してクエリ低次元特徴量を生成する。また、次元圧縮部119は、各ギャラリ画像を対象として、対象のギャラリ画像の特徴量であるギャラリ高次元特徴量の次元を圧縮してギャラリ低次元特徴量を生成する。例えば、次元圧縮部119は、2
次元のクエリ低次元特徴量及び2次元のギャラリ低次元特徴量を生成する。次元を圧縮するとは、次元を減らすという意味である。次元を圧縮する方法としては、PCA(主成分分析)と、LSA(潜在意味解析)といった手法を用いればよい。
各検知装置10において検索部116は、ステップS24Aで生成されたクエリ低次元特徴量を、各ギャラリ画像のギャラリ低次元特徴量と比較することにより、検索対象とするギャラリ画像を絞り込む。具体例としては、検索部116は、図16に示すように、クエリ低次元特徴量が特徴量を有する領域と隣接する領域に特徴量を有するギャラリ低次元特徴量を持つギャラリ画像だけに、検索対象とするギャラリ画像を絞り込む。
検索部116は、クエリ高次元特徴量と検索対象とするギャラリ画像のギャラリ高次元特徴量とを比較することにより、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、クエリ高次元特徴量と検索対象とするギャラリ画像のギャラリ高次元特徴量との類似度を計算する。そして、ステップS26Aで類似度が最も高いギャラリ画像が特定される。
以上のように、実施の形態4に係る検知装置10は、特徴量の次元を圧縮したクエリ低次元特徴量及びギャラリ低次元特徴量を用いて、検索対象とするギャラリ画像を絞り込む。これにより、類似度を計算する処理回数を減らすことができる。その結果、効率的にギャラリ画像の検索を行うことが可能になる。
<変形例7>
次元圧縮部119は、特徴量から、異なる対象物間であっても大きな変化が見られない次元の要素を除外することにより、特徴量の次元を圧縮してもよい。異なる対象物とは、対象物自体が異なるだけでなく、対象物を撮った画角が異なることを含んでもよい。
この場合には、図15のステップS24Aでは、次元圧縮部119は、選択画像の特徴量であるクエリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してクエリ低次元特徴量を生成する。また、次元圧縮部119は、各ギャラリ画像を対象として、対象のギャラリ画像の特徴量であるギャラリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してギャラリ低次元特徴量を生成する。
図15のステップS25Aでは、検索部116は、クエリ低次元特徴量と各ギャラリ画像のギャラリ低次元特徴量とを比較することにより、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、クエリ低次元特徴量と各ギャラリ画像のギャラリ低次元特徴量との類似度を計算する。そして、ステップS26Aで類似度が最も高いギャラリ画像が特定される。
実施の形態5は、リアルタイム検索において過去の画像データを利用する点が実施の形態2と異なる。実施の形態5では、この異なる点を説明して、同一の点については説明を省略する。
図9及び図17を参照して、実施の形態5に係る検知システム100の動作を説明する。
実施の形態5に係る検知システム100の動作手順は、実施の形態5に係る検知方法に相当する。また、実施の形態5に係る検知システム100の動作を実現するプログラムは、実施の形態5に係る検知プログラムに相当する。
図9のステップS21からステップS23の処理と、ステップS26からステップS27の処理とは、実施の形態2と同じである。
各検知装置10において検索部116は、選択画像の特徴量に基づき、撮像時刻が現在時刻から基準時間前までに含まれるギャラリ画像から、選択画像に含まれる対象物を含むギャラリ画像を検索する。つまり、検索部116は、選択画像の特徴量と、撮像時刻が現在時刻から基準時間前までに含まれるギャラリ画像に取得されたギャラリ画像との類似度を計算する。
各検知装置10において検索部116は、ステップS24で計算された類似度が最も高いギャラリ画像を特定する。検索部116は、図17に示すように、特定されたギャラリ画像に含まれる対象物と同じ対象物を含む直近に撮像されたギャラリ画像を特定する。検索部116は、直近に撮像されたギャラリ画像を、そのギャラリ画像についてのカメラID及び撮像時刻と、ステップS24で計算された類似度とを検索指示装置20に送信する。
ここで、検索部116は、図5のステップS14で追跡された結果を用いて、特定されたギャラリ画像に含まれる対象物と同じ対象物を含む直近に撮像されたギャラリ画像を特定することが可能である。
以上のように、実施の形態5に係る検知装置10は、現在時刻から基準時間前までに含まれるギャラリ画像を用いて類似度の高いギャラリ画像を特定し、特定されたギャラリ画像から同じ対象物を含む直近に撮像されたギャラリ画像を特定する。
これにより、より適切にリアルタイム検索を行うことが可能である。例えば、直近に撮像されたギャラリ画像において対象物の向きがクエリ画像における対象物の向きと異なるような場合には、直近に撮像されたギャラリ画像と、クエリ画像との間の類似度が低くなってしまい、適切な検索ができない可能性がある。しかし、実施の形態5に係る検知装置10では、対象物の向きがクエリ画像における対象物の向きと近い過去のギャラリ画像が特定され、過去のギャラリ画像と同じ対象物を含む直近のギャラリ画像が特定される。そのため、適切にリアルタイム検索を行うことができる。
実施の形態5では、リアルタイム検索の場合について説明した。しかし、リアルタイム検索に限らず、検索する時刻が指定された場合に、指定された指定時刻から基準時間前及び後までに含まれるギャラリ画像を用いて類似度の高いギャラリ画像を特定し、特定されたギャラリ画像から同じ対象物を含む指定時刻に撮像されたギャラリ画像を特定するようにしてもよい。これにより、指定時刻におけるギャラリ画像から、より適切な検索を行うことが可能である。
Claims (14)
- カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、前記対象物の移動軌跡を示す移動ベクトルと、前記画像データの幅方向の直線との成す角によって設定された移動方向の条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部と、
前記クエリ抽出部によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部と
を備える検知装置。 - カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部と、
前記クエリ抽出部によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検索部と
を備える検知装置。 - 前記クエリ抽出部は、複数のカメラによって撮像されて得られた複数の画像データのうち、特定のカメラによって撮像されて得られた画像データから前記クエリ画像を抽出する請求項1又は2に記載の検知装置。
- 前記検索部は、前記ギャラリ画像のうち、撮像された時刻が指定期間に含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から3までのいずれか1項に記載の検知装置。 - 前記検知装置は、さらに、
前記選択画像と、前記選択画像と同一の対象物を含む他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量から、前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から4までのいずれか1項に記載の検知装置。 - 前記検知装置は、さらに、
前記選択画像と、前記選択画像と同一の対象物を含む1つ以上の他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量に基づき前記選択画像と前記関連クエリ画像とを1つ以上のグループに分類し、前記1つ以上のグループそれぞれを対象として、対象のグループに含まれる前記画像データから計算された前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記1つ以上のグループそれぞれについての前記統計量に基づき、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から4までのいずれか1項に記載の検知装置。 - 前記検知装置は、さらに、
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量の次元を圧縮してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量の次元を圧縮してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記選択画像についての前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、検索対象とする前記ギャラリ画像を絞り込んだ上で、前記選択画像についての前記クエリ高次元特徴量と検索対象とする前記ギャラリ画像の前記ギャラリ高次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から6までのいずれか1項に記載の検知装置。 - 前記検知装置は、さらに、
前記クエリ画像に含まれる前記対象物の特徴量であって、複数次元ベクトルで表される特徴量であるクエリ高次元特徴量と、前記ギャラリ画像に含まれる対象物の特徴量であって、複数次元ベクトルで表される特徴量であるギャラリ高次元特徴量とを計算する特徴量計算部と、
前記特徴量計算部によって計算された前記クエリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してクエリ低次元特徴量を生成するとともに、前記特徴量計算部によって計算された前記ギャラリ高次元特徴量から異なる対象物間であっても変化しない要素を除外してギャラリ低次元特徴量を生成する次元圧縮部と
を備え、
前記検索部は、前記次元圧縮部によって生成された前記選択画像についての前記クエリ低次元特徴量と前記ギャラリ低次元特徴量とを比較することにより、前記選択画像に含まれる対象物を含むギャラリ画像を検索する
請求項1から6までのいずれか1項に記載の検知装置。 - カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、前記対象物の移動軌跡を示す移動ベクトルと、前記画像データの幅方向の直線との成す角によって設定された移動方向の条件を満たす画像データを、前記対象物についてのクエリ画像として抽出し、
前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検知方法。 - カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出し、
前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検知方法。 - カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、前記対象物の移動軌跡を示す移動ベクトルと、前記画像データの幅方向の直線との成す角によって設定された移動方向の条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出処理と、
前記クエリ抽出処理によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索処理と
を行う検知装置としてコンピュータを機能させる検知プログラム。 - カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出処理と、
前記クエリ抽出処理によって抽出された前記クエリ画像から選択された選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検索処理と
を行う検知装置としてコンピュータを機能させる検知プログラム。 - 1つ以上の検知装置と、検索指示装置とを備える検知システムであり、
前記1つ以上の検知装置それぞれは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、前記対象物の移動軌跡を示す移動ベクトルと、前記画像データの幅方向の直線との成す角によって設定された移動方向の条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部
を備え、
前記検索指示装置は、
前記1つ以上の検知装置それぞれの前記クエリ抽出部によって抽出された前記クエリ画像から選択画像を選択するクエリ選択部
を備え、
前記1つ以上の検知装置それぞれは、
前記クエリ選択部によって選択された前記選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索する検索部
を備える検知システム。 - 1つ以上の検知装置と、検索指示装置とを備える検知システムであり、
前記1つ以上の検知装置それぞれは、
カメラによって撮像されて得られた複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データを、前記対象物についてのクエリ画像として抽出するクエリ抽出部
を備え、
前記検索指示装置は、
前記1つ以上の検知装置それぞれの前記クエリ抽出部によって抽出された前記クエリ画像から選択画像を選択するクエリ選択部
を備え、
前記1つ以上の検知装置それぞれは、
前記クエリ選択部によって選択された前記選択画像に基づき、前記複数の画像データのうち前記クエリ画像以外の少なくとも一部の画像データであるギャラリ画像であって、撮像された時刻が指定時刻から前記指定時刻の基準時間前までに含まれるギャラリ画像から、前記選択画像に含まれる対象物を含むギャラリ画像を検索して、検索されたギャラリ画像に含まれる対象物と同じ対象物を含む、撮像された時刻が前記指定時刻のギャラリ画像を出力する検索部
を備える検知システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021033070A JP7200279B2 (ja) | 2021-03-03 | 2021-03-03 | 検知装置、検知方法、検知プログラム及び検知システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021033070A JP7200279B2 (ja) | 2021-03-03 | 2021-03-03 | 検知装置、検知方法、検知プログラム及び検知システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022134143A JP2022134143A (ja) | 2022-09-15 |
JP7200279B2 true JP7200279B2 (ja) | 2023-01-06 |
Family
ID=83231234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021033070A Active JP7200279B2 (ja) | 2021-03-03 | 2021-03-03 | 検知装置、検知方法、検知プログラム及び検知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7200279B2 (ja) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092413A (ja) | 2008-10-10 | 2010-04-22 | Ricoh Co Ltd | 画像分類学習装置、画像分類学習方法、および画像分類学習システム |
JP2010211261A (ja) | 2009-03-06 | 2010-09-24 | Panasonic Corp | 画像検索装置及び画像検索方法 |
JP2011203776A (ja) | 2010-03-24 | 2011-10-13 | Yahoo Japan Corp | 類似画像検索装置、方法及びプログラム |
JP2011237909A (ja) | 2010-05-07 | 2011-11-24 | Seiko Epson Corp | 検索画面表示装置、検索画面表示方法、検索画面表示プログラム |
JP2015114685A (ja) | 2013-12-09 | 2015-06-22 | 株式会社日立製作所 | 映像検索装置、映像検索方法、および記憶媒体 |
JP2018527656A (ja) | 2015-07-23 | 2018-09-20 | ベイジン ジンドン シャンケ インフォメーション テクノロジー カンパニー リミテッド | 画像の高次元特徴の類似性を比較するための方法及びデバイス |
JP2018190326A (ja) | 2017-05-11 | 2018-11-29 | 日本電信電話株式会社 | 参照画像選択装置、方法、及びプログラム |
JP2019045894A (ja) | 2017-08-29 | 2019-03-22 | 富士通株式会社 | 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置 |
JP2019160001A (ja) | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2020095757A (ja) | 2020-03-23 | 2020-06-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021002105A (ja) | 2019-06-20 | 2021-01-07 | Kddi株式会社 | 情報処理装置及び組合せ特定方法 |
-
2021
- 2021-03-03 JP JP2021033070A patent/JP7200279B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092413A (ja) | 2008-10-10 | 2010-04-22 | Ricoh Co Ltd | 画像分類学習装置、画像分類学習方法、および画像分類学習システム |
JP2010211261A (ja) | 2009-03-06 | 2010-09-24 | Panasonic Corp | 画像検索装置及び画像検索方法 |
JP2011203776A (ja) | 2010-03-24 | 2011-10-13 | Yahoo Japan Corp | 類似画像検索装置、方法及びプログラム |
JP2011237909A (ja) | 2010-05-07 | 2011-11-24 | Seiko Epson Corp | 検索画面表示装置、検索画面表示方法、検索画面表示プログラム |
JP2015114685A (ja) | 2013-12-09 | 2015-06-22 | 株式会社日立製作所 | 映像検索装置、映像検索方法、および記憶媒体 |
JP2018527656A (ja) | 2015-07-23 | 2018-09-20 | ベイジン ジンドン シャンケ インフォメーション テクノロジー カンパニー リミテッド | 画像の高次元特徴の類似性を比較するための方法及びデバイス |
JP2018190326A (ja) | 2017-05-11 | 2018-11-29 | 日本電信電話株式会社 | 参照画像選択装置、方法、及びプログラム |
JP2019045894A (ja) | 2017-08-29 | 2019-03-22 | 富士通株式会社 | 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置 |
JP2019160001A (ja) | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2021002105A (ja) | 2019-06-20 | 2021-01-07 | Kddi株式会社 | 情報処理装置及び組合せ特定方法 |
JP2020095757A (ja) | 2020-03-23 | 2020-06-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022134143A (ja) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
US10558884B2 (en) | System and method for creating navigable views | |
CN107798272B (zh) | 快速多目标检测与跟踪*** | |
US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
US9691180B2 (en) | Determination of augmented reality information | |
JPWO2006025272A1 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
EP3324307B1 (en) | Retrieval device, retrieval method, and computer-readable medium | |
US20200097501A1 (en) | Information processing system, method for controlling information processing system, and storage medium | |
Baber et al. | A framework for video segmentation using global and local features | |
Mousse et al. | Percentage of human-occupied areas for fall detection from two views | |
JP7200279B2 (ja) | 検知装置、検知方法、検知プログラム及び検知システム | |
Raval et al. | Survey and analysis of human activity recognition in surveillance videos | |
Ngo et al. | Motion-based video representation for scene change detection | |
JP7174796B2 (ja) | 検知装置、検知方法及び検知プログラム | |
JP7202995B2 (ja) | 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム | |
Wu et al. | Intelligent monitoring system based on Hi3531 for recognition of human falling action | |
Henderson et al. | Feature correspondence in low quality CCTV videos | |
Bhaumik et al. | 2 Keyframe selection for video indexing using an approximate minimal spanning tree | |
Truong et al. | Film grammar based refinements to extracting scenes in motion pictures | |
Naphade et al. | Multimedia understanding: challenges in the new millennium | |
Su et al. | Extracting the highlight events of baseball videos using a model-indexing decision approach | |
Jiang et al. | Content-Based Video Semantic Analysis | |
Olena | A TEMPLATE-BASED APPROACH TO KEY FRAME EXTRACTION FROM VIDEO |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7200279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |