JPWO2020022362A1 - 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体 - Google Patents

Abstract

計算コストを増大させることなく動き検出を行うことができる動き検出装置を提供する。動き検出装置は、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部とを備えている。

Description

本発明は、動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体に関する。

観察者（カメラ）と外界の相対的な動きによって引き起こされる物体、表面、エッジ等の画像内の動きのことをオプティカルフローといい、ヒトを含む霊長類にとって観察者の動きの認知、物体の形状・距離・動きの認知、自己運動の制御等に役立つことが知られている。また、画像処理やナビゲーションに関連した工学の分野でも有用であり、動き検出、物体のセグメンテーション、衝突時間の見積もり、明度、動き補償によるコーディング、視差計測等で用いられる。

近年、このオプティカルフローを用いた移動物の検出について研究されており、例えば、特許文献１では、移動物を検知する際に、暗い部分での特徴点の検知精度を向上させた移動物検出装置が開示されている。

日本国公開特許公報「特開２０１５−０７６６３３号（２０１５年４月２０日公開）」

しかしながら、上述の移動物検出装置では、計算コストが増大するという問題がある。

本発明は、計算コストを抑制しつつ好適に動き検出を行うことができる動き検出装置を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る動き検出装置は、対象画像の動き検出を行う動き検出装置であって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部とを備えている。

上記の課題を解決するために、本発明の一態様に係る動き検出システムは、対象画像の動き検出を行う動き検出システムであって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と、上記動き検出部が検出した動きを参照して、当該動きに係る画像を生成する画像生成部と、上記画像生成部が生成した画像を表示する表示部とを備えている。

上記の課題を解決するために、本発明の一態様に係る動き検出方法は、対象画像の動き検出を行う動き検出方法であって、対象画像を取得する画像取得ステップと、上記画像取得ステップにおいて取得した対象画像から動きに関連したベクトルを導出するベクトル導出ステップと、上記ベクトル導出ステップにおいて導出したベクトルを追跡することによって動き検出を行う動き検出ステップとを含んでいる。

上記の課題を解決するために、本発明の一態様に係る特性検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる物体の特性及び当該物体の動きの特性の少なくともいずれか一方を特定する特定部とを備えている。

上記の課題を解決するために、本発明の一態様に係る特性検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる流体を検知する検知部とを備えている。

本発明の一態様によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

本発明の実施形態１に係る動き検出システムの要部構成を示すブロック図である。 動き検出システムの処理の流れを示すフローチャートである。 対象画像におけるベクトルの導出方法を示す画像であり、（ａ）は動き検出の対象画像を示し、（ｂ）は対象画像において画素の座標と画素値とによって張られる３次元空間における曲面を示し、（ｃ）は対象画像において導出されたベクトルを示し、（ｄ）は対象画像のベクトルのフレーム間差分を示す。 動き検出の対象である動画像における対象画像の一例である。 図４の対象画像より導出した第１のベクトルの座標を表す画像である。 図４の各フレームより導出した対象画素を結ぶ線分を示す画像である。 本発明の実施形態２に係る動き検出システムの要部構成を示すブロック図である。 サーバまたは端末として利用可能なコンピュータの構成を例示したブロック図である。 本発明の実施形態４に係る動き検出システムの要部構成を示すブロック図である。 動き検出の対象である動画像における対象画像の一例である。 図１０の対象画像より導出した第１ベクトルの座標を表す画像である。 図１０の対象画像に図１１の画像を重畳させた画像である。 動き検出の対象である動画像における対象画像の一例である。 図１３の対象画像より導出した第１ベクトルの座標を表す画像である。 図１３の対象画像に図１４の画像を重畳させた画像である。 図１０の対象画像に対する従来のオプティカルフローの検出手法による動き検出結果を例示する画像である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

（動き検出システム）
図１は、本実施形態に係る動き検出システム１の概略構成を示す図である。図１に示すように、動き検出システム１は、動き検出装置１０及び表示装置２０を備えている。

（動き検出装置）
動き検出装置１０は、画像取得部１１、ベクトル導出部１２及び動き検出部１３を備えている。

画像取得部１１は、撮像部（不図示）で撮像された動画像より、当該動画像の個々のフレームである対象画像を取得する。画像取得部１１は、取得した対象画像をベクトル導出部１２に出力する。

ベクトル導出部１２は、画像取得部１１が出力したフレームの１つを対象画像に設定し、当該対象画像から、動きに関連したベクトル（第１のベクトル）を導出する。ベクトル導出部１２は、導出した対象画像におけるベクトルを動き検出部１３に出力する。ベクトル導出部１２は、上記動画像に含まれる少なくとも１枚の他のフレームにおいても同様に、動きに関連したベクトル（第１のベクトル）を導出し、動き検出部１３に出力する。ここで、当該少なくとも１枚の他のフレームは、上記対象画像に対して時間的に隣接する（換言すれば、上記対象画像の直前のフレーム、又は、上記対象画像の直後のフレーム）ことが好ましいが、これは本実施形態を限定するものではない。例えば、当該少なくとも１枚の他のフレームは、上記対象画像に対して、時間的に所定フレーム枚数分離れているフレームであってもよい。なお、混乱のない限り、上記少なくとも１枚の他のフレームのことも対象画像と呼称する場合がある。また、ベクトル導出部１２における、動きに関連したベクトルの導出方法については後述する。

動き検出部１３は、ベクトル導出部１２が導出した、動きに関連したベクトルを追跡することによって上記動画像の動きを検出する。より具体的には、動き検出部１３は、対象画像において導出されたベクトル（第１のベクトル）と、対象画像に対して時間的に隣接するフレーム（隣接フレームとも呼ぶ）において導出されたベクトル（第１のベクトル）との差分より、対象画像と、当該隣接フレームとの間の動きに関連したベクトル（第２のベクトル）を導出する。動き検出部１３は、導出した動きに関連したベクトルを参照して上記動画像の動きを検出する。また、動き検出部１３は、第２のベクトルを複数フレームに亘って追跡することにより、動画像の動きを追跡することもできる。

また、動き検出部１３は、動き検出部１３が導出したベクトル（第２のベクトル）の特性に応じたサーチ領域を設定し、設定したサーチ領域において、動きベクトルの追跡を行う構成であってもよい。サーチ領域とは、追跡のための探索空間の領域であり、動きの向きを含んでもよい。なお、サーチ領域の設定方法については後述する。

また、動き検出部１３は、ベクトル導出部１２において導出されたベクトルのうち、特定のオブジェクトに係るベクトルを選択し、選択したベクトルを追跡することにより動き検出を行う構成であってもよい。ここで、特定のオブジェクトとは、本実施形態を限定するものではないが、例えば、自動車の撮像画像におけるライトのように、動きを追跡しやすいオブジェクトが挙げられる。また、これら特定のオブジェクトの識別方法は本実施形態を限定するものではないが、例えば、パターンマッチング、エッジ検出等の技術を用いることにより、オブジェクトの識別を行うことができる。

（表示装置）
表示装置２０は、画像生成部２１及び表示部２２を備えている。

画像生成部２１は、ベクトル導出部１２において導出されたベクトルを取得し、当該ベクトルに係る画像を生成する。また、画像生成部２１は、動き検出部１３において導出された動きに関連したベクトルを取得し、当該動きに関連したベクトルに係る画像（動きに係る画像）を生成する。画像生成部２１において生成された画像は表示部２２に出力される。

表示部２２は、画像生成部２１から出力された画像を表示する。

（動き検出方法）
図２は、動き検出システム１の処理の流れの一例を示すフローチャートである。

＜ステップＳ１＞
画像取得部１１によって、動き検出の対象となる動画像より、動画像の個々のフレームである対象画像が取得される。

＜ステップＳ２＞
ベクトル導出部１２は、画像取得部１１が取得した対象画像から動きに関連したベクトルである第１のベクトルを導出する。

＜ステップＳ３＞
動き検出部１３は、ベクトル導出部１２が導出した上記第１のベクトルを参照して動画像の動き、すなわち、第２のベクトルを検出する。また、上述のように、動き検出部１３は、第２のベクトルを複数フレームに亘って追跡することにより、動画像の動きを追跡することもできる。

＜ステップＳ４＞
画像生成部２１は、動き検出部１３によって導出された動きに関連したベクトルを参照して、動きに関連したベクトルに係る画像を生成する。

＜ステップＳ５＞
表示部２２は、画像生成部２１によって生成された画像を表示する。

なお、上述の処理の流れにおいて、画像生成部２１は、動き検出部１３によって導出された動きに関連したベクトルに係る画像を生成する構成に替えて、ベクトル導出部１２によって導出された動きに関連したベクトルを参照して当該動きに関連したベクトルに係る画像を生成する構成であってもよい。

以下に、より具体的な動き検出方法について例を挙げて説明する。

上述したステップＳ１において、画像取得部１１は、動き検出の対象となる動画像と当該動画像のコントラストを反転した動画像を取得する。画像取得部１１は、取得したこれらの動画像より、これらの動画像の個々のフレームである対象画像を取得する。

上述したステップＳ２において、ベクトル導出部１２は、対象画像において動きに関連する第１のベクトルの導出を行うドットの数を決定する。ベクトル導出部１２は、決定したドットの数のうちの半分を画像取得部１１が動画像から取得した対象画像（最初のフレーム）にランダムに位置するように設定し、決定したドットの数のうちの残りの半分を画像取得部１１が上記動画像のコントラストを反転した動画像から取得した対象画像（最初のフレーム）にランダムに位置するように設定する。ベクトル導出部１２は、対象画像（最初のフレーム）におけるドットが設定された画素において、動きに関連する第１のベクトルを導出する。

上述したステップＳ３において、動き検出部１３は、ベクトル導出部１２より導出された第１のベクトルを時間微分（フレーム間差分）することにより、第２のベクトルを導出する。

動き検出部１３は、対象画像（最初のフレーム）に隣接するフレーム（対象画像の直後のフレーム）においても、同様の操作を繰り返し、全てのフレームにおいて、第２のベクトルを導出する。

動き検出部１３は、全てのフレームにおいて、第２のベクトルを導出した後、各フレームのドットマッチングを行う。具体的には、動き検出部１３は、対象画像（最初のフレーム）において、任意のドットを選択し、隣接するフレームにおいて、当該任意のドットとベクトルの方向及び大きさが同じドットを探索する。ここで、動き検出部１３は、対象画像における任意のドットを起点として当該ドットのベクトルに沿った直線上の領域を隣接するフレームにおける探索領域として設定する。

動き検出部１３は、上記任意のドットと、隣接フレームにおいて検出したドットとをマッチングする。なお、隣接するフレームにおいて、上記任意のドットとベクトルの方向及び大きさが同じドットが複数検出された場合、動き検出部１３は、検出された複数のドットのうち、上記任意のドットに一番近い位置にあるドットとマッチングさせる。

動き検出部１３は、全てのフレームにおいてドットマッチングを行うことにより、上記動画像の動きを追跡する。なお、動き検出部１３は、マッチングされなかったドットをすべて削除する。

画像生成部２１は、動き検出部１３においてマッチングされたドットを視覚化することで、動きに関連したベクトルに係る画像を生成する。表示部２２は、画像生成部２１によって生成された画像を表示する。

上記の具体例では、動き検出システム１は、対象画像における全ての画素において、動きに関連したベクトルの導出を行っているのではなく、ランダムに設定されたドット上においてのみ動きに関連したベクトルの導出を行っているため、計算コストの増大を招来することなく、動き検出を行うことができる。

（ベクトルの導出方法）
続いて、図３を参照して、上述した動きに関連したベクトルの導出方法についてより具体的に説明する。図３は、対象画像におけるベクトルの導出方法を示す画像であり、（ａ）は動き検出の対象画像を示し、（ｂ）は対象画像において画素の座標と画素値とによって張られる３次元空間における曲面を示し、（ｃ）は対象画像において導出されたベクトルを示し、（ｄ）は対象画像のベクトルのフレーム間差分を示す。

（導出工程１）
まず、本実施形態において、ベクトル導出部１２は、対象画像に含まれる少なくとも何れかの画素について、画素値の勾配を示す第１のベクトルを導出する。

より具体的には、まず、ベクトル導出部１２は、図３の（ｂ）に示すように、対象画像の画素の座標を示す２次元平面（ＸＹ平面）と、各画素の画素値を示すＺ軸とによって張られる３次元空間において、対象画像の各画素値を示す曲面を考える。すなわち、対象画像の各画素の横方向の位置、縦方向の位置、及び画素値は、上記３次元空間において、それぞれＸ座標、Ｙ座標、及びＺ座標に対応する。ここで、Ｚ軸として組み合わせられる画素値としては、例えば、輝度値、色差値、及びＲＧＢ等の各色の何れか又はそれらの組み合わせを用いることができる。

（導出工程２）
次に、ベクトル導出部１２は、それぞれの画素における、上記３次元空間上の曲面の法線ベクトルを導出する。

次に、ベクトル導出部１２は、導出した法線ベクトルを正規化し、当該正規化した法線ベクトルをＸＹ平面に射影することによって、図３の（ｃ）に示すように、各画素に関して第１のベクトルを導出する。ベクトル導出部１２において導出された第１のベクトルのＸ成分ｎｘ及びＹ成分ｎｙは下記式のように表される。

ここで、I(x,y,t)は時刻tにおける座標(x,y)に位置する画素の輝度である。なお、時刻ｔは、各フレームに付されたフレーム番号（Picture Order Countとも言う）と読み替えることができる。また、ｘ及びｙに関する偏微分は、それぞれｘ及びｙに関する差分と読み替えることができる。

（導出工程３）
次に、動き検出部１３は、図３の（ｄ）に示すように、ベクトル導出部１２において得られた、上記対象画像の第１ベクトルと、当該対象画像に時間的に隣接するフレームの第１ベクトルとの差分より、この２フレーム間の差分を示すベクトル（第２のベクトルとも呼ぶ）を導出する。換言すれば、第１のベクトルのＸ成分ｎｘ及びＹ成分ｎｙの時間微分（時間差分）をとることにより、第２のベクトルを導出する。

ここで、本実施形態に係る動き検出システム１の動きの検出結果について、図４〜６を参照して説明する。

図４は、動き検出を実施した動画像における対象画像を示す画像である。図４の（ａ）〜（ｃ）は、当該動画像内において、時間的に連続するフレームである。

図５は、図４の対象画像より導出した第１のベクトルの一部を表す画像である。図５の（ａ）〜（ｃ）は、それぞれ、図４の（ａ）〜（ｃ）に対象画像において導出された第１のベクトルの座標を示す画像である。なお、図５に示した例では、対象画像に含まれる画素の全てではなく、一部の画素に対して第１のベクトルの導出を行っている。

図６は、図４の第１のフレームより導出した対象画素Ｐ１、および、第２のフレームより導出した対象画素Ｐ２を結ぶ線分を描いた画像である。図６の（ａ）は、図５の（ａ）及び（ｂ）より導出された線分を示し、図６の（ｂ）は、図５の（ｂ）及び（ｃ）より導出された線分を示す。

図６から明らかなように、本実施形態に係る動き検出システム１は、動き検出部１３が導出した動きに関連したベクトルを追跡することによって動き検出を好適に行うことができる。

（サーチ領域の設定方法）
動き検出部１３におけるサーチ領域の具体的な設定方法について例を挙げれば以下の通りである。

動き検出部１３は、対象画像Ｎ１における対象画素Ｐ１に関して導出した第２のベクトルＶ１に沿った方向にサーチ領域を設定し、上記対象画像に対して隣接するフレームＮ２（例えば、上記対象画像の直後のフレーム）における当該サーチ領域において、上記対象画素に対応する画素Ｐ２を特定し、当該特定した画素に対して第２のベクトルＶ２を算出する。動き検出部１３は、上記の動作を行うことによって第２のベクトルの追跡を行う。

また、動き検出部１３におけるサーチ領域の具体的な設定方法について別の例を挙げれば以下の通りである。

動き検出部１３は、対象画像Ｎ１およびフレームＮ２において、それぞれ、第１のベクトルを算出する。動き検出部１３は、対象画像Ｎ１およびフレームＮ２における対象画素より、第２のベクトルを導出する。動き検出部１３は、ベクトルの追跡を行う対象である対象画素Ｐ１に関して導出した第２のベクトルＶ１に沿った方向にサーチ領域を設定する。動き検出部１３は、フレームＮ２における当該サーチ領域において、対象画素Ｐ１に対応する対象画素Ｐ２に関して導出した第２のベクトルＶ２を特定し，ベクトルの追跡を行う。

ここで、上記サーチ領域は、一例として、対象画像の対象画素Ｐ１を起点とした第２のベクトルＶ１に沿った直線状の領域として設定してもよいし、当該直線状の領域を、第２のベクトルとは垂直の方向に沿って太らせた帯状の領域として設定してもよいし、その他の形状の領域として設定してもよい。また、上記サーチ領域は、一例として、第２のベクトルを定義域とするような関数の値域を用いて設定してもよい。上記サーチ領域は、連続的、連結的、線形的なものに限定されるものではなく、非連続的、非連結的、非線形的であってもよい。

なお、対象画像における対象画素Ｐ１の座標と、隣接フレームにおける対象画素Ｐ２の座標は一般的に異なり得るが、これは本実施形態を限定するものではなく、同じ座標の対象画素に関して、対象画像と隣接フレームとで第１のベクトルを導出する構成としてもよい。

また、隣接フレームにおける対象画素の特定は、当該対象画素に関する画素特性（例えば、輝度、色差、隣接画素との画素値の差等）に基づいて行う構成とすることができる。

このように、本発明に係る動画検出システムは、サーチ領域を設定したうえで第１のベクトルの追跡を行うので、計算コストの増大を招来することなく、動き検出を行うことができる。

（機械学習に関する付記事項）
なお、動き検出部１３による動き検出のための分類及び学習処理の具体構成は本実施形態を限定するものではなく、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Bayesian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、３Ｄデータをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション（Data Augmentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

また、動き検出部１３による動き検出のための分類及び学習処理の具体構成は本実施形態を限定するものではなく、例えば、以上の処理に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

画像取得部１１、ベクトル導出部１２、動き検出部１３、画像生成部２１及び表示部２２を、それぞれ別体の装置に設ける構成とし、これらの装置同士の情報のやり取りを、有線又は無線通信によって行う構成としてもよい。

具体的には、図７に示すように、動き検出システム１ａとして、端末装置（撮像装置）１０ａと、表示装置２０と、サーバ（動き検出装置）３０とを備える構成とし、当該端末装置１０ａが、画像取得部１１を通信部１４とを備え、表示装置２０が、画像生成部２１と、表示部２２と、通信部２３とを備え、サーバ３０が通信部３１とベクトル導出部３２と動き検出部３３とを備える構成としてもよい。ここで、ベクトル導出部３２、及び動き検出部３３の動作は、それぞれ、実施形態１において説明したベクトル導出部１２、及び動き検出部１３の動作と同様である。

また、当該サーバは、複数の画像セットに対する動き検出結果を、当該画像セットの識別番号と共に管理する構成としてもよい。より具体的な例として、複数の対象者の体の動きを、本システムによって動き検出する場合、対象者のＩＤ毎に画像セット（映像データ）を管理する構成としてもよい。更に、画像を取得した時期を示す時間情報を更に紐付けてもよい。

また、当該サーバは、動き検知結果に基づいた機械学習を行う学習部を更に備える構成としてもよい。ここで、当該学習部は、一例として、動き検出部１３が検出した動き情報（又は、第１のベクトル、第２のベクトル等）と、上記対象者のＩＤと、時間情報とをインプットとし、対象者の体の動きに関するクラス分け情報を出力とする学習装置として機能する。

なお当該学習部としては、実施形態１において（機械学習に関する付記事項）に記載したように、各種の手法を用いることができる。

〔実施形態３〕
動き検出装置１０の制御ブロック（画像取得部１１、ベクトル導出部１２および動き検出部１３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、動き検出装置１０、表示装置２０、後述する出力装置２０ｂ（実施形態４を参照）、およびサーバ３０のそれぞれを、図８に示すようなコンピュータ（電子計算機）を用いて構成することができる。なお、動き検出装置１０、表示装置２０、出力装置２０ｂおよびサーバ３０は、それぞれ別体の装置として構成されていてもよく、また、それらの装置のうちの少なくとも一部が一体の装置として構成されていてもよい。例えば、動き検出装置１０と出力装置２０ｂとが一体の装置として構成されていてもよい。

図８は、動き検出装置１０、表示装置２０、出力装置２０ｂ、またはサーバ３０として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブおよびフラッシュメモリ等のストレージであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。

補助記憶装置９１４には、コンピュータ９１０を動き検出装置１０、表示装置２０、出力装置２０ｂ、またはサーバ３０として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して当該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、動き検出装置１０、表示装置２０、出力装置２０ｂ、またはサーバ３０が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置９１３上に展開することなく実行可能なコンピュータであれば、主記憶装置９１３を省略してもよい。なお、上記各装置（演算装置９１２、主記憶装置９１３、補助記憶装置９１４、入出力インターフェース９１５、通信インターフェース９１６、入力装置９２０、および出力装置９３０）は、それぞれ１つであってもよいし、複数であってもよい。

また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔実施形態４〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

上述の各実施形態及び本実施形態において検出の対象となる対象画像の動きには、自動車、人、動物、ボール、等の剛体の動きだけではなく、気体（例えば煙）、及び液体（例えば水、オイル）等の流体の動きが含まれる。このように、上述の各実施形態及び本実施形態において動き検出の対象となる物体には、剛体及び流体が含まれる。この実施形態では、特に、対象画像に気体及び液体等の流体が含まれ、この流体の動きを検出システムが検出する場合を主に説明する。

図９は、この実施形態に係る動き検出システム１ｂ（特性検出装置、及び流体検出装置の一例）の概略構成を示すブロック図である。図９に示すように、動き検出システム１ｂは、動き検出装置１０及び出力装置２０ｂを備えている。動き検出装置１０の画像取得部１１、ベクトル導出部１２、及び動き検出部１３の動作は、実施形態１において説明した画像取得部１１、ベクトル導出部１２、及び動き検出部１３の動作と同様である。

出力装置２０ｂは、画像生成部２１、表示部２２、特定部２４、検知部２５、及び出力部２６を備えている。出力装置２０ｂの画像生成部２１、及び表示部２２の動作は、実施形態１において説明した画像生成部２１、及び表示部２２の動作と同様である。

特定部２４は、動き検出部１３の検出結果を解析し、対象画像に含まれる物体の特性及び物体の動きの特性の少なくともいずれか一方を特定する。対象画像に含まれる物体は、人、動物、自動車、ボール等の剛体であってもよく、また、気体又は液体等の流体であってもよい。物体の特性とは、その物体が有する特徴的な性質又は外観をいう。物体の特性は例えば、人の表情、衣服、物体の形状、又は物体の粘度である。物体の動きの特性は例えば例えば、今後予測される物体の移動方向、又は物体の移動速度である。

例えば人の表情を特性として特定する場合、特定部２４は、対象画像の画像解析結果及び動き検出部１３の検出結果により、人の表情、及び／又は表情の変化を特定する。また、衣服を特定する場合、特定部２４は、対象画像の画像解析結果及び動き検出部１３の検出結果により、衣服の形状及び／又は衣服の動きを特定する。また、特定部２４は、特定された衣服の形状及び／又は衣服の動きから衣服の素材を特定してもよい。

また、予測される物体の動きを特性として特定する場合、特定部２４は、動き検出部１３が検出した動きを解析し、対象画像に含まれる物体の動きを予測する。より具体的には例えば、特定部２４は、動き検出部１３が導出した第２のベクトルによって示される移動方向及び移動速度を、予測される物体の移動方向及び移動速度としてもよい。また、例えば、特定部２４は、動き検出部１３が導出した第２のベクトルによって示される移動方向及び移動速度の時間の経過に伴う変化を解析することにより、物体の動きを予測してもよい。

また、粘度を測定する場合、特定部２４は、動き検出部１３の検出結果を用いて、流体の粘度を測定する。粘度が測定される物体は例えば、セメント、又はアイスクリームである。例えば特定部２４は、動き検出部１３において導出された第２ベクトルを取得し、第２のベクトルによって示される物体の移動速度から物体の粘度を測定する。

検知部２５は、動き検出部１３の検出結果を用いて、対象画像に含まれる流体を検知する。検知部２５は例えば、動き検出部１３の検出結果を解析し、動きが検出された領域を物体が位置する領域であると特定してもよい。

出力部２６は、特定部２４の特定結果、及び検知部２５の計測結果を示す情報を出力する。出力部２６による情報の出力は、例えばデータが外部接続された装置に出力されることにより行われてもよく、また、通信ネットワークを介して他の装置にデータが送信されることにより行われてもよい。また、情報の出力は、例えば表示部に画像を表すデータが出力されることにより行われてもよく、また、音や音声により情報が出力されてもよい。

図１０は、動き検出を実施した動画像における対象画像を例示する図である。図１０の例では、煙などの気体を撮影した動画像が用いられている。図１０の（ａ）〜（ｄ）はそれぞれ、動画像に含まれるフレームである。具体的には、図１０の（ｂ）は、図１０の（ａ）のフレームから一定時間（例えば、２０秒）経過後のフレームである。図１０の（ｃ）は、図１０の（ｂ）のフレームから一定時間（例えば、２０秒）経過後のフレームである。図１０の（ｄ）は、図１０の（ｃ）のフレームから一定時間（例えば、２０秒）経過後のフレームである。図１０の（ａ）〜（ｄ）に示されるように、撮影された煙などの気体の外観は、時間の経過に伴って徐々に変化している。

図１１は、図１０の対象画像より導出した第１のベクトルの座標を表す画像である。図１１の（ａ）〜（ｄ）はそれぞれ、図１０の（ａ）〜（ｄ）の対象画像において導出された第１のベクトルの座標を示す画像である。この例で、ベクトル導出部１２は、対象画像に含まれる全ての画素に対して第１のベクトルの導出を行ってフレーム間でのドットのマッチング処理を行い、マッチングに成功した第１のベクトルを抽出する。すなわち、図１１の例では、マッチングが成功した第１のベクトルの座標が表示され、マッチングが成功しなかった第１のベクトルの座標は表示されない。なお、ベクトル導出部１２が第１のベクトルの導出の対象とする画素は、対象画像に含まれる全ての画素でなくてもよい。ベクトル導出部１２は、対象画像に含まれる一部の画素から第１のベクトルの導出を行ってもよい。

この実施形態では、画像生成部２１は、動き検出の対象画像である動画像に対応する動画像として、ベクトル導出部１２が導出した第１のベクトルの座標の時間的な変化を表す動画像（以下「動き検出画像」という）を生成する。図１１の（ａ）〜（ｄ）はこの動画像に含まれるフレームの例である。この動画像により、ユーザは例えば煙などの流体の動きを把握することができる。

図１２は、図１０の対象画像に図１１の画像を重畳させた画像である。図１２の（ａ）〜（ｄ）はそれぞれ、図１０の（ａ）〜（ｄ）の対象画像に図１１の（ａ）〜（ｄ）の画像を重畳したものである。

図１６は、図１０の対象画像に対する従来のオプティカルフローの検出手法による動き検出結果を例示する画像である。図１６の（ａ）〜（ｄ）はそれぞれ、図１０の（ａ）〜（ｄ）の対象画像からの動きの検出結果を表す画像である。図１６と図１１とを比較すると明らかなように、本実施形態では、煙などの流体の動き検出の精度が高くなる。

図１３は、動き検出を実施した他の動画像における対象画像を例示する図である。図１３の（ａ）〜（ｄ）はそれぞれ、動画像に含まれるフレームである。各図の（ａ）〜（ｄ）により示されるフレームの関係は、上述した図１０のそれと同様である。

図１４は、図１３の対象画像より導出した第１のベクトルの座標を表す画像である。また、図１５は、図１３の対象画像に、各対象画像から導出された第１のベクトルの座標を表す画像を重畳された画像である。

ところで、気体や液体等の流体が撮影された画像が対象画像として用いられる場合、対象画像には特徴点が顕在しない場合がある。このように特徴点が顕在しない場合、従来のオプティカルフローの手法では対象画像から動きを検出することが困難である場合があった。これに対しこの実施形態では、対象画像に特徴点が顕在しない場合であっても、動き検出部１３が動画像の動きを追跡し易い。これにより、この実施形態によれば、人が知覚するような、煙、水などの流体の動きの抽出と可視化が可能になる。

出力装置２０ｂ又は出力装置２０ｂから出力されたデータを取得した装置（図示略）は、検出された動きを用いてユーザに各種のサービスを提供する。提供されるサービスは例えば、流体の粘度計測、自動運転制御、子供や高齢者の見守りサービス、又は、災害発生時の避難支援サービスである。例えば流体の粘度計測の場合、出力装置２０ｂは、特定部２４により測定された流体の粘度を示す情報を出力する。

自動運転制御サービスが提供される場合、出力装置２０ｂは例えば、特定部２４により予測された物体（人、自転車、自動車、ボール、等）の動きを解析し、危険な状況（衝突等）が引き起こされると推定される場合、警告音や警告メッセージを出力したり、警告メッセージを表示部２２に表示したりしてもよい。

また、見守りサービスが提供される場合、見守りの対象となる被保護者（子供、老人、ペット、等）が撮影され、撮影された動画像から動き検出が行われる。出力装置２０ｂは例えば、動き検出部１３により検出された人物の動きを解析したり、特定部２４により特定された被保護者の表情等を解析したりすることにより、被保護者の見守りを行う。出力装置２０ｂは、解析結果により被保護者が危険な状況であると推定される場合、警告音や警告メッセージを出力したり、警告メッセージを表示部２２に表示したりしてもよい。この場合、撮影された動画像が動き検出の対象画像となるが、この動画像が公開される必要はない。そのため、検出システム１ｂは、被保護者のプライバシーを保護しつつ、見守りサービスを提供することができる。

なお、上述の実施形態１では、動き検出部１３が行うドットマッチング処理の例として、対象画像（最初のフレーム）において任意のドットを選択し、隣接するフレームにおいて、当該任意のドットとベクトルの方向及び大きさが同じドットを探索する処理を例示した。ドットマッチングの処理は上述した実施形態で示したものに限られない。ドットマッチング処理は例えば、動き検出部１３が、対象画像において任意のドットを選択し、そのフレームに隣接するフレームにおいて、当該任意のベクトルの方向及び大きさの差分が所定の条件（例えば、所定の閾値以下）を満たすドットを探索することにより行われてもよい。

〔まとめ〕
本発明の一態様に係る動き検出装置は、対象画像の動き検出を行う動き検出装置であって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部とを備えている。

上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

本発明の一態様に係る動き検出装置は、上記動き検出部は、上記動き検出部が検出したベクトルの特性に応じたサーチ領域を設定し、設定したサーチ領域において、上記動きに関連したベクトルの追跡を行う。

上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

本発明の一態様に係る動き検出装置は、上記動き検出部は、上記動き検出部が検出したベクトルに沿った方向に上記サーチ領域を設定する。

上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

本発明の一態様に係る動き検出装置は、上記ベクトル導出部は、上記対象画像に含まれる少なくとも何れかの画素について、画素値の勾配を示す第１のベクトルを導出し、上記第１のベクトルのフレーム間の差分を示す第２のベクトルを、上記動きに関連したベクトルとして導出する。

上記の構成によれば、動き検出を行うにあたって、好適なベクトルを参照することができる。

本発明の一態様に係る動き検出装置は、上記ベクトル導出部は、上記対象画像の各画素の横方向の位置、縦方向の位置、及び画素値を、それぞれＸ座標、Ｙ座標、及びＺ座標とする曲面の法線ベクトルを、ＸＹ平面に射影することによって上記第１のベクトルを導出する。

上記の構成によれば、動き検出を行うにあたって、好適なベクトルを参照することができる。

本発明の一態様に係る動き検出装置は、上記ベクトル導出部は、上記法線ベクトルを正規化したうえで上記ＸＹ平面に射影することによって上記第１のベクトルを導出する。

上記の構成によれば、動き検出を行うにあたって、好適なベクトルを参照することができる。

本発明の一態様に係る動き検出装置は、対象画像の動き検出を行う動き検出システムであって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と、上記動き検出部が検出した動きを参照して、当該動きに係る画像を生成する画像生成部と、上記画像生成部が生成した画像を表示する表示部とを備えている。

上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

本発明の一態様に係る動き検出方法は、対象画像の動き検出を行う動き検出方法であって、対象画像を取得する画像取得ステップと、上記画像取得ステップにおいて取得した対象画像から動きに関連したベクトルを導出するベクトル導出ステップと、上記ベクトル導出ステップにおいて導出したベクトルを追跡することによって動き検出を行う動き検出ステップとを含んでいる。

上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

本発明の一態様に係る特性検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる物体の特性及び当該物体の動きの特性の少なくともいずれか一方を特定する特定部を更に備える。

上記の構成によれば、計算コストの増大を招来することなく、物体の特性及び物体の動きの特性の少なくともいずれか一方を特定することができる。

本発明の一態様に係る特性検出装置は、前記特定部は、前記特定部は、上記動き検出部の検出結果を用いて、前記物体の動きを予測する。

上記の構成によれば、計算コストの増大を招来することなく、物体の動きを予測することができる。

本発明の一態様に係る特性検出装置は、上記対象画像は流体の画像を含み、上記特定部は、上記流体の特性及び上記流体の動きの特性の少なくともいずれか一方を特定する。

上記の構成によれば、計算コストの増大を招来することなく、物体の特性及び物体の動きの特性の少なくともいずれか一方を特定することができる。

本発明の一態様に係る特性検出装置は、上記特定部は、上記動き検出部の検出結果を用いて、上記流体の粘度を特定する。

上記の構成によれば、計算コストの増大を招来することなく、物体の粘度を測定することができる。

本発明の一態様に係る流体検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる流体を検知する検知部とを備える。

上記の構成によれば、計算コストの増大を招来することなく、流体を検知することができる。

本発明の各態様に係る動き検出装置、特性検出装置、及び流体検出装置は、それぞれ、コンピュータによって実現してもよく、この場合には、コンピュータを上記動き検出装置、特性検出装置、又は流体検出装置が備える各手段として動作させることにより上記動き検出装置、特性検出装置、又は流体検出装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

１ 動き検出システム
１０ 動き検出装置
１１ 画像取得部
１２ ベクトル導出部
１３ 動き検出部
２０ 表示装置
２１ 画像生成部
２２ 表示部
２３ 通信部
２４ 特定部
２５ 検知部
２６ 出力部

Claims (19)

1. 対象画像の動き検出を行う動き検出装置であって、
   対象画像を取得する画像取得部と、
   上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、
   上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と
   を備えている動き検出装置。
2. 上記動き検出部は、
   上記動き検出部が検出したベクトルの特性に応じたサーチ領域を設定し、
   設定したサーチ領域において、上記動きに関連したベクトルの追跡を行う請求項１に記載の動き検出装置。
3. 上記動き検出部は、上記動き検出部が検出したベクトルに沿った方向に上記サーチ領域を設定する請求項２に記載の動き検出装置。
4. 上記ベクトル導出部は、
   上記対象画像に含まれる少なくとも何れかの画素について、
   画素値の勾配を示す第１のベクトルを導出し、
   上記第１のベクトルのフレーム間の差分を示す第２のベクトルを、上記動きに関連したベクトルとして導出する請求項１〜３の何れか１項に記載の動き検出装置。
5. 上記ベクトル導出部は、
   上記対象画像の各画素の横方向の位置、縦方向の位置、及び画素値を、それぞれＸ座標、Ｙ座標、及びＺ座標とする曲面の法線ベクトルを、ＸＹ平面に射影することによって上記第１のベクトルを導出する請求項４に記載の動き検出装置。
6. 上記ベクトル導出部は、
   上記法線ベクトルを正規化したうえで上記ＸＹ平面に射影することによって上記第１のベクトルを導出する請求項５に記載の動き検出装置。
7. 対象画像の動き検出を行う動き検出システムであって、
   対象画像を取得する画像取得部と、
   上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、
   上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と、
   上記動き検出部が検出した動きを参照して、当該動きに係る画像を生成する画像生成部と、
   上記画像生成部が生成した画像を表示する表示部と
   を備えている動き検出システム。
8. 対象画像の動き検出を行う動き検出方法であって、
   対象画像を取得する画像取得ステップと、
   上記画像取得ステップにおいて取得した対象画像から動きに関連したベクトルを導出するベクトル導出ステップと、
   上記ベクトル導出ステップにおいて導出したベクトルを追跡することによって動き検出を行う動き検出ステップと
   を含んでいる動き検出方法。
9. 請求項１に記載の動き検出装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記ベクトル導出部、及び上記動き検出部としてコンピュータを機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 請求項１〜６のいずれか１項に記載の動き検出装置と、
    上記動き検出部の検出結果を用いて、上記対象画像に含まれる物体の特性及び当該物体の動きの特性の少なくともいずれか一方を特定する特定部と
    を備える特性検出装置。
12. 前記特定部は、上記動き検出部の検出結果を用いて、前記物体の動きを予測する
    請求項１１に記載の特性検出装置。
13. 上記対象画像は流体の画像を含み、
    上記特定部は、上記流体の特性及び上記流体の動きの特性の少なくともいずれか一方を特定する
    請求項１１〜１２のいずれか１項に記載の特性検出装置。
14. 上記特定部は、上記動き検出部の検出結果を用いて、上記流体の粘度を特定する
    請求項１３に記載の特性検出装置。
15. 請求項１〜６のいずれか１項に記載の動き検出装置と、
    上記動き検出部の検出結果を用いて、上記対象画像に含まれる流体を検知する検知部と
    を備える流体検出装置。
16. 請求項１１に記載の特性検出装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記ベクトル導出部、上記動き検出部、及び上記特定部としてコンピュータを機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
18. 請求項１５に記載の流体検出装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記ベクトル導出部、上記動き検出部、及び上記検知部としてコンピュータを機能させるためのプログラム。
19. 請求項１８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images