JP2010108110A - 人物特定装置、人物特定方法及び人物特定プログラム - Google Patents
人物特定装置、人物特定方法及び人物特定プログラム Download PDFInfo
- Publication number
- JP2010108110A JP2010108110A JP2008277564A JP2008277564A JP2010108110A JP 2010108110 A JP2010108110 A JP 2010108110A JP 2008277564 A JP2008277564 A JP 2008277564A JP 2008277564 A JP2008277564 A JP 2008277564A JP 2010108110 A JP2010108110 A JP 2010108110A
- Authority
- JP
- Japan
- Prior art keywords
- person
- information
- image
- image information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
【課題】顔の正面画像が含まれていない画像情報からでも、人物の特定を可能にすることを目的とする。
【解決手段】画像取得部110は少なくとも3方向から人の画像情報を取得する。3次元モデル生成部120は、画像取得部110が取得した画像情報に基づき、その人を3次元モデルで表した3次元モデル情報を生成して、その人を識別するための情報として3次元モデル情報を3次元モデル記憶部130に記憶させる。その後、画像取得部110は新たに人の画像情報を取得する。人物特定部140は、画像取得部110が新たに取得した画像情報が示す人の姿勢に、3次元モデル記憶部130が記憶した3次元モデル情報の姿勢を変形して、画像情報が示す人と3次元モデル情報とを比較することにより、画像情報が示す人を特定する。
【選択図】図1
【解決手段】画像取得部110は少なくとも3方向から人の画像情報を取得する。3次元モデル生成部120は、画像取得部110が取得した画像情報に基づき、その人を3次元モデルで表した3次元モデル情報を生成して、その人を識別するための情報として3次元モデル情報を3次元モデル記憶部130に記憶させる。その後、画像取得部110は新たに人の画像情報を取得する。人物特定部140は、画像取得部110が新たに取得した画像情報が示す人の姿勢に、3次元モデル記憶部130が記憶した3次元モデル情報の姿勢を変形して、画像情報が示す人と3次元モデル情報とを比較することにより、画像情報が示す人を特定する。
【選択図】図1
Description
この発明は、例えば、画像情報に含まれる人物を特定する技術に関する。
従来、画像情報に含まれる人物を特定する技術として、顔認識と呼ばれる技術がある。顔認識とは、画像情報に含まれる人間の顔の位置を特定する技術である。顔認識を応用した人物特定技術がある。この技術では、予め登録された人物の顔画像と、カメラ等により取得した画像情報に含まれる顔画像とを比較して、取得した画像情報に含まれる顔画像が示す人物を特定する。この技術では、顔を形成するパーツ(例えば、目、鼻、口)の間の距離の比率、各パーツの大きさの比率により顔画像を比較する。
特開2005−084815号公報
従来の画像情報に含まれる人物を特定する技術では、画像情報に顔画像が含まれていなければ人物を特定することはできない。特に、画像情報に顔の正面画像が含まれていなければ人物を特定することは難しい。しかし、画像情報に顔画像が含まれているとは限らない。特に、顔の正面画像が含まれているとは限らない。
例えば、入場者を特定の人物に限定する場合、店舗等の入り口に設置されたカメラで入り口付近を撮影して、撮影された画像に含まれる人物を特定する。そして、特定された人物が入場を許可されている人物でなければ入場を制限する。この場合、入場が許可されていないにもかかわらず悪意を持って入場しようとする者であれば、荷物等でカメラに顔が映らないように顔を隠して入場することも考えられる。また、一般の入場者であっても、横を向きながら入場することも考えられる。したがって、都合よく入場する人の顔の正面画像を取得できるとは限らない。
この発明は、例えば、顔の正面画像が含まれていない画像情報からでも、人物の特定を可能にすることを目的とする。
例えば、入場者を特定の人物に限定する場合、店舗等の入り口に設置されたカメラで入り口付近を撮影して、撮影された画像に含まれる人物を特定する。そして、特定された人物が入場を許可されている人物でなければ入場を制限する。この場合、入場が許可されていないにもかかわらず悪意を持って入場しようとする者であれば、荷物等でカメラに顔が映らないように顔を隠して入場することも考えられる。また、一般の入場者であっても、横を向きながら入場することも考えられる。したがって、都合よく入場する人の顔の正面画像を取得できるとは限らない。
この発明は、例えば、顔の正面画像が含まれていない画像情報からでも、人物の特定を可能にすることを目的とする。
この発明に係る人物特定装置は、例えば、
複数の人の各人について、その人を識別するための情報として、その人の3次元モデル情報を記憶装置に記憶する3次元モデル記憶部と、
撮影装置により人を撮影してその人の画像情報を取得する画像取得部と、
前記画像取得部が取得した人の画像情報と、前記3次元モデル記憶部が記憶した3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定部と
を備えることを特徴とする。
複数の人の各人について、その人を識別するための情報として、その人の3次元モデル情報を記憶装置に記憶する3次元モデル記憶部と、
撮影装置により人を撮影してその人の画像情報を取得する画像取得部と、
前記画像取得部が取得した人の画像情報と、前記3次元モデル記憶部が記憶した3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定部と
を備えることを特徴とする。
前記人物特定部は、前記人の画像情報におけるその人の姿勢に合わせて前記3次元モデル情報を変形して前記人の画像情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
ことを特徴とする。
前記3次元モデル記憶部は、人の所定の骨の長さの情報を持つ3次元モデル情報を記憶し、
前記人物特定部は、前記画像取得部が取得した人の画像情報から人の前記所定の骨の長さを計算して、前記3次元モデル記憶部が記憶した3次元モデル情報が示す骨の長さと比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
前記人物特定部は、前記画像取得部が取得した人の画像情報から人の前記所定の骨の長さを計算して、前記3次元モデル記憶部が記憶した3次元モデル情報が示す骨の長さと比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
前記画像取得部は、所定の検知装置により人が第1の位置にいることを検知した場合に、第2の位置に設置された撮影装置により前記人を撮影し、
前記人物特定部は、前記第1の位置と前記第2の位置と前記人の画像情報とから人の前記所定の骨の長さを計算する
ことを特徴とする。
前記人物特定部は、前記第1の位置と前記第2の位置と前記人の画像情報とから人の前記所定の骨の長さを計算する
ことを特徴とする。
前記人物特定装置は、さらに、
人の画像の表面を表現するための複数のテクスチャを記憶装置に記憶するテクスチャ記憶部と、
前記テクスチャ記憶部が記憶した複数のテクスチャから前記人の画像情報を表現するためのテクスチャを処理装置により抽出するテクスチャ抽出部とを備え、
前記人物特定部は、前記テクスチャ抽出部が抽出したテクスチャを前記3次元モデル情報に貼り付けて、テクスチャを貼り付けた3次元モデルと前記人の画像情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
人の画像の表面を表現するための複数のテクスチャを記憶装置に記憶するテクスチャ記憶部と、
前記テクスチャ記憶部が記憶した複数のテクスチャから前記人の画像情報を表現するためのテクスチャを処理装置により抽出するテクスチャ抽出部とを備え、
前記人物特定部は、前記テクスチャ抽出部が抽出したテクスチャを前記3次元モデル情報に貼り付けて、テクスチャを貼り付けた3次元モデルと前記人の画像情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
前記3次元モデル記憶部は、複数の3次元モデル情報を記憶するとともに、前記複数の3次元モデル情報の各3次元モデルが示す人を特定するための特定情報を記憶し、
前記人物特定部は、前記人の画像情報と前記特定情報とに基づき3次元モデル情報を絞込みするとともに、前記人の画像情報と絞込みされた3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
前記人物特定部は、前記人の画像情報と前記特定情報とに基づき3次元モデル情報を絞込みするとともに、前記人の画像情報と絞込みされた3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする。
前記人物特定部は、前記人の画像情報におけるその人の姿勢に合わせて前記3次元モデル情報を変形することにより、その人の姿勢を特定し、
前記人物特定装置は、さらに、
前記人物特定部が特定した人の姿勢に基づき、その人の動作を処理装置により特定する動作特定部
を備えることを特徴とする。
前記人物特定装置は、さらに、
前記人物特定部が特定した人の姿勢に基づき、その人の動作を処理装置により特定する動作特定部
を備えることを特徴とする。
前記人物特定装置は、さらに、
所定の動作を示す情報を記憶装置に記憶した動作記憶部を備え、
前記動作特定部は、特定した動作が前記動作記憶部が記憶した動作である場合、警告を出力する
ことを特徴とする。
所定の動作を示す情報を記憶装置に記憶した動作記憶部を備え、
前記動作特定部は、特定した動作が前記動作記憶部が記憶した動作である場合、警告を出力する
ことを特徴とする。
この発明に係る人物特定方法は、例えば
撮影装置が、人を撮影してその人の画像情報を取得する画像取得ステップと、
処理装置が、前記画像取得ステップで取得した人の画像情報と、予め記憶装置に記憶した人の3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定ステップと
を備えることを特徴とする。
撮影装置が、人を撮影してその人の画像情報を取得する画像取得ステップと、
処理装置が、前記画像取得ステップで取得した人の画像情報と、予め記憶装置に記憶した人の3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定ステップと
を備えることを特徴とする。
この発明に係る人物特定プログラムは、例えば、
人を撮影してその人の画像情報を取得する画像取得処理と、
前記画像取得処理で取得した人の画像情報と、予め記憶装置に記憶した3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定処理と
をコンピュータに実行させることを特徴とする。
人を撮影してその人の画像情報を取得する画像取得処理と、
前記画像取得処理で取得した人の画像情報と、予め記憶装置に記憶した3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定処理と
をコンピュータに実行させることを特徴とする。
この発明に係る人物特定装置は、例えば、
複数の人の各人について、その人を識別するための情報として、その人の所定の部分のサイズを記憶装置に記憶する人物情報記憶部と、
所定の検知装置により人が第1の位置にいることを検知した場合に、第2の位置に設置された撮影装置により前記人を撮影してその人の画像情報を取得する画像取得部と、
前記画像取得部が取得した人の画像情報と前記第1の位置と前記第2の位置とからその人の前記所定の部分のサイズを計算して、前記人物情報記憶部が記憶したサイズと比較することにより、前記画像情報が示す人を特定する人物特定部と
を備えることを特徴とする。
複数の人の各人について、その人を識別するための情報として、その人の所定の部分のサイズを記憶装置に記憶する人物情報記憶部と、
所定の検知装置により人が第1の位置にいることを検知した場合に、第2の位置に設置された撮影装置により前記人を撮影してその人の画像情報を取得する画像取得部と、
前記画像取得部が取得した人の画像情報と前記第1の位置と前記第2の位置とからその人の前記所定の部分のサイズを計算して、前記人物情報記憶部が記憶したサイズと比較することにより、前記画像情報が示す人を特定する人物特定部と
を備えることを特徴とする。
この発明に係る人物特定装置は、画像情報に含まれる人物の画像と、予め記憶した3次元モデル情報とを比較して人物の特定を行う。したがって、画像情報に顔画像が含まれていない場合であっても人物の特定が可能である。
実施の形態1.
まず、3次元モデル情報の生成処理について説明する。次に、生成した3次元モデル情報に基づく人物特定処理について説明する。
まず、3次元モデル情報の生成処理について説明する。次に、生成した3次元モデル情報に基づく人物特定処理について説明する。
図1は、この実施の形態に係る人物特定装置100の機能を示す機能ブロック図である。
人物特定装置100は、画像取得部110、3次元モデル生成部120、3次元モデル記憶部130(人物情報記憶部)、人物特定部140、テクスチャ抽出部150、テクスチャ記憶部160を備える。
画像取得部110は、カメラ等の撮影装置により人を撮影してその人の画像情報を取得する。
3次元モデル生成部120は、画像取得部110が取得した人の画像情報に基づき、その人の3次元モデル情報を処理装置により生成する。3次元モデル情報は、画像情報からその人の所定の骨(主要な骨)の長さ等を計算して生成された骨モデル情報に、後述するテクスチャ抽出部150が抽出したテクスチャを貼付して、その人を3次元モデルで表した情報である。骨の長さや身体の各部の太さは人毎に異なるため、3次元モデル情報は人毎に異なる情報であり、人を識別可能な情報である。
3次元モデル記憶部130は、3次元モデル生成部120が生成した3次元モデル情報をその人の名前やID等の個人情報とともに記憶装置に記憶する。
人物特定部140は、3次元モデル記憶部130が記憶した3次元モデル情報と、画像取得部110が取得した画像情報(通常は3次元モデル情報を作成する際に使用した画像情報とは異なる画像情報)に含まれる人とを比較して、その人がどの人であるか(誰であるか)を特定する。
テクスチャ抽出部150は、後述するテクスチャ記憶部160が記憶するテクスチャから、画像取得部110が取得した画像情報に含まれる人を表現するためのテクスチャを処理装置により抽出する。
テクスチャ記憶部160は、人の画像の表面を表現するための複数のテクスチャを記憶装置に記憶する。テクスチャ記憶部160は、例えば、人の皮膚等を表した複数のテクスチャを記憶する。ここでは、テクスチャ記憶部160は、複数のパターンの服のテクスチャを3次元モデルとして記憶する。テクスチャとは、3次元コンピュータグラフィックスで、物体の表面の質感を表現するために貼り付ける画像のことである。
人物特定装置100は、画像取得部110、3次元モデル生成部120、3次元モデル記憶部130(人物情報記憶部)、人物特定部140、テクスチャ抽出部150、テクスチャ記憶部160を備える。
画像取得部110は、カメラ等の撮影装置により人を撮影してその人の画像情報を取得する。
3次元モデル生成部120は、画像取得部110が取得した人の画像情報に基づき、その人の3次元モデル情報を処理装置により生成する。3次元モデル情報は、画像情報からその人の所定の骨(主要な骨)の長さ等を計算して生成された骨モデル情報に、後述するテクスチャ抽出部150が抽出したテクスチャを貼付して、その人を3次元モデルで表した情報である。骨の長さや身体の各部の太さは人毎に異なるため、3次元モデル情報は人毎に異なる情報であり、人を識別可能な情報である。
3次元モデル記憶部130は、3次元モデル生成部120が生成した3次元モデル情報をその人の名前やID等の個人情報とともに記憶装置に記憶する。
人物特定部140は、3次元モデル記憶部130が記憶した3次元モデル情報と、画像取得部110が取得した画像情報(通常は3次元モデル情報を作成する際に使用した画像情報とは異なる画像情報)に含まれる人とを比較して、その人がどの人であるか(誰であるか)を特定する。
テクスチャ抽出部150は、後述するテクスチャ記憶部160が記憶するテクスチャから、画像取得部110が取得した画像情報に含まれる人を表現するためのテクスチャを処理装置により抽出する。
テクスチャ記憶部160は、人の画像の表面を表現するための複数のテクスチャを記憶装置に記憶する。テクスチャ記憶部160は、例えば、人の皮膚等を表した複数のテクスチャを記憶する。ここでは、テクスチャ記憶部160は、複数のパターンの服のテクスチャを3次元モデルとして記憶する。テクスチャとは、3次元コンピュータグラフィックスで、物体の表面の質感を表現するために貼り付ける画像のことである。
例えば、画像取得部110は、店舗の入り口でカメラにより少なくとも3方向から人を撮影してその人の画像情報を取得する。そして、3次元モデル生成部120がその画像情報に基づきその人の3次元モデル情報を生成して、3次元モデル記憶部130が生成した3次元モデル情報を記憶する。
その後、再びその人が来店した場合には、画像取得部110は、店舗の入り口で撮影して画像情報を取得する。そして、人物特定部140は、以前に来店した際に取得した画像情報から生成した3次元モデル情報に基づき、今回来店した人が誰であるか特定する。つまり、人物特定装置100は、以前に来店した際に生成した3次元モデル情報に基づき、来店者が誰であるかを特定することができる。
あるいは、店舗の入り口で取得した画像情報に基づき、3次元モデル情報を生成した後、来店した人が店舗内を移動する。すると、画像取得部110は、店舗内にいる人をカメラにより撮影して新たな画像情報を取得する。人物特定部140は、画像取得部110が新たに取得した画像情報に含まれる人を、3次元モデル記憶部130が記憶した3次元モデル情報に基づき特定する。つまり、人物特定装置100は、店舗の入り口を撮影して取得した画像情報から生成した3次元モデル情報に基づき、店舗内を撮影して取得した画像情報に含まれる人が誰であるか特定することができる。すなわち、人物特定装置100は、3次元モデル情報に基づき、店舗内を移動する人を追跡することができる。
その後、再びその人が来店した場合には、画像取得部110は、店舗の入り口で撮影して画像情報を取得する。そして、人物特定部140は、以前に来店した際に取得した画像情報から生成した3次元モデル情報に基づき、今回来店した人が誰であるか特定する。つまり、人物特定装置100は、以前に来店した際に生成した3次元モデル情報に基づき、来店者が誰であるかを特定することができる。
あるいは、店舗の入り口で取得した画像情報に基づき、3次元モデル情報を生成した後、来店した人が店舗内を移動する。すると、画像取得部110は、店舗内にいる人をカメラにより撮影して新たな画像情報を取得する。人物特定部140は、画像取得部110が新たに取得した画像情報に含まれる人を、3次元モデル記憶部130が記憶した3次元モデル情報に基づき特定する。つまり、人物特定装置100は、店舗の入り口を撮影して取得した画像情報から生成した3次元モデル情報に基づき、店舗内を撮影して取得した画像情報に含まれる人が誰であるか特定することができる。すなわち、人物特定装置100は、3次元モデル情報に基づき、店舗内を移動する人を追跡することができる。
まず、3次元モデル情報の生成処理について説明する。図2は、3次元モデル情報の生成処理を示すフローチャートである。
(S11:画像取得ステップ)
画像取得部110は、カメラにより人を撮影して画像情報を取得する。
図3は、画像取得部110が3次元モデル情報作成のために人の画像情報を取得する状況を示す図である。図3に示すように、画像取得部110は、異なる位置に設置された少なくとも3台のカメラにより通過した人を撮影して画像情報を取得する。つまり、画像取得部110は、少なくとも3方向(例えば、前方向、横方向、上方向)から人を撮影して画像情報を取得する。3方向からの画像情報があれば、人を立体(3次元モデル)として表すことができる。カメラは多ければ多いほど精度の高い3次元モデル情報を生成することができる。
また、画像取得部110は、所定の位置にいる人を所定の位置から撮影する。撮影された人の位置と撮影した位置(カメラの位置)とがわかれば、その間の距離がわかり、撮影して取得した画像情報からその人のサイズを計算することができる。つまり、画像情報から人の身長、足の長さ、足の太さ、手の長さ、手の太さ、肩幅、顔の大きさ、顔のパーツの大きさ、顔のパーツの間の距離等を計算することができる。そこで、例えば、店舗の入り口付近に通過センサを設置しておき、通過センサが人が通過したことを検知した場合に、所定の位置に設置された少なくとも3台のカメラで撮影することにより、所定の位置にいる人を撮影することができる。カメラの位置は設置した位置であるから当然に知ることができる。
(S11:画像取得ステップ)
画像取得部110は、カメラにより人を撮影して画像情報を取得する。
図3は、画像取得部110が3次元モデル情報作成のために人の画像情報を取得する状況を示す図である。図3に示すように、画像取得部110は、異なる位置に設置された少なくとも3台のカメラにより通過した人を撮影して画像情報を取得する。つまり、画像取得部110は、少なくとも3方向(例えば、前方向、横方向、上方向)から人を撮影して画像情報を取得する。3方向からの画像情報があれば、人を立体(3次元モデル)として表すことができる。カメラは多ければ多いほど精度の高い3次元モデル情報を生成することができる。
また、画像取得部110は、所定の位置にいる人を所定の位置から撮影する。撮影された人の位置と撮影した位置(カメラの位置)とがわかれば、その間の距離がわかり、撮影して取得した画像情報からその人のサイズを計算することができる。つまり、画像情報から人の身長、足の長さ、足の太さ、手の長さ、手の太さ、肩幅、顔の大きさ、顔のパーツの大きさ、顔のパーツの間の距離等を計算することができる。そこで、例えば、店舗の入り口付近に通過センサを設置しておき、通過センサが人が通過したことを検知した場合に、所定の位置に設置された少なくとも3台のカメラで撮影することにより、所定の位置にいる人を撮影することができる。カメラの位置は設置した位置であるから当然に知ることができる。
(S12:形状調整ステップ)
3次元モデル生成部120は、(S11)で画像取得部110が取得した画像情報に、3次元モデル情報のベースとなるベースモデル(擬似胴体)の形状を処理装置により合わせる。
図4は、ベースモデルの一例を示す図である。図4では、ベースモデルを平面的に示しているが、実際には3次元で表現されている。また、ベースモデルは人間の動きを表すために必要な最低限の骨構造を有しているものとする(図4では簡単のため一部の骨のみ表示している)。したがって、ベースモデルを人間がとるどのような姿勢にも変形することができる。なお、図4では、ベースモデルの顔部分は、顎部分を除き簡単のため省略して示している。また、図4では、線で骨を表し、丸で関節を表している。
3次元モデル生成部120は、ベースモデルを、画像取得部110が取得した画像情報における人の姿勢に変形する。3次元モデル生成部120は、例えば、画像情報から人の輪郭を抽出して、抽出した輪郭に合うようにベースモデルを変形することで、ベースモデルを画像情報における人の姿勢に変形できる。
3次元モデル生成部120は、(S11)で画像取得部110が取得した画像情報に、3次元モデル情報のベースとなるベースモデル(擬似胴体)の形状を処理装置により合わせる。
図4は、ベースモデルの一例を示す図である。図4では、ベースモデルを平面的に示しているが、実際には3次元で表現されている。また、ベースモデルは人間の動きを表すために必要な最低限の骨構造を有しているものとする(図4では簡単のため一部の骨のみ表示している)。したがって、ベースモデルを人間がとるどのような姿勢にも変形することができる。なお、図4では、ベースモデルの顔部分は、顎部分を除き簡単のため省略して示している。また、図4では、線で骨を表し、丸で関節を表している。
3次元モデル生成部120は、ベースモデルを、画像取得部110が取得した画像情報における人の姿勢に変形する。3次元モデル生成部120は、例えば、画像情報から人の輪郭を抽出して、抽出した輪郭に合うようにベースモデルを変形することで、ベースモデルを画像情報における人の姿勢に変形できる。
(S13:サイズ調整ステップ)
3次元モデル生成部120は、(S12)で3次元モデル生成部120が変形したベースモデルのサイズを、(S11)で画像取得部110が取得した画像情報から得られる人のサイズに変更する。
つまり、3次元モデル生成部120は、(S11)で画像取得部110が取得した画像情報からその人の骨の長さと形状とを処理装置により計算する。そして、3次元モデル生成部120は、(S12)で3次元モデル生成部120が変形したベースモデルの骨の長さと形状とを、計算した骨の長さと形状とに処理装置により変更する。これにより、3次元モデル生成部120は、画像情報における人に対応した3次元の骨モデル(骨モデル情報)を生成する。
なお、人は服を着ているため、(S11)で画像取得部110が取得した画像情報から、一部の骨の長さや形状は特定できない虞がある。例えば、人が大きめ(緩め)の服を着ているような場合には、その服に覆われた部分の長さや形状は特定できない虞がある。この場合には、例えば、他の骨の長さや形状からおおよその長さや形状を推測計算してもよいし、長さや太さを特定できない部分については、長さや太さを無視して3次元モデル情報を生成してもよい。
3次元モデル生成部120は、(S12)で3次元モデル生成部120が変形したベースモデルのサイズを、(S11)で画像取得部110が取得した画像情報から得られる人のサイズに変更する。
つまり、3次元モデル生成部120は、(S11)で画像取得部110が取得した画像情報からその人の骨の長さと形状とを処理装置により計算する。そして、3次元モデル生成部120は、(S12)で3次元モデル生成部120が変形したベースモデルの骨の長さと形状とを、計算した骨の長さと形状とに処理装置により変更する。これにより、3次元モデル生成部120は、画像情報における人に対応した3次元の骨モデル(骨モデル情報)を生成する。
なお、人は服を着ているため、(S11)で画像取得部110が取得した画像情報から、一部の骨の長さや形状は特定できない虞がある。例えば、人が大きめ(緩め)の服を着ているような場合には、その服に覆われた部分の長さや形状は特定できない虞がある。この場合には、例えば、他の骨の長さや形状からおおよその長さや形状を推測計算してもよいし、長さや太さを特定できない部分については、長さや太さを無視して3次元モデル情報を生成してもよい。
(S14:テクスチャ貼付ステップ)
テクスチャ抽出部150は、(S11)で画像取得部110が抽出した画像情報における人を表現するためのテクスチャをテクスチャ記憶部160が記憶した複数のテクスチャから抽出する。
ここでは、テクスチャ抽出部150は、1種類の皮膚のテクスチャと複数の服のテクスチャとを記憶しているとする。図5は、テクスチャ記憶部160が記憶する服のテクスチャの一例を示す図である。図5では、簡単のため、服のテクスチャを平面で示すが、服のテクスチャは3次元モデルである。したがって、テクスチャ記憶部160が記憶した服のテクスチャは、袖部分を曲げる等自由に変形可能である。つまり、服のテクスチャを3次元骨モデル情報に貼り付けて、3次元骨モデルが服を着た状態にした場合、3次元骨モデルの姿勢変更に合わせて服のテクスチャの形状も変更できる。つまり、3次元骨モデルの腕を曲げれば、服のテクスチャの袖も合わせて曲がる。図5に示すように、テクスチャ記憶部160は、例えば、半袖シャツ、長袖シャツ、ジャケット、ジャンパー、長ズボン、スカート等の複数の服のテクスチャを記憶する。テクスチャ記憶部160は、例えば、半袖シャツであっても、襟付、襟なし、細身、標準、太め、クルーネック、Vネック等様々な形状のテクスチャを記憶しているものとする。つまり、テクスチャ記憶部160は、一般的な服であれば、そのシルエットを表現したテクスチャを記憶しているものとする。
そこで、テクスチャ抽出部150は、まず画像情報における人画像の色毎の輪郭等から服と服以外の部分とに処理装置により分離する。そして、テクスチャ抽出部150は、服部分について輪郭等から、画像情報における人が着ている服に対応する服のテクスチャを処理装置により選択して抽出する。また、テクスチャ抽出部150は、皮膚のテクスチャを抽出する。
そして、3次元モデル生成部120は、テクスチャ抽出部150が抽出したテクスチャを(S13)で生成した骨モデル情報に貼付する。なお、テクスチャ抽出部150は、皮膚のテクスチャを該当部分のサイズ(太さ等)に合わせて貼付するとともに、服のテクスチャを画像情報における人の姿勢と服のサイズとに合わせて変形して貼付する。服のテクスチャを貼付するとは、骨モデル情報が示す骨モデルに服のテクスチャが示す服を着せた状態にすることである。これにより、3次元モデル生成部120は、3次元モデル情報を生成する。
図6は、3次元モデル情報の一例を示す図である。図6では、簡単のため顔部分は省略している。3次元モデル情報は、画像情報における人の姿勢、各パーツ(足、胴体、腕、首等)の長さ、太さ、着ている服のシルエットを3次元モデルとして表現したものである。上述したように、3次元モデル情報は、3次元モデルであり、人間の動きを表すために必要な最低限の骨構造を有するベールモデルに基づき生成したため、人間の取りうる姿勢であればどのような姿勢にでも変形できる。この際、貼付した服のテクスチャも姿勢に合わせて変形する。
そして、3次元モデル記憶部130は、生成された3次元モデル情報を記憶装置に記憶する。また、3次元モデル記憶部130は、その3次元モデル情報が示す人が誰であるか特定された場合には、その人の個人情報をその3次元モデルと対応付けて記憶する。
テクスチャ抽出部150は、(S11)で画像取得部110が抽出した画像情報における人を表現するためのテクスチャをテクスチャ記憶部160が記憶した複数のテクスチャから抽出する。
ここでは、テクスチャ抽出部150は、1種類の皮膚のテクスチャと複数の服のテクスチャとを記憶しているとする。図5は、テクスチャ記憶部160が記憶する服のテクスチャの一例を示す図である。図5では、簡単のため、服のテクスチャを平面で示すが、服のテクスチャは3次元モデルである。したがって、テクスチャ記憶部160が記憶した服のテクスチャは、袖部分を曲げる等自由に変形可能である。つまり、服のテクスチャを3次元骨モデル情報に貼り付けて、3次元骨モデルが服を着た状態にした場合、3次元骨モデルの姿勢変更に合わせて服のテクスチャの形状も変更できる。つまり、3次元骨モデルの腕を曲げれば、服のテクスチャの袖も合わせて曲がる。図5に示すように、テクスチャ記憶部160は、例えば、半袖シャツ、長袖シャツ、ジャケット、ジャンパー、長ズボン、スカート等の複数の服のテクスチャを記憶する。テクスチャ記憶部160は、例えば、半袖シャツであっても、襟付、襟なし、細身、標準、太め、クルーネック、Vネック等様々な形状のテクスチャを記憶しているものとする。つまり、テクスチャ記憶部160は、一般的な服であれば、そのシルエットを表現したテクスチャを記憶しているものとする。
そこで、テクスチャ抽出部150は、まず画像情報における人画像の色毎の輪郭等から服と服以外の部分とに処理装置により分離する。そして、テクスチャ抽出部150は、服部分について輪郭等から、画像情報における人が着ている服に対応する服のテクスチャを処理装置により選択して抽出する。また、テクスチャ抽出部150は、皮膚のテクスチャを抽出する。
そして、3次元モデル生成部120は、テクスチャ抽出部150が抽出したテクスチャを(S13)で生成した骨モデル情報に貼付する。なお、テクスチャ抽出部150は、皮膚のテクスチャを該当部分のサイズ(太さ等)に合わせて貼付するとともに、服のテクスチャを画像情報における人の姿勢と服のサイズとに合わせて変形して貼付する。服のテクスチャを貼付するとは、骨モデル情報が示す骨モデルに服のテクスチャが示す服を着せた状態にすることである。これにより、3次元モデル生成部120は、3次元モデル情報を生成する。
図6は、3次元モデル情報の一例を示す図である。図6では、簡単のため顔部分は省略している。3次元モデル情報は、画像情報における人の姿勢、各パーツ(足、胴体、腕、首等)の長さ、太さ、着ている服のシルエットを3次元モデルとして表現したものである。上述したように、3次元モデル情報は、3次元モデルであり、人間の動きを表すために必要な最低限の骨構造を有するベールモデルに基づき生成したため、人間の取りうる姿勢であればどのような姿勢にでも変形できる。この際、貼付した服のテクスチャも姿勢に合わせて変形する。
そして、3次元モデル記憶部130は、生成された3次元モデル情報を記憶装置に記憶する。また、3次元モデル記憶部130は、その3次元モデル情報が示す人が誰であるか特定された場合には、その人の個人情報をその3次元モデルと対応付けて記憶する。
なお、(S12)(S13)において、3次元モデル生成部120は、(S11)で画像取得部110が取得した画像情報から特定できる範囲で姿勢、サイズを変更する。つまり、カメラの死角になってしまい画像情報から特定できない部分の姿勢、サイズは無視してもよい。なお、画像情報から特定できる部分であったか否かを3次元モデル情報とともに記憶しておく。後述する人物特定処理で、画像情報から特定できる部分のみに基づきマッチングを行うためである。
また、上記説明では、人の全身の3次元モデル情報を生成することを前提に説明した。しかし、これに限らず、人の身体の一部のみの3次元モデル情報を生成するとしてもよい。例えば、人の足の付け根から踵までの3次元モデル情報や顔の3次元モデル情報を生成するとしてもよい。この場合には、(S12)で3次元モデル生成部120は、まず(S11)で画像取得部110が取得した画像情報から3次元モデル情報の生成対象の部分の画像を切り出す必要がある。
また、撮影を複数回実施して、複数の画像情報を取得するとしてもよい。これにより、その人の異なる姿勢の画像情報を得ることができる。異なる姿勢の画像情報を得ることで、各部がどの位置からどの方向へ変形するのかを特定することができる。つまり、変形方向(関節の曲がる方向)と可動軸部(関節の位置)とを特定できる。その結果、各関節がどの関節であるかをより正確に特定できるとともに、各関節間の長さ(各パーツの長さ)をより正確に求めることができる。
また、上記説明では、人の全身の3次元モデル情報を生成することを前提に説明した。しかし、これに限らず、人の身体の一部のみの3次元モデル情報を生成するとしてもよい。例えば、人の足の付け根から踵までの3次元モデル情報や顔の3次元モデル情報を生成するとしてもよい。この場合には、(S12)で3次元モデル生成部120は、まず(S11)で画像取得部110が取得した画像情報から3次元モデル情報の生成対象の部分の画像を切り出す必要がある。
また、撮影を複数回実施して、複数の画像情報を取得するとしてもよい。これにより、その人の異なる姿勢の画像情報を得ることができる。異なる姿勢の画像情報を得ることで、各部がどの位置からどの方向へ変形するのかを特定することができる。つまり、変形方向(関節の曲がる方向)と可動軸部(関節の位置)とを特定できる。その結果、各関節がどの関節であるかをより正確に特定できるとともに、各関節間の長さ(各パーツの長さ)をより正確に求めることができる。
次に、3次元モデル情報を用いた人物特定処理(マッチング処理)について説明する。図7は、マッチング処理を示すフローチャートである。
(S21:画像取得ステップ)
画像取得部110は、カメラにより人を撮影して画像情報を取得する。ここでは、画像取得部110は、3次元モデル情報を生成する場合とは異なり、1方向から人を撮影して画像情報を取得すればよい。
(S11)と同様に、画像取得部110は、所定の位置にいる人を所定の位置に設置されたカメラにより撮影する。例えば、再び来店した人を、(S11)と同様に通過センサが人が通過したことを検知した場合に、所定の位置に設置されたカメラで撮影する。これにより、撮影された人の位置を知ることができ、取得した画像情報からその人のサイズを計算することができる。また、画像取得部110は、撮影した画像に含まれる他の物の位置から撮影された人の位置を計算するとしてもよい。つまり、店舗内を撮影するカメラにより撮影して取得した画像情報に含まれる人の位置を、その画像情報に含まれる他の物(例えば、机、椅子、植栽等)の位置から計算してもよい。
(S21:画像取得ステップ)
画像取得部110は、カメラにより人を撮影して画像情報を取得する。ここでは、画像取得部110は、3次元モデル情報を生成する場合とは異なり、1方向から人を撮影して画像情報を取得すればよい。
(S11)と同様に、画像取得部110は、所定の位置にいる人を所定の位置に設置されたカメラにより撮影する。例えば、再び来店した人を、(S11)と同様に通過センサが人が通過したことを検知した場合に、所定の位置に設置されたカメラで撮影する。これにより、撮影された人の位置を知ることができ、取得した画像情報からその人のサイズを計算することができる。また、画像取得部110は、撮影した画像に含まれる他の物の位置から撮影された人の位置を計算するとしてもよい。つまり、店舗内を撮影するカメラにより撮影して取得した画像情報に含まれる人の位置を、その画像情報に含まれる他の物(例えば、机、椅子、植栽等)の位置から計算してもよい。
(S22:3次元モデル調整ステップ)
人物特定部140は、3次元モデル記憶部130が記憶装置に記憶した3次元モデル情報を、(S21)で画像取得部110が取得した画像情報に含まれる人の姿勢に処理装置により変形する。
人物特定部140は、例えば、画像情報に含まれる人の輪郭に、3次元モデル情報の輪郭が一致するように、3次元モデル情報の姿勢を変形することで、3次元モデル情報を画像情報に含まれる人の姿勢に変形できる。なお、人物特定部140は、この時点で、3次元モデル情報の姿勢を変形しても、画像情報に含まれる人の輪郭に3次元モデル情報の輪郭を一致させられない場合には、画像情報に含まれる人と3次元モデル情報が示す人とは一致しないと判断する。
人物特定部140は、3次元モデル記憶部130が記憶装置に記憶した3次元モデル情報を、(S21)で画像取得部110が取得した画像情報に含まれる人の姿勢に処理装置により変形する。
人物特定部140は、例えば、画像情報に含まれる人の輪郭に、3次元モデル情報の輪郭が一致するように、3次元モデル情報の姿勢を変形することで、3次元モデル情報を画像情報に含まれる人の姿勢に変形できる。なお、人物特定部140は、この時点で、3次元モデル情報の姿勢を変形しても、画像情報に含まれる人の輪郭に3次元モデル情報の輪郭を一致させられない場合には、画像情報に含まれる人と3次元モデル情報が示す人とは一致しないと判断する。
(S23:比較ステップ)
人物特定部140は、(S21)で画像取得部110が取得した画像情報に含まれる人と、(S22)で変形した3次元モデル情報とを処理装置により比較する。
人物特定部140は、例えば、画像情報に含まれる人と3次元モデル情報とをサイズにより比較する。例えば、画像情報に含まれる人と3次元モデル情報との膝から踝までの長さ(骨の長さ)を比較する。合わせて、他の部分のサイズ、例えば肘から手首までの長さ(骨の長さ)も比較するとしてもよい。骨の長さは人毎に異なるため、画像情報に含まれる人と骨の長さが一致する3次元モデル情報を見つけることにより、その人が誰であるか特定できる。特に、複数の骨の長さが一致する3次元モデルを見つけることにより、特定の精度を高くすることができる。
また、骨の長さでなく、所定の部分の太さで比較してもよい。例えば、膝回りの太さや足首の太さ等で比較してもよい。また、骨の長さと所定の部分の太さとの両方で比較することにより特定精度をより高くすることができる。
さらに、服の部分については、服の形状により比較してもよい。つまり、画像情報に含まれる人が着ている服の輪郭と、3次元モデル情報をその人の姿勢に変形したことに伴い変形された服のテクスチャ(服の3次元モデル情報)の輪郭とを比較してもよい。骨の長さや所定の部分の太さによる比較に加え、服の形状による比較を行うことで特定精度をさらに高くすることができる。なお、来店する度に来店者の服は変わると考えられる。そのため、服の形状による比較は、店舗の入り口を撮影して取得した画像情報から生成した3次元モデル情報に基づき、店舗内を撮影して取得した画像情報に含まれる人が誰であるか特定する場合には有効に機能するが、以前に来店した際に生成した3次元モデル情報に基づき、来店者が誰であるかを特定する場合には有効に機能しない場合がある。
比較の結果、画像情報に含まれる人と3次元モデル情報とが一致すれば、画像情報に含まれる人は、3次元モデル情報が示す人であると特定できる。一方、不一致であれば、画像情報に含まれる人は、3次元モデル情報が示す人でないと特定できる。
人物特定部140は、(S21)で画像取得部110が取得した画像情報に含まれる人と、(S22)で変形した3次元モデル情報とを処理装置により比較する。
人物特定部140は、例えば、画像情報に含まれる人と3次元モデル情報とをサイズにより比較する。例えば、画像情報に含まれる人と3次元モデル情報との膝から踝までの長さ(骨の長さ)を比較する。合わせて、他の部分のサイズ、例えば肘から手首までの長さ(骨の長さ)も比較するとしてもよい。骨の長さは人毎に異なるため、画像情報に含まれる人と骨の長さが一致する3次元モデル情報を見つけることにより、その人が誰であるか特定できる。特に、複数の骨の長さが一致する3次元モデルを見つけることにより、特定の精度を高くすることができる。
また、骨の長さでなく、所定の部分の太さで比較してもよい。例えば、膝回りの太さや足首の太さ等で比較してもよい。また、骨の長さと所定の部分の太さとの両方で比較することにより特定精度をより高くすることができる。
さらに、服の部分については、服の形状により比較してもよい。つまり、画像情報に含まれる人が着ている服の輪郭と、3次元モデル情報をその人の姿勢に変形したことに伴い変形された服のテクスチャ(服の3次元モデル情報)の輪郭とを比較してもよい。骨の長さや所定の部分の太さによる比較に加え、服の形状による比較を行うことで特定精度をさらに高くすることができる。なお、来店する度に来店者の服は変わると考えられる。そのため、服の形状による比較は、店舗の入り口を撮影して取得した画像情報から生成した3次元モデル情報に基づき、店舗内を撮影して取得した画像情報に含まれる人が誰であるか特定する場合には有効に機能するが、以前に来店した際に生成した3次元モデル情報に基づき、来店者が誰であるかを特定する場合には有効に機能しない場合がある。
比較の結果、画像情報に含まれる人と3次元モデル情報とが一致すれば、画像情報に含まれる人は、3次元モデル情報が示す人であると特定できる。一方、不一致であれば、画像情報に含まれる人は、3次元モデル情報が示す人でないと特定できる。
以上のように、人物特定装置100は、画像情報に人の顔画像が含まれていない場合であっても、人の身体の他の部分の画像によって人の特定が可能である。もちろん、人の顔画像により人を特定してもよい。
特に、人物特定装置100は、従来の顔認識のように、顔のパーツ間の距離や顔のパーツの大きさの比率により比較するのではなく、身体の一部のサイズにより比較する。そのため、人の顔画像により人を特定する場合であっても、人の顔の正面画像でなく、横顔の画像であっても画像情報に含まれる部分のみで比較することが可能である。
また、人物特定装置100は、画像情報が示す人の姿勢に3次元モデル情報を変形して比較するため、人がどのような姿勢であっても人物特定が可能である。また、人物特定装置100は、人物を特定するとともに、その人の姿勢を特定することができる。
特に、人物特定装置100は、従来の顔認識のように、顔のパーツ間の距離や顔のパーツの大きさの比率により比較するのではなく、身体の一部のサイズにより比較する。そのため、人の顔画像により人を特定する場合であっても、人の顔の正面画像でなく、横顔の画像であっても画像情報に含まれる部分のみで比較することが可能である。
また、人物特定装置100は、画像情報が示す人の姿勢に3次元モデル情報を変形して比較するため、人がどのような姿勢であっても人物特定が可能である。また、人物特定装置100は、人物を特定するとともに、その人の姿勢を特定することができる。
また、人物特定装置100は、人がどのような姿勢であっても人物特定が可能であるため、店舗の入り口等で来店者が誰であるか特定して入場制限等を行う場合等に、高精度な入場制限(許可されていない者が入場できてしまうことや、許可されている者が入場を制限されることがない)をすることが可能となる。つまり、荷物等でカメラに顔が映らないように顔を隠して入場する人や、横を向きながら入場する人であっても誰であるか特定でき、高精度に入場制限をすることができる。同様に、店舗内等で移動する人がどのような姿勢であっても誰であるか特定でき、店舗内等を移動する人を高精度に追跡することができる。
また、上記説明では、人物特定部140は、画像情報に含まれる人と3次元モデル情報とをサイズにより比較すると説明した。そのため、画像情報に含まれる人の位置と画像情報を取得した撮影装置の位置とを特定する必要があった。しかし、画像情報に含まれる人の位置又は画像情報を取得した撮影装置の位置が特定できない場合には、画像情報に含まれる人と3次元モデル情報とを、骨の長さや所定の部分の太さの比率により比較するとしてもよい。例えば、人物特定部140は、画像情報に含まれる人と3次元モデル情報との膝から踝までの長さと、足の付け根から膝までの長さと、肘から手首までの長さとの比率により比較するとしてもよい。この場合、(S21)で画像取得部110は人のサイズを計算可能な画像情報を取得する必要はない。なお、この場合にも、服の形状による比較を行ってもよい。
また、上記説明では、(S22)で3次元モデル情報を変形して、(S23)で比較するとした。ここで、3次元モデル記憶部130が複数の3次元モデル情報を記憶している場合に、複数の3次元モデル情報のうちどの3次元モデル情報と一致するか調べる場合には、各3次元モデル情報について(S22)と(S23)との処理を行い一致する3次元モデル情報を見つけることになる。
3次元モデル記憶部130が多くの3次元モデル情報を記憶している場合に、全ての3次元モデル情報について(S22)と(S23)との処理を行うには多くの時間が必要となる。そこで、3次元モデル記憶部130は、3次元モデル情報とともに、その3次元モデル情報が示す人の特徴を示す情報(特徴情報)を記憶しているとしてもよい。特徴情報とは、例えば、性別、年齢等である。人物特定部140は、画像情報からその人の性別や凡その年齢を特定して、その特定した性別と年齢とにより3次元モデル情報を絞込みする。なお、性別や凡その年齢を特定する方法はどのような方法であってもよい。そして、人物特定部140は、絞込みされた3次元モデル情報についてのみ(S22)と(S23)との処理を行うとしてもよい。
3次元モデル記憶部130が多くの3次元モデル情報を記憶している場合に、全ての3次元モデル情報について(S22)と(S23)との処理を行うには多くの時間が必要となる。そこで、3次元モデル記憶部130は、3次元モデル情報とともに、その3次元モデル情報が示す人の特徴を示す情報(特徴情報)を記憶しているとしてもよい。特徴情報とは、例えば、性別、年齢等である。人物特定部140は、画像情報からその人の性別や凡その年齢を特定して、その特定した性別と年齢とにより3次元モデル情報を絞込みする。なお、性別や凡その年齢を特定する方法はどのような方法であってもよい。そして、人物特定部140は、絞込みされた3次元モデル情報についてのみ(S22)と(S23)との処理を行うとしてもよい。
また、3次元モデル生成部120は、来店時に取得した画像情報から来店者が誰であるか特定するとともに、来店時に取得した画像情報に基づき3次元モデル情報を更新するとしてもよい。繰り返し同一人物の画像情報をいろいろな角度から取得することにより、3次元モデル情報をより高精度なものにすることができる。また、成長してサイズが変わった場合や、身体の太さが変わった場合にも来店の度に3次元モデル情報を更新することで、3次元モデル情報をより高精度なものにすることができる。
実施の形態2.
この実施の形態では、3次元モデル情報に基づき、特定の動作をする人物を検出して警告等を行う人物特定装置100について説明する。
この実施の形態では、3次元モデル情報に基づき、特定の動作をする人物を検出して警告等を行う人物特定装置100について説明する。
図8は、この実施の形態に係る人物特定装置100の機能を示す機能ブロック図である。この実施の形態に係る人物特定装置100は、実施の形態1に係る人物特定装置100の機能に加え、さらに動作記憶部170、動作特定部180を備える。
動作記憶部170は、所定の動作(所定の骨モデルの動作)を示す情報(スクリプト)を記憶装置に記憶する。
動作特定部180は、画像取得部110が取得した画像情報から動作記憶部170が記憶した動作を処理装置により検出する。そして、動作特定部180は、動作記憶部170が記憶した動作を検出した場合、人物特定装置100の管理者等へ通知する。
動作記憶部170は、所定の動作(所定の骨モデルの動作)を示す情報(スクリプト)を記憶装置に記憶する。
動作特定部180は、画像取得部110が取得した画像情報から動作記憶部170が記憶した動作を処理装置により検出する。そして、動作特定部180は、動作記憶部170が記憶した動作を検出した場合、人物特定装置100の管理者等へ通知する。
3次元モデル情報を用いた動作検出処理について説明する。図9は、動作検出処理を示すフローチャートである。
(S31:画像取得ステップ)
(S21)と同様に、画像取得部110は、カメラにより人を撮影して画像情報を取得する。
(S32:3次元モデル調整ステップ)
(S22)と同様に、人物特定部140は、3次元モデル記憶部130が記憶装置に記憶した3次元モデル情報を、(S21)で画像取得部110が取得した画像情報に含まれる人の姿勢に処理装置により変形する。これにより、人物特定部140は、画像情報に含まれる人物の姿勢を特定する。
(S33:動作特定ステップ)
動作特定部180は、人物特定部140が特定した画像情報に含まれる人物の姿勢を1時刻前のその人物の姿勢と比較して、1時刻前から現時刻までのその人物の動作を特定する。
そして、(S31)へ戻り、処理を繰り返す。つまり、次の時刻の画像情報の取得、姿勢の特定、動作の特定を繰り返す。これにより、所定の時間におけるその人物の動作を特定することができる。
(S34:動作比較ステップ)
動作特定部180は、(S34)で特定した動作と、動作記憶部170が記憶した情報が示す動作とを比較する。動作特定部180は、比較の結果、(S34)で特定した動作と、動作記憶部170が記憶した情報が示す動作とが一致した場合、つまり、動作記憶部170が記憶した情報が示す動作を検出した場合、人物特定装置100の管理者等へ通知する。動作特定部180は、例えば、人物特定装置100の管理者の端末へ警告メッセージや音・光等を出力させる。
(S31:画像取得ステップ)
(S21)と同様に、画像取得部110は、カメラにより人を撮影して画像情報を取得する。
(S32:3次元モデル調整ステップ)
(S22)と同様に、人物特定部140は、3次元モデル記憶部130が記憶装置に記憶した3次元モデル情報を、(S21)で画像取得部110が取得した画像情報に含まれる人の姿勢に処理装置により変形する。これにより、人物特定部140は、画像情報に含まれる人物の姿勢を特定する。
(S33:動作特定ステップ)
動作特定部180は、人物特定部140が特定した画像情報に含まれる人物の姿勢を1時刻前のその人物の姿勢と比較して、1時刻前から現時刻までのその人物の動作を特定する。
そして、(S31)へ戻り、処理を繰り返す。つまり、次の時刻の画像情報の取得、姿勢の特定、動作の特定を繰り返す。これにより、所定の時間におけるその人物の動作を特定することができる。
(S34:動作比較ステップ)
動作特定部180は、(S34)で特定した動作と、動作記憶部170が記憶した情報が示す動作とを比較する。動作特定部180は、比較の結果、(S34)で特定した動作と、動作記憶部170が記憶した情報が示す動作とが一致した場合、つまり、動作記憶部170が記憶した情報が示す動作を検出した場合、人物特定装置100の管理者等へ通知する。動作特定部180は、例えば、人物特定装置100の管理者の端末へ警告メッセージや音・光等を出力させる。
つまり、この実施の形態に係る人物特定装置100は、3次元モデルとして人物をとらえているため、3次元モデルにより人物を追尾するとともにその人物の姿勢を特定する。連続して人物の姿勢を特定することにより、その人物の動きを特定する。そして、所定の動きを検出した場合に、例えば、アラームを出力できる。例えば、ピストルを撃とうとした時の動作を検出した場合に警告を出すことができる。また、人物の動きを特定することで、その人物の状況(例えば、精神的な状況)を特定することができる。つまり、イライラしている等の状況を特定できる。
次に、実施の形態における人物特定装置100のハードウェア構成について説明する。
図10は、人物特定装置100のハードウェア構成の一例を示す図である。
図10に示すように、人物特定装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、LCD901(Liquid Crystal Display)、キーボード902(K/B)、通信ボード915、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
図10は、人物特定装置100のハードウェア構成の一例を示す図である。
図10に示すように、人物特定装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、LCD901(Liquid Crystal Display)、キーボード902(K/B)、通信ボード915、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ROM913、磁気ディスク装置920は、不揮発性メモリの一例である。RAM914は、揮発性メモリの一例である。ROM913とRAM914と磁気ディスク装置920とは、記憶装置(メモリ)の一例である。また、キーボード902、通信ボード915は、入力装置の一例である。また、通信ボード915は、通信装置の一例である。さらに、LCD901は、表示装置の一例である。
磁気ディスク装置920又はROM913などには、オペレーティングシステム921(OS)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、オペレーティングシステム921、ウィンドウシステム922により実行される。
プログラム群923には、上記の説明において「画像取得部110」、「3次元モデル生成部120」、「3次元モデル記憶部130」、「人物特定部140」、「テクスチャ抽出部150」、「テクスチャ記憶部160」、「動作記憶部170」、「動作特定部180」等として説明した機能を実行するソフトウェアやプログラムやその他のプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、上記の説明において「画像情報、」「3次元モデル情報」、「テクスチャ」等が記憶する情報やデータや信号値や変数値やパラメータが、「ファイル」や「データベース」の各項目として記憶される。「ファイル」や「データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPU911の動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPU911の動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
ファイル群924には、上記の説明において「画像情報、」「3次元モデル情報」、「テクスチャ」等が記憶する情報やデータや信号値や変数値やパラメータが、「ファイル」や「データベース」の各項目として記憶される。「ファイル」や「データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPU911の動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPU911の動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、上記の説明におけるフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、その他光ディスク等の記録媒体やICチップに記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体や電波によりオンライン伝送される。
また、上記の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」、「〜機能」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。また、「〜装置」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」、「〜機能」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。さらに、「〜処理」として説明するものは「〜ステップ」であっても構わない。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、ROM913等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、上記で述べた「〜部」としてコンピュータ等を機能させるものである。あるいは、上記で述べた「〜部」の手順や方法をコンピュータ等に実行させるものである。
また、上記の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」、「〜機能」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。また、「〜装置」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」、「〜機能」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。さらに、「〜処理」として説明するものは「〜ステップ」であっても構わない。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、ROM913等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、上記で述べた「〜部」としてコンピュータ等を機能させるものである。あるいは、上記で述べた「〜部」の手順や方法をコンピュータ等に実行させるものである。
100 人物特定装置、110 画像取得部、120 3次元モデル生成部、130 3次元モデル記憶部、140 人物特定部、150 テクスチャ抽出部、160 テクスチャ記憶部、170 動作記憶部、180 動作特定部。
Claims (11)
- 複数の人の各人について、その人を識別するための情報として、その人の3次元モデル情報を記憶装置に記憶する3次元モデル記憶部と、
撮影装置により人を撮影してその人の画像情報を取得する画像取得部と、
前記画像取得部が取得した人の画像情報と、前記3次元モデル記憶部が記憶した3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定部と
を備えることを特徴とする人物特定装置。 - 前記人物特定部は、前記人の画像情報におけるその人の姿勢に合わせて前記3次元モデル情報を変形して前記人の画像情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする請求項1に記載の人物特定装置。 - 前記3次元モデル記憶部は、人の所定の骨の長さの情報を持つ3次元モデル情報を記憶し、
前記人物特定部は、前記画像取得部が取得した人の画像情報から人の前記所定の骨の長さを計算して、前記3次元モデル記憶部が記憶した3次元モデル情報が示す骨の長さと比較することにより、前記画像情報が示す人を特定する
ことを特徴とする請求項1又は2に記載の人物特定装置。 - 前記画像取得部は、所定の検知装置により人が第1の位置にいることを検知した場合に、第2の位置に設置された撮影装置により前記人を撮影し、
前記人物特定部は、前記第1の位置と前記第2の位置と前記人の画像情報とから人の前記所定の骨の長さを計算する
ことを特徴とする請求項3に記載の人物特定装置。 - 前記人物特定装置は、さらに、
人の画像の表面を表現するための複数のテクスチャを記憶装置に記憶するテクスチャ記憶部と、
前記テクスチャ記憶部が記憶した複数のテクスチャから前記人の画像情報を表現するためのテクスチャを処理装置により抽出するテクスチャ抽出部とを備え、
前記人物特定部は、前記テクスチャ抽出部が抽出したテクスチャを前記3次元モデル情報に貼り付けて、テクスチャを貼り付けた3次元モデルと前記人の画像情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする請求項1から4までのいずれかに記載の人物特定装置。 - 前記3次元モデル記憶部は、複数の3次元モデル情報を記憶するとともに、前記複数の3次元モデル情報の各3次元モデルが示す人を特定するための特定情報を記憶し、
前記人物特定部は、前記人の画像情報と前記特定情報とに基づき3次元モデル情報を絞込みするとともに、前記人の画像情報と絞込みされた3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する
ことを特徴とする請求項1から5までのいずれかに記載の人物特定装置。 - 前記人物特定部は、前記人の画像情報におけるその人の姿勢に合わせて前記3次元モデル情報を変形することにより、その人の姿勢を特定し、
前記人物特定装置は、さらに、
前記人物特定部が特定した人の姿勢に基づき、その人の動作を処理装置により特定する動作特定部
を備えることを特徴とする請求項1から6までのいずれかに記載の人物特定装置。 - 前記人物特定装置は、さらに、
所定の動作を示す情報を記憶装置に記憶した動作記憶部を備え、
前記動作特定部は、特定した動作が前記動作記憶部が記憶した動作である場合、警告を出力する
ことを特徴とする請求項7に記載の人物特定装置。 - 撮影装置が、人を撮影してその人の画像情報を取得する画像取得ステップと、
処理装置が、前記画像取得ステップで取得した人の画像情報と、予め記憶装置に記憶した人の3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定ステップと
を備えることを特徴とする人物特定方法。 - 人を撮影してその人の画像情報を取得する画像取得処理と、
前記画像取得処理で取得した人の画像情報と、予め記憶装置に記憶した3次元モデル情報とを比較することにより、前記画像情報が示す人を特定する人物特定処理と
をコンピュータに実行させることを特徴とする人物特定プログラム。 - 複数の人の各人について、その人を識別するための情報として、その人の所定の部分のサイズを記憶装置に記憶する人物情報記憶部と、
所定の検知装置により人が第1の位置にいることを検知した場合に、第2の位置に設置された撮影装置により前記人を撮影してその人の画像情報を取得する画像取得部と、
前記画像取得部が取得した人の画像情報と前記第1の位置と前記第2の位置とからその人の前記所定の部分のサイズを計算して、前記人物情報記憶部が記憶したサイズと比較することにより、前記画像情報が示す人を特定する人物特定部と
を備えることを特徴とする人物特定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008277564A JP2010108110A (ja) | 2008-10-29 | 2008-10-29 | 人物特定装置、人物特定方法及び人物特定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008277564A JP2010108110A (ja) | 2008-10-29 | 2008-10-29 | 人物特定装置、人物特定方法及び人物特定プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012011058A Division JP5373128B2 (ja) | 2012-01-23 | 2012-01-23 | 人物特定装置、人物特定方法及び人物特定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010108110A true JP2010108110A (ja) | 2010-05-13 |
Family
ID=42297526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008277564A Pending JP2010108110A (ja) | 2008-10-29 | 2008-10-29 | 人物特定装置、人物特定方法及び人物特定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010108110A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018038158A1 (ja) * | 2016-08-24 | 2019-06-27 | 日本電気株式会社 | 虹彩撮像装置、虹彩撮像方法および記録媒体 |
JP7086362B1 (ja) | 2021-03-29 | 2022-06-20 | 株式会社セルシス | 情報処理システム、情報処理方法および情報処理プログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08257017A (ja) * | 1995-03-24 | 1996-10-08 | Toshiba Corp | 状態監視装置及びその方法 |
JP2000242683A (ja) * | 1999-02-23 | 2000-09-08 | Fujitsu Ltd | 物体の形状データの作成方法、その装置および記憶媒体 |
JP2001273496A (ja) * | 2000-03-28 | 2001-10-05 | Medeikku Engineering:Kk | 人物照合システム |
JP2001283224A (ja) * | 2000-03-31 | 2001-10-12 | Nec Corp | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
JP2002175529A (ja) * | 2000-12-06 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 個人識別装置 |
JP2003162720A (ja) * | 2001-11-27 | 2003-06-06 | Victor Co Of Japan Ltd | モデリングデータの生成方法、肖像権侵害の判定方法、肖像権侵害判定装置、肖像権判定用プログラム、及びモデリングデータの記録媒体 |
JP2006284372A (ja) * | 2005-03-31 | 2006-10-19 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP2007004767A (ja) * | 2005-05-23 | 2007-01-11 | Toshiba Corp | 画像認識装置、方法およびプログラム |
-
2008
- 2008-10-29 JP JP2008277564A patent/JP2010108110A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08257017A (ja) * | 1995-03-24 | 1996-10-08 | Toshiba Corp | 状態監視装置及びその方法 |
JP2000242683A (ja) * | 1999-02-23 | 2000-09-08 | Fujitsu Ltd | 物体の形状データの作成方法、その装置および記憶媒体 |
JP2001273496A (ja) * | 2000-03-28 | 2001-10-05 | Medeikku Engineering:Kk | 人物照合システム |
JP2001283224A (ja) * | 2000-03-31 | 2001-10-12 | Nec Corp | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
JP2002175529A (ja) * | 2000-12-06 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 個人識別装置 |
JP2003162720A (ja) * | 2001-11-27 | 2003-06-06 | Victor Co Of Japan Ltd | モデリングデータの生成方法、肖像権侵害の判定方法、肖像権侵害判定装置、肖像権判定用プログラム、及びモデリングデータの記録媒体 |
JP2006284372A (ja) * | 2005-03-31 | 2006-10-19 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP2007004767A (ja) * | 2005-05-23 | 2007-01-11 | Toshiba Corp | 画像認識装置、方法およびプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018038158A1 (ja) * | 2016-08-24 | 2019-06-27 | 日本電気株式会社 | 虹彩撮像装置、虹彩撮像方法および記録媒体 |
JP2020194599A (ja) * | 2016-08-24 | 2020-12-03 | 日本電気株式会社 | 虹彩撮像装置、虹彩撮像方法およびプログラム |
US11093741B2 (en) | 2016-08-24 | 2021-08-17 | Nec Corporation | Iris capture apparatus, iris capture method, and storage medium |
US11776314B2 (en) | 2016-08-24 | 2023-10-03 | Nec Corporation | Iris capture apparatus, iris capture method, and storage medium |
US11830228B2 (en) | 2016-08-24 | 2023-11-28 | Nec Corporation | Iris capture apparatus, iris capture method, and storage medium |
US11861942B2 (en) | 2016-08-24 | 2024-01-02 | Nec Corporation | Iris capture apparatus, iris capture method, and storage medium |
US11900728B2 (en) | 2016-08-24 | 2024-02-13 | Nec Corporation | Iris capture apparatus, iris capture method, and storage medium |
JP7086362B1 (ja) | 2021-03-29 | 2022-06-20 | 株式会社セルシス | 情報処理システム、情報処理方法および情報処理プログラム |
JP2022152058A (ja) * | 2021-03-29 | 2022-10-12 | 株式会社セルシス | 情報処理システム、情報処理方法および情報処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Viswakumar et al. | Human gait analysis using OpenPose | |
Li et al. | Classification of gait anomalies from kinect | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
JP5873442B2 (ja) | 物体検出装置および物体検出方法 | |
JP5478928B2 (ja) | 人物同定装置、人物同定方法、及び人物同定プログラム | |
US20150227783A1 (en) | Upper-body skeleton extraction from depth maps | |
Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
Ahmed et al. | Gait recognition based on Kinect sensor | |
JP5613741B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP2010244089A (ja) | 人物検出装置、人物検出方法、及び人物検出プログラム | |
US10395404B2 (en) | Image processing device for composite images, image processing system and storage medium | |
CN111488775B (zh) | 注视度判断装置及方法 | |
JP4936491B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
JP2012123667A (ja) | 姿勢推定装置および姿勢推定方法 | |
JP2000251078A (ja) | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
JP6969878B2 (ja) | 識別器学習装置および識別器学習方法 | |
JP5373128B2 (ja) | 人物特定装置、人物特定方法及び人物特定プログラム | |
CN111857334A (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
KR20140128560A (ko) | 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법 | |
Li et al. | Posture recognition technology based on kinect | |
CN112639875A (zh) | 尺寸测定*** | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
Yamauchi et al. | Recognition of walking humans in 3D: Initial results | |
JP5796523B2 (ja) | 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム | |
JP2010108110A (ja) | 人物特定装置、人物特定方法及び人物特定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120110 |