JP2006293912A - 情報表示システム、情報表示方法および携帯端末装置 - Google Patents
情報表示システム、情報表示方法および携帯端末装置 Download PDFInfo
- Publication number
- JP2006293912A JP2006293912A JP2005117190A JP2005117190A JP2006293912A JP 2006293912 A JP2006293912 A JP 2006293912A JP 2005117190 A JP2005117190 A JP 2005117190A JP 2005117190 A JP2005117190 A JP 2005117190A JP 2006293912 A JP2006293912 A JP 2006293912A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- unique information
- terminal device
- face
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
【課題】撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、かつ、固有情報が誰に対するものなのかが直感的にわかる情報表示システムを提供する。
【解決手段】携帯電話機により撮影し表示している動画像から人物の顔画像を抽出してサーバに送信し、サーバであらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報(名前等)を取得して携帯電話機に送信し、携帯電話機で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示させる。
【選択図】 図1
【解決手段】携帯電話機により撮影し表示している動画像から人物の顔画像を抽出してサーバに送信し、サーバであらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報(名前等)を取得して携帯電話機に送信し、携帯電話機で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示させる。
【選択図】 図1
Description
本発明は、たとえば、携帯電話機等の携帯端末装置により撮影し表示している動画像から人物の顔画像を抽出してホスト装置に送信し、ホスト装置であらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報を携帯端末装置に送信し、携帯端末装置で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示せしめる情報表示システム、情報表示方法およびこの情報表示システム、情報表示方法に用いる携帯端末装置に関する。
従来、たとえば、携帯電話機で撮影した人物の画像をサーバに送信して属性情報とともに登録しておき、携帯電話機内のメモリに保存された画像の属性情報を検索キーとして携帯電話機からサーバに送信し、サーバにおいて、この送信された属性情報と実質的に同一の属性情報を有する画像を保存されている画像内から検索し、検索した画像を携帯電話機に送信して、携帯電話機の表示部に表示せしめるようにした画像検索システムが知られている(たとえば、特許文献1参照)。
特開2004−178018号公報
しかしながら、上記した従来の画像検索システムにおいて、たとえば、携帯端末装置により撮影している動画像から抽出した人物の顔画像をサーバに送信し、サーバ側で既に登録されている顔画像と照合して、照合により得られた固有情報を携帯端末装置に送信し、携帯端末装置で撮影し表示している動画像内に当該固有情報を表示させようとした場合、以下の問題点がある。
(1)撮影している画像内に複数人の顔画像が存在する場合、各顔画像の近傍に固有情報を表示しなければ、固有情報が誰に対するものなのか直感的にわかりづらい。
(2)サーバとの通信中やサーバでの顔画像の照合中に人物が移動していた場合、顔画像の近傍に固有情報を表示さることが困難である。
そこで、本発明は、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、固有情報が誰に対するものなのかが直感的にわかる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
また、本発明は、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
また、本発明は、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
本発明の情報表示システムは、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、この固有情報取得手段により取得された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
また、本発明の情報表示システムは、利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、前記携帯端末装置は、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第1の送信手段とを具備し、前記ホスト装置は、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、前記携帯端末装置の第1の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第1の受信手段と、この第1の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、この固有情報取得手段により取得された固有情報をそれに前記第1の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第2の送信手段とを具備し、前記携帯端末装置は、さらに、前記ホスト装置の第2の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第2の受信手段と、この第2の受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
また、本発明の情報表示方法は、利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第1の送信ステップと、前記ホスト装置において、前記第1の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第1の受信ステップと、前記ホスト装置において、前記第1の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第1の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第2の送信ステップと、前記携帯端末装置において、前記第2の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第2の受信ステップと、前記携帯端末装置において、前記第2の受信ステップにより受信された固有情報を前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップとを具備している。
さらに、本発明の携帯端末装置は、利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、この受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
本発明によれば、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、かつ、固有情報が誰に対するものなのかが直感的にわかる情報表示システム、情報表示方法および携帯端末装置を提供できる。
また、本発明によれば、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供できる。
また、本発明によれば、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供できる。
以下、本発明の実施の形態について図面を参照して説明する。
図1は、本実施の形態に係る情報表示システムの構成を概略的に示すものである。図1において、この情報表示システムは、利用者が携帯する携帯端末装置としての携帯電話機10、この携帯電話機10と通信可能なホスト装置としてのサーバ20とを有して構成されている。
図1は、本実施の形態に係る情報表示システムの構成を概略的に示すものである。図1において、この情報表示システムは、利用者が携帯する携帯端末装置としての携帯電話機10、この携帯電話機10と通信可能なホスト装置としてのサーバ20とを有して構成されている。
携帯電話機10は、撮影手段としてのデジタルカメラ(以下、単にカメラと略称する)11、キーボードなどの操作部12、表示手段としての液晶表示部(以下、単に表示部と略称する)13、記憶手段としてのメモリ14、送信手段および受信手段としての通信部15、および、これらを制御する制御手段としての制御部16を有して構成されている。
カメラ11は、所望の動画像(あるいは、静止画像)を撮影してカラー画像データに変換するもので、所定倍率のズーム機能を有しており、たとえば、CCD型のカラーデジタルカメラからなる。
操作部12および表示部13は、携帯電話機としての一般的な操作に関する表示および入力などを行なう。また、表示部13は、カメラ11で撮影した画像の表示をも行なう。
操作部12および表示部13は、携帯電話機としての一般的な操作に関する表示および入力などを行なう。また、表示部13は、カメラ11で撮影した画像の表示をも行なう。
メモリ14は、制御部16の処理に用いられる各種情報を記憶する。また、メモリ14は、顔画像管理手段としての顔画像管理テーブル17を有している。顔画像管理テーブル17には、たとえば、図2に示すように、固有の識別子と顔画像の位置情報と固有情報としての名前とが対応して格納される。
通信部15は、当該携帯電話機10を用いた通話やメールの送受信、インターネット通信などの際に携帯電話回線30との通信を行なう。
通信部15は、当該携帯電話機10を用いた通話やメールの送受信、インターネット通信などの際に携帯電話回線30との通信を行なう。
制御部16は、たとえば、CPU(セントラル・プロセッシング・ユニット)等を主体に構成されていて、当該携帯電話機10における処理全体を制御する。また、制御部16は、顔抽出手段、顔画像追跡手段、顔画像管理手段および固有情報表示制御手段として機能する画像処理部18を有している。
サーバ20は、記憶手段としてのメモリ21、送信手段および受信手段としての通信部22、および、これらを制御する制御手段としての制御部23を有して構成されている。
メモリ21は、制御部23による制御に必要な各種情報(プログラム等)を記憶する。また、メモリ21は、記憶手段としてのデータベース24を有している。データベース24には、たとえば、図3に示すように、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶されている。ここに、固有情報としては顔画像に対応する人物の名前に関する情報、この実施の形態では例えば名前が用いられる。
メモリ21は、制御部23による制御に必要な各種情報(プログラム等)を記憶する。また、メモリ21は、記憶手段としてのデータベース24を有している。データベース24には、たとえば、図3に示すように、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶されている。ここに、固有情報としては顔画像に対応する人物の名前に関する情報、この実施の形態では例えば名前が用いられる。
通信部22は、携帯電話機10との通信などの際に携帯電話回線30との通信を行なう。
制御部23は、たとえば、CPU(セントラル・プロセッシング・ユニット)等を主体に構成されていて、当該サーバ20における処理全体を制御する。また、制御部23は、照合手段および固有情報取得手段として機能する画像処理部25を有している。
制御部23は、たとえば、CPU(セントラル・プロセッシング・ユニット)等を主体に構成されていて、当該サーバ20における処理全体を制御する。また、制御部23は、照合手段および固有情報取得手段として機能する画像処理部25を有している。
次に、このような構成において動作の流れを説明する。
まず、初期設定について説明する。サーバ20において、たとえば、図3に示すように、データベース24にあらかじめ登録された人物から取得した顔画像および固有情報(名前)を対応させて登録(記憶)する。
まず、初期設定について説明する。サーバ20において、たとえば、図3に示すように、データベース24にあらかじめ登録された人物から取得した顔画像および固有情報(名前)を対応させて登録(記憶)する。
次に、携帯電話機10における顔画像抽出処理および顔画像送信処理について図4に示すフローチャートを参照して説明する。
まず、カメラ11により少なくとも人物を含む動画像を撮影する(ステップS1)。次に、画像処理部18は、撮影した動画像から人物の顔画像を抽出する(ステップS2)。ここに、このステップS2の処理が本発明における顔抽出手段に対応している。
顔画像の抽出処理は、たとえば、特開2004−185611号公報に記載されている顔位置の抽出方法により実現することが可能である。この顔位置の抽出方法について簡単に説明すると、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、さらに、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択することで、顔位置の抽出を行なうものであり、詳細については当該公報を参照されたい。
まず、カメラ11により少なくとも人物を含む動画像を撮影する(ステップS1)。次に、画像処理部18は、撮影した動画像から人物の顔画像を抽出する(ステップS2)。ここに、このステップS2の処理が本発明における顔抽出手段に対応している。
顔画像の抽出処理は、たとえば、特開2004−185611号公報に記載されている顔位置の抽出方法により実現することが可能である。この顔位置の抽出方法について簡単に説明すると、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、さらに、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択することで、顔位置の抽出を行なうものであり、詳細については当該公報を参照されたい。
次に、画像処理部18は、抽出した顔画像が追跡中の人物の顔画像かどうかを判定し(ステップS3)、追跡中の人物の顔画像でない場合、メモリ14内の顔画像管理テーブル17に固有の識別子、顔画像の位置情報を追加格納する(ステップS4)。なお、固有の識別子は、たとえば、顔画像が抽出された人物ごとに付与されるID番号などが用いられる。 次に、画像処理部18は、抽出した顔画像の人物を追跡する(ステップS5)。ここに、このステップS5の処理が本発明における人物追跡手段に対応している。
人物の追跡処理は、たとえば、特開平4−261290号公報に記載されている移動物体追跡装置により実現することが可能である。この移動物体追跡装置について簡単に説明すると、入力される時系列的に連続した画像を用いて移動物体の変化領域を抽出し、この抽出された変化領域を包含する矩形情報を求め、この求めた矩形情報を所定倍率の大きさの矩形情報に拡大し、この拡大された矩形情報を基に、入力される時系列的に連続した画像の対応する領域に対して画像処理を行なうことにより移動物体を追跡するものであり、詳細については当該公報を参照されたい。 次に、画像処理部18は、抽出した顔画像をそれに対応する識別子を付加して通信部15からサーバ20に対し送信する(ステップS6)。ここに、このステップS6の処理が本発明における第1の送信手段に対応している。 ステップS3における判定の結果、追跡中の人物の顔画像である場合、画像処理部18は、顔画像管理テーブル17の対応する顔画像の位置を最新の顔画像を抽出した位置に更新する(ステップS7)。
人物の追跡処理は、たとえば、特開平4−261290号公報に記載されている移動物体追跡装置により実現することが可能である。この移動物体追跡装置について簡単に説明すると、入力される時系列的に連続した画像を用いて移動物体の変化領域を抽出し、この抽出された変化領域を包含する矩形情報を求め、この求めた矩形情報を所定倍率の大きさの矩形情報に拡大し、この拡大された矩形情報を基に、入力される時系列的に連続した画像の対応する領域に対して画像処理を行なうことにより移動物体を追跡するものであり、詳細については当該公報を参照されたい。 次に、画像処理部18は、抽出した顔画像をそれに対応する識別子を付加して通信部15からサーバ20に対し送信する(ステップS6)。ここに、このステップS6の処理が本発明における第1の送信手段に対応している。 ステップS3における判定の結果、追跡中の人物の顔画像である場合、画像処理部18は、顔画像管理テーブル17の対応する顔画像の位置を最新の顔画像を抽出した位置に更新する(ステップS7)。
なお、複数の顔画像を抽出した場合には、各顔画像について図4の処理を繰り返し実施する。全ての顔画像について図4の処理を実施した後、顔画像管理テーブル17内の不要なデータ(新規追加されず、更新もされなかったデータ)を削除する。
次に、サーバ20における顔画像照合処理および固有情報取得処理について図5に示すフローチャートを参照して説明する。
まず、画像処理部23は、ステップS6により携帯電話機10から送信された識別子付きの顔画像を通信部22から受信する(ステップS11)。ここに、このステップS11の処理が本発明における第1の受信手段に対応している。
まず、画像処理部23は、ステップS6により携帯電話機10から送信された識別子付きの顔画像を通信部22から受信する(ステップS11)。ここに、このステップS11の処理が本発明における第1の受信手段に対応している。
次に、画像処理部23は、受信した顔画像とメモリ21内のデータベース24に格納されている顔画像とを照合し(ステップS12)、当該受信した顔画像との間に所定の関係が成立する顔画像、たとえば、この実施の形態では受信した顔画像と一致する顔画像がデータベース24内に存在するか否かを判定する(ステップS13)。ここに、このステップS12,S13の処理が本発明における照合手段に対応している。
ステップS13における判定の結果、受信した顔画像と一致する顔画像がデータベース24内に存在する場合、画像処理部23は、当該一致した顔画像に対応する固有情報(名前)をデータベース24から取得する(ステップS14)。ここに、このステップS14の処理が本発明における固有情報取得手段に対応している。
次に、画像処理部23は、取得した固有情報をそれにステップS11により受信された識別子と実質的に同一の識別子、たとえば、この実施の形態ではステップS11で受信した識別子を付加して通信部22から携帯電話機10に対し送信し(ステップS15)、当該処理を終了する。ここに、このステップS15の処理が本発明における第2の送信手段に対応している。
ステップS13における判定の結果、受信した顔画像と一致する顔画像がデータベース24内に存在しない場合、画像処理部23は、ステップS11で受信した識別子に対し照合不一致であったことを意味する情報、たとえば情報「照合不可」を付加して通信部22から携帯電話機10に対し送信し(ステップS16)、当該処理を終了する。
次に、携帯電話機10における固有情報の保存処理について図6に示すフローチャートを参照して説明する。
まず、画像処理部18は、サーバ20から送信された照合結果情報(ステップS15により送信された識別子付きの固有情報、あるいは、ステップS16により送信された識別子付きの情報「照合不可」)を通信部15から受信する(ステップS21)。ここに、このステップS21の処理が本発明における第2の受信手段に対応している。
まず、画像処理部18は、サーバ20から送信された照合結果情報(ステップS15により送信された識別子付きの固有情報、あるいは、ステップS16により送信された識別子付きの情報「照合不可」)を通信部15から受信する(ステップS21)。ここに、このステップS21の処理が本発明における第2の受信手段に対応している。
次に、画像処理部18は、受信した照合結果情報を顔画像管理テーブル17の対応する識別子の位置に追加する(ステップS22)。たとえば、受信した照合結果情報がステップS15により送信された識別子付きの固有情報の場合、図2に示すように、対応する識別子を有する顔画像に対し受信した固有情報(名前)を付加(追加)する。また、受信した照合結果情報がステップS16により送信された識別子付きの情報「照合不可」の場合、図2に示すように、対応する識別子を有する顔画像に対し受信した情報「照合不可」を付加(追加)する。 次に、携帯電話機10における撮影画像および固有情報の表示処理について図7に示すフローチャートを参照して説明する。
まず、画像処理部18は、カメラ11により撮影した動画像を表示部13に表示する(ステップS31)。ここに、このステップS31の処理が本発明における表示手段に対応している。
まず、画像処理部18は、カメラ11により撮影した動画像を表示部13に表示する(ステップS31)。ここに、このステップS31の処理が本発明における表示手段に対応している。
次に、画像処理部18は、顔画像管理テーブル17内の固有情報を表示部13に表示されている画像内の対応する識別子の顔画像の近傍に表示する(ステップS32)。ここに、このステップS32の処理が本発明における固有情報表示制御手段に対応している。
図8に表示部13における表示画面の一例を示す。図中、符号31〜35は撮影され表示されている人物を示し、符号41〜43は人物31〜33の顔画像の近傍に表示されている固有情報(名前)を示している。なお、図8の例では、人物34,35は照合結果が「照合不可」であったり、あるいは、まだ固有情報(名前)が取得されていなかったりした場合であり、したがって固有情報は表示されていない。
なお、図7の処理があらかじめ定められた一定時間間隔で実施される。
図8に表示部13における表示画面の一例を示す。図中、符号31〜35は撮影され表示されている人物を示し、符号41〜43は人物31〜33の顔画像の近傍に表示されている固有情報(名前)を示している。なお、図8の例では、人物34,35は照合結果が「照合不可」であったり、あるいは、まだ固有情報(名前)が取得されていなかったりした場合であり、したがって固有情報は表示されていない。
なお、図7の処理があらかじめ定められた一定時間間隔で実施される。
以上説明したように、上記実施の形態によれば、携帯電話機により撮影している動画像から抽出した人物の顔画像をサーバに送信し、サーバ側で既に登録されている顔画像と照合して、照合により得られた固有情報を携帯電話機に送信し、携帯電話機で撮影し表示している動画像内に当該固有情報を表示させることができる。その場合、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、固有情報が誰に対するものなのかが直感的にわかる。
また、撮影した動画像から人物を追跡し、追跡中の人物の顔画像を管理しているので、撮影している人物が、携帯電話機とサーバとの通信中、あるいは、サーバにおける顔画像の照合処理中に移動していた場合でも、確実に顔画像の近傍に固有情報を表示させることができる。
また、撮影した動画像から人物を追跡し、追跡中の人物の顔画像を管理しているので、撮影している人物が、携帯電話機とサーバとの通信中、あるいは、サーバにおける顔画像の照合処理中に移動していた場合でも、確実に顔画像の近傍に固有情報を表示させることができる。
なお、前記実施の形態では、携帯電話機とは別に顔画像および固有情報が登録されたデータベースを有するサーバを設け、サーバ内で顔画像の照合処理および固有情報の取得処理を行なう場合について説明したが、本発明はこれに限定されるものではなく、顔画像および固有情報が登録されたデータベースを携帯電話機内に設け、携帯電話機内で顔画像の照合処理および固有情報の取得処理を行なう場合にも同様に適用できる。このようにすればサーバは不要になる。
また、前記実施の形態では、携帯端末装置が携帯電話機の場合について説明したが、本発明はこれに限定されるものではなく、たとえば、PDAと称される携帯端末装置などであっても同様に適用できる。
10…携帯電話機(携帯端末装置)、20…サーバ(ホスト装置)、30…携帯電話回線、11…カメラ(撮影手段)、12…操作部、13…液晶表示部(表示手段)、14…メモリ(記憶手段)、15…通信部(送信手段、受信手段)、16…制御部(制御手段)、21…メモリ(記憶手段)、22…通信部(送信手段、受信手段)、23…制御部(制御手段)。
Claims (11)
- あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする情報表示システム。 - あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする情報表示システム。 - 利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、
前記携帯端末装置は、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第1の送信手段とを具備し、
前記ホスト装置は、
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
前記携帯端末装置の第1の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第1の受信手段と、
この第1の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報をそれに前記第1の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第2の送信手段とを具備し、
前記携帯端末装置は、さらに、
前記ホスト装置の第2の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第2の受信手段と、
この第2の受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備したことを特徴とする情報表示システム。 - 利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、
前記携帯端末装置は、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第1の送信手段とを具備し、
前記ホスト装置は、
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
前記携帯端末装置の第1の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第1の受信手段と、
この第1の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報をそれに前記第1の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第2の送信手段とを具備し、
前記携帯端末装置は、さらに、
前記ホスト装置の第2の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第2の受信手段と、
この第2の受信手段により受信された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備したことを特徴とする情報表示システム。 - 前記固有情報は対応する顔画像に対応する人物の名前に関する情報であることを特徴とする請求項1から請求項4のうちいずれか1つに記載の情報表示システム。
- 前記携帯端末装置は携帯電話機であることを特徴とする請求項3または請求項4記載の情報表示システム。
- 利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、
前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、
前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第1の送信ステップと、
前記ホスト装置において、前記第1の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第1の受信ステップと、
前記ホスト装置において、前記第1の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、
前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、
前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第1の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第2の送信ステップと、
前記携帯端末装置において、前記第2の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第2の受信ステップと、
前記携帯端末装置において、前記第2の受信ステップにより受信された固有情報を前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップと、
を具備したことを特徴とする情報表示方法。 - 利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、
前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、
前記携帯端末装置において、前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡ステップと、
前記携帯端末装置において、前記人物追跡ステップにより追跡される人物の顔画像を管理する顔画像管理ステップと、
前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第1の送信ステップと、
前記ホスト装置において、前記第1の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第1の受信ステップと、
前記ホスト装置において、前記第1の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、
前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、
前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第1の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第2の送信ステップと、
前記携帯端末装置において、前記第2の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第2の受信ステップと、
前記携帯端末装置において、前記第2の受信ステップにより受信された固有情報を前記顔画像管理ステップの管理内容に基づき前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップと、
を具備したことを特徴とする情報表示方法。 - 利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、
前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、
この受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする携帯端末装置。 - 利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、
前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、
この受信手段により受信された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする携帯端末装置。 - 当該携帯端末装置は携帯電話機であることを特徴とする請求項9または請求項10記載の携帯端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005117190A JP2006293912A (ja) | 2005-04-14 | 2005-04-14 | 情報表示システム、情報表示方法および携帯端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005117190A JP2006293912A (ja) | 2005-04-14 | 2005-04-14 | 情報表示システム、情報表示方法および携帯端末装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006293912A true JP2006293912A (ja) | 2006-10-26 |
Family
ID=37414390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005117190A Pending JP2006293912A (ja) | 2005-04-14 | 2005-04-14 | 情報表示システム、情報表示方法および携帯端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006293912A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008078624A1 (ja) * | 2006-12-22 | 2008-07-03 | Panasonic Corporation | 映像出力装置 |
WO2009142098A1 (ja) | 2008-04-23 | 2009-11-26 | 日本電気株式会社 | 画像処理装置、カメラ、画像処理方法およびプログラム |
JP2010226656A (ja) * | 2009-03-25 | 2010-10-07 | Canon Inc | 情報処理装置、制御方法及びプログラム |
JP2010226498A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | 携帯機器 |
JP2012524343A (ja) * | 2009-04-14 | 2012-10-11 | クアルコム,インコーポレイテッド | モバイル機器を使用する画像認識のためのシステムおよび方法 |
JP2013541096A (ja) * | 2010-09-20 | 2013-11-07 | クゥアルコム・インコーポレイテッド | クラウド支援型拡張現実のための適応可能なフレームワーク |
JP2013247579A (ja) * | 2012-05-28 | 2013-12-09 | Canon Inc | 撮像装置、その制御方法及びプログラム |
JP2014110560A (ja) * | 2012-12-03 | 2014-06-12 | Toshiba Corp | 情報処理装置、サーバ装置およびプログラム |
WO2014171046A1 (ja) * | 2013-04-17 | 2014-10-23 | パナソニック株式会社 | 映像受信装置、及び、映像受信装置における情報表示制御方法 |
JP2014228950A (ja) * | 2013-05-20 | 2014-12-08 | 株式会社Nttドコモ | 情報管理装置、情報管理システム、通信端末および情報管理方法 |
CN110351326A (zh) * | 2018-04-03 | 2019-10-18 | 松下电器(美国)知识产权公司 | 信息处理方法、信息处理装置以及信息处理*** |
WO2020115910A1 (ja) | 2018-12-07 | 2020-06-11 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
JP2021523463A (ja) * | 2018-05-07 | 2021-09-02 | グーグル エルエルシーGoogle LLC | リアルタイムのオブジェクト検出および追跡 |
-
2005
- 2005-04-14 JP JP2005117190A patent/JP2006293912A/ja active Pending
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008078624A1 (ja) * | 2006-12-22 | 2008-07-03 | Panasonic Corporation | 映像出力装置 |
US8682031B2 (en) | 2008-04-23 | 2014-03-25 | Nec Corporation | Image processing device, camera, image processing method, and program |
WO2009142098A1 (ja) | 2008-04-23 | 2009-11-26 | 日本電気株式会社 | 画像処理装置、カメラ、画像処理方法およびプログラム |
JP2010226498A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | 携帯機器 |
CN102769734A (zh) * | 2009-03-24 | 2012-11-07 | 奥林巴斯映像株式会社 | 便携设备 |
JP2010226656A (ja) * | 2009-03-25 | 2010-10-07 | Canon Inc | 情報処理装置、制御方法及びプログラム |
JP2012524343A (ja) * | 2009-04-14 | 2012-10-11 | クアルコム,インコーポレイテッド | モバイル機器を使用する画像認識のためのシステムおよび方法 |
US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
JP2015144474A (ja) * | 2010-09-20 | 2015-08-06 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | クラウド支援型拡張現実のための適応可能なフレームワーク |
JP2013541096A (ja) * | 2010-09-20 | 2013-11-07 | クゥアルコム・インコーポレイテッド | クラウド支援型拡張現実のための適応可能なフレームワーク |
US9633447B2 (en) | 2010-09-20 | 2017-04-25 | Qualcomm Incorporated | Adaptable framework for cloud assisted augmented reality |
JP2017011718A (ja) * | 2010-09-20 | 2017-01-12 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | クラウド支援型拡張現実のための適応可能なフレームワーク |
US9495760B2 (en) | 2010-09-20 | 2016-11-15 | Qualcomm Incorporated | Adaptable framework for cloud assisted augmented reality |
KR101548834B1 (ko) | 2010-09-20 | 2015-08-31 | 퀄컴 인코포레이티드 | 클라우드 보조 증강 현실을 위한 적응적 프레임워크 |
JP2013247579A (ja) * | 2012-05-28 | 2013-12-09 | Canon Inc | 撮像装置、その制御方法及びプログラム |
JP2014110560A (ja) * | 2012-12-03 | 2014-06-12 | Toshiba Corp | 情報処理装置、サーバ装置およびプログラム |
WO2014171046A1 (ja) * | 2013-04-17 | 2014-10-23 | パナソニック株式会社 | 映像受信装置、及び、映像受信装置における情報表示制御方法 |
US9699520B2 (en) | 2013-04-17 | 2017-07-04 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving apparatus and method of controlling information display for use in video receiving apparatus |
JP2014228950A (ja) * | 2013-05-20 | 2014-12-08 | 株式会社Nttドコモ | 情報管理装置、情報管理システム、通信端末および情報管理方法 |
CN110351326A (zh) * | 2018-04-03 | 2019-10-18 | 松下电器(美国)知识产权公司 | 信息处理方法、信息处理装置以及信息处理*** |
JP2021523463A (ja) * | 2018-05-07 | 2021-09-02 | グーグル エルエルシーGoogle LLC | リアルタイムのオブジェクト検出および追跡 |
US11651589B2 (en) | 2018-05-07 | 2023-05-16 | Google Llc | Real time object detection and tracking |
JP7420741B2 (ja) | 2018-05-07 | 2024-01-23 | グーグル エルエルシー | リアルタイムのオブジェクト検出および追跡 |
WO2020115910A1 (ja) | 2018-12-07 | 2020-06-11 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006293912A (ja) | 情報表示システム、情報表示方法および携帯端末装置 | |
JP5218989B2 (ja) | 通信端末装置、及び、プログラム | |
JP4552632B2 (ja) | 携帯機器 | |
JP4720167B2 (ja) | 電子カメラおよびプログラム | |
KR101800890B1 (ko) | 위치 기반의 통신 방법 및 시스템 | |
US20120321143A1 (en) | Broadcast Identifier Enhanced Facial Recognition of Images | |
US20080320033A1 (en) | Method, Apparatus and Computer Program Product for Providing Association of Objects Using Metadata | |
KR20090128038A (ko) | 휴대 단말기의 화상 정보 활용 방법 | |
JP2005267146A (ja) | 画像認識機能を利用した電子メール作成方法および装置 | |
CN104731880A (zh) | 图片排序方法和装置 | |
US8548128B2 (en) | Telephone apparatus, image display method and image display processing program | |
KR20120017172A (ko) | 휴대용 단말기에서 지오 태깅 시 전력 제어 장치 및 방법 | |
KR20120126529A (ko) | 촬영정보를 이용한 사용자 간 연관성 분석방법 및 시스템 | |
JP2008306487A (ja) | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム | |
JP2002170119A (ja) | 画像認識装置、画像認識方法及び記録媒体 | |
KR100705164B1 (ko) | 휴대 단말기를 이용한 사용자 등록 시스템 및 방법 | |
JP2008269411A (ja) | 画像キーワード編集システム、画像キーワード提供サーバおよび画像キーワード編集装置 | |
US6832101B1 (en) | Image registration server and an image mediation distributing system | |
EP2544435B1 (en) | Mobile wireless communications device providing object comparison features based upon near field communication (nfc) and related methods | |
KR100484245B1 (ko) | 이동통신기기의 화상전화번호부 자동검색 및 관리장치 및그 방법 | |
JP2009134333A (ja) | デジタル写真共有システム装置 | |
JP2011124936A (ja) | 撮像装置及び撮影案内システム並びにプログラム | |
CN105653623B (zh) | 图片收集方法及装置 | |
CN106446017A (zh) | 标识信息添加方法及装置 | |
JP5743017B2 (ja) | 画像管理装置及びプログラム |