JP2014236228A - 人物情報登録装置及びプログラム - Google Patents

人物情報登録装置及びプログラム Download PDF

Info

Publication number
JP2014236228A
JP2014236228A JP2013114426A JP2013114426A JP2014236228A JP 2014236228 A JP2014236228 A JP 2014236228A JP 2013114426 A JP2013114426 A JP 2013114426A JP 2013114426 A JP2013114426 A JP 2013114426A JP 2014236228 A JP2014236228 A JP 2014236228A
Authority
JP
Japan
Prior art keywords
information
face
unit
self
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013114426A
Other languages
English (en)
Other versions
JP6139277B2 (ja
Inventor
美木子 中西
Mikiko Nakanishi
美木子 中西
堀越 力
Tsutomu Horikoshi
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2013114426A priority Critical patent/JP6139277B2/ja
Publication of JP2014236228A publication Critical patent/JP2014236228A/ja
Application granted granted Critical
Publication of JP6139277B2 publication Critical patent/JP6139277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Input (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Abstract

【課題】特定の所作をすることを利用者に特に意識させなくとも、利用者が人物と対面した機会に、その対面相手の情報を登録できるようにする。
【解決手段】利用者に装着される眼鏡部を有する眼鏡型端末は、眼鏡部の周辺を撮影した撮影画像を取得するとともに、対面相手の情報を登録し表示する機能を有する。眼鏡型端末は、撮影画像から名刺の画像を認識することにより、利用者と対面相手とで行われる自己紹介の行動を検出する(S4;YES)。眼鏡型端末は、認識した名刺の画像から氏名や所属名等の対面相手の属性情報を認識し、事前に登録した利用者の属性情報を含む利用者情報と比較する(S5,S6)。眼鏡型端末は、利用者情報と合致しない属性情報を、対面相手の属性情報としてデータベースに登録し(S7)、更に、名刺の画像の認識後に、撮影画像から最初に検出した顔の顔モデルを、対面相手の顔モデルとして登録する(S8〜S10)。
【選択図】図7

Description

本発明は、眼鏡型の装置を用いて、対面相手の情報を登録し表示する技術に関する。
撮影画像から人物の顔を認識し、認識した人物について予め登録しておいた情報(例えば、氏名等の個人情報)を表示する発明が、特許文献1〜3に開示されている。特許文献1は、認識した複数の人物の属性情報を表示する場合に、優先度の高い人物の属性情報をより上側に表示することを開示している。特許文献2は、予め登録した人物の顔を撮影データから認識すると、その人物の属性データを用いて撮影データのタイトルを作成することを開示している。特許文献3は、眼鏡装置の装着者の視線の検出結果又は眼鏡装置を介して観察される人物の顔検出条件が検索開始条件を満たした場合に、その人物の顔画像又は顔画像の特徴量を、人物情報と関連付けて登録することを開示している。
特開2011−160413号公報 特開2012−19265号公報 特開2010−61265号公報
特許文献1,2に記載の発明では、対面相手の情報を登録する際には、対面相手にビデオカメラを向けて撮影し、その対面相手の名前等の属性情報を手入力する必要がある。特許文献3に記載の発明では、利用者が眼鏡装置を装着したまま、対面相手の人物情報を登録することができる。しかしながら、この眼鏡装置の利用者は、人物情報を登録したいタイミングで、前述した検索開始条件を満たす所作をするように意識しなければならない場合がある。また、眼鏡装置の利用者が、偶然に検索開始条件を満たす所作をした場合には、適切でない機会に人物情報を登録する処理が開始される場合がある。
これに対し、本発明の目的は、特定の所作をすることを利用者に特に意識させなくとも、利用者が人物と対面した機会に、その対面相手の情報を登録できるようにすることである。
上述した課題を解決するため、本発明の人物情報登録装置は、利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部と、前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出する自己紹介行動検出部と、前記自己紹介行動検出部が検出した自己紹介の行動の中から、人物の属性情報を認識する属性認識部と、前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識する特徴認識部と、前記属性認識部が認識した属性情報と、前記特徴認識部が認識した特徴情報とを対応付けてデータベースに登録する登録処理部と、前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成する表示コンテンツ生成部とを備えることを特徴とする。
本発明の人物情報登録装置において、前記属性認識部は、前記自己紹介に係る情報を取得して、取得した当該情報から前記属性情報を認識するようにしてもよい。
本発明の人物情報登録装置において、前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、前記特徴認識部は、前記自己紹介の行動が検出された後、前記撮影画像から最初に検出した顔の特徴を表す顔モデルを、前記特徴情報として認識するようにしてもよい。
本発明の人物情報登録装置において、前記属性認識部は、前記利用者が自己紹介に利用する利用者情報に基づいて、前記対面相手の前記属性情報を認識するようにしてもよい。
この人物情報登録装置において、前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、前記自己紹介行動検出部は、前記撮影画像から名刺の画像を認識して、前記利用者と前記対面相手とで自己紹介の行動が行われていることを検出し、前記属性認識部は、前記名刺の画像から前記対面相手の前記属性情報を認識するようにしてもよい。
本発明の人物情報登録装置において、前記周辺情報は、前記眼鏡部の周辺の音を収音した収音音声を含み、前記属性認識部は、前記収音音声において、前記自己紹介に利用される定型語とともに発声された情報を、前記属性情報として認識するようにしてもよい。
本発明の人物情報登録装置は、利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部の前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出する自己紹介行動検出部と、前記自己紹介行動検出部が検出した自己紹介の行動の中から、人物の属性情報を認識する属性認識部と、前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識する特徴認識部と、前記属性認識部が認識した属性情報と、前記特徴認識部が認識した特徴情報とを対応付けてデータベースに登録する登録処理部と、前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成する表示コンテンツ生成部とを備えることを特徴とする。
本発明のプログラムは、利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部の前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出するステップと、検出した前記自己紹介の行動の中から、人物の属性情報を認識するステップと、前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識するステップと、認識した前記属性情報と、認識した前記特徴情報とを対応付けてデータベースに登録するステップと、前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成するステップとを実行させるためのプログラムである。
本発明によれば、特定の所作をすることを利用者に特に意識させなくとも、利用者が人物と対面した機会に、その対面相手の情報を登録することができる。
第1実施形態の眼鏡型端末の外観構成を示す図。 同眼鏡型端末のハードウェア構成を示すブロック図。 同眼鏡型端末の人物情報DBに登録されるデータの構成例を示す図。 同眼鏡型端末の利用者に視認される表示コンテンツを例示する図。 同眼鏡型端末の機能構成を示すブロック図。 名刺交換を伴う自己紹介の行動の流れを説明する図。 同眼鏡型端末が行う登録処理の流れを示すフローチャート。 同眼鏡型端末が行う表示処理の流れを示すフローチャート。 第2実施形態の眼鏡型端末が行う登録処理の流れを示すフローチャート。 同眼鏡型端末が行う表示処理の流れを示すフローチャート。 変形例2の眼鏡型端末が行う登録処理の流れを示すフローチャート。 変形例9の人物情報登録システムの全体構成を示す図。
以下、図面を参照しつつ本発明の実施形態を説明する。
[第1実施形態]
図1は、本発明の第1実施形態の眼鏡型端末1の外観構成を示す図である。図1に示す眼鏡型端末1は、利用者が対面した人物(すなわち対面相手)の情報を登録し、以降に、利用者が同じ人物と対面した機会に、登録しておいた情報を表示する人物情報登録装置として機能する。図1に示すように、眼鏡型端末1は、利用者の頭部に装着される眼鏡部10を備え、全体として眼鏡型に形成された端末装置である。
眼鏡部10は、取得部11と表示部12とを備える。取得部11は、眼鏡部10の周辺における周辺情報を取得する。ここでは、取得部11は、CCD(Charge Coupled Device)等の撮像素子を備えた撮影部111を含み、撮影部111により眼鏡部10の周辺を撮影して、動画像である撮影画像を取得する。撮影部111は、眼鏡部10を通して利用者に観察される像を撮影するように、例えば、眼鏡部10のレンズ(ここでは左目のレンズ)付近に撮影レンズが位置する。表示部12は、光学シースルー型のHMD(Head Mounted Display)を含み、眼鏡部10を通して利用者に観察される像に重ねて表示コンテンツを表示する。
なお、表示部12は、利用者の片目又は両目で表示コンテンツが視認されるように配置される。また、図1及び図2で破線を用いて示した収音部112は、後述する第2実施形態の眼鏡型端末1の構成要素であり、この第1実施形態には関係ないものとする。
図2は、眼鏡型端末1のハードウェア構成を示すブロック図である。図2に示すようい、眼鏡型端末1は、眼鏡部10の他に、制御部101と、記憶部102とを備える。
制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を有するマイクロコンピュータを備える。CPUは、ROMや記憶部102に記憶されたプログラムをRAMに読み出して実行することにより、眼鏡型端末1の各部を制御する。記憶部102は、例えばハードディスクを有する記憶装置であり、制御部101により実行されるプログラムや、利用者の対面相手の情報を登録する人物情報DB60を記憶する。人物情報DB60は、利用者情報61と、相手属性情報62と、モデル情報63との各情報を含むデータベースである。眼鏡部10の取得部11は、周辺情報(ここでは撮影部111の撮影画像)を取得すると、取得した周辺情報を制御部101へ供給する。眼鏡部10の表示部12は、制御部101から表示コンテンツが供給されると、供給された表示コンテンツを表示する。
図3は、人物情報DB60に登録されるデータの構成例を示す図である。図3(a)は、利用者情報61の構成例を示す図であり、図3(b)は、相手属性情報62及びモデル情報63の構成例を示す図である。
図3(a)に示す利用者情報61は、眼鏡型端末1の利用者が自己紹介に利用する情報で、ここでは利用者の属性を示す属性情報である。人物の属性情報は、その人物の属性を示す情報であり、例えば個人情報を含む。本実施形態では、人物の属性情報は、その人物の所属先を示す所属名(例えば所属企業名)及びその人物の氏名(名前)を示す情報である。図3(a)に示す例では、利用者情報61は、所属名として「△△株式会社」を示し、氏名として「田中二郎」を示す情報である。
図3(b)に示すように、人物情報DB60では、眼鏡型端末1の利用者が過去に対面した対面相手毎に、相手属性情報62とモデル情報63とが対応付けられている。相手属性情報62は、対面相手の属性を示す属性情報であり、ここでは対面相手の所属先を示す所属名及び対面相手の氏名を示す情報である。モデル情報63は、対面相手の顔の特徴を表す特徴情報であり、ここでは、対面相手の顔の複数の顔特徴点に基づいて生成された顔モデルを示す。図3(b)に示す例では、人物情報DB60において、所属名として「○○株式会社」を示し、氏名として「山田太郎」を示す相手属性情報62と、顔モデルとして「P101」を示すモデル情報63とが対応付けられている。
図4は、眼鏡型端末1が人物情報DB60に基づいて表示する表示コンテンツを例示する図である。図4に示すように、眼鏡型端末1は、利用者が眼鏡型端末1を通して対面相手Bを観察した際に、対面相手Bについての相手属性情報62に基づいて、表示コンテンツを表示部12に表示する。対面相手Bが、人物情報DB60の第1行のレコードに情報が登録された人物である場合に、図4に示す表示コンテンツが表示される。具体的には、この表示コンテンツは、所属名として「○○株式会社」という文字情報(破線枠Im1内参照)と、氏名として「山田太郎」という文字情報(破線枠Im2内参照)とを含む。
図5は、眼鏡型端末1の機能構成を示すブロック図である。図5に示すように、眼鏡型端末1は、眼鏡部10と、自己紹介行動解析部20と、相手特徴解析部30と、登録処理部40と、表示コンテンツ生成部50とに相当する機能を実現する。自己紹介行動解析部20、相手特徴解析部30、登録処理部40及び表示コンテンツ生成部50の各部は、制御部101により実現される機能である。図5に示す矢印は、機能ブロック間で情報が供給される方向を意味する。
眼鏡部10の取得部11は、眼鏡部10の周辺における周辺情報(ここでは撮影部111の撮影画像)を取得する。取得部11は、取得した周辺情報を、自己紹介行動解析部20及び相手特徴解析部30へ供給する。表示部12は、表示コンテンツ生成部50により生成された表示コンテンツを表示する。
自己紹介行動解析部20は、自己紹介行動検出部21と属性認識部22とを含み、人物によって行われた自己紹介の行動を解析する。
自己紹介行動検出部21は、取得部11により取得された周辺情報に基づいて、自己紹介の行動を検出する。ここでは、自己紹介行動検出部21は、取得部11により取得された撮影部111の撮影画像を解析して、この撮影画像から名刺の画像を認識することにより、利用者と対面相手とで行われる自己紹介の行動を検出する。すなわち、自己紹介行動検出部21は、利用者と対面相手とからなる2名以上の人物間で行われる、名刺交換を伴う自己紹介の行動を検出する。
属性認識部22は、自己紹介行動検出部21が検出した自己紹介の行動の中から、人物の属性情報を認識する。ここでは、属性認識部22は、取得部11により取得された周辺情報を自己紹介に係る情報として取得し、取得した情報から属性情報を認識する。自己紹介行動検出部21により名刺の画像が認識された場合、属性認識部22は、この名刺の画像から、属性情報を意味する文字列を抽出し、抽出した文字列から属性情報を認識する。名刺の画像から属性情報を認識するためのアルゴリズムは、周知の名刺認識アルゴリズムでよく、その詳細な説明を省略する。
相手特徴解析部30は、特徴認識部31と対面相手認識部32とを含み、対面相手の特徴を解析する。
特徴認識部31は、自己紹介行動検出部21により自己紹介の行動が検出された際に取得部11に取得された周辺情報に基づいて、対面相手の特徴情報を認識する。ここでは、特徴認識部31は、自己紹介行動検出部21により名刺の画像が認識された後、撮影部111の撮影画像から最初に検出した顔の顔モデルを認識する。
撮影画像から顔を検出して顔モデルを認識するアルゴリズムは、周知の顔認識アルゴリズムでよいが、例えば、特徴認識部31は、撮影画像から主に肌色と黒とから構成される画像部分を検出して、撮影画像から人間の顔を検出する。そして、特徴認識部31は、目と目の間隔、顎から額までの長さと、顎から鼻までの長さの比率等の顔特徴点の特徴量に基づいて、顔モデルを認識する。
対面相手認識部32は、人物情報DB60と、特徴認識部31により認識された特徴情報とに基づいて、対面相手を認識する。対面相手を認識するアルゴリズムは、周知のアルゴリズムでよいが、例えば、対面相手認識部32は、人物情報DB60に登録された各モデル情報63が示す顔モデルと、特徴認識部31により認識された顔モデルとの類似度をそれぞれ算出する。類似度の算出においては、例えば、顔特徴点の特徴量の差分和、平均比率又は比率和等を用いることができる。対面相手認識部32は、算出した類似度に基づいて、特徴認識部31により認識された特徴情報(ここでは顔モデル)と、人物情報DB60に登録されたモデル情報63とが合致した人物を、対面相手と認識する。例えば、対面相手認識部32は、算出した類似度が閾値以上であり、且つ、その類似度が最大値となった人物を、対面相手と認識する。
登録処理部40は、人物情報DB60に人物の情報を登録する。例えば、登録処理部40は、属性認識部22により利用者の属性情報が認識された場合には、認識した属性情報を利用者情報61として登録する。また、登録処理部40は、属性認識部22が認識した対面相手の属性情報を相手属性情報62とし、特徴認識部31が認識した対面相手の特徴情報(ここでは顔モデル)をモデル情報63として、これらを1つのレコードで対応付けて登録する。
表示コンテンツ生成部50は、表示部12で表示される表示コンテンツを生成する。例えば、表示コンテンツ生成部50は、対面相手認識部32により対面相手が認識された場合に、その対面相手の顔モデルを示すモデル情報63に対応付けて人物情報DB60に登録された相手属性情報62を取得する。そして、表示コンテンツ生成部50は、取得した相手属性情報62に基づいて、表示コンテンツを生成する。
以上のとおり、眼鏡型端末1は、利用者と対面相手とで行われる自己紹介の行動を検出した場合に、対面相手の情報を人物情報DB60に登録する。ここで、名刺交換を伴う自己紹介の行動の流れを説明する。
図6は、利用者Aと対面相手Bとで行われる名刺交換を伴う自己紹介の行動の流れを説明する図である。
(行動1)眼鏡型端末1の利用者A(以下「利用者A」と省略する。)と、対面相手Bとが対面する。
(行動2)利用者Aが、自身の所属名や氏名が記された名刺を対面相手Bに渡す。この際に、利用者Aは、名刺を渡すときに自身の名刺を見る。
(行動3)対面相手Bが、利用者Aから名刺を受け取る。この際に、対面相手Bは、利用者Aから受け取った名刺を見る。
(行動4)対面相手Bが利用者Aの顔を見る。
(行動5)対面相手Bが、自身の所属名や氏名が記された名刺を利用者Aに渡す。この際に、対面相手Bは、名刺を渡すときに自身の名刺を見る。
(行動6)利用者Aが対面相手Bから名刺を受け取る。この際に、利用者Aは、利用者Bから受け取った名刺を見る。
(行動7)利用者Aが対面相手Bの顔を見る。
上述した(行動6)及び(行動7)の記載から分かるように、名刺交換を伴う自己紹介が行われる機会には、利用者Aは、対面相手Bから名刺を受け取る際に、対面相手Bの名刺を見た後に対面相手Bの顔を見る、といった行動をする。名刺交換におけるこの行動は、多くの人物にとって習慣となっている行動である。眼鏡型端末1では、このような名刺交換を伴う自己紹介の行動を検出して対面相手の情報を登録する登録処理を行う。
図7は、眼鏡型端末1が行う登録処理の流れを示すフローチャートである。以下に説明する登録処理前は、人物情報DB60には情報が未登録であるものとする。
まず、眼鏡型端末1は、撮影部111及び表示部12を起動し、撮影部111による撮影を開始する(ステップS1)。次に、眼鏡型端末1は、人物情報DB60に利用者情報61を登録するかどうかを判断する(ステップS2)。この時点では、利用者情報61が未登録であるから、眼鏡型端末1はステップS2の処理で「YES」と判断する。
次に、眼鏡型端末1は、人物情報DB60に利用者情報61を登録する(ステップS3)。例えば、利用者は、眼鏡型端末1を装着した状態で、自身の名刺を見る。眼鏡型端末1は、撮影部111の撮影画像から名刺の画像を認識し、この名刺の画像から、利用者の属性情報を認識する。そして、眼鏡型端末1は、認識した利用者の属性情報を利用者情報61として、人物情報DB60に登録する。このステップS3の処理後には、図3(a)に示す利用者情報61が人物情報DB60に登録された状態となる。ステップS3の利用者情報61を登録する処理は、1度行われた後は、利用者情報61を変更する機会が生じるまで省略することができる。すなわち、ステップS2の処理では、以降、眼鏡型端末1は「NO」と判断することとなる。
利用者情報61の登録後、眼鏡型端末1は、撮影部111の撮影画像から、名刺の画像を認識したかどうかを判断する(ステップS4)。眼鏡型端末1は、名刺の画像を認識するまでは、ステップS4の処理で「NO」と判断して、撮影画像から名刺の画像を認識するための処理を継続して行う。名刺の画像を認識したと判断すると(ステップS4;YES)、眼鏡型端末1は、この名刺の画像から属性情報を認識する(ステップS5)。
次に、眼鏡型端末1は、ステップS5の処理で認識した属性情報が、人物情報DB60に登録された利用者情報61に一致するかどうかを判断する(ステップS6)。属性情報は、前述したように複数種類の情報(ここでは所属名及び氏名)からなる場合がある。この場合、眼鏡型端末1は、ステップS6の処理では、これら複数種類の情報が完全一致するかどうかを判断する。ここでは、眼鏡型端末1は、ステップS5の処理で認識した属性情報が、所属名として「△△株式会社」を示し、且つ、氏名として「田中二郎」を示す場合には、ステップS6の処理で「YES」と判断し、ステップS4の処理に戻る。名刺の画像に含まれる属性情報が、利用者情報61に完全一致するということは、利用者が眼鏡型端末1を装着したまま、自身の名刺を見たと推測されるからである。すなわち、図6で説明した(行動2)の行動を利用者がしたと推測される。この場合には、ステップS5の処理で認識した属性情報を人物情報DB60に新たに登録する必要がないので、眼鏡型端末1は、ステップS6の処理に戻る。
眼鏡型端末1は、ステップS6の処理で「NO」、すなわち、認識した属性情報が利用者情報61に一致しないと判断した場合には、人物情報DB60に新たなレコードを作成し、この属性情報を相手属性情報62として登録する(ステップS7)。名刺の画像から認識した属性情報が、利用者情報61に一致しないということは、図6で説明した(行動6)の行動を眼鏡型端末1が検知したと推測されるからである。ここでは、眼鏡型端末1が、所属名として「○○株式会社」を示し、氏名として「山田太郎」を示す相手属性情報62を登録したものとする。
なお、ここでは、利用者の対面相手が1名である場合を想定しているが、対面相手が2名以上の場合であっても、眼鏡型端末1は、ステップS6の処理により、名刺の画像から認識した属性情報が、利用者の属性情報であるか、対面相手の属性情報であるかを判断することができる。
次に、眼鏡型端末1は、撮影画像から人物の顔を検出し(ステップS8)、名刺の画像の認識後に最初に検出した顔の顔モデルを認識する(ステップS9)。ステップS8,S9の処理は、図6で説明した(行動7)に基づいて決められている。すなわち、名刺の画像を認識した後に最初に認識した顔は、その名刺を差し出した人物の顔であると推測することができる。
そして、眼鏡型端末1は、ステップS7の処理で登録した相手属性情報62に対応付けて、ステップS9で認識した顔モデルを示すモデル情報63を登録する(ステップS10)。このステップS10の処理後、人物情報DB60には、対面相手の情報として、図3(b)の第1行に相当するレコードの情報が登録された状態となる。
なお、上述した登録処理の説明では、この登録処理前において、人物情報DB60に情報が未登録であるものとしていた。人物情報DB60に情報が登録されている場合には、眼鏡型端末1は、ステップS7の処理で属性情報を登録する前に、ステップS5の処理で認識した属性情報が人物情報DB60に登録されている属性情報と一致するかどうかを判断し、一致しない場合にのみ、ステップS7以降の処理を行うこととしてもよい。かかる処理を行うことで、名刺交換を行った対面相手の情報が既に人物情報DB60に登録されている場合に、眼鏡型端末1が同一人物の情報を重複して登録することを防止することができる。
次に、眼鏡型端末1で行われる表示コンテンツの表示処理について説明する。
図8は、眼鏡型端末1が行う表示処理の流れを示すフローチャートである。図8に示す表示処理は、上述した登録処理におけるステップS1の処理後、図7で説明した登録処理と並行して眼鏡型端末1により行われる。
まず、眼鏡型端末1は、撮影部111の撮影画像から顔を検出して、検出した顔の顔モデルを認識する(ステップS11)。次に、眼鏡型端末1は、ステップS11の処理で認識した顔モデルが、人物情報DB60に登録されモデル情報63が示すいずれかの顔モデルと合致するかどうかを判断する(ステップS12)。ステップS12の処理で「NO」と判断した場合、眼鏡型端末1は、ステップS11の処理に戻って、撮影画像から顔を検出し顔モデルを認識するための処理を継続して行う。
ステップS12の処理で「YES」と判断した場合、眼鏡型端末1は、合致すると判断したモデル情報63に対応付けて人物情報DB60に登録された相手属性情報62を取得し、取得した相手属性情報62に基づいて表示コンテンツを生成する(ステップS13)。眼鏡型端末1は、生成した表示コンテンツを眼鏡部10の表示部12に供給し、表示部12において表示コンテンツを表示する(ステップS14)。ステップS11の処理で、モデル情報63として「P101」を示す顔モデルを認識していた場合には、眼鏡型端末1は、図4に示す表示コンテンツを表示する。
以上説明したとおり、この実施形態の眼鏡型端末1は、利用者と対面相手との名刺交換を伴う自己紹介の行動を検出した場合に、名刺の画像から対面相手の属性情報を認識して登録する。このため、眼鏡型端末1の利用者は、習慣となっている名刺交換を伴う自己紹介の行動をするだけで、眼鏡型端末1に対面相手の情報を登録させることができる。よって、眼鏡型端末1の利用者は、自己紹介の行動以外の所作を意識してしなくてもよい。
また、自己紹介の行動が行われる機会は、利用者が面識のない人物と対面している可能性が高く、また、利用者が対面相手のことをよく知らなかったり、人物情報DB60にその対面相手の情報が登録されていなかったりする可能性が高い。また、自己紹介の行動は、通常、初対面の人物に対して行われるから、眼鏡型端末1は、同一の対面相手の情報を複数回登録することも防ぐこともできる。よって、眼鏡型端末1によれば、対面相手の情報を登録すべき適切な機会を判別することができる。
また、眼鏡型端末1は、図6で説明した名刺交換を伴う自己紹介における行動の流れに基づき、利用者情報61を参照して登録処理を行うので、利用者の属性情報を対面相手の属性情報と誤って登録してしまうことがない。また、眼鏡型端末1は、名刺の画像の認識後に最初に認識した顔を、名刺を差し出した対面相手の顔として扱うから、対面相手毎の相手属性情報62とモデル情報63との対応付けを正確に行うことができる。
[第2実施形態]
上述した第1実施形態では、眼鏡型端末1は、対面相手の特徴を示す特徴情報として、対面相手の顔の特徴を表す顔モデルを用いていた。これに対し、この実施形態の眼鏡型端末1は、対面相手の特徴を示す特徴情報として、対面相手の声の特徴を表す声モデルを用いる。
この実施形態の眼鏡型端末1は、ハードウェア構成として、上述した第1実施形態の構成に加えて音声処理を行うための構成を有するが、その余の構成は上述した第1実施形態の構成と同じでよい。具体的には、眼鏡型端末1の取得部11は、図1及び図2に示す収音部112を備える。ただし、取得部11は、この実施形態では撮影部111を備えていないものとする。収音部112は、眼鏡部10の周辺における音を収音するマイクロホンであり、その収音音声を示す音声信号を制御部101へ供給する。すなわち、取得部11は、収音部112からの音声信号を周辺情報として取得する。
以下の説明において、上述した第1実施形態の構成要素に対応する構成要素については同一の符号を付して表し、その説明を省略する。
次に、この実施形態の眼鏡型端末1の機能構成を説明する。眼鏡型端末1の機能構成は、図5で説明した機能構成と同じであるが、各機能ブロックが、収音部112の収音音声に関する機能を実現する点で、上述した第1実施形態とは相違する。
自己紹介行動解析部20の自己紹介行動検出部21は、取得部11が取得した収音音声に対して音声認識処理を行って、その収音音声を解析し、自己紹介の行動を検出する。ここでは、自己紹介行動検出部21は、自己紹介に利用される定型語(すなわちキーワード)が人物により発声されたことを、自己紹介の行動として検出する。例えば、「はじめまして」という語句が発声された後は、自己紹介の行動が行われると推測される。また、「私の所属は」という語句が発声された後は、所属先が発声される可能性が高く、「私の名前は」という語句が発声された後は、氏名が発声される可能性が高い。このように、発声により自己紹介が行われる際に使用される語句は、或る程度限られている。そこで、自己紹介行動検出部21は、自己紹介に利用されることが想定される予め決められた定型語を認識した場合に、自己紹介の行動を検出する。
なお、自己紹介に利用される定型語は、日本語以外の言語でも存在し、例えば英語の場合には、「Nice to meet you」や「My name is」等を定型語とする。
属性認識部22は、収音部112の収音音声において、自己紹介に利用される定型語とともに発声された情報を、属性情報として認識する。例えば、属性認識部22は、「私の所属は」という語句の後に発声された情報を所属名と認識し、「私の名前は」という語句の後に発声された情報を氏名と認識する。
なお、自己紹介に利用される定型語と、その定型語とともに発声される属性情報の種類との対応関係は、予め決められていればよい。また、自己紹介に利用される定型語は、属性情報の前に発声されるものに限らず、属性情報の後に発声されるものを含んでいてもよい。例えば、「と申します。」という語句の前には、対面相手の所属先が発声される可能性が高いからである。
相手特徴解析部30の特徴認識部31は、人物の声の特徴を認識する。特徴認識部31は、周知のアルゴリズムにより声の特徴を認識すればよく、例えば、音声周波数の特徴や音声強度パターン(抑揚)の特徴等の、声の特徴を表す声モデルを認識する。この声モデルは、属性情報を意味する音声から認識されてもよいし、属性情報を意味する音声の後の音声から認識されたものであってもよい。対面相手認識部32は、人物情報DB60と、特徴認識部31により認識された声モデルとに基づいて、対面相手を認識する。対面相手認識部32は、例えば、声モデルが示す特徴量の類似度を求め、求めた類似度が閾値以上であり、且つ、類似度が最も高かった場合に、特徴認識部31が認識した声モデルと、人物情報DB60のモデル情報63が示す声モデルとが合致したと判断する。
登録処理部40は、属性認識部22が認識した属性情報と、特徴認識部31が認識した声モデルとを対応付けて、人物情報DB60に登録する。利用者情報61及び相手属性情報62は、上述した第1実施形態と同じ構成のデータでよい。モデル情報63は、上述したように、特徴認識部31が認識した声モデルを示す情報である。
図9は、眼鏡型端末1が行う登録処理の流れを示すフローチャートである。
まず、眼鏡型端末1は、表示部12を起動し、収音部112による収音を開始する(ステップS21)。次に、眼鏡型端末1は、人物情報DB60に利用者情報61を登録するかどうかを判断する(ステップS22)。ステップS22の処理で「YES」と判断した場合、眼鏡型端末1は、人物情報DB60に利用者情報61を登録する処理を行う(ステップS23)。例えば、利用者は眼鏡型端末1を装着した状態で、自身の属性情報を意味する言葉を発声する。眼鏡型端末1は、収音部112の収音音声から利用者の属性情報を認識する。そして、眼鏡型端末1は、認識した利用者の属性情報を、利用者情報61として人物情報DB60に登録する。ステップS23の利用者情報61を登録する処理は、1度行われた後は、利用者情報61を変更する機会が生じるまでは省略することができる。すなわち、ステップS22の処理では、以降、眼鏡型端末1は「NO」と判断することとなる。
利用者情報61の登録後、眼鏡型端末1は、収音部112の収音音声に対して音声認識処理を行い、その音声認識処理の結果に基づいて、自己紹介の定型語を認識したかどうかを判断する(ステップS24)。眼鏡型端末1は、自己紹介の定型語を認識するまでは、ステップS24の処理で「NO」と判断して、自己紹介の定型語を認識するための処理を継続して行う。自己紹介の定型語を認識したと判断すると(ステップS24;YES)、眼鏡型端末1は、この自己紹介の定型語とともに発声された情報に基づいて、属性情報を認識する(ステップS25)。次に、眼鏡型端末1は、認識した属性情報が、ステップS23の処理で登録した利用者情報61の情報に一致(完全一致)するかどうかを判断する(ステップS26)。ステップS25の処理で認識した属性情報と利用者情報61とが一致した場合には、眼鏡型端末1は、ステップS26の処理で「YES」と判断し、ステップS24の処理に戻る。ステップS25の処理で認識した属性情報が、利用者情報61に一致する場合には、この属性情報を新たに登録する必要がないからである。
ステップS26の処理で、眼鏡型端末1は、認識した属性情報が利用者情報61に一致しないと判断した場合には(ステップS26;NO)、この属性情報を相手属性情報62として人物情報DB60に登録する(ステップS27)。ステップS27の処理で、眼鏡型端末1が「NO」と判断したということは、対面相手が自己紹介をしたと推測されるからである。
次に、眼鏡型端末1は、収音音声から声モデルを認識する(ステップS28)。そして、眼鏡型端末1は、そして、眼鏡型端末1は、ステップS27の処理で登録した相手属性情報62に対応付けて、ステップS28で認識した声モデルを示すモデル情報63を登録する。
なお、人物情報DB60に情報が登録されている場合には、眼鏡型端末1は、ステップS27の処理で属性情報を登録する前に、ステップS25の処理で認識した属性情報が人物情報DB60に登録されている属性情報と一致するかどうかを判断し、一致しない場合にのみ、ステップS27以降の処理を行うこととしてもよい。
次に、眼鏡型端末1で行われる表示コンテンツの表示処理について説明する。
図10は、眼鏡型端末1が行う登録処理の流れを示すフローチャートである。図10に示す表示処理は、上述した登録処理におけるステップS21の処理後、図9で説明した登録処理と並行して眼鏡型端末1により行われる。
まず、眼鏡型端末1は、収音部112の収音音声から声モデルを認識する(ステップS31)。次に、眼鏡型端末1は、ステップS31の処理で認識した声モデルが、人物情報DB60に登録されたモデル情報63が示す声モデルと合致するかどうかを判断する(ステップS32)。ステップS32の処理で「NO」と判断した場合、眼鏡型端末1は、ステップS31の処理に戻って、収音音声から声モデルを認識するための処理を継続して行う。
ステップS32の処理で「YES」と判断した場合、眼鏡型端末1は、合致すると判断したモデル情報63に対応付けて人物情報DB60に登録された相手属性情報62を取得し、取得した相手属性情報62に基づいて、表示コンテンツを生成する(ステップS33)。眼鏡型端末1は、生成した表示コンテンツを眼鏡部10の表示部12に供給し、表示部12において表示コンテンツを表示する(ステップS34)。ステップS33,S34の処理で生成され表示される表示コンテンツは、上述した第1実施形態と同じであってよい。
以上説明した第2実施形態において、眼鏡型端末1は、発声による自己紹介の行動が行われたことを検出して、対面相手の属性情報を認識して登録する。このため、眼鏡型端末1の利用者は、習慣となっている自己紹介を行うだけで、眼鏡型端末1にその対面相手の情報を登録させることができる。よって、眼鏡型端末1の利用者は、自己紹介の行動以外に関係のない所作を意識してしなくてもよい。また、眼鏡型端末1は、自己紹介の定型語を認識した場合に、属性情報を認識し登録するので、対面相手の情報を登録すべき適切な機会を判別することができる。
また、眼鏡型端末1は、利用者情報61を参照して登録処理を行うので、利用者の属性情報を対面相手の属性情報と誤って登録してしまうことがない。
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
(変形例1)
眼鏡型端末1は、取得部11が撮影部111及び収音部112を備える構成の下、上述した第1実施形態で説明した処理と、上述した第2実施形態で説明した処理とを並行して行ってもよい。この構成において、眼鏡型端末1は、属性情報については収音部112からの収音音声に基づいて認識し、対面相手の特徴については撮影部111の撮影画像から顔モデルにより認識してもよい。この場合、眼鏡型端末1は、収音音声に基づいて属性情報を認識した後に、撮影画像から最初に検出した顔の顔モデルを、この属性情報と対応付けて登録するとよい。
(変形例2)
上述した第1実施形態の眼鏡型端末1は、ステップS7の処理で、名刺の画像の認識後に、最初に検出した顔の顔モデルを示すモデル情報63を登録していたが、眼鏡型端末1は、対面相手毎に複数の顔モデルを示すモデル情報63を登録してもよい。
図11は、この変形例の眼鏡型端末1が行う登録処理の流れを示すフローチャートである。図7と同じ処理が行われる処理ステップについては、同じ符号を付して表す。
眼鏡型端末1は、ステップS1〜S8の処理を実行すると、動画像である撮影画像から顔を検出中かどうかを判断する(ステップS91)。すなわち、眼鏡型端末1は、撮影画像から顔を継続して検出しているかどうかを判断することとなる。眼鏡型端末1は、顔を検出中と判断すると(ステップS91;YES)、その顔の特徴を表す顔モデルを認識する(ステップS92)。眼鏡型端末1は、ステップS92の処理で顔モデルを認識すると、ステップS91の処理に戻り、顔を継続して検出しているかどうかを判断する。
すなわち、眼鏡型端末1は、名刺の画像から属性情報を認識した後、顔を検出中の期間においては、顔モデルの認識を複数回にわたって行う。例えば、眼鏡型端末1は、所定期間毎に顔モデルを認識する。
そして、眼鏡型端末1は、撮影画像から顔を検出しなくなったと判断すると(ステップS91;NO)、ステップS7の処理で登録した相手属性情報62に対応付けて、ステップS92の処理で認識した複数の顔モデルを示すモデル情報63を、人物情報DB60に登録する(ステップS10)。
表示処理においては、眼鏡型端末1は、ステップS12の処理で、ステップS11の処理で認識した顔モデルと、モデル情報63が示す複数の顔モデルの各々とを比較して、両者が合致するかどうかを判断する。
この変形例の眼鏡型端末1では、同一の対面相手の顔から複数の顔モデルを認識して、人物情報DB60に登録するため、同一の対面相手についての顔モデルの認識結果にばらつきがある場合であっても、表示処理における対面相手の認識の精度を高くすることができる。
(変形例3)
同一の対面相手についての声モデルの認識結果にばらつきがある場合であっても、表示処理における対面相手の認識の精度を高くするために、上述した第2実施形態の眼鏡型端末1は、同一の対面相手について複数の声モデルを認識し、認識した複数の声モデルをモデル情報63として登録するように変形されてもよい。この眼鏡型端末1が実行する登録処理の流れは、上述した変形例2の図11の説明から類推可能であるから、説明を省略する。
(変形例4)
上述した第2実施形態の眼鏡型端末1は、ステップS23の処理で、利用者の声の特徴を表す声モデルを利用者情報61として登録するように変形されてもよい。この場合に、眼鏡型端末1は、ステップS24の処理で、利用者情報61に含まれる声モデルと、収音音声に含まれる声の声モデルとを比較し、利用者以外の人物の声で自己紹介に利用される定型語が発生されたかどうかを判断してもよい。こうすれば、眼鏡型端末1は、ステップS25の処理で認識した属性情報が利用者のものでない、すなわち、対面相手の属性情報と判断することとなり、ステップS26の処理を省略することが可能である。
(変形例5)
人物の属性情報は、その人物の属性を示す情報であればよく、所属名や氏名以外の個人情報であってもよい。この個人情報は、例えば、所属先での役職名、所属先若しくは対面相手の電話番号、又は、所属先若しくは対面相手の住所(居所)等である。また、人物の属性情報は、その人物の容姿の特徴を示す情報を含んでいてもよい。例えば、眼鏡型端末1は、人物を撮影した撮影画像又はその人物の声の収音音声に基づいて、性別や年齢を推定して、属性情報として登録してもよい。性別や年齢を推定するためのアルゴリズムは、周知のアルゴリズムでよい。また、眼鏡型端末1が名刺の画像以外から属性情報を認識する場合には、名刺に記載されていない情報を属性情報として認識してもよい。この属性情報は、例えば、人物の趣味や特技、保有する免許や資格等のプロフィール情報がある。
以上のとおり、人物の属性情報は、人物の属性を示す情報であれば、自己紹介の行動に係る情報から認識されるものであってもよいし、それ以外の方法で認識されるものであってもよい。
(変形例6)
上述した第1実施形態では、眼鏡型端末1は、撮影画像を解析して名刺の画像を認識することにより、自己紹介の行動を検出していた。これに代えて又は組み合わせて、眼鏡型端末1は、撮影画像から人物(具体的には対面相手)の画像を認識して、自己紹介の行動を検出してもよい。自己紹介をする人物は、例えば、お辞儀をしてから、名刺を差し出したり自身の個人情報を発声したりする等、自己紹介をする機会には決まった行動をとることが多い。そこで、眼鏡型端末1は、撮影画像から人物を検出し、更に、この人物の動きが自己紹介に利用される特定の動き(例えば、お辞儀をする動きや名刺を差し出す動き)に合致した場合には、自己紹介の行動を検出する。以上のとおり、眼鏡型端末1は、撮影画像を解析して、自己紹介が行われたことを示す特定の条件の画像(すなわち、自己紹介が行われていることを意味する画像)を認識した場合に、自己紹介の行動を検出することが可能である。
上述した第2実施形態において、眼鏡型端末1は、収音音声を解析して自己紹介に利用される定型語を認識することにより、自己紹介の行動を検出していた。これに代えて又は組み合わせて、眼鏡型端末1は、定型語を認識する方法以外の方法で、収音音声を解析した結果に基づいて自己紹介の行動を検出してもよい。
例えば、眼鏡型端末1は、所定時間長の収音音声から、個人情報等の属性情報を意味する語句を、所定数以上認識した場合には、自己紹介の行動を検出してもよい。すなわち、眼鏡型端末1は、収音音声を解析して、自己紹介が行われたことを示す特定の条件を満たす音声(すなわち、自己紹介が行われていることを意味する音声)を認識した場合に、自己紹介の行動を検出したと判断する。
(変形例7)
上述した各実施形態で表示される表示コンテンツは、属性情報を意味する文字情報であったが、他の情報を含んでいてもよい。例えば、眼鏡型端末1は、対面相手の顔を撮影した撮影画像を人物情報DB60に登録しておき、表示処理において、対面相手の撮影画像を表示部12に表示してもよい。
(変形例8)
眼鏡型端末1は、撮影画像から名刺の画像を認識したことや、撮影画像から顔を検出したこと、対面相手の情報を登録したこと等の特定の処理を行ったことを、表示部12に表示コンテンツを表示することにより、利用者に報知してもよい。この場合、眼鏡型端末1は、文字の表示、画像(図)の表示、光の点滅等により報知するとよい。
(変形例9)
上述した各実施形態では、眼鏡型端末1は、人物情報DB60を記憶し、眼鏡部10と、自己紹介行動解析部20と、相手特徴解析部30と、登録処理部40と、表示コンテンツ生成部50とに相当する機能を実現していた。この眼鏡型端末1の構成及び実現される機能を複数の装置に分散させてもよい。
図12は、この変形例の人物情報登録システム100の全体構成を示す図である。図12に示すように、人物情報登録システム100は、眼鏡型端末1aと人物情報登録装置70とを備える。眼鏡型端末1aは、上述した第1実施形態又は第2実施形態の眼鏡部10に、送受信部13を備えた構成である。送受信部13は、無線通信により人物情報登録装置70と通信するインタフェースであり、周辺情報を人物情報登録装置70に送信したり、人物情報登録装置70から送信された表示コンテンツを受信したりする。人物情報登録装置70は、自己紹介行動解析部20と、相手特徴解析部30と、登録処理部40と、表示コンテンツ生成部50とに相当する機能を実現するとともに、人物情報DB60を記憶する。人物情報登録装置70は、各機能ブロックで、上述した第1実施形態又は第2実施形態と同等の機能を実現する。更に、人物情報登録装置70は、眼鏡型端末1aの送受信部13により送信された周辺情報を受信して、自己紹介の行動を検出すると属性情報及び特徴情報を認識して登録し、また、生成した表示コンテンツを無線通信により眼鏡型端末1aへ送信する。
(変形例10)
眼鏡部10の具体的な形状は、図1及び図12に示した形状に限らない。眼鏡部10は、利用者に装着されるとともに、眼鏡部10の周辺における周辺情報を取得するように取得部11が設けられ、利用者の目の前方に表示部12が位置する構成であればよい。
本発明では、先に説明した構成や処理の一部が省略されてもよいし、別の構成や処理が追加されてもよい。例えば、眼鏡型端末1は、利用者情報61を登録し利用する構成が省略されてもよい。
上述した眼鏡型端末1又は上述した変形例9の人物情報登録装置70の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、眼鏡型端末1の制御方法として実施することも可能である。
1,1a…眼鏡型端末、100…人物情報登録システム、10…眼鏡部、101…制御部、102…記憶部、11…取得部、111…撮影部、112…収音部、12…表示部、13…送受信部、20…自己紹介行動解析部、21…自己紹介行動検出部、22…属性認識部、30…相手特徴解析部、31…特徴認識部、32…対面相手認識部、40…登録処理部、50…表示コンテンツ生成部、60…人物情報DB、70…人物情報登録装置。

Claims (8)

  1. 利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部と、
    前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出する自己紹介行動検出部と、
    前記自己紹介行動検出部が検出した自己紹介の行動の中から、人物の属性情報を認識する属性認識部と、
    前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識する特徴認識部と、
    前記属性認識部が認識した属性情報と、前記特徴認識部が認識した特徴情報とを対応付けてデータベースに登録する登録処理部と、
    前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成する表示コンテンツ生成部と
    を備えることを特徴とする人物情報登録装置。
  2. 前記属性認識部は、前記自己紹介に係る情報を取得して、取得した当該情報から前記属性情報を認識する
    ことを特徴とする請求項1に記載の人物情報登録装置。
  3. 前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、
    前記特徴認識部は、前記自己紹介の行動が検出された後、前記撮影画像から最初に検出した顔の特徴を表す顔モデルを、前記特徴情報として認識する
    ことを特徴とする請求項1又は2に記載の人物情報登録装置。
  4. 前記属性認識部は、前記利用者が自己紹介に利用する利用者情報に基づいて、前記対面相手の前記属性情報を認識する
    ことを特徴とする請求項1から3のいずれか1項に記載の人物情報登録装置。
  5. 前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、
    前記自己紹介行動検出部は、前記撮影画像から名刺の画像を認識して、前記利用者と前記対面相手とで自己紹介の行動が行われていることを検出し、
    前記属性認識部は、前記名刺の画像から前記対面相手の前記属性情報を認識する
    ことを特徴とする請求項4に記載の人物情報登録装置。
  6. 前記周辺情報は、前記眼鏡部の周辺の音を収音した収音音声を含み、
    前記属性認識部は、前記収音音声において、前記自己紹介に利用される定型語とともに発声された情報を、前記属性情報として認識する
    ことを特徴とする請求項1から5のいずれか1項に記載の人物情報登録装置。
  7. 利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部の前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出する自己紹介行動検出部と、
    前記自己紹介行動検出部が検出した自己紹介の行動の中から、人物の属性情報を認識する属性認識部と、
    前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識する特徴認識部と、
    前記属性認識部が認識した属性情報と、前記特徴認識部が認識した特徴情報とを対応付けてデータベースに登録する登録処理部と、
    前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成する表示コンテンツ生成部と
    を備えることを特徴とする人物情報登録装置。
  8. コンピュータに、
    利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部の前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出するステップと、
    検出した前記自己紹介の行動の中から、人物の属性情報を認識するステップと、
    前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識するステップと、
    認識した前記属性情報と、認識した前記特徴情報とを対応付けてデータベースに登録するステップと、
    前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成するステップと
    を実行させるためのプログラム。
JP2013114426A 2013-05-30 2013-05-30 人物情報登録装置及びプログラム Active JP6139277B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013114426A JP6139277B2 (ja) 2013-05-30 2013-05-30 人物情報登録装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013114426A JP6139277B2 (ja) 2013-05-30 2013-05-30 人物情報登録装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014236228A true JP2014236228A (ja) 2014-12-15
JP6139277B2 JP6139277B2 (ja) 2017-05-31

Family

ID=52138669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013114426A Active JP6139277B2 (ja) 2013-05-30 2013-05-30 人物情報登録装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6139277B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045593A (ja) * 2016-09-16 2018-03-22 Kddi株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6473898B1 (ja) * 2018-03-31 2019-02-27 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2019185077A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2019184625A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2020035292A (ja) * 2018-08-31 2020-03-05 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
CN111090327A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106982344B (zh) * 2016-01-15 2020-02-21 阿里巴巴集团控股有限公司 视频信息处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045593A (ja) * 2016-09-16 2018-03-22 Kddi株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6473898B1 (ja) * 2018-03-31 2019-02-27 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2019185077A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2019185079A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2019184625A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
JP2020035292A (ja) * 2018-08-31 2020-03-05 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP7172299B2 (ja) 2018-08-31 2022-11-16 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
CN111090327A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备
CN111090327B (zh) * 2018-10-23 2024-05-31 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备

Also Published As

Publication number Publication date
JP6139277B2 (ja) 2017-05-31

Similar Documents

Publication Publication Date Title
JP6139277B2 (ja) 人物情報登録装置及びプログラム
CN109446876B (zh) 手语信息处理方法、装置、电子设备和可读存储介质
CN110326300B (zh) 信息处理设备、信息处理方法及计算机可读存储介质
WO2016180285A1 (zh) 智能眼镜
US9760766B2 (en) System and method for interpreting interpersonal communication
US20180302687A1 (en) Personalizing closed captions for video content
US11546690B2 (en) Processing audio and video
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
JP2007257221A (ja) 顔認識システム
US20160277707A1 (en) Message transmission system, message transmission method, and program for wearable terminal
CA3050456C (en) Facial modelling and matching systems and methods
US20150130702A1 (en) Information processing apparatus, control method, and program
JP7148737B2 (ja) 生体(liveness)検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
US9503632B2 (en) Guidance based image photographing device and method thereof for high definition imaging
US20210398539A1 (en) Systems and methods for processing audio and video
JP2021022351A (ja) データベースに顔情報を入力する方法及び装置
JP2016177483A (ja) コミュニケーション支援装置、コミュニケーション支援方法及びプログラム
KR100827848B1 (ko) 영상 통화 기록을 이용하여 디지털 데이터에 포함된 인물을인식하고 화면에 영상을 디스플레이하는 방법 및 시스템
US20230042310A1 (en) Wearable apparatus and methods for approving transcription and/or summary
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
US11493959B2 (en) Wearable apparatus and methods for providing transcription and/or summary
US12020709B2 (en) Wearable systems and methods for processing audio and video based on information from multiple individuals
WO2019044135A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114281236A (zh) 文本处理方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6139277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250