JP2014236228A - 人物情報登録装置及びプログラム - Google Patents
人物情報登録装置及びプログラム Download PDFInfo
- Publication number
- JP2014236228A JP2014236228A JP2013114426A JP2013114426A JP2014236228A JP 2014236228 A JP2014236228 A JP 2014236228A JP 2013114426 A JP2013114426 A JP 2013114426A JP 2013114426 A JP2013114426 A JP 2013114426A JP 2014236228 A JP2014236228 A JP 2014236228A
- Authority
- JP
- Japan
- Prior art keywords
- information
- face
- unit
- self
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 34
- 230000002093 peripheral effect Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 18
- 239000011521 glass Substances 0.000 claims description 15
- 238000000034 method Methods 0.000 description 93
- 230000008569 process Effects 0.000 description 88
- 230000006399 behavior Effects 0.000 description 38
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】利用者に装着される眼鏡部を有する眼鏡型端末は、眼鏡部の周辺を撮影した撮影画像を取得するとともに、対面相手の情報を登録し表示する機能を有する。眼鏡型端末は、撮影画像から名刺の画像を認識することにより、利用者と対面相手とで行われる自己紹介の行動を検出する(S4;YES)。眼鏡型端末は、認識した名刺の画像から氏名や所属名等の対面相手の属性情報を認識し、事前に登録した利用者の属性情報を含む利用者情報と比較する(S5,S6)。眼鏡型端末は、利用者情報と合致しない属性情報を、対面相手の属性情報としてデータベースに登録し(S7)、更に、名刺の画像の認識後に、撮影画像から最初に検出した顔の顔モデルを、対面相手の顔モデルとして登録する(S8〜S10)。
【選択図】図7
Description
これに対し、本発明の目的は、特定の所作をすることを利用者に特に意識させなくとも、利用者が人物と対面した機会に、その対面相手の情報を登録できるようにすることである。
この人物情報登録装置において、前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、前記自己紹介行動検出部は、前記撮影画像から名刺の画像を認識して、前記利用者と前記対面相手とで自己紹介の行動が行われていることを検出し、前記属性認識部は、前記名刺の画像から前記対面相手の前記属性情報を認識するようにしてもよい。
[第1実施形態]
図1は、本発明の第1実施形態の眼鏡型端末1の外観構成を示す図である。図1に示す眼鏡型端末1は、利用者が対面した人物(すなわち対面相手)の情報を登録し、以降に、利用者が同じ人物と対面した機会に、登録しておいた情報を表示する人物情報登録装置として機能する。図1に示すように、眼鏡型端末1は、利用者の頭部に装着される眼鏡部10を備え、全体として眼鏡型に形成された端末装置である。
なお、表示部12は、利用者の片目又は両目で表示コンテンツが視認されるように配置される。また、図1及び図2で破線を用いて示した収音部112は、後述する第2実施形態の眼鏡型端末1の構成要素であり、この第1実施形態には関係ないものとする。
制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を有するマイクロコンピュータを備える。CPUは、ROMや記憶部102に記憶されたプログラムをRAMに読み出して実行することにより、眼鏡型端末1の各部を制御する。記憶部102は、例えばハードディスクを有する記憶装置であり、制御部101により実行されるプログラムや、利用者の対面相手の情報を登録する人物情報DB60を記憶する。人物情報DB60は、利用者情報61と、相手属性情報62と、モデル情報63との各情報を含むデータベースである。眼鏡部10の取得部11は、周辺情報(ここでは撮影部111の撮影画像)を取得すると、取得した周辺情報を制御部101へ供給する。眼鏡部10の表示部12は、制御部101から表示コンテンツが供給されると、供給された表示コンテンツを表示する。
図3(a)に示す利用者情報61は、眼鏡型端末1の利用者が自己紹介に利用する情報で、ここでは利用者の属性を示す属性情報である。人物の属性情報は、その人物の属性を示す情報であり、例えば個人情報を含む。本実施形態では、人物の属性情報は、その人物の所属先を示す所属名(例えば所属企業名)及びその人物の氏名(名前)を示す情報である。図3(a)に示す例では、利用者情報61は、所属名として「△△株式会社」を示し、氏名として「田中二郎」を示す情報である。
眼鏡部10の取得部11は、眼鏡部10の周辺における周辺情報(ここでは撮影部111の撮影画像)を取得する。取得部11は、取得した周辺情報を、自己紹介行動解析部20及び相手特徴解析部30へ供給する。表示部12は、表示コンテンツ生成部50により生成された表示コンテンツを表示する。
自己紹介行動検出部21は、取得部11により取得された周辺情報に基づいて、自己紹介の行動を検出する。ここでは、自己紹介行動検出部21は、取得部11により取得された撮影部111の撮影画像を解析して、この撮影画像から名刺の画像を認識することにより、利用者と対面相手とで行われる自己紹介の行動を検出する。すなわち、自己紹介行動検出部21は、利用者と対面相手とからなる2名以上の人物間で行われる、名刺交換を伴う自己紹介の行動を検出する。
特徴認識部31は、自己紹介行動検出部21により自己紹介の行動が検出された際に取得部11に取得された周辺情報に基づいて、対面相手の特徴情報を認識する。ここでは、特徴認識部31は、自己紹介行動検出部21により名刺の画像が認識された後、撮影部111の撮影画像から最初に検出した顔の顔モデルを認識する。
撮影画像から顔を検出して顔モデルを認識するアルゴリズムは、周知の顔認識アルゴリズムでよいが、例えば、特徴認識部31は、撮影画像から主に肌色と黒とから構成される画像部分を検出して、撮影画像から人間の顔を検出する。そして、特徴認識部31は、目と目の間隔、顎から額までの長さと、顎から鼻までの長さの比率等の顔特徴点の特徴量に基づいて、顔モデルを認識する。
以上のとおり、眼鏡型端末1は、利用者と対面相手とで行われる自己紹介の行動を検出した場合に、対面相手の情報を人物情報DB60に登録する。ここで、名刺交換を伴う自己紹介の行動の流れを説明する。
(行動1)眼鏡型端末1の利用者A(以下「利用者A」と省略する。)と、対面相手Bとが対面する。
(行動2)利用者Aが、自身の所属名や氏名が記された名刺を対面相手Bに渡す。この際に、利用者Aは、名刺を渡すときに自身の名刺を見る。
(行動3)対面相手Bが、利用者Aから名刺を受け取る。この際に、対面相手Bは、利用者Aから受け取った名刺を見る。
(行動4)対面相手Bが利用者Aの顔を見る。
(行動5)対面相手Bが、自身の所属名や氏名が記された名刺を利用者Aに渡す。この際に、対面相手Bは、名刺を渡すときに自身の名刺を見る。
(行動6)利用者Aが対面相手Bから名刺を受け取る。この際に、利用者Aは、利用者Bから受け取った名刺を見る。
(行動7)利用者Aが対面相手Bの顔を見る。
まず、眼鏡型端末1は、撮影部111及び表示部12を起動し、撮影部111による撮影を開始する(ステップS1)。次に、眼鏡型端末1は、人物情報DB60に利用者情報61を登録するかどうかを判断する(ステップS2)。この時点では、利用者情報61が未登録であるから、眼鏡型端末1はステップS2の処理で「YES」と判断する。
なお、ここでは、利用者の対面相手が1名である場合を想定しているが、対面相手が2名以上の場合であっても、眼鏡型端末1は、ステップS6の処理により、名刺の画像から認識した属性情報が、利用者の属性情報であるか、対面相手の属性情報であるかを判断することができる。
そして、眼鏡型端末1は、ステップS7の処理で登録した相手属性情報62に対応付けて、ステップS9で認識した顔モデルを示すモデル情報63を登録する(ステップS10)。このステップS10の処理後、人物情報DB60には、対面相手の情報として、図3(b)の第1行に相当するレコードの情報が登録された状態となる。
なお、上述した登録処理の説明では、この登録処理前において、人物情報DB60に情報が未登録であるものとしていた。人物情報DB60に情報が登録されている場合には、眼鏡型端末1は、ステップS7の処理で属性情報を登録する前に、ステップS5の処理で認識した属性情報が人物情報DB60に登録されている属性情報と一致するかどうかを判断し、一致しない場合にのみ、ステップS7以降の処理を行うこととしてもよい。かかる処理を行うことで、名刺交換を行った対面相手の情報が既に人物情報DB60に登録されている場合に、眼鏡型端末1が同一人物の情報を重複して登録することを防止することができる。
次に、眼鏡型端末1で行われる表示コンテンツの表示処理について説明する。
まず、眼鏡型端末1は、撮影部111の撮影画像から顔を検出して、検出した顔の顔モデルを認識する(ステップS11)。次に、眼鏡型端末1は、ステップS11の処理で認識した顔モデルが、人物情報DB60に登録されモデル情報63が示すいずれかの顔モデルと合致するかどうかを判断する(ステップS12)。ステップS12の処理で「NO」と判断した場合、眼鏡型端末1は、ステップS11の処理に戻って、撮影画像から顔を検出し顔モデルを認識するための処理を継続して行う。
また、自己紹介の行動が行われる機会は、利用者が面識のない人物と対面している可能性が高く、また、利用者が対面相手のことをよく知らなかったり、人物情報DB60にその対面相手の情報が登録されていなかったりする可能性が高い。また、自己紹介の行動は、通常、初対面の人物に対して行われるから、眼鏡型端末1は、同一の対面相手の情報を複数回登録することも防ぐこともできる。よって、眼鏡型端末1によれば、対面相手の情報を登録すべき適切な機会を判別することができる。
また、眼鏡型端末1は、図6で説明した名刺交換を伴う自己紹介における行動の流れに基づき、利用者情報61を参照して登録処理を行うので、利用者の属性情報を対面相手の属性情報と誤って登録してしまうことがない。また、眼鏡型端末1は、名刺の画像の認識後に最初に認識した顔を、名刺を差し出した対面相手の顔として扱うから、対面相手毎の相手属性情報62とモデル情報63との対応付けを正確に行うことができる。
上述した第1実施形態では、眼鏡型端末1は、対面相手の特徴を示す特徴情報として、対面相手の顔の特徴を表す顔モデルを用いていた。これに対し、この実施形態の眼鏡型端末1は、対面相手の特徴を示す特徴情報として、対面相手の声の特徴を表す声モデルを用いる。
この実施形態の眼鏡型端末1は、ハードウェア構成として、上述した第1実施形態の構成に加えて音声処理を行うための構成を有するが、その余の構成は上述した第1実施形態の構成と同じでよい。具体的には、眼鏡型端末1の取得部11は、図1及び図2に示す収音部112を備える。ただし、取得部11は、この実施形態では撮影部111を備えていないものとする。収音部112は、眼鏡部10の周辺における音を収音するマイクロホンであり、その収音音声を示す音声信号を制御部101へ供給する。すなわち、取得部11は、収音部112からの音声信号を周辺情報として取得する。
以下の説明において、上述した第1実施形態の構成要素に対応する構成要素については同一の符号を付して表し、その説明を省略する。
自己紹介行動解析部20の自己紹介行動検出部21は、取得部11が取得した収音音声に対して音声認識処理を行って、その収音音声を解析し、自己紹介の行動を検出する。ここでは、自己紹介行動検出部21は、自己紹介に利用される定型語(すなわちキーワード)が人物により発声されたことを、自己紹介の行動として検出する。例えば、「はじめまして」という語句が発声された後は、自己紹介の行動が行われると推測される。また、「私の所属は」という語句が発声された後は、所属先が発声される可能性が高く、「私の名前は」という語句が発声された後は、氏名が発声される可能性が高い。このように、発声により自己紹介が行われる際に使用される語句は、或る程度限られている。そこで、自己紹介行動検出部21は、自己紹介に利用されることが想定される予め決められた定型語を認識した場合に、自己紹介の行動を検出する。
なお、自己紹介に利用される定型語は、日本語以外の言語でも存在し、例えば英語の場合には、「Nice to meet you」や「My name is」等を定型語とする。
なお、自己紹介に利用される定型語と、その定型語とともに発声される属性情報の種類との対応関係は、予め決められていればよい。また、自己紹介に利用される定型語は、属性情報の前に発声されるものに限らず、属性情報の後に発声されるものを含んでいてもよい。例えば、「と申します。」という語句の前には、対面相手の所属先が発声される可能性が高いからである。
まず、眼鏡型端末1は、表示部12を起動し、収音部112による収音を開始する(ステップS21)。次に、眼鏡型端末1は、人物情報DB60に利用者情報61を登録するかどうかを判断する(ステップS22)。ステップS22の処理で「YES」と判断した場合、眼鏡型端末1は、人物情報DB60に利用者情報61を登録する処理を行う(ステップS23)。例えば、利用者は眼鏡型端末1を装着した状態で、自身の属性情報を意味する言葉を発声する。眼鏡型端末1は、収音部112の収音音声から利用者の属性情報を認識する。そして、眼鏡型端末1は、認識した利用者の属性情報を、利用者情報61として人物情報DB60に登録する。ステップS23の利用者情報61を登録する処理は、1度行われた後は、利用者情報61を変更する機会が生じるまでは省略することができる。すなわち、ステップS22の処理では、以降、眼鏡型端末1は「NO」と判断することとなる。
次に、眼鏡型端末1は、収音音声から声モデルを認識する(ステップS28)。そして、眼鏡型端末1は、そして、眼鏡型端末1は、ステップS27の処理で登録した相手属性情報62に対応付けて、ステップS28で認識した声モデルを示すモデル情報63を登録する。
なお、人物情報DB60に情報が登録されている場合には、眼鏡型端末1は、ステップS27の処理で属性情報を登録する前に、ステップS25の処理で認識した属性情報が人物情報DB60に登録されている属性情報と一致するかどうかを判断し、一致しない場合にのみ、ステップS27以降の処理を行うこととしてもよい。
次に、眼鏡型端末1で行われる表示コンテンツの表示処理について説明する。
まず、眼鏡型端末1は、収音部112の収音音声から声モデルを認識する(ステップS31)。次に、眼鏡型端末1は、ステップS31の処理で認識した声モデルが、人物情報DB60に登録されたモデル情報63が示す声モデルと合致するかどうかを判断する(ステップS32)。ステップS32の処理で「NO」と判断した場合、眼鏡型端末1は、ステップS31の処理に戻って、収音音声から声モデルを認識するための処理を継続して行う。
また、眼鏡型端末1は、利用者情報61を参照して登録処理を行うので、利用者の属性情報を対面相手の属性情報と誤って登録してしまうことがない。
(変形例1)
眼鏡型端末1は、取得部11が撮影部111及び収音部112を備える構成の下、上述した第1実施形態で説明した処理と、上述した第2実施形態で説明した処理とを並行して行ってもよい。この構成において、眼鏡型端末1は、属性情報については収音部112からの収音音声に基づいて認識し、対面相手の特徴については撮影部111の撮影画像から顔モデルにより認識してもよい。この場合、眼鏡型端末1は、収音音声に基づいて属性情報を認識した後に、撮影画像から最初に検出した顔の顔モデルを、この属性情報と対応付けて登録するとよい。
上述した第1実施形態の眼鏡型端末1は、ステップS7の処理で、名刺の画像の認識後に、最初に検出した顔の顔モデルを示すモデル情報63を登録していたが、眼鏡型端末1は、対面相手毎に複数の顔モデルを示すモデル情報63を登録してもよい。
図11は、この変形例の眼鏡型端末1が行う登録処理の流れを示すフローチャートである。図7と同じ処理が行われる処理ステップについては、同じ符号を付して表す。
眼鏡型端末1は、ステップS1〜S8の処理を実行すると、動画像である撮影画像から顔を検出中かどうかを判断する(ステップS91)。すなわち、眼鏡型端末1は、撮影画像から顔を継続して検出しているかどうかを判断することとなる。眼鏡型端末1は、顔を検出中と判断すると(ステップS91;YES)、その顔の特徴を表す顔モデルを認識する(ステップS92)。眼鏡型端末1は、ステップS92の処理で顔モデルを認識すると、ステップS91の処理に戻り、顔を継続して検出しているかどうかを判断する。
すなわち、眼鏡型端末1は、名刺の画像から属性情報を認識した後、顔を検出中の期間においては、顔モデルの認識を複数回にわたって行う。例えば、眼鏡型端末1は、所定期間毎に顔モデルを認識する。
表示処理においては、眼鏡型端末1は、ステップS12の処理で、ステップS11の処理で認識した顔モデルと、モデル情報63が示す複数の顔モデルの各々とを比較して、両者が合致するかどうかを判断する。
この変形例の眼鏡型端末1では、同一の対面相手の顔から複数の顔モデルを認識して、人物情報DB60に登録するため、同一の対面相手についての顔モデルの認識結果にばらつきがある場合であっても、表示処理における対面相手の認識の精度を高くすることができる。
同一の対面相手についての声モデルの認識結果にばらつきがある場合であっても、表示処理における対面相手の認識の精度を高くするために、上述した第2実施形態の眼鏡型端末1は、同一の対面相手について複数の声モデルを認識し、認識した複数の声モデルをモデル情報63として登録するように変形されてもよい。この眼鏡型端末1が実行する登録処理の流れは、上述した変形例2の図11の説明から類推可能であるから、説明を省略する。
上述した第2実施形態の眼鏡型端末1は、ステップS23の処理で、利用者の声の特徴を表す声モデルを利用者情報61として登録するように変形されてもよい。この場合に、眼鏡型端末1は、ステップS24の処理で、利用者情報61に含まれる声モデルと、収音音声に含まれる声の声モデルとを比較し、利用者以外の人物の声で自己紹介に利用される定型語が発生されたかどうかを判断してもよい。こうすれば、眼鏡型端末1は、ステップS25の処理で認識した属性情報が利用者のものでない、すなわち、対面相手の属性情報と判断することとなり、ステップS26の処理を省略することが可能である。
人物の属性情報は、その人物の属性を示す情報であればよく、所属名や氏名以外の個人情報であってもよい。この個人情報は、例えば、所属先での役職名、所属先若しくは対面相手の電話番号、又は、所属先若しくは対面相手の住所(居所)等である。また、人物の属性情報は、その人物の容姿の特徴を示す情報を含んでいてもよい。例えば、眼鏡型端末1は、人物を撮影した撮影画像又はその人物の声の収音音声に基づいて、性別や年齢を推定して、属性情報として登録してもよい。性別や年齢を推定するためのアルゴリズムは、周知のアルゴリズムでよい。また、眼鏡型端末1が名刺の画像以外から属性情報を認識する場合には、名刺に記載されていない情報を属性情報として認識してもよい。この属性情報は、例えば、人物の趣味や特技、保有する免許や資格等のプロフィール情報がある。
以上のとおり、人物の属性情報は、人物の属性を示す情報であれば、自己紹介の行動に係る情報から認識されるものであってもよいし、それ以外の方法で認識されるものであってもよい。
上述した第1実施形態では、眼鏡型端末1は、撮影画像を解析して名刺の画像を認識することにより、自己紹介の行動を検出していた。これに代えて又は組み合わせて、眼鏡型端末1は、撮影画像から人物(具体的には対面相手)の画像を認識して、自己紹介の行動を検出してもよい。自己紹介をする人物は、例えば、お辞儀をしてから、名刺を差し出したり自身の個人情報を発声したりする等、自己紹介をする機会には決まった行動をとることが多い。そこで、眼鏡型端末1は、撮影画像から人物を検出し、更に、この人物の動きが自己紹介に利用される特定の動き(例えば、お辞儀をする動きや名刺を差し出す動き)に合致した場合には、自己紹介の行動を検出する。以上のとおり、眼鏡型端末1は、撮影画像を解析して、自己紹介が行われたことを示す特定の条件の画像(すなわち、自己紹介が行われていることを意味する画像)を認識した場合に、自己紹介の行動を検出することが可能である。
例えば、眼鏡型端末1は、所定時間長の収音音声から、個人情報等の属性情報を意味する語句を、所定数以上認識した場合には、自己紹介の行動を検出してもよい。すなわち、眼鏡型端末1は、収音音声を解析して、自己紹介が行われたことを示す特定の条件を満たす音声(すなわち、自己紹介が行われていることを意味する音声)を認識した場合に、自己紹介の行動を検出したと判断する。
上述した各実施形態で表示される表示コンテンツは、属性情報を意味する文字情報であったが、他の情報を含んでいてもよい。例えば、眼鏡型端末1は、対面相手の顔を撮影した撮影画像を人物情報DB60に登録しておき、表示処理において、対面相手の撮影画像を表示部12に表示してもよい。
眼鏡型端末1は、撮影画像から名刺の画像を認識したことや、撮影画像から顔を検出したこと、対面相手の情報を登録したこと等の特定の処理を行ったことを、表示部12に表示コンテンツを表示することにより、利用者に報知してもよい。この場合、眼鏡型端末1は、文字の表示、画像(図)の表示、光の点滅等により報知するとよい。
上述した各実施形態では、眼鏡型端末1は、人物情報DB60を記憶し、眼鏡部10と、自己紹介行動解析部20と、相手特徴解析部30と、登録処理部40と、表示コンテンツ生成部50とに相当する機能を実現していた。この眼鏡型端末1の構成及び実現される機能を複数の装置に分散させてもよい。
図12は、この変形例の人物情報登録システム100の全体構成を示す図である。図12に示すように、人物情報登録システム100は、眼鏡型端末1aと人物情報登録装置70とを備える。眼鏡型端末1aは、上述した第1実施形態又は第2実施形態の眼鏡部10に、送受信部13を備えた構成である。送受信部13は、無線通信により人物情報登録装置70と通信するインタフェースであり、周辺情報を人物情報登録装置70に送信したり、人物情報登録装置70から送信された表示コンテンツを受信したりする。人物情報登録装置70は、自己紹介行動解析部20と、相手特徴解析部30と、登録処理部40と、表示コンテンツ生成部50とに相当する機能を実現するとともに、人物情報DB60を記憶する。人物情報登録装置70は、各機能ブロックで、上述した第1実施形態又は第2実施形態と同等の機能を実現する。更に、人物情報登録装置70は、眼鏡型端末1aの送受信部13により送信された周辺情報を受信して、自己紹介の行動を検出すると属性情報及び特徴情報を認識して登録し、また、生成した表示コンテンツを無線通信により眼鏡型端末1aへ送信する。
眼鏡部10の具体的な形状は、図1及び図12に示した形状に限らない。眼鏡部10は、利用者に装着されるとともに、眼鏡部10の周辺における周辺情報を取得するように取得部11が設けられ、利用者の目の前方に表示部12が位置する構成であればよい。
本発明では、先に説明した構成や処理の一部が省略されてもよいし、別の構成や処理が追加されてもよい。例えば、眼鏡型端末1は、利用者情報61を登録し利用する構成が省略されてもよい。
上述した眼鏡型端末1又は上述した変形例9の人物情報登録装置70の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、眼鏡型端末1の制御方法として実施することも可能である。
Claims (8)
- 利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部と、
前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出する自己紹介行動検出部と、
前記自己紹介行動検出部が検出した自己紹介の行動の中から、人物の属性情報を認識する属性認識部と、
前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識する特徴認識部と、
前記属性認識部が認識した属性情報と、前記特徴認識部が認識した特徴情報とを対応付けてデータベースに登録する登録処理部と、
前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成する表示コンテンツ生成部と
を備えることを特徴とする人物情報登録装置。 - 前記属性認識部は、前記自己紹介に係る情報を取得して、取得した当該情報から前記属性情報を認識する
ことを特徴とする請求項1に記載の人物情報登録装置。 - 前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、
前記特徴認識部は、前記自己紹介の行動が検出された後、前記撮影画像から最初に検出した顔の特徴を表す顔モデルを、前記特徴情報として認識する
ことを特徴とする請求項1又は2に記載の人物情報登録装置。 - 前記属性認識部は、前記利用者が自己紹介に利用する利用者情報に基づいて、前記対面相手の前記属性情報を認識する
ことを特徴とする請求項1から3のいずれか1項に記載の人物情報登録装置。 - 前記周辺情報は、前記眼鏡部の周辺を撮影した撮影画像を含み、
前記自己紹介行動検出部は、前記撮影画像から名刺の画像を認識して、前記利用者と前記対面相手とで自己紹介の行動が行われていることを検出し、
前記属性認識部は、前記名刺の画像から前記対面相手の前記属性情報を認識する
ことを特徴とする請求項4に記載の人物情報登録装置。 - 前記周辺情報は、前記眼鏡部の周辺の音を収音した収音音声を含み、
前記属性認識部は、前記収音音声において、前記自己紹介に利用される定型語とともに発声された情報を、前記属性情報として認識する
ことを特徴とする請求項1から5のいずれか1項に記載の人物情報登録装置。 - 利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部の前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出する自己紹介行動検出部と、
前記自己紹介行動検出部が検出した自己紹介の行動の中から、人物の属性情報を認識する属性認識部と、
前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識する特徴認識部と、
前記属性認識部が認識した属性情報と、前記特徴認識部が認識した特徴情報とを対応付けてデータベースに登録する登録処理部と、
前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成する表示コンテンツ生成部と
を備えることを特徴とする人物情報登録装置。 - コンピュータに、
利用者に装着される眼鏡部であって、当該眼鏡部の周辺における周辺情報を取得する取得部と、前記利用者に視認される表示コンテンツを表示する表示部とを有する眼鏡部の前記取得部により取得された周辺情報に基づいて、自己紹介の行動を検出するステップと、
検出した前記自己紹介の行動の中から、人物の属性情報を認識するステップと、
前記自己紹介の行動が検出された際に取得された前記周辺情報に基づいて、前記利用者の対面相手の特徴情報を認識するステップと、
認識した前記属性情報と、認識した前記特徴情報とを対応付けてデータベースに登録するステップと、
前記認識した特徴情報に対応付けて前記データベースに登録された前記属性情報に基づいて、前記表示コンテンツを生成するステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013114426A JP6139277B2 (ja) | 2013-05-30 | 2013-05-30 | 人物情報登録装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013114426A JP6139277B2 (ja) | 2013-05-30 | 2013-05-30 | 人物情報登録装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014236228A true JP2014236228A (ja) | 2014-12-15 |
JP6139277B2 JP6139277B2 (ja) | 2017-05-31 |
Family
ID=52138669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013114426A Active JP6139277B2 (ja) | 2013-05-30 | 2013-05-30 | 人物情報登録装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6139277B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018045593A (ja) * | 2016-09-16 | 2018-03-22 | Kddi株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP6473898B1 (ja) * | 2018-03-31 | 2019-02-27 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2019185077A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2019184625A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2020035292A (ja) * | 2018-08-31 | 2020-03-05 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
CN111090327A (zh) * | 2018-10-23 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 商品信息的处理方法、装置及电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106982344B (zh) * | 2016-01-15 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 视频信息处理方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061265A (ja) * | 2008-09-02 | 2010-03-18 | Fujifilm Corp | 人物検索登録システム |
-
2013
- 2013-05-30 JP JP2013114426A patent/JP6139277B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061265A (ja) * | 2008-09-02 | 2010-03-18 | Fujifilm Corp | 人物検索登録システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018045593A (ja) * | 2016-09-16 | 2018-03-22 | Kddi株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP6473898B1 (ja) * | 2018-03-31 | 2019-02-27 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2019185077A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2019185079A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2019184625A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2020035292A (ja) * | 2018-08-31 | 2020-03-05 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
JP7172299B2 (ja) | 2018-08-31 | 2022-11-16 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
CN111090327A (zh) * | 2018-10-23 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 商品信息的处理方法、装置及电子设备 |
CN111090327B (zh) * | 2018-10-23 | 2024-05-31 | 阿里巴巴集团控股有限公司 | 商品信息的处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP6139277B2 (ja) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6139277B2 (ja) | 人物情報登録装置及びプログラム | |
CN109446876B (zh) | 手语信息处理方法、装置、电子设备和可读存储介质 | |
CN110326300B (zh) | 信息处理设备、信息处理方法及计算机可读存储介质 | |
WO2016180285A1 (zh) | 智能眼镜 | |
US9760766B2 (en) | System and method for interpreting interpersonal communication | |
US20180302687A1 (en) | Personalizing closed captions for video content | |
US11546690B2 (en) | Processing audio and video | |
KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
JP2007257221A (ja) | 顔認識システム | |
US20160277707A1 (en) | Message transmission system, message transmission method, and program for wearable terminal | |
CA3050456C (en) | Facial modelling and matching systems and methods | |
US20150130702A1 (en) | Information processing apparatus, control method, and program | |
JP7148737B2 (ja) | 生体(liveness)検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法 | |
US9503632B2 (en) | Guidance based image photographing device and method thereof for high definition imaging | |
US20210398539A1 (en) | Systems and methods for processing audio and video | |
JP2021022351A (ja) | データベースに顔情報を入力する方法及び装置 | |
JP2016177483A (ja) | コミュニケーション支援装置、コミュニケーション支援方法及びプログラム | |
KR100827848B1 (ko) | 영상 통화 기록을 이용하여 디지털 데이터에 포함된 인물을인식하고 화면에 영상을 디스플레이하는 방법 및 시스템 | |
US20230042310A1 (en) | Wearable apparatus and methods for approving transcription and/or summary | |
JP7206741B2 (ja) | 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム | |
KR20210070119A (ko) | 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템 | |
US11493959B2 (en) | Wearable apparatus and methods for providing transcription and/or summary | |
US12020709B2 (en) | Wearable systems and methods for processing audio and video based on information from multiple individuals | |
WO2019044135A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114281236A (zh) | 文本处理方法、装置、设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6139277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |