JP2022079067A - スマートグラス、プログラム及び表示制御方法 - Google Patents
スマートグラス、プログラム及び表示制御方法 Download PDFInfo
- Publication number
- JP2022079067A JP2022079067A JP2020190020A JP2020190020A JP2022079067A JP 2022079067 A JP2022079067 A JP 2022079067A JP 2020190020 A JP2020190020 A JP 2020190020A JP 2020190020 A JP2020190020 A JP 2020190020A JP 2022079067 A JP2022079067 A JP 2022079067A
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- display information
- face area
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 208000024891 symptom Diseases 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 235000012054 meals Nutrition 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003287 bathing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000029142 excretion Effects 0.000 description 3
- 230000036571 hydration Effects 0.000 description 3
- 238000006703 hydration reaction Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができるスマートグラス、プログラム及び表示制御方法を提供する。【解決手段】シースルー型のスマートグラスにおいて、ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶手段と、映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段とを有する。表示情報は、文字、画像及び／又は映像である。また、現在位置を検知するセンシング手段を更に有し、表示制御手段は、顔領域（バウンディングボックス）のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイに表示する。【選択図】図３
Description
本発明は、スマートグラスの技術に関する。特に、拡張現実(Augmented Reality)ウェアラブルコンピュータとしてのシースルー型のスマートグラスに関する。
スマートグラスは、装着元ユーザの視界前方に眼鏡のように装着され、カメラと網膜投射型ディスプレイとを搭載する。装着元ユーザから見ると、非現実空間を表示する仮想現実(Virtual Reality)と異なって、現実空間の視界に重畳的に情報が表示される。スマートグラスによっては、自然言語の音声認識機能を搭載し、ユーザは自らの発話によって操作することもできる。
近年、高齢者介護施設や医療機関では、被介護者の増加や介護者の人手不足に伴って、介護サービスの質の低下が社会的課題となっている。特に介護者は、施設内の位置や時間帯に応じて、被介護者各々に適した異なる応対をする必要がある。しかし、多数の被介護者が入居する介護施設では、介護者が、被介護者各々の特性を覚えきれない場合も当然に多い。
これに対し、施設の中で、監視対象者（被介護者）の挙動を監視する技術がある（例えば特許文献１参照）。この技術によれば、施設内に複数のカメラを設置し、その映像に映り込む監視対象者を顔認識によって特定し、その監視対象者のケア関連情報を、監視者（介護者）へ通知することができる。また、カメラによって撮影された画像を解析し、被介護者の定型的な動作を認識し、その動作に応じた通知情報が監視者へ送信される。ここでは、監視対象者のプライバシに配慮し、撮影した監視画像そのものではなく、当該監視画像を解析した解析結果のみを監視者に通知する。また、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、監視者に通知することができる。
しかしながら、特許文献１に記載の技術によれば、介護施設のような生活場所に、監視用カメラを配置する必要があり、被介護者にとっては違和感を持つ場合がある。また、被介護者に電子タグやセンサなどのウェアラブルデバイスを貼り付けることもできるが、同様に、被介護者にとっては抵抗感及び嫌悪感を持つ場合もある。一方で、例えば大規模な介護施設の場合、介護者が、全ての被介護者について氏名や症状などの個人情報を認識しておくことは難しい。
これに対し、本願の発明者らは、介護者から見て、目の前の被介護者を迅速に同定し、その被介護者の個人情報を直ぐに認識することができるように、スマートグラスを用いることができないか、と考えた。このとき、介護者が、その被介護者について必要とする情報は、施設内の位置や時間帯に応じて異なるであろう、と考えた。
そこで、本発明は、装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができるスマートグラス、プログラム及び表示制御方法を提供することを目的とする。
本発明によれば、視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスにおいて、
ユーザＩＤ（識別子）に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段と
を有することを特徴とする。
ユーザＩＤ（識別子）に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段と
を有することを特徴とする。
本発明のスマートグラスにおける他の実施形態によれば、
表示情報は、文字、画像及び／又は映像であってもよい。
表示情報は、文字、画像及び／又は映像であってもよい。
本発明のスマートグラスにおける他の実施形態によれば、
現在位置を検知するセンシング手段を更に有し、
表示情報記憶手段は、位置に応じた表示情報を更に記憶しており、
表示制御手段は、顔領域（バウンディングボックス）のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイに表示する
ことも好ましい。
現在位置を検知するセンシング手段を更に有し、
表示情報記憶手段は、位置に応じた表示情報を更に記憶しており、
表示制御手段は、顔領域（バウンディングボックス）のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイに表示する
ことも好ましい。
本発明のスマートグラスにおける他の実施形態によれば、
表示情報記憶手段は、
各ユーザＩＤについて、位置及び時間帯の組毎に応じた表示情報と、
各位置について、時間帯に応じた表示情報と
を記憶しており、
表示制御手段は、認識された顔領域のサイズが、
第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイに表示し、
第１の所定範囲よりも小さい場合、現在位置及び時間帯に応じた表示情報をディスプレイに表示する
ことも好ましい。
表示情報記憶手段は、
各ユーザＩＤについて、位置及び時間帯の組毎に応じた表示情報と、
各位置について、時間帯に応じた表示情報と
を記憶しており、
表示制御手段は、認識された顔領域のサイズが、
第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイに表示し、
第１の所定範囲よりも小さい場合、現在位置及び時間帯に応じた表示情報をディスプレイに表示する
ことも好ましい。
本発明のスマートグラスにおける他の実施形態によれば、
装着元ユーザの聴覚へ音声を出力するスピーカを更に有し、
表示制御手段は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報が文字である場合、音声合成によって音声に変換し、当該音声をスピーカから出力する
ことも好ましい。
装着元ユーザの聴覚へ音声を出力するスピーカを更に有し、
表示制御手段は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報が文字である場合、音声合成によって音声に変換し、当該音声をスピーカから出力する
ことも好ましい。
本発明のスマートグラスにおける他の実施形態によれば、
スピーカは、骨伝導スピーカであってもよい。
スピーカは、骨伝導スピーカであってもよい。
本発明のスマートグラスにおける他の実施形態によれば、
顔認識手段によって認識された人の顔領域のサイズが大きいほど、当該人と装着元ユーザとの間の距離が近く、サイズが小さいほど、当該人と装着元ユーザとの間の距離が遠く、
顔領域のサイズの第１の所定範囲は、当該人と装着元ユーザとの間の距離に基づくものである
ことも好ましい。
顔認識手段によって認識された人の顔領域のサイズが大きいほど、当該人と装着元ユーザとの間の距離が近く、サイズが小さいほど、当該人と装着元ユーザとの間の距離が遠く、
顔領域のサイズの第１の所定範囲は、当該人と装着元ユーザとの間の距離に基づくものである
ことも好ましい。
本発明のスマートグラスにおける他の実施形態によれば、
装着元ユーザが移動可能な周辺環境に、位置に応じて無線タグが配置されており、
表示制御手段は、
位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶した位置テーブルを有し、
複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定するか、
又は、電波強度が強い順に無線信号を受信する３つの無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する
ことも好ましい。
装着元ユーザが移動可能な周辺環境に、位置に応じて無線タグが配置されており、
表示制御手段は、
位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶した位置テーブルを有し、
複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定するか、
又は、電波強度が強い順に無線信号を受信する３つの無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する
ことも好ましい。
本発明のスマートグラスにおける他の実施形態によれば、
無線ネットワークを介してサーバに接続する無線通信インタフェースを更に有し、
表示情報記憶手段は、無線通信ネットワークを介してサーバから、ユーザＩＤに応じた表示情報を予め受信する
ことも好ましい。
無線ネットワークを介してサーバに接続する無線通信インタフェースを更に有し、
表示情報記憶手段は、無線通信ネットワークを介してサーバから、ユーザＩＤに応じた表示情報を予め受信する
ことも好ましい。
本発明によれば、視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスに搭載されたコンピュータを機能させるプログラムにおいて、
ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段と
してコンピュータを機能させることを特徴とする。
ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスの表示制御方法において、
スマートグラスは、
ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶部を有し、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する第１のステップと、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する第２のステップと
を実行することを特徴とする。
スマートグラスは、
ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶部を有し、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する第１のステップと、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する第２のステップと
を実行することを特徴とする。
本発明のスマートグラス、プログラム及び表示制御方法によれば、装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図１は、本発明におけるスマートグラスの外観図である。
スマートグラス１は、ユーザの視線に映像を表示することができるシースルー型である。
図１によれば、スマートグラス１は、ハードウェアとして、ディスプレイ１０１と、カメラ１０２と、スピーカ１０３と、センシング部１０４と、無線通信インタフェース１０５とを有する。
ディスプレイ１０１は、特定の表示情報を、装着元ユーザの視界に映し出す。表示情報としては、一般的には文字であるが、勿論、画像や映像であってもよい。
カメラ１０２は、装着元ユーザにおける視界先の映像を撮影する。映像には、視界先ユーザが映り込む場合もあれば、視界先にユーザが存在せずに施設設備のみが映り込む場合もある。
スピーカ１０３は、音声信号を、装着元ユーザの聴覚へ発声する。音声信号は、ディスプレイ１０１への表示情報が文字である場合、その文字を音声合成によって変換したものである。また、スピーカ１０３は、骨電動スピーカであってもよい。装着元ユーザのこめかみに接して振動させることによって、装着元ユーザに聴覚的に文字を認識させることができる。これによって、視界先ユーザに聞こえることなく、装着元ユーザに文字を認識させることができる。
センシング部１０４は、例えばBluetooth（登録商標）であって、ＢＬＥ(Bluetooth Low Energy)タグから発信される無線信号を受信する。ＢＬＥタグは、装着元ユーザが移動する施設内の各箇所に予め配置されているとする。これによって、スマートグラス１は、現在位置を検知することができる。
無線通信インタフェース１０５は、無線ＬＡＮのアクセスポイント又は携帯電話網の基地局を介して、インターネットに接続されたユーザ管理サーバ２と通信する。ユーザ管理サーバ２は、スマートグラス１のディスプレイ１０１への表示情報を、ユーザ毎に管理するものである。
図１によれば、スマートグラス１は、ハードウェアとして、ディスプレイ１０１と、カメラ１０２と、スピーカ１０３と、センシング部１０４と、無線通信インタフェース１０５とを有する。
ディスプレイ１０１は、特定の表示情報を、装着元ユーザの視界に映し出す。表示情報としては、一般的には文字であるが、勿論、画像や映像であってもよい。
カメラ１０２は、装着元ユーザにおける視界先の映像を撮影する。映像には、視界先ユーザが映り込む場合もあれば、視界先にユーザが存在せずに施設設備のみが映り込む場合もある。
スピーカ１０３は、音声信号を、装着元ユーザの聴覚へ発声する。音声信号は、ディスプレイ１０１への表示情報が文字である場合、その文字を音声合成によって変換したものである。また、スピーカ１０３は、骨電動スピーカであってもよい。装着元ユーザのこめかみに接して振動させることによって、装着元ユーザに聴覚的に文字を認識させることができる。これによって、視界先ユーザに聞こえることなく、装着元ユーザに文字を認識させることができる。
センシング部１０４は、例えばBluetooth（登録商標）であって、ＢＬＥ(Bluetooth Low Energy)タグから発信される無線信号を受信する。ＢＬＥタグは、装着元ユーザが移動する施設内の各箇所に予め配置されているとする。これによって、スマートグラス１は、現在位置を検知することができる。
無線通信インタフェース１０５は、無線ＬＡＮのアクセスポイント又は携帯電話網の基地局を介して、インターネットに接続されたユーザ管理サーバ２と通信する。ユーザ管理サーバ２は、スマートグラス１のディスプレイ１０１への表示情報を、ユーザ毎に管理するものである。
図２は、スマートグラスのディスプレイの表示を表す説明図である。
図２によれば、例えば介護施設の中で、介護者（装着元ユーザ）が、スマートグラス１を装着しているとする。また、介護者の視界先には、被介護者Ａさんが居るとする。
このとき、介護者から見ると、スマートグラス１を介した視界に、被介護者Ａさんが見えると同時に、その被介護者Ａさんの「個人情報」が映り込むように表示されている。個人情報としては、例えば被介護者Ａさんの介護に必要な症状などの情報である。
これによって、介護者は、被介護者Ａさんが視界に入った時点で直ぐに、被介護者Ａさんに対して適切な声かけをすることができる。
このとき、介護者から見ると、スマートグラス１を介した視界に、被介護者Ａさんが見えると同時に、その被介護者Ａさんの「個人情報」が映り込むように表示されている。個人情報としては、例えば被介護者Ａさんの介護に必要な症状などの情報である。
これによって、介護者は、被介護者Ａさんが視界に入った時点で直ぐに、被介護者Ａさんに対して適切な声かけをすることができる。
図３は、本発明におけるスマートグラスの機能構成図である。
図３によれば、スマートグラス１は、顔認識部１１と、ユーザ特徴量蓄積部１１０と、表示制御部１２と、表示情報記憶部１２０とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これらの機能構成部の処理の流れは、スマートグラスの表示制御方法としても理解できる。
［顔認識部１１］
顔認識部１１は、映像から人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤ(IDentifier、識別子)を特定する。特定されたユーザＩＤは、表示制御部１２へ出力される。
顔認識部１１は、映像から人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤ(IDentifier、識別子)を特定する。特定されたユーザＩＤは、表示制御部１２へ出力される。
図４は、顔認識部の処理機能を表す説明図である。
図４によれば、顔認識部１１の処理機能として、顔領域検出部１１１と、顔特徴検出部１１２と、ユーザ特徴量蓄積部１１０と、高速識別器１１３とを有する。
図４によれば、顔認識部１１の処理機能として、顔領域検出部１１１と、顔特徴検出部１１２と、ユーザ特徴量蓄積部１１０と、高速識別器１１３とを有する。
（顔領域検出部１１１）
顔領域検出部１１１は、カメラ１０２によって撮影された映像フレームの画像から、顔領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の顔領域を畳み込みニューラルネットワークの特徴と組み合わせて、顔領域のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させ、そのボックス毎に予測値を計算する。各デフォルトボックスについて、自身が物体からどのくらい離れていて、どのくらい大きさが異なるのか、とする位置の予測をすることができる。
顔領域検出部１１１は、カメラ１０２によって撮影された映像フレームの画像から、顔領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の顔領域を畳み込みニューラルネットワークの特徴と組み合わせて、顔領域のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させ、そのボックス毎に予測値を計算する。各デフォルトボックスについて、自身が物体からどのくらい離れていて、どのくらい大きさが異なるのか、とする位置の予測をすることができる。
（顔特徴検出部１１２）
（Ｓ２）顔特徴検出部１１２は、切り出された顔領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。距離が近いほど、同一人物と認識することができる。また、同一人物の顔画像として、Anchor（怒り）,Positive（肯定）,Negative（否定）の３つ組（Triplet）を作成し、Triplet Lossを最小にするように学習したものであってもよい。
顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
（Ｓ２）顔特徴検出部１１２は、切り出された顔領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。距離が近いほど、同一人物と認識することができる。また、同一人物の顔画像として、Anchor（怒り）,Positive（肯定）,Negative（否定）の３つ組（Triplet）を作成し、Triplet Lossを最小にするように学習したものであってもよい。
顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
（ユーザ特徴量蓄積部１１０）
ユーザ特徴量蓄積部１１０は、識別すべき実際のユーザの顔画像の特徴量を予め蓄積したものである。例えば施設内に入居する被介護者の顔画像の特徴量であってもよい。ユーザ特徴量蓄積部１１０に蓄積されたユーザのみが、識別対象となる。
ユーザ特徴量蓄積部１１０は、識別すべき実際のユーザの顔画像の特徴量を予め蓄積したものである。例えば施設内に入居する被介護者の顔画像の特徴量であってもよい。ユーザ特徴量蓄積部１１０に蓄積されたユーザのみが、識別対象となる。
（高速識別器１１３）
高速識別器１１３は、ユーザ特徴量蓄積部１１０を用いて、ユーザの顔の特徴量の集合と照合し、最も距離が短い又は所定閾値以下となる特徴量となるユーザＩＤを特定する。
高速識別器１１３は、ユーザ特徴量蓄積部１１０を用いて、ユーザの顔の特徴量の集合と照合し、最も距離が短い又は所定閾値以下となる特徴量となるユーザＩＤを特定する。
顔認識部１１は、小型ＩｏＴデバイスに実装できるように、学習モデルが軽量化されている。学習済みモデルの中間層特徴の選別（レイヤの削除）と、軽量化アーキテクチャの置換とによって、計算量を大幅に削減している。具体的には、Ｃ＋＋Nativeライブラリを用いて、スマートグラスのような小型デバイスであっても、１万人を１秒で識別可能となっている。
［表示情報記憶部１２０］
表示情報記憶部１２０は、ユーザＩＤ毎の表示情報を予め記憶したものである。
「表示情報」としては、スマートトグラス１のディスプレイに表示可能な情報であって、「文字」であることが好ましい。勿論、それに限られず、画像又は映像であってもよい。
また、表示情報記憶部１２０は、無線通信インタフェース１０５を介して、ユーザ管理サーバ２から、ユーザＩＤ毎の表示情報を予めダウンロードして蓄積する。予めダウンロードしておくことによって、スマートグラス１をスタンドアロンで機能させることができる。勿論、表示情報記憶部１２０は、無線通信インタフェース１０５を介して常時、ユーザ管理サーバ２に接続されて通信可能なものであってもよい。
表示情報記憶部１２０は、ユーザＩＤ毎の表示情報を予め記憶したものである。
「表示情報」としては、スマートトグラス１のディスプレイに表示可能な情報であって、「文字」であることが好ましい。勿論、それに限られず、画像又は映像であってもよい。
また、表示情報記憶部１２０は、無線通信インタフェース１０５を介して、ユーザ管理サーバ２から、ユーザＩＤ毎の表示情報を予めダウンロードして蓄積する。予めダウンロードしておくことによって、スマートグラス１をスタンドアロンで機能させることができる。勿論、表示情報記憶部１２０は、無線通信インタフェース１０５を介して常時、ユーザ管理サーバ２に接続されて通信可能なものであってもよい。
表示情報記憶部１２０は、ユーザ毎の個人情報を、時間帯及び／又は位置に応じた表示情報として更に記憶したものであってもよい。
（顔認識部１１によってユーザＩＤを特定できた場合）
・時間帯に応じたユーザ毎の個人情報
・時間帯及び位置に応じたユーザ毎の個人情報
（顔認識部１１によってユーザＩＤを特定できない場合）
・位置に応じた情報
・時間帯及び位置に応じた情報
（顔認識部１１によってユーザＩＤを特定できた場合）
・時間帯に応じたユーザ毎の個人情報
・時間帯及び位置に応じたユーザ毎の個人情報
（顔認識部１１によってユーザＩＤを特定できない場合）
・位置に応じた情報
・時間帯及び位置に応じた情報
［表示制御部１２］
表示制御部１２は、顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報を、ディスプレイ１０１に表示する。
顔認識部１１によって認識された視界先ユーザの顔領域のサイズは、以下のように判断される。
（１）顔領域のサイズが大きいほど、視界先ユーザと装着元ユーザとの間の距離が近い。
（２）顔領域のサイズが小さいほど、視界先ユーザと装着元ユーザとの間の距離が遠い。
そのために、閾値となる顔領域のサイズの第１の所定範囲は、視界先ユーザと装着元ユーザとの間の距離に基づくものである。
表示制御部１２は、顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報を、ディスプレイ１０１に表示する。
顔認識部１１によって認識された視界先ユーザの顔領域のサイズは、以下のように判断される。
（１）顔領域のサイズが大きいほど、視界先ユーザと装着元ユーザとの間の距離が近い。
（２）顔領域のサイズが小さいほど、視界先ユーザと装着元ユーザとの間の距離が遠い。
そのために、閾値となる顔領域のサイズの第１の所定範囲は、視界先ユーザと装着元ユーザとの間の距離に基づくものである。
表示制御部１２は、以下のように表示を制御する。
（１）認識された顔領域のサイズが第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイ１０１に表示する。
（２）認識された顔領域のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイ１０１に表示する。このとき、現在位置に加えて、更に時間帯に応じた表示情報を表示することも好ましい。
（１）認識された顔領域のサイズが第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイ１０１に表示する。
（２）認識された顔領域のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイ１０１に表示する。このとき、現在位置に加えて、更に時間帯に応じた表示情報を表示することも好ましい。
図５は、対面する被介護者との距離に応じたディスプレイの表示を表す説明図である。
図５（ａ）によれば、装着元ユーザにおけるスマートグラス１を介した視界先には、被介護者ＡさんとＢさんとの２人が見える。このとき、Ａさんの顔領域のサイズが第１の所定範囲以上となる場合、Ａさんの個人情報（表示情報）を、ディスプレイ１０１に表示する。装着元ユーザの視界には、以下のようなＡさんの個人情報が表示される。
［基本情報］：名前、年齢、要介護度、生年月日、部屋番号
［行動情報］：起床時間、食事有無、水分補給有無、服薬有無
［申し送り］：健康状態、体温、血圧、脈拍、症状、服薬情報、リハビリ情報
［基本情報］：名前、年齢、要介護度、生年月日、部屋番号
［行動情報］：起床時間、食事有無、水分補給有無、服薬有無
［申し送り］：健康状態、体温、血圧、脈拍、症状、服薬情報、リハビリ情報
図５（ｂ）によれば、図５（ａ）と同様に、装着元ユーザには、被介護者ＡさんとＢさんとの２人が見える。このとき、図５（ａ）と異なって、Ａさん及びＢさんの両方とも、顔領域のサイズが第１の所定範囲以上となっていない。このとき、装着元ユーザの視界には、Ａさん及びＢさんの名前のみが表示される。
図６は、表示制御部における位置テーブルの説明図である。
装着元ユーザが移動可能な周辺環境における各位置に、無線タグとして例えばＢＬＥタグが配置されている。
これに対し、スマートグラス１の表示制御部１２は、位置テーブルを有する。
「位置テーブル」は、位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶したものである。
これに対し、スマートグラス１の表示制御部１２は、位置テーブルを有する。
「位置テーブル」は、位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶したものである。
図６の位置テーブルによれば、タグＩＤ及びＭＡＣアドレス毎に、以下の情報が対応付けられている。
［タグＩＤ］［ＭＡＣアドレス］：位置区分、部屋番号、室内位置区分
スマートグラス１の装着元ユーザの現在位置は、以下のいずれかの方法で特定される。
（１）複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定する。
（２）電波強度（RSSI(Received Signal Strength Indication)）が強い順に無線信号を受信する３つの無線タグのＭＡＣ(Media Access Control)アドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する。
［タグＩＤ］［ＭＡＣアドレス］：位置区分、部屋番号、室内位置区分
スマートグラス１の装着元ユーザの現在位置は、以下のいずれかの方法で特定される。
（１）複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定する。
（２）電波強度（RSSI(Received Signal Strength Indication)）が強い順に無線信号を受信する３つの無線タグのＭＡＣ(Media Access Control)アドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する。
図７は、表示制御部における表示項目を表す説明図である。
図７によれば、時間帯及び位置に応じて、装着元ユーザに見せる表示情報の表示項目を表す。これによって、時間帯（朝、昼、晩）及び位置（施設内、玄関、トイレ・風呂、寝室）に応じて、表示情報記憶部１２０の中から表示情報をカスタマイズして、装着元ユーザに見せることができる。
表示項目としては、以下の３つがある
（基本情報）
氏名、年齢、介護度、生年月日、部屋番号、ケアプラン
（行動情報）
起床時間、食事（済／未）、水分補給（済／未）、服薬（済／未）、
***（有／無）、入浴（済／未）、
（申し送り情報）
健康状態、体温、血圧（上・下）、脈拍、処置情報、症状、治療情報、
未***日数、***時刻、***異常（有／無）、朝／昼／夜食時刻、朝／昼／夜食量、
水分補給時刻、水分量、服薬時刻、入浴時刻、入浴異常（有／無）
（基本情報）
氏名、年齢、介護度、生年月日、部屋番号、ケアプラン
（行動情報）
起床時間、食事（済／未）、水分補給（済／未）、服薬（済／未）、
***（有／無）、入浴（済／未）、
（申し送り情報）
健康状態、体温、血圧（上・下）、脈拍、処置情報、症状、治療情報、
未***日数、***時刻、***異常（有／無）、朝／昼／夜食時刻、朝／昼／夜食量、
水分補給時刻、水分量、服薬時刻、入浴時刻、入浴異常（有／無）
図７によれば、以下のように表示項目が規定されている。
時間帯に限らず、装着元ユーザから見て視界先ユーザが存在しているとする。このとき、顔領域のサイズが第１の所定範囲以上となって、ユーザＩＤが特定されている場合、図７の表示項目Ａが表示対象となる。一方で、顔領域のサイズが第１の所定範囲よりも小さい場合、図７の表示項目Ｂ（氏名のみ）が表示対象となる。
朝の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｃが表示対象となり、現在位置が「寝室」である場合、表示項目Ｄが表示対象となる。
昼の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｅが表示対象となり、現在位置が「寝室」である場合、表示項目Ｆが表示対象となる。
夜の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｇが表示対象となり、現在位置が「寝室」である場合、表示項目Ｈが表示対象となる。
時間帯に限らず、装着元ユーザから見て視界先ユーザが存在しているとする。このとき、顔領域のサイズが第１の所定範囲以上となって、ユーザＩＤが特定されている場合、図７の表示項目Ａが表示対象となる。一方で、顔領域のサイズが第１の所定範囲よりも小さい場合、図７の表示項目Ｂ（氏名のみ）が表示対象となる。
朝の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｃが表示対象となり、現在位置が「寝室」である場合、表示項目Ｄが表示対象となる。
昼の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｅが表示対象となり、現在位置が「寝室」である場合、表示項目Ｆが表示対象となる。
夜の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｇが表示対象となり、現在位置が「寝室」である場合、表示項目Ｈが表示対象となる。
図８は、装着元ユーザの視界に応じた表示項目の切り替わりを表す説明である。
図８（ａ）によれば、装着元ユーザから見て、視界先ユーザの顔領域のサイズが第１の所定範囲以上であるので、特定されたユーザＩＤに応じた表示情報がディスプレイ１０１に表示されている。
図８（ｂ）によれば、装着元ユーザから見て、視界先ユーザが存在しない。また、装着元ユーザは、現在、部屋２０１号室のトイレ・風呂に位置しているとする。このとき、図７の表示項目を用いて、時間帯及び位置に応じた表示項目がディスプレイ１０１に表示されている。
図８（ｃ）によれば、装着元ユーザから見て、視界先ユーザが存在しない。また、装着元ユーザは、現在、部屋２０１号室の寝室に位置しているとする。このとき、図７の表示項目を用いて、時間帯及び位置に応じた表示項目がディスプレイ１０１に表示されている。
図８（ｂ）によれば、装着元ユーザから見て、視界先ユーザが存在しない。また、装着元ユーザは、現在、部屋２０１号室のトイレ・風呂に位置しているとする。このとき、図７の表示項目を用いて、時間帯及び位置に応じた表示項目がディスプレイ１０１に表示されている。
図８（ｃ）によれば、装着元ユーザから見て、視界先ユーザが存在しない。また、装着元ユーザは、現在、部屋２０１号室の寝室に位置しているとする。このとき、図７の表示項目を用いて、時間帯及び位置に応じた表示項目がディスプレイ１０１に表示されている。
前述した実施形態によれば、例えば文字の表示情報をディスプレイ１０１に表示するものとして説明した。これに対し、他の実施形態として、文字の表示情報を、装着元ユーザの耳から聴覚的に認識させるものであってもよい。
表示制御部１２は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報を音声合成によって音声に変換し、当該音声をスピーカ１０３から出力する。
顔領域のサイズについて、第２の所定範囲は、第１の所定範囲と同じであってもよいし、第１の所定範囲よりも大きくても小さくてもよい。
また、音声合成については、IoT・組み込み向けマイコンボード単体に搭載されるような、軽量な日本語音声読み上げ機能を用いる。但し、人名など同形異音語については、読み仮名を付与することで適切に読上げ可能となるように制御する。例えば「小原さん」の場合、「コハラ」「オハラ」「オバラ」など多様な読み方が想定されるためである。
顔領域のサイズについて、第２の所定範囲は、第１の所定範囲と同じであってもよいし、第１の所定範囲よりも大きくても小さくてもよい。
また、音声合成については、IoT・組み込み向けマイコンボード単体に搭載されるような、軽量な日本語音声読み上げ機能を用いる。但し、人名など同形異音語については、読み仮名を付与することで適切に読上げ可能となるように制御する。例えば「小原さん」の場合、「コハラ」「オハラ」「オバラ」など多様な読み方が想定されるためである。
装着元ユーザと視界先ユーザとの間の距離が遠いほど（視界先ユーザの顔領域のサイズが小さいほど）、音声をスピーカ１０３から出力して、文字を読み上げるものであってもよい。一方で、装着元ユーザと視界先ユーザとの間の距離が近いほど（視界先ユーザの顔領域のサイズが大きいほど）、表示情報をディスプレイ１０１に表示する。
このように、装着元ユーザと視界先ユーザとの間の距離に応じて、装着元ユーザに対する情報の提示方法を動的に変化させることができる。
このような適用は、例えば介護施設の場合、介護者（装着元ユーザ）と被介護者（視界先ユーザ）とが対面する際に、近い距離では直接的に会話する場合が多いため、音声でスピーカ１０３から発声させると、介護者の注意力を分散させる恐れがあるためである。
このように、装着元ユーザと視界先ユーザとの間の距離に応じて、装着元ユーザに対する情報の提示方法を動的に変化させることができる。
このような適用は、例えば介護施設の場合、介護者（装着元ユーザ）と被介護者（視界先ユーザ）とが対面する際に、近い距離では直接的に会話する場合が多いため、音声でスピーカ１０３から発声させると、介護者の注意力を分散させる恐れがあるためである。
以上、詳細に説明したように、本発明のスマートグラス、プログラム及び表示制御方法によれば、装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができる。
例えば介護施設における介護者は、本発明のスマートグラスを装着することによって、視界先の被介護者が誰かを直ぐに同定でき、その被介護者の個人情報（氏名や年齢、症状など）をハンズフリーで認識することができる。被介護者の心理的抵抗感を抑制すると知に、介護者に迅速且つ的確な情報を提示することができる。
また、視界先に被介護者が存在しなくても、施設内に配置されたＢＬＥタグによって、現在位置に応じた情報を直ぐに認識することができる。
本発明のスマートグラスは、介護作業支援ＡＲシステムや不審者検出システム（学校・保育園など）にも適用することができる。
また、視界先に被介護者が存在しなくても、施設内に配置されたＢＬＥタグによって、現在位置に応じた情報を直ぐに認識することができる。
本発明のスマートグラスは、介護作業支援ＡＲシステムや不審者検出システム（学校・保育園など）にも適用することができる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ スマートグラス
１０１ ディスプレイ
１０２ カメラ
１０３ スピーカ、骨電動スピーカ
１０４ センシング部
１０５ 無線通信インタフェース
１１ 顔認識部
１１０ ユーザ特徴量蓄積部
１１１ 顔領域検出部
１１２ 顔特徴検出部
１１３ 高速識別器
１２ 表示制御部
１２０ 表示情報記憶部
２ ユーザ管理サーバ
１０１ ディスプレイ
１０２ カメラ
１０３ スピーカ、骨電動スピーカ
１０４ センシング部
１０５ 無線通信インタフェース
１１ 顔認識部
１１０ ユーザ特徴量蓄積部
１１１ 顔領域検出部
１１２ 顔特徴検出部
１１３ 高速識別器
１２ 表示制御部
１２０ 表示情報記憶部
２ ユーザ管理サーバ
Claims (11)
- 視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスにおいて、
ユーザＩＤ（識別子）に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段と
を有することを特徴とするスマートグラス。 - 表示情報は、文字、画像及び／又は映像である
ことを特徴とする請求項１に記載のスマートグラス。 - 現在位置を検知するセンシング手段を更に有し、
表示情報記憶手段は、位置に応じた表示情報を更に記憶しており、
表示制御手段は、顔領域（バウンディングボックス）のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイに表示する
ことを特徴とする請求項１又は２に記載のスマートグラス。 - 表示情報記憶手段は、
各ユーザＩＤについて、位置及び時間帯の組毎に応じた表示情報と、
各位置について、時間帯に応じた表示情報と
を記憶しており、
表示制御手段は、認識された顔領域のサイズが、
第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイに表示し、
第１の所定範囲よりも小さい場合、現在位置及び時間帯に応じた表示情報をディスプレイに表示する
ことを特徴とする請求項１から３のいずれか１項に記載のスマートグラス。 - 装着元ユーザの聴覚へ音声を出力するスピーカを更に有し、
表示制御手段は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報が文字である場合、音声合成によって音声に変換し、当該音声をスピーカから出力する
ことを特徴とする請求項１から４のいずれか１項に記載のスマートグラス。 - スピーカは、骨伝導スピーカである
ことを特徴とする請求項５に記載のスマートグラス。 - 顔認識手段によって認識された人の顔領域のサイズが大きいほど、当該人と装着元ユーザとの間の距離が近く、サイズが小さいほど、当該人と装着元ユーザとの間の距離が遠く、
顔領域のサイズの第１の所定範囲は、当該人と装着元ユーザとの間の距離に基づくものである
ことを特徴とする請求項１から６のいずれか１項に記載のスマートグラス。 - 装着元ユーザが移動可能な周辺環境に、位置に応じて無線タグが配置されており、
表示制御手段は、
位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶した位置テーブルを有し、
複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定するか、
又は、電波強度が強い順に無線信号を受信する３つの無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する
ことを特徴とする請求項１から７のいずれか１項に記載のスマートグラス。 - 無線ネットワークを介してサーバに接続する無線通信インタフェースを更に有し、
表示情報記憶手段は、無線通信ネットワークを介してサーバから、ユーザＩＤに応じた表示情報を予め受信する
ことを特徴とする請求項１から８のいずれか１項に記載のスマートグラス。 - 視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスに搭載されたコンピュータを機能させるプログラムにおいて、
ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する表示制御手段と
してコンピュータを機能させることを特徴とするスマートグラスのプログラム。 - 視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスの表示制御方法において、
スマートグラスは、
ユーザＩＤに応じた表示情報を予め記憶した表示情報記憶部を有し、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する第１のステップと、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示する第２のステップと
を実行することを特徴とするスマートグラスの表示制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020190020A JP7360775B2 (ja) | 2020-11-16 | 2020-11-16 | スマートグラス、プログラム及び表示制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020190020A JP7360775B2 (ja) | 2020-11-16 | 2020-11-16 | スマートグラス、プログラム及び表示制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022079067A true JP2022079067A (ja) | 2022-05-26 |
| JP7360775B2 JP7360775B2 (ja) | 2023-10-13 |
Family
ID=81707432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020190020A Active JP7360775B2 (ja) | 2020-11-16 | 2020-11-16 | スマートグラス、プログラム及び表示制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7360775B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116301391A (zh) * | 2023-05-26 | 2023-06-23 | 深圳鸿祥源科技有限公司 | 基于数据分析的智能平板显示调节*** |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000357177A (ja) * | 1999-06-16 | 2000-12-26 | Ichikawa Jin Shoji Kk | 店舗内の動線把握システム |
| JP2006221541A (ja) * | 2005-02-14 | 2006-08-24 | Nec System Technologies Ltd | 関心情報生成装置、関心情報生成システム、および関心情報生成プログラム |
| JP2010016432A (ja) * | 2008-07-01 | 2010-01-21 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
| JP2012060240A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置、プログラム及び画像処理方法 |
| JP2013140438A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 画像処理装置、撮像装置、制御方法、及びプログラム |
| JP2015088096A (ja) * | 2013-11-01 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| JP2016506565A (ja) * | 2012-12-11 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 人間トリガのホログラフィックリマインダ |
| JP2017085204A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | メタデータの登録制御 |
| JP2018097437A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社テレパシージャパン | ウェアラブル情報表示端末及びこれを備えるシステム |
| JP2018106579A (ja) * | 2016-12-28 | 2018-07-05 | 株式会社コロプラ | 情報提供方法、プログラム、および、情報提供装置 |
| JP2019057057A (ja) * | 2017-09-20 | 2019-04-11 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| JP2019061557A (ja) * | 2017-09-27 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| JP2019151452A (ja) * | 2018-03-02 | 2019-09-12 | 日本電産株式会社 | 物品の管理システム |
| JP2020091690A (ja) * | 2018-12-06 | 2020-06-11 | 学校法人東京電機大学 | 表示システム及び表示方法 |
-
2020
- 2020-11-16 JP JP2020190020A patent/JP7360775B2/ja active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000357177A (ja) * | 1999-06-16 | 2000-12-26 | Ichikawa Jin Shoji Kk | 店舗内の動線把握システム |
| JP2006221541A (ja) * | 2005-02-14 | 2006-08-24 | Nec System Technologies Ltd | 関心情報生成装置、関心情報生成システム、および関心情報生成プログラム |
| JP2010016432A (ja) * | 2008-07-01 | 2010-01-21 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
| JP2012060240A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置、プログラム及び画像処理方法 |
| JP2013140438A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 画像処理装置、撮像装置、制御方法、及びプログラム |
| JP2016506565A (ja) * | 2012-12-11 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 人間トリガのホログラフィックリマインダ |
| JP2015088096A (ja) * | 2013-11-01 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| JP2017085204A (ja) * | 2015-10-23 | 2017-05-18 | キヤノン株式会社 | メタデータの登録制御 |
| JP2018097437A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社テレパシージャパン | ウェアラブル情報表示端末及びこれを備えるシステム |
| JP2018106579A (ja) * | 2016-12-28 | 2018-07-05 | 株式会社コロプラ | 情報提供方法、プログラム、および、情報提供装置 |
| JP2019057057A (ja) * | 2017-09-20 | 2019-04-11 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| JP2019061557A (ja) * | 2017-09-27 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| JP2019151452A (ja) * | 2018-03-02 | 2019-09-12 | 日本電産株式会社 | 物品の管理システム |
| JP2020091690A (ja) * | 2018-12-06 | 2020-06-11 | 学校法人東京電機大学 | 表示システム及び表示方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116301391A (zh) * | 2023-05-26 | 2023-06-23 | 深圳鸿祥源科技有限公司 | 基于数据分析的智能平板显示调节*** |
| CN116301391B (zh) * | 2023-05-26 | 2023-08-04 | 深圳鸿祥源科技有限公司 | 基于数据分析的智能平板显示调节*** |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7360775B2 (ja) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10311746B2 (en) | Wearable apparatus and method for monitoring posture | |
| US8937650B2 (en) | Systems and methods for performing a triggered action | |
| CN107230476A (zh) | 一种自然的人机语音交互方法和*** | |
| CN107658016B (zh) | 用于老年保健陪伴的Nounou智能监护*** | |
| CN104952447A (zh) | 一种老龄人安康服务智能穿戴设备及语音识别方法 | |
| US20200221218A1 (en) | Systems and methods for directing audio output of a wearable apparatus | |
| KR101584685B1 (ko) | 시청 데이터를 이용한 기억 보조 방법 | |
| US11875571B2 (en) | Smart hearing assistance in monitored property | |
| Palaghias et al. | A survey on mobile social signal processing | |
| JP7360775B2 (ja) | スマートグラス、プログラム及び表示制御方法 | |
| Gacem et al. | Smart assistive glasses for Alzheimer's patients | |
| CN107895101A (zh) | 用于老年保健陪伴的Nounou智能监护装置 | |
| JP7026105B2 (ja) | サービス提供システム | |
| JP7453192B2 (ja) | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 | |
| US11227148B2 (en) | Information processing apparatus, information processing method, information processing program, and information processing system | |
| US11493959B2 (en) | Wearable apparatus and methods for providing transcription and/or summary | |
| Suresh et al. | Intelligent & Smart Navigation System for Visually Impaired Friends | |
| CN113380383A (zh) | 一种医疗监护方法、装置和终端 | |
| Bhati et al. | CAPture: a vision assistive cap for people with visual impairment | |
| JP7453193B2 (ja) | ユーザの周辺状況に連動して音声合成に基づく音声を制御する携帯装置、プログラム及び方法 | |
| Zeng et al. | SHECS: A Local Smart Hands-free Elderly Care Support System on Smart AR Glasses with AI Technology | |
| Trouva | The mobile phone as a platform for assisting the independent living of aging people | |
| TWI829493B (zh) | 具隱私保護的危安行為與語意之辨識系統與方法 | |
| WO2023182022A1 (ja) | 情報処理装置、情報処理方法、端末装置及び出力方法 | |
| EP3882894B1 (en) | Seeing aid for a visually impaired individual |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230929 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230929 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7360775 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |