JP2001013941A - 装着型情報呈示装置および方法および記憶媒体 - Google Patents

装着型情報呈示装置および方法および記憶媒体

Info

Publication number
JP2001013941A
JP2001013941A JP11184646A JP18464699A JP2001013941A JP 2001013941 A JP2001013941 A JP 2001013941A JP 11184646 A JP11184646 A JP 11184646A JP 18464699 A JP18464699 A JP 18464699A JP 2001013941 A JP2001013941 A JP 2001013941A
Authority
JP
Japan
Prior art keywords
information
wearable
reproduction
user
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11184646A
Other languages
English (en)
Other versions
JP3492942B2 (ja
Inventor
Miwako Doi
美和子 土井
Genso Matsushita
玄宗 松下
Kazuo Sumita
一男 住田
Hideki Hirakawa
秀樹 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP18464699A priority Critical patent/JP3492942B2/ja
Publication of JP2001013941A publication Critical patent/JP2001013941A/ja
Application granted granted Critical
Publication of JP3492942B2 publication Critical patent/JP3492942B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】装着型情報呈示装置で情報を再生させると、歩
行中など視野や聴覚を覆われてしまい外界と遮断されて
しまうため、ユーザは外界の状況が分からず危険であっ
た。 【解決手段】本願発明の装着型情報呈示装置は、ユーザ
の行動を監視する行動計測センサ2を有し、ユーザは静
止状態でのみ情報の呈示を受けることができるので、装
着型情報呈示装置を安全に使用することができる。ま
た、静止しないと使えないので、他の動作をしながら使
用することで注意が散漫になり、他者に迷惑を及ぼすこ
ともない。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本願発明は、装着型の電子機
器を危険な状態で使用できないようにする装着型情報呈
示装置に関する。
【0002】
【従来の技術】近年パーソナルコンピュータの小型化が
進み、ノートブック型コンピュータなどを鞄などに入れ
て持ち歩いて使うスタイルが出現している。このような
モバイルコンピュータは、会議などで机上で会議をしな
がらの議事録作成、あるいは製品の在庫チェックや納入
スケジュールの確認、会議の予定を決定する際の参加者
の確認などに使われる。また、客先との打ち合わせ後、
次の客先への移動中の電車内あるいは喫茶店などで、打
ち合わせ結果を記録するために使われる。いずれにして
もモバイルコンピュータを用いるには、机やひざの上な
どに置いて、ディスプレイを見ながらキーボードを打つ
体勢、すなわち座った状態でなければならない。これに
対し、ハンドフリーで座った状態でなくても使えるコン
ピュータ(装着型コンピュータあるいはウェアラブルコ
ンピュータ)が大学などで研究され始めている。ウェア
ラブルコンピュータでは、フェイスマウントディスプレ
イ(FMD)あるいはヘッドマウントディスプレイ(H
MD)と呼ばれる装着型のモニタを利用者の頭部に装着
させ、電源,CPU本体を腹部に装着させることで、座
ることなく立ったままのの姿勢でディスプレイを見るこ
とができる。さらにウェアラブルコンピュータでは、立
ったままだけでなく、歩行しながらでも使用することが
可能である。
【0003】しかし、実際にはFMDやHMDに表示さ
れている文字などの情報を見ると、目(視覚)の注意が
ディスプレイに行ってしまい、外部の状況が全く分から
なくなってしまうという問題がある。これに音声出力が
加わると、耳(聴覚)の注意もコンピュータにとられ、
外界の状況が、使用者に届かなってしまうという問題が
起こる。また、多くのHMDは通常のビデオ信号(NT
SC)を入力信号とし、表示できるようになっている。
このため、ゲーム専用のTVモニタの代わりにHMDを
用いたり、個人専用のTVモニタとしてHMDを用いる
ことも行われている。一方、DVDなど映像再生機器の
小型化が進み、携帯可能なものも出現している。この携
帯型の映像再生機器とHMD,イヤホンを組み合わせる
ことで、移動中にも映像を見ることが可能となる。この
場合、HMDを見るために視野の注意は奪われ、イヤホ
ンからの音声を聞くために視覚の注意は奪われ、外界か
ら遮断された状態になってしまう。また、HMDを用い
て横になってTVや映像を見る場合、HMDを装着した
まま眠ってしまう可能性もある。
【0004】
【発明が解決しようとする課題】装着型のウェアラブル
コンピュータなどのように、映像や文字,地図などの情
報を呈示する機器においては、歩行中など視野や聴覚を
覆うことで、外界から遮断され危険な状態が発生する。
つまり、静止状態など安全が確保されているときのみに
情報呈示が行われるというような配慮が為されていない
という問題がある。また、HMDを装着したまま眠り込
んでしまうと、視聴していないのに再生が続き、電力を
無駄に消費してしまうという問題が発生する。
【0005】
【課題を解決するための手段】以上のような問題点を解
決するために、本願発明は、文字,映像,あるいは音声
などの記録されたあるいは受信した再生すべき情報を再
生するための再生手段と、利用者が装着可能で、前記再
生手段によって再生された情報を呈示するための装着型
呈示手段と、この装着型呈示手段を装着している前記使
用者の危険状態を計測するための危険計測手段と、この
危険計測手段の計測結果に基づいて、前記再生手段での
再生や前記装着型呈示手段での呈示を制御するための再
生呈示制御手段とを有することを特徴とする。好ましく
は、前記危険計測手段は、装着している使用者の移動中
などの行動を計測するための行動計測手段を有すること
を特徴とする。また、好ましくは、前記行動計測手段
は、使用者の静止,歩行,走行などの身体の活動状態を
計測するためのセンサを有することを特徴とする。ま
た、前記行動計測手段は、使用者が覚醒しているかどう
かを計測するための覚醒検出手段を有することを特徴と
する。また、前記危険計測手段は、前記装着型呈示手段
を装着している使用者の環境を計測する環境計測手段を
有することを特徴とする。
【0006】また、前記環境計測手段は、周囲から使用
者への聴覚あるいは視覚への働きかけを検出することを
特徴とする。また、前記再生呈示制御手段は、前記危険
計測手段の計測結果に応じて、視覚野や聴覚野などの確
保のため、前記再生手段での再生の停止、前記装着型呈
示手段での呈示の停止を行うことを特徴とする。また、
前記再生呈示制御手段は、前記危険予測手段の計測結果
に応じて、視覚野の確保のため、前記装着型呈示手段で
の呈示を注視野から周辺視野に移行することを特徴とす
る。また、前記再生呈示制御手段は、前記危険計測手段
の計測結果に応じて、前記再生手段での情報の再生を停
止するとき、前記停止箇所を記録し、前記再生手段での
情報の再生を再開するとき、記録した前記停止箇所から
情報の再生を再開することを特徴とする。さらに、好ま
しくは、使用者の自宅あるいはサービスセンターと交信
するための交信手段を有し、前記再生呈示制御手段は、
前記危険計測手段の計測結果に応じて、前記再生手段で
の再生を停止するとき、停止した個所以降の情報の記録
を交信手段を通じて指示することを特徴とする。
【0007】
【発明の実施の形態】[実施例1]図1に第1の実施例
の概略構成図を示す。装着型呈示部3は、文字や地図あ
るいは映像などの視覚情報を表示するために、HMDや
FMDのように利用者の頭部に装着あるいは腕時計のよ
うに腕に装着する装着型のディスプレイと、音楽や音声
などの聴覚情報を出力するためのイヤホンから構成され
る。記憶部5は、この装着型呈示部3で呈示する文字や
地図あるいは映像などの視覚情報や、音楽や音声などの
聴覚情報を格納している記憶媒体(例えば、DVDやC
D−ROMのように映像や音楽などの記憶媒体)を挿入
するためのものである。再生部6は、記憶部5にセット
された記憶媒体から情報を再生する。行動計測センサ2
は、使用者が安全に情報提供を受けられる状態(電車に
乗っている,ホームやバス停に立っているなどの歩行せ
ずに停止している状態)であることを検出するための加
速度センサ,接触センサなどで構成される。入力部1
は、電源のON/OFFなどの指示を行うためのボタ
ン、あるいは音声入力で指示を行うためのマイクなどで
構成される。再生呈示制御部4は、行動計測センサ2の
計測結果に応じて、静止状態でないときはこの再生部6
の再生を停止したり、装着型呈示部3での呈示を中止な
どを行う。
【0008】図2は、装着型呈示部3としてFMD20
とイヤホン21、入力部1としてマイク22、再生部6
や記憶部5,行動計測センサ2,再生呈示制御部4が一
体になった筐体23を胸ポケットに装着した状態を示す
図である。同様に図3は、FMD20の代わりに腕時計
型のディスプレイ24を装着した状態を示す図である。
図4は、DVDやCD−ROMなどの記憶媒体から情報
を得る代わりに、無線などの通信手段により外部と情報
の送受信を行う場合の構成図である。図1の記憶部5の
代わりに送受信部7を有している点が異なり、あとは図
1と同じ構成である。図5は、再生呈示制御部4での処
理の流れを示す図である。以下、この流れ図に沿って説
明する。まず、再生呈示部4は、行動計測センサ2が取
得したデータを読み取る(ステップS501)。行動計
測センサ2は、例えば靴の裏に設置された接触センサの
データを用いて、 「if 接触と非接触状態が周期的 then 歩行/走行 else 静止」 のような規則に従って、静止か否かを計測する。また
は、衣服の袖の部分やズボンの裾の部分、あるいは靴に
装着された加速度センサのデータを用いて、 「if 加速度が変化 then 歩行/走行 else 静止」 のような規則に従い、静止状態と歩行、走行状態を計測
することができる。
【0009】さらに、精度を高めるためには接触と非接
触状態が周期的に続く時間や、加速度の変化の度合いや
変化時間など、パラメータを増すことも可能である。一
定時間静止が続かない場合静止状態と見なさないように
することで、単にちょっと立ち止まっただけで、急に再
生が始まったりする危険性を防ぐことができる。再生制
御部4は、行動計測センサ2が取得したデータが静止状
態か否か判別する(ステップS502)。静止していな
ければ、次に情報が再生中か否か判別する(ステップS
503)。歩行や走行の状態でも情報が再生されていな
ければ問題ないので、そのまま行動計測センサ2による
データ取得を続行する(S501)。情報の再生中であ
れば、歩行や走行状態での情報呈示は危険であるので情
報の再生を中止する。のちに、利用者が停止した個所か
ら抜け落ちがなく情報を再生できるように、この停止個
所を記録しておく(ステップS504)。図4の構成の
ように、DVDやCD−ROMのような記憶媒体から情
報を読み出し再生するのではなく、送受信部7が受信し
た情報を再生する場合、停止個所だけでなく該当情報も
記録する。これにより、再度情報を使用者の自宅あるい
はサービスセンターや情報プロバイダより読み出すとき
に、該当情報を容易に識別し、停止個所より再開するこ
とが可能となる。
【0010】次に、イヤホンから流れる音声,音楽を停
止し、図2のような頭部への装着型の表示手段を用いて
いる場合には、それらHMDやFMDなどの呈示を停止
するとともに、表示画面を見やすくするため非透過モー
ドであるHMDやFMDを、透過モードに変更して外界
が見えるようにする(ステップS505)。また、図3
のように腕部に装着型の表示手段の場合には、単に表示
を停止するだけでよい。その後、再度行動計測センサ2
からのデータの読み出しを続ける(ステップS50
1)。利用者の状態が静止に戻ったときには、再生が可
能なので、再生を開始する。そのときには、再生中であ
るかを判断し(ステップS506)、再生中でない場合
はステップS504で記録した停止個所があるか否かを
判別し(ステップS507)、停止個所があればその個
所から再生する(ステップS508)再生時には、イヤ
ホンから音声や音楽を流し、さらにHMDやFMDは表
示される情報を見やすくするために、非透過モードに変
更する。図4の構成のように、DVDやCD−ROMの
ような記憶媒体から情報を読み出し再生するのではな
く、送受信部7が受信した情報を再生する構成では、再
生時に送受信部7から再生すべき情報の識別記号と停止
個所を、使用者の自宅あるいはサービスセンターや情報
プロバイダに送り、該当情報を該当個所より受信し再生
するものである。
【0011】ステップS508で再生を開始するときに
は、使用者に再生を開始するか否かの確認を音声にて知
らせることも可能である。所定時間経っても、ユーザか
ら再生不可の指示がなければ、そのまま再生を開始す
る。再生不可の指示がユーザからあれば、再生をしない
ようにする。これにより、単に立ち止まっただけの時
に、むやみに情報を再生し始めることを防ぐことができ
る。また、DVDやCD−ROMなどの記憶媒体から読
み出して再生を行っている場合では、記憶されている情
報の最後で(ステップS509)終了する。続けて再生
するリピート機能になっている場合、情報の再生を続行
し、行動計測センサからのデータ取得を続ける(ステッ
プS501)。また、新規の再生であれば(ステップS
507)、新規に再生を行う(ステップS510)。こ
のとき、頭部装着型の表示手段(HMDなど)を用いて
いる場合には、ディスプレイの透過モードから非透過モ
ードにするなどの制御を行うことはステップS508と
同様である。図6は実施例1の変形例の処理の流れ図を
示す。図5とは、ステップS503とS505の代わり
に、ステップS511があり、ステップS507の代わ
りにステップS513、ステップS508の代わりにス
テップS514がある点で異なっている。
【0012】図6の変形例は、図2のような頭部装着型
の表示手段(HMDやFMDなど)を用いて静止状態で
ないときに、単に表示を停止する代わりに表示位置をユ
ーザが周囲の状況を認識するのに邪魔にならない位置つ
まり注視野から周辺視野に移動することで対処する。ス
テップS503では、静止状態でなければ情報の再生を
停止し、ステップS505でHMDやFMDなどの表示
装置への表示を取りやめる処理を行っていたが、変形例
におけるステップS511では、表示を取りやめるので
はなく、ユーザが物体を注視する際の注視野(視野角,
約20度)への表示をやめ、その代わりに注視の邪魔に
ならない周辺視野に表示を移動するものである。このと
き外界が見えるように非透過モードから透過モードへの
切替えも行う。また、逆に静止状態になって再生を再開
するときは、周辺視野に表示されているか否か判別する
(ステップS513)。周辺視野に表示されていれば再
生中か否か判別し(ステップS506)、注視野に表示
位置を移動する(ステップS514)。図7は、他の変
形例の処理の流れ図である。図5のステップS502の
静止状態か否か判別する処理の代わりに、ステップS5
12として、覚醒しているか否かを判別する処理が入っ
ている。ここでの行動計測センサ2は加速度センサや接
触センサの代わりにHMDやFMDに取り付けられた赤
外センサを用いて、ユーザの目の動きを計測する。単純
には赤外センサにより、目玉が検出でなければ目をつぶ
っている、つまり眠っている(非覚醒状態)と判断する
(ステップS512)。
【0013】非覚醒状態であれば眠っているので、情報
を呈示するのは電力消費の点でも無駄が多いので、図5
の静止状態と同様に再生を停止する処理を行う。 [実施例1の効果]以上のように本願発明によれば、ユ
ーザは静止状態でのみ情報の呈示を受けることができる
ので、装着型情報呈示装置を安全に使用することができ
る。また、静止しないと使えないので、他の動作をしな
がら使用することで注意が散漫になり、他者に迷惑を及
ぼすこともないので、社会的にも装着型情報呈示装置の
利用を容認してもらうのに、大きな効果を発揮する。 [実施例2]実施例1では、ユーザの行動を計測してそ
の状態に応じて、情報の再生,呈示の制御を行うこと
で、ユーザが危険か状態で装着型情報呈示装置を使用す
ることを防いでいた。しかし、実際にはユーザが歩行や
走行せずに静止していたとしても、必ずしも安全ではな
い。例えば、街頭で静止していても、そばを車が猛スピ
ードで通り過ぎようとしているのを気づかなければ危険
である。この実施例2ではこのような問題点を解決する
ものである。実施例1ではユーザ自身の状態を検知する
行動計測センサ2を用いていたが、ユーザの環境を検知
するセンサなどを用いて環境を検知し、ユーザに注意を
促すような手段は具備していなかった。実施例2では、
このようなユーザの環境を検知する手段を有するもので
ある。
【0014】図8は、この実施例2の概略構成図であ
る。実施例1の入力部1に代わってユーザの音声だけで
なく、外界の音情報の入力を行うための音情報入力部1
0と、ユーザの表情や外界の映像情報を入力を行うため
の映像情報入力部9とを有している。音情報入力部10
は、例えば図2や図3の使用イメージ図のように、マイ
クのヘッドセットから音声認識のための入力と、周囲の
音情報を入力する。映像入力部9は、CCDなどの小型
カメラで例えば図2のFMDのフレーム部の前面と後面
に実装し、ユーザの前面と後面を撮像する。小型カメラ
が撮像する画像は、静止画や動画の両方が可能である。
ただし、動画の場合には環境情報分析部8において、解
析の対象となる動画像を保存しておくために容量の大き
なフレームメモリが必要となる。しかし、大きなフレー
ムメモリをもつことは消費電力の増大につながる。消費
電力の増大を防ぐために、動画のほかに10秒に1枚の
速度で撮像された静止画を用いることも可能である。環
境情報分析部8は、音情報入力部10と映像入力部9か
ら入力された音情報や映像情報を解析し、危険な状態に
あるか否か分析するものである。
【0015】図10は、実施例2の変形例の概略構成図
である。図8に示す実施例2の構成に、ユーザ自身の行
動状態を検知するための行動計測センサ2を追加したも
のである。このような構成にすることで、ユーザには環
境情報分析部8と行動計測センサ2の双方からの状態を
知らせることができるので、二重に安全機構が働くよう
になっている。図9は、図8での構成における環境情報
分析部8と再生呈示制御部4の処理の流れのうち、実施
例1と異なる部分を記載したものである。まず、再生が
中断されたか否かを示す再生中断フラグIを初期化(I
=0)する(ステップS901)。続いて、映像情報入
力部9と音情報入力部10からの入力情報を読み取る
(ステップS902)。次に、環境情報分析部8ではこ
の入力情報の分析を行う。入力情報の分析は、危険を察
知すること、ユーザに外部からの接触を知らせることを
目的とするものである。危険を察知するためには、情報
再生中にユーザの周囲で、車の急ブレーキなどの大きな
音や車が急接近しているなどの音を検知し、情報の再生
を中止し危険として検知した音や映像をユーザに知らせ
ることが必要となる。一方、外部からの接触とは、例え
ば「XX駅」で下車予定の車中において、情報を再生し
ていて「XX駅」に到着したことを知りたい場合、「X
X駅」という車中あるいは駅でのアナウンスを認識して
知らせるようなことを想定している。あるいは、情報再
生中に知人が近づいてきたら、その顔を認識してユーザ
に知らせることも外部からの接触の検知に相当する。
【0016】ステップS903までは、以上のような危
険や外部からの接触検知の有無を探るために、入力され
た音情報と映像情報に関しての解析を行う。とりあえず
図9は、危険を察知するための解析処理を当てた流れ図
になっている。ここでは簡単のために、騒音量(dB
値)の大きさなどをまとめて音情報変化値Dsとしてい
る。つまり、非常に大きな音がして危険が迫っていると
いうときには、騒音値の変化Dsがある閾値αを越えた
か否かを判定する。また、急速に車が接近している場合
を検知するには、例えば動きの変化を示すオプティカル
フローのベクトルの長さを求める。これが一つの映像情
報変化値Diとなる。つまり、所定の速さ以上で近づく
物体があるか否かを映像情報変化値Diがある閾値βを
越えたか否かで判定する。ステップS904からS90
6では、ステップS903で算出した変化値DsとDi
に基づいた判定を行う。ステップS904では、音情報
変化値Dsも映像情報変化値Diもともに閾値αとβを
越えていないかどうかを判定する。変化値DsとDiが
閾値α,βともに越えていなければ、ステップS907
で再生中断フラグIをみて、何かの危険を感知して再生
が中断されたものであるか否かを判定する。
【0017】再生が中断されているのでなければ、その
ままの状態をつづければよいので、そのままステップS
902に戻り、外部情報の読み出しを続ける。再生が中
断されたのであれば、再生を再開し(ステップS90
8)、再生中断フラグを戻すために初期化のステップ
(S901)に戻る。音情報変化値Dsも映像情報変化
値Diもともに閾値α,βを越えていれば、大変な危険
が迫っている状態である(ステップS905)。従っ
て、ステップS909では即座に再生と表示を停止す
る。ここで、再生中断フラグIを1にする(ステップS
909)。また、検知した音をユーザにイヤホンで知ら
せるとともに、危険が迫っていることを知らせるように
例えば、警報を鳴らし、イヤホンを通じて知らせる。ス
テップS906では、音情報変化値Dsのみが閾値αを
越え、映像情報変化値Diが閾値βを越えていない場
合、つまり、近くで大きな音はしているが、車が高速で
近づくなどの映像としての危険は検知されていないこと
を判定する。この場合は、再生と表示を停止し、再生中
断フラグIを2にセットする(ステップS910)。ま
た、注意音を出してユーザに注意を喚起し、近くで発生
している音を聞かせる。
【0018】ステップS911では、音としての危険は
ないが、映像としての危険があるか否かを判断する。こ
の場合は、再生中断フラグIを3にセットし、ユーザに
映像として危険が迫っていることを示す注意音を呈示す
る。図9が危険を検知し、警告するための処理の流れで
あったが、図11は外部からの接触を検知し、ユーザに
呈示するための処理の流れ図である。認識したい音情報
としては、例えば図12に示すように、電車から降りる
降車駅名や、他人から呼ばれる自分の名前などがある。
認識したい映像情報としては、例えば知人の顔などがあ
る。ステップS912では、図12にあるような認識す
べき対象の情報とマッチするか否かを解析する。ここで
は簡単のため認識した対象の個数をカウントし、それに
応じた処理を行う。 ステップS912で算出した音情
報認識度Rsと映像情報認識度Riに基づいた判定を行
う。ステップS913では、音情報認識度Rsも映像情
報認識度Riもともに閾値γとδを越えていないかどう
かを判定する。認識度RsとRiが閾値γ,δともに越
えていなければ、ステップS907で再生中断フラグI
をみて、認識対象を感知して再生が中断されたものであ
るか否かを判定する。
【0019】再生が中断されているのでなければ、その
ままの状態をつづければよいので、そのままステップS
902に戻り、外部情報の読み出しを続ける。再生が中
断されたのであれば、再生を再開し(ステップS90
8)、再生中断フラグを戻すために初期化のステップ
(S901)に戻る。音情報認識度Rsも映像情報認識
度Riもともに閾値γ,δを越えていれば、音と映像と
もに認識した状態である(ステップS914)。従っ
て、ステップS916では即座に再生と表示を停止す
る。ここで、再生中断フラグIを1にする(ステップS
916)。また、検知した音をユーザにイヤホンで知ら
せるとともに、危険が迫っていることを知らせるように
例えば、警報を鳴らし、イヤホンを通じて知らせる。ス
テップS915では、音情報認識度Rsのみが閾値γを
越え、映像情報認識度Riが閾値δを越えていない場
合、つまり、近くで認識すべき音はしているが、映像と
しては認識されていないことを判定する。この場合は、
再生と表示を停止し、再生中断フラグIを2にセットす
る(ステップS917)。また、注意音を出してユーザ
に注意を喚起し、近くで発生している音を聞かせる。
【0020】判定結果がそうであれば、ユーザに注意を
促して認識した音(この場合は車掌による車内放送な
ど)をユーザに聞かせる。これにより、ユーザは目的の
駅に着いたことを知ることができるので、情報の再生に
夢中になって乗り過ごすことを防げる。また、ここでは
駅名のアナウンスの認識により、目的の駅をユーザに通
知することを示しているが、例えば記憶部5に記憶され
たユーザのスケジュール(PIM:personal informat
ion manager)の情報を用いて、さらに正確な通知を行
うことも可能である。 ステップS917では、音とし
ての認識はないが、対象の映像を認識したか否かを判断
する。この場合は、再生中断フラグIを3にセットし、
ユーザに対象の映像を認識したことを示す注意音を呈示
する。 [実施例2の効果]実施例2によれば、ユーザは周囲の
音や映像情報を的確に知ることができるので、環境に融
合した使い勝手を得ることができる。 [記憶媒体による本願発明の実現]また、本願発明の実
施例における処理をコンピュータで実行可能なプログラ
ムで実現し、このプログラムをコンピュータで読み取り
可能な記憶媒体として実現することも可能である。
【0021】なお、本願発明における記憶媒体として
は、磁気ディスク、フロッピー(登録商標)ディスク、
ハードディスク、光ディスク(CD−ROM,CD−
R,DVD等)、光磁気ディスク(MO等)、半導体メ
モリ等、プログラムを記憶でき、かつコンピュータが読
み取り可能な記憶媒体であれば、その記憶形式は何れの
形態であってもよい。また、記憶媒体からコンピュータ
にインストールされたプログラムの指示に基づきコンピ
ュータ上で稼動しているOS(オペレーションシステ
ム)や、データベース管理ソフト、ネットワーク等のM
W(ミドルウェア)等が本実施形態を実現するための各
処理の一部を実行してもよい。さらに、本願発明におけ
る記憶媒体は、コンピュータと独立した媒体に限らず、
LANやインターネット等により伝送されたプログラム
をダウンロードして記憶または一時記憶した記憶媒体も
含まれる。また、記憶媒体は1つに限らず、複数の媒体
から本実施形態における処理が実行される場合も、本発
明における記憶媒体に含まれ、媒体の構成は何れの構成
であってもよい。なお、本願発明におけるコンピュータ
は、記憶媒体に記憶されたプログラムに基づき、本実施
形態における各処理を実行するものであって、パソコン
等の1つからなる装置、複数の装置がネットワーク接続
されたシステム等の何れの構成であってもよい。
【0022】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。
【0023】
【発明の効果】本願発明によれば、装着型情報呈示装置
において、静止状態など安全が確保されているときのみ
に情報呈示が行われるというような配慮を施すことがで
きる。また、周囲の情報をも的確に知ることができる。
【図面の簡単な説明】
【図1】本願発明の実施例1の概略構成図。
【図2】本願発明の実施例1の使用イメージの一例。
【図3】本願発明の実施例1の使用イメージの一例。
【図4】本願発明の実施例1の変形例の概略構成図。
【図5】本願発明の実施例1の処理の流れ図。
【図6】本願発明の実施例1の変形例の処理の流れの
図。
【図7】本願発明の実施例1の変形例の処理の流れの
図。
【図8】本願発明の実施例2の概略構成図。
【図9】本願発明の実施例2の処理の流れ図。
【図10】本願発明の実施例2の変形例の概略構成図。
【図11】本願発明の実施例2の変形例の処理の流れの
図。
【図12】本願発明の実施例2の変形例の認識対象の
例。
【符号の説明】
1…入力部 2…行動計測センサ 3…装着型呈示部 4…再生呈示制御部 5…記憶部 6…再生部 7…送受信部 8…環境情報分析部 9…映像情報入力部 10…音情報入力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 住田 一男 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 平川 秀樹 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Fターム(参考) 5C082 AA31 BA02 BA12 BA41 CA18 CA76 CB01 DA87 MM08

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】文字,映像,あるいは音声などの記録され
    たあるいは受信した再生すべき情報を再生するための再
    生手段と、 利用者が装着可能で、前記再生手段によって再生された
    情報を呈示するための装着型呈示手段と、 この装着型呈示手段を装着している前記使用者の危険状
    態を計測するための危険計測手段と、 この危険計測手段の計測結果に基づいて、前記再生手段
    での再生や前記装着型呈示手段での呈示を制御するため
    の再生呈示制御手段とを有することを特徴とする装着型
    情報呈示装置。
  2. 【請求項2】前記危険計測手段は、装着している使用者
    の移動中などの行動を計測するための行動計測手段を有
    することを特徴とする請求項1記載の装着型情報呈示装
    置。
  3. 【請求項3】前記行動計測手段は、使用者の静止,歩
    行,走行などの身体の活動状態を計測するためのセンサ
    を有することを特徴とする請求項2記載の装着型情報呈
    示装置。
  4. 【請求項4】前記行動計測手段は、使用者が覚醒してい
    るかどうかを計測するための覚醒検出手段を有すること
    を特徴とする請求項2記載の装着型情報呈示装置。
  5. 【請求項5】前記危険計測手段は、前記装着型呈示手段
    を装着している使用者の環境を計測する環境計測手段を
    有することを特徴とする請求項1記載の装着型情報呈示
    装置。
  6. 【請求項6】前記環境計測手段は、周囲から使用者への
    聴覚あるいは視覚への働きかけを検出することを特徴と
    する請求項5記載の装着型情報呈示装置。
  7. 【請求項7】前記再生呈示制御手段は、前記危険計測手
    段の計測結果に応じて、視覚野や聴覚野などの確保のた
    め、前記再生手段での再生の停止、前記装着型呈示手段
    での呈示の停止を行うことを特徴とする請求項1記載の
    装着型情報呈示装置。
  8. 【請求項8】前記再生呈示制御手段は、前記危険予測手
    段の計測結果に応じて、視覚野の確保のため、前記装着
    型呈示手段での呈示を注視野から周辺視野に移行するこ
    とを特徴とする請求項1記載の装着型情報呈示装置。
  9. 【請求項9】前記再生呈示制御手段は、前記危険計測手
    段の計測結果に応じて、前記再生手段での情報の再生を
    停止するとき、前記停止箇所を記録し、前記再生手段で
    の情報の再生を再開するとき、記録した前記停止箇所か
    ら情報の再生を再開することを特徴とする請求項1記載
    の装着型情報呈示装置。
  10. 【請求項10】使用者の自宅あるいはサービスセンター
    と交信するための交信手段を有し、 前記再生呈示制御手段は、前記危険計測手段の計測結果
    に応じて、前記再生手段での再生を停止するとき、停止
    した個所以降の情報の記録を交信手段を通じて指示する
    ことを特徴とする請求項1記載の装着型情報呈示装置。
  11. 【請求項11】文字,映像,あるいは音声などの記録さ
    れたあるいは受信した再生すべき情報を、利用者が装着
    可能な装着型呈示手段によって呈示し、 この装着型呈示手段を装着している前記使用者の危険状
    態を計測し、 この計測結果に基づいて、前記装着型呈示手段での呈示
    を制御することを特徴とする装着型情報呈示方法。
  12. 【請求項12】装着型の電子機器を制御するためのプロ
    グラムをコンピュータ実行可能なように記憶させた記憶
    媒体であって、 文字,映像,あるいは音声などの記録されたあるいは受
    信した再生すべき情報を再生させ、 利用者が装着可能な装着型呈示手段によって、再生され
    た前記情報を呈示させ、 この装着型呈示手段を装着している前記使用者の危険状
    態を計測させ、 この計測結果に基づいて、情報の再生や前記装着型呈示
    手段での呈示を制御させるプログラムを記憶したコンピ
    ュータ読取り可能な記憶媒体。
JP18464699A 1999-06-30 1999-06-30 装着型情報呈示装置および方法および記憶媒体 Expired - Fee Related JP3492942B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18464699A JP3492942B2 (ja) 1999-06-30 1999-06-30 装着型情報呈示装置および方法および記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18464699A JP3492942B2 (ja) 1999-06-30 1999-06-30 装着型情報呈示装置および方法および記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003292332A Division JP2004109995A (ja) 2003-08-12 2003-08-12 装着型情報呈示装置および方法および記憶媒体

Publications (2)

Publication Number Publication Date
JP2001013941A true JP2001013941A (ja) 2001-01-19
JP3492942B2 JP3492942B2 (ja) 2004-02-03

Family

ID=16156886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18464699A Expired - Fee Related JP3492942B2 (ja) 1999-06-30 1999-06-30 装着型情報呈示装置および方法および記憶媒体

Country Status (1)

Country Link
JP (1) JP3492942B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318876A (ja) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd 電子投票装置
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
WO2006067930A1 (ja) * 2004-12-22 2006-06-29 Nikon Corporation 映像表示装置
WO2008029570A1 (fr) * 2006-09-08 2008-03-13 Sony Corporation Dispositif d'affichage et procédé d'affichage
JP2009075610A (ja) * 2008-12-04 2009-04-09 Olympus Corp 危険防止機能付きシースルー型表示装置、及びシースルー型表示装置を使用するときの危険防止方法
WO2013089943A1 (en) * 2011-12-13 2013-06-20 Motorola Mobility Llc Method and apparatus for utilizing streaming content at an electronic device
US20130182012A1 (en) * 2012-01-12 2013-07-18 Samsung Electronics Co., Ltd. Method of providing augmented reality and terminal supporting the same
JP2013174898A (ja) * 2013-04-10 2013-09-05 Sony Corp 撮像表示装置、撮像表示方法
JP2014068096A (ja) * 2012-09-25 2014-04-17 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2015125364A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 電子機器、および画像の提供方法
JP2016127376A (ja) * 2014-12-26 2016-07-11 株式会社Nttドコモ 音出力装置および音出力装置における音の再生方法
JPWO2014024649A1 (ja) * 2012-08-06 2016-07-25 ソニー株式会社 画像表示装置および画像表示方法
JP2016139881A (ja) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 ヘッドマウントディスプレイ
JP2016541035A (ja) * 2013-09-30 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
US10122985B2 (en) 2013-09-30 2018-11-06 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2019533824A (ja) * 2016-07-25 2019-11-21 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160014418A (ko) 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318876A (ja) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd 電子投票装置
US8400371B2 (en) 2002-12-24 2013-03-19 Nikon Corporation Head mount display
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
WO2006067930A1 (ja) * 2004-12-22 2006-06-29 Nikon Corporation 映像表示装置
US9733701B2 (en) 2006-09-08 2017-08-15 Sony Corporation Display device and display method that determines intention or status of a user
US8368794B2 (en) 2006-09-08 2013-02-05 Sony Corporation Display device and display method that determines intention or status of a user
US10466773B2 (en) 2006-09-08 2019-11-05 Sony Corporation Display device and display method that determines intention or status of a user
WO2008029570A1 (fr) * 2006-09-08 2008-03-13 Sony Corporation Dispositif d'affichage et procédé d'affichage
US9261956B2 (en) 2006-09-08 2016-02-16 Sony Corporation Display device and display method that determines intention or status of a user
US8860867B2 (en) 2006-09-08 2014-10-14 Sony Corporation Display device and display method
JP2009075610A (ja) * 2008-12-04 2009-04-09 Olympus Corp 危険防止機能付きシースルー型表示装置、及びシースルー型表示装置を使用するときの危険防止方法
CN103999472A (zh) * 2011-12-13 2014-08-20 摩托罗拉移动有限责任公司 用于在电子设备处利用流内容的方法和装置
WO2013089943A1 (en) * 2011-12-13 2013-06-20 Motorola Mobility Llc Method and apparatus for utilizing streaming content at an electronic device
US9558591B2 (en) * 2012-01-12 2017-01-31 Samsung Electronics Co., Ltd. Method of providing augmented reality and terminal supporting the same
US20130182012A1 (en) * 2012-01-12 2013-07-18 Samsung Electronics Co., Ltd. Method of providing augmented reality and terminal supporting the same
JPWO2014024649A1 (ja) * 2012-08-06 2016-07-25 ソニー株式会社 画像表示装置および画像表示方法
US10670880B2 (en) 2012-08-06 2020-06-02 Sony Corporation Image display apparatus and image display method
JP2014068096A (ja) * 2012-09-25 2014-04-17 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2013174898A (ja) * 2013-04-10 2013-09-05 Sony Corp 撮像表示装置、撮像表示方法
US10122985B2 (en) 2013-09-30 2018-11-06 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9908049B2 (en) 2013-09-30 2018-03-06 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2016541035A (ja) * 2013-09-30 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
WO2015125364A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 電子機器、および画像の提供方法
JP2016127376A (ja) * 2014-12-26 2016-07-11 株式会社Nttドコモ 音出力装置および音出力装置における音の再生方法
JP2016139881A (ja) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 ヘッドマウントディスプレイ
JP2019533824A (ja) * 2016-07-25 2019-11-21 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
JP7182538B2 (ja) 2016-07-25 2022-12-02 マジック リープ, インコーポレイテッド 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Also Published As

Publication number Publication date
JP3492942B2 (ja) 2004-02-03

Similar Documents

Publication Publication Date Title
JP3492942B2 (ja) 装着型情報呈示装置および方法および記憶媒体
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
EP2862049B1 (en) Reactive user interface for head-mounted display
KR20160074408A (ko) 이동 단말을 이용한 스케줄 알림 방법 및 그 이동 단말
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
KR20080041584A (ko) 촬상 장치, 표시 장치, 촬상 방법, 표시 방법
JP6904352B2 (ja) コンテンツ出力システム、端末装置、コンテンツ出力方法、およびプログラム
KR20170019081A (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
KR20150037251A (ko) 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
US11016723B2 (en) Multi-application control of augmented reality audio
JP2004109995A (ja) 装着型情報呈示装置および方法および記憶媒体
US20240194219A1 (en) Information processing system, information processing method, and recording medium
JP6820431B2 (ja) 下着に基づく身体データ監視方法及び装置
KR20160149100A (ko) 운동 정보 제공 방법 및 이를 위한 웨어러블 장치
JP7455167B2 (ja) ヘッドマウント情報処理装置
WO2019244670A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20200120105A (ko) 전자 장치 및 그의 스트레스 해소를 위한 정보를 제공하는 방법
JP6884854B2 (ja) 音声提供装置、音声提供方法及びプログラム
WO2019054086A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018136776A (ja) 情報処理方法、情報処理装置及びプログラム
KR101871660B1 (ko) 웨어러블 기반의 개인용 자동 기록장치의 운용방법
CN109145010A (zh) 信息查询方法、装置、存储介质及穿戴式设备
JP7252313B2 (ja) ヘッドマウント情報処理装置
KR101689713B1 (ko) 휴대 단말기 및 그 동작 방법
US11170630B2 (en) Audio conditioning chimes

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091114

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees