JP2710912B2 - 情報処理方法 - Google Patents
情報処理方法Info
- Publication number
- JP2710912B2 JP2710912B2 JP5129487A JP12948793A JP2710912B2 JP 2710912 B2 JP2710912 B2 JP 2710912B2 JP 5129487 A JP5129487 A JP 5129487A JP 12948793 A JP12948793 A JP 12948793A JP 2710912 B2 JP2710912 B2 JP 2710912B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- information
- pupil
- information processing
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
Description
【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は情報処理方法に関するも
のである。 【0002】 【従来の技術】近年になつてオフイスオートメーシヨン
機器(以下、単にOA機器という)は、あらゆる分野へ
進展し、その度合はますます盛んになつている。そし
て、第2次産業革命と伴にMMI(マンマシーンインタ
ーフエース)の重要性がわかり、その要求が高まつてき
ている。 【0003】MMIは人間から見て機械がどの様に見え
るかを問うものであり、一般にユーザフレンドリーを最
も重視している。 【0004】しかし、第2次産業革命は、人間の頭脳の
一部の替りとなるコンピユーター、特に高性能な半導体
コンピユータであるマイコンを中心としたイノベーシヨ
ンである。ある意味においては機械が人間より優れた側
面をもつものがありインテリジエントな機械に人間がバ
カにされていると思わざるを得ないのが今日のMMIの
現状である。 【0005】 【発明が解決しようとする課題】その昔、機械が人間の
手足にとつて代つた第1次産業革命の行き過ぎが人間疎
外を生み出した。それをチヤツプリンの“モダンタイム
ス”がシニカルに風刺している。我々は第2のモダンタ
イムスを防ぐために人間性豊かなMMIを創造する必要
性にせまられるわけである。 【0006】さて、マイコンに代表される機械のインテ
リジエント化は第1次産業革命とは比較にならない程深
刻な人間疎外を生み出している。今日のコンピユータを
中心としたイノベーシヨンは、コンピユータルームから
OA、FA(フアクトリオートメーシヨン)、HA(ホ
ームオートメシヨン)へと質、量とも大幅な変化をと
げ、広範囲にわたつて工場より家庭へと浸透している。
しかし、これは大局的に見ればまだ先駆の波である。今
はまさに、この大波が頭上より覆いかぶさろうとしてい
る段階と言えよう。その中でインテリジエント化され機
械との不適応のため、疎外感が講じてストレス、ノイロ
ーゼになる人が多い。第5世代コンピユータに代表され
る第3次産業革命がまさに勃興しようとしている現在、
これに手を差しのべるのも新しい科学技術の革命であ
り、まさに社会全体がこれを求めている。 【0007】例えば、最近の情報処理装置においては、
マウス(座標入力デバイスの1つ)でもつて表示画面上
のアイコンを動作させて、所望のメニュー或は処理を選
択する様になつてきて、人間にとつてわかり易いものに
なつてきた。 【0008】しかし、キーボードとマウスを使いわける
わけであるから、マウスやアイコンとはまやかし的なも
のであつて、決定的(究極的)なものではない。それ
は、相手は機械であり、人間との交流が出来ない所にあ
る。すなわち、人間とは本来本能的に人間も含めた生物
との交流を指向するものであるが、現在の情報処理装置
は残念ながらそこまでは到達していない。 【0009】また、他の問題は機械に人間があしらわれ
ている事から発生している。だから相手をもつと人間が
親しみを持てるのも、人間や生物に近づける事、究極的
にはサイボーグや高性能ロボツトが目標となるが、各種
情報機器類の擬人化、人格化が大きな一歩となる。 【0010】 【発明が解決しようとする課題】本発明は、操作者の瞳
の動きが所定の範囲を外れる度合がある値を越えたと判
定された場合、疲労度が激しくなった兆候と判断として
判断し、操作者の瞳の動きの検出に先立って入力され
た、操作者個人が好む画像情報に関する情報に従って決
定された画像を表示画面の一部に表示し、もって操作者
の疲労を回復させることを可能ならしめる情報処理方法
を提供しようとするものである。 【0011】尚、PMIはMMIを改善することを目的
としたものであり、パーソナライズとは人格化、個別対
応化の両者の意味をもつている。 【0012】従つて、本発明は 個別対応を可能とするユーザを識別して好みのMMI
を自動選択する。 【0013】習熟度対応 使用総時間、頻度、好み、実績に応じた選択。 【0014】PMIモニター これらを実現するためのハードとOSを備えている事。 【0015】ハード構成はPMIを実現する手段と機
器の制御を行う手段を備え、適切なコストの範囲内であ
ること。 【0016】ユーザ心理に対応するものであるから相
手の連想を引き起こすに必要な情報量だけで良い。従つ
て全画面の高精細、フルカラーである必要はなく、線画
中心の小さなアイコン風キヤラクタで良い。 【0017】機器に多大な負荷を課すことなく、機器
の状態、オペレーシヨンの種類、自己、故障診断、コマ
ンドに対する理解と対応を、マシンを擬人化してユーザ
に定時間を示し、ユーザ心理に訴える事。 【0018】以上の様な課題の下、本発明は、操作者自
身がわかりにくい視線の位置を表示することにより操作
者が自分自身の状態を知ることができようにすること、
及び、視線の位置を常時更新表示するのではなく、基準
値を設けてその比較結果によりある程度選択した情報を
表示することにより、視線の状態により変化する表示情
報を見て更に目が疲労するようなことを防ぐこと、を実
現する情報処理方法を提供しようとするものである。 【0019】 【課題を解決するための手段】この課題を解決するた
め、本発明の情報処理方法は以下の工程を備える。すな
わち、画像情報を表示する表示手段と、前記表示手段の
表示画面に表示する画像情報を制御する制御手段とを有
する情報処理装置における情報処理方法であって、操作
者の瞳の検出に先立って、操作者個人が好む画像情報に
関する情報を入力し、前記情報処理装置の操作者の瞳の
動きが所定の範囲を外れる度合が或る値を越えるか否か
を判断し、操作者の瞳が所定の範囲を外れる度合が或る
値を越えたと判定された場合には、操作者の疲労が激し
くなった兆候と判断し、前記入力された操作者個人が好
む画像情報に関する情報に従って、前記表示制御手段に
より表示画面に表示する画像情報を決定し、前記決定さ
れた画像情報を前記表示画面の一部に表示するよう前記
表示制御手段により制御することを特徴とする。 【0020】 【作用】かかる本発明において、操作者の瞳が所定の範
囲を外れる度合が或る値を越えた判定された場合、操作
者の瞳の検出に先立って、入力した操作者個人が好む画
像情報に関する情報に従って表示制御手段により表示画
面に表示する画像情報を決定し、その決定された画像情
報を表示画面の一部に表示する。 【0021】 【実施例】以下、添付図面に従つて本発明に係る実施例
を詳細に説明する。 【0022】現在の所簡便なMMIの方法として音声入
力装置が活発に提案されている。しかしこれとて、ユー
ザのキー入力の煩わしさから多少開放された程度であつ
て決定的なものではない。特に不特定話者の音声認識は
技術的にも尚難しいところがある。 【0023】本提案は先きも述べたようにユーザとして
のオペレータの心理的動向を機械の方が読み取つて機械
の方から人間にコミユニケーシヨンを求めて行く所に特
徴がある。 【0024】ここで、機械の方から音声で応答したり、
その機械を人間が使うかどうかを、機械への接近或いは
静止している状態を検知して、機械の方でセツトアツプ
(パワーON、イニシヤライズ)に待ちかまえ、音声認
識機能を備え、人間と音声でコミユニケーシヨンする方
法に関してはすでに開示されている。しかし、これはM
MIの域を出ておらず、単に機械とのインタフエースを
簡便にした範囲にとどまつていて、オペレーターの心理
状態にまで機械の方からアクセスしなければPMIは実
現しない。 【0025】さて、本実施例では情報処理装置をPC
(パソコン)やWP(ワードプロセツサ)へ適用した例
で説明する。 【0026】通常、オペレータはCRT(表示装置)を
見ながらキーボードを操作するが、機械の方からどのよ
うにしてオペレーターの心理状態を読みとつたら良いだ
ろうか。 【0027】1つはあらかじめ自分のID.No(認識
ナンバー)と伴に性格、血液型等を機械に入力しておく
ことが考えられる。2つには、機械の方からセンサーに
よつてオペレーターの目の動き、体温、室温、脈拍、血
圧、それに入力時の誤りからその人の心理状態をチエツ
クする方法等が考えられる。これは、極めてあたり前
の、普遍的な事象をキヤツチするだけであるが、これよ
り、その人の性格、心理状態を機械が把握して、より快
適に親しい友人と接するかのように、メツセージを画面
の一部に、或いは音声によつてアナウンサしても良い。
尚、この他にオペレータの作業時間の経過によつても、
ある程度検出することができる。 【0028】その生態情報の検出例を第1図に示す。第
1図はオペレータ1がOA機器(例えばワードプロセツ
サ)を操作している状態を示している。尚、図中、2は
表示装置であり、3はキーボード、4はOA眼鏡であ
る。 【0029】さて、ここで先に説明したオペレータ1の
心理状態を検出するわけであるが、先ずOA眼鏡4につ
いて説明する。 【0030】OA眼鏡4に遠赤外線センサーがあって、
オペレータの瞳の動きをたえず追いかける。実際にはO
A眼鏡4の一端に遠赤外の微弱な発光素子をおき、目に
投射する。人間の目の瞳は当然黒っぽいから反射光は得
られない(或いは減少する)。瞳を外れると受光素子に
反射光が入る。表示装置2の画面を追っている範囲内で
瞳が動いている時は、瞳からの反射光を受光素子が受け
ないように、受光素子の指向角度を第3図に「画面を見
たときの瞳の移動範囲」として点線で示した範囲に調整
しておき、瞳がこの第3図に示した「画面を見たときの
瞳の移動範囲」を外れ、受光素子が反射光を受光するこ
とが多くなった場合にオペレータ1の疲労度が激しくな
ったとか、気が散りやすくなった兆候であると判断す
る。また、第3図において「画面を見たときの瞳の移動
範囲」及び「キーボードを見たときの瞳の移動範囲」と
して点線で示した範囲内で瞳が動いている場合には、瞳
からの反射光を受けないように受光素子の指向角度を調
整しておくことにより、瞳がこの第3図に示した「画面
を見たときの瞳の移動範囲」及び「キーボードを見たと
きの瞳の移動範囲」を外れ、受光素子が反射光を受光す
ることが多くなった場合にオペレータ1の疲労度が激し
くなったとか、気が散りやすくなった兆候であると判断
しても良い。上記オペレータ1の疲労度が激しくなった
とか、気が散りやすくなった兆候の判断に応じて、画面
に“少し休みましょう”とか、オペレータが好む画像の
一部を出す。画像を出力した例を第4図に示す。第4図
は、オペレータが好む画像である風景画を画面の一部に
表示し、同時にオペレータの好むBGM(バックグラウ
ンドミュージック)を流した例である。表示する映像及
びBGMは、当然個人毎に好みに違いがあるものである
から、予め装置を作動する前に、自分のID.NOを入
力する。装置は、より高い確率で各個人の精神状態を判
断するために、瞳の動きに加え、その操作前に入力され
たID.NOに対応して予め記憶されている個人データ
を利用する。」 【0031】さて、オペレータの心理状態を検出するた
めには、ここで述べたOA眼鏡だけとは限らない。先に
説明した様にオペレータが機器を使用しているときの環
境(例えば室温や湿度等)、オペレータの体温や脈拍、
血圧、それに入力時の誤り率からも、その人の心理状態
をチエツクすることが可能である。そのために本実施例
ではキーボード3のいくつかのキー(頻繁に使用するキ
ヤリツジリターン・キーやスペース・キーが望ましい)
に感温センサ及び脈拍センサ、更には血圧センサや押下
圧を検出するセンサ等で心理状態の変化を検出すること
もできる。これらの機能を備えたキーボード3よりキー
ボード3を叩く押圧が通常より高くなつたり、まちがつ
たキーを押して訂正する回数をカウントして行き、その
頻度に応じて機械より語りかけ、人間と機械のインタラ
クシヨン(相互作用)しながら、コミユニケーシヨンを
とることが可能である。 【0032】このように機械の方から察知して、ヒトミ
の動き、入力時のまちがいの頻度、脈拍、体温、血圧の
変化等のオペレータの心理状態を表わす情報を読みとつ
て、疲労の度合を機械が学習して行き、その状況に応じ
た語りかけを行う事が出来ることになる。 【0033】第5図は本提案によるOA機器を構成する
コントローラのアーキテクチヤーで、近年の目ざましい
半導体プロセス技術の進歩でワンチツプで構成する事が
可能である。第5図の特徴はCPUの他に実際のタスク
を制御するコ・プロセツサ(COP)が必要に応じて複
数チヤネルワンチツプ化されている事である。従つてC
PUはこのCOPを管理するOS(オペレーテイングシ
ステム)の実行に専念すれば良い。本実施例のように機
械が人間の心理状態をとらえて学習して行く過程を備え
る事は俗に言うAI(人工知能)に近づく事である。従
つて願くは、高速な複数の並列処理可能なプロセツサが
必要である。 【0034】図中、レイヤー2はCPUが高速に実行出
来る事を可能にしたマイクロプログラムを内蔵している
事である。人間との相互作用により、その人を理解し行
くため複雑なプログラムを高速に実行するためのもので
ある。 【0035】レイター3はコープロセツア群であり、通
常10〜16チヤンネルのプロセツサが独自に並列動作
することが可能である。ここでは、本発明の趣旨から外
れるので、詳細については省略する。 【0036】レイヤー4はタイマー/カウンターアレー
であり、CPU、COPがそれぞれアクセス可能であ
る。尚、COPには独自の16ビツトのタイマカウンタ
ーをそれぞれ14チヤンネルづつ内蔵されている。DP
RAMはデアルポートRAMでCPUとCOP、又はC
OP同志のデータの交換に用いられる。RAMは通常の
2クラツチバツドRAMで、COP、CPUでもアクセ
ス可能である。レイヤー5は外部(コントローラ外)と
のインターフエースに用いられるバスラインであり、S
バスはシステムバスで外部メモリ、I/O等の拡張に用
いられる。 【0037】IバスはICE専用のバスであり、システ
ムのデバツクを行う際、この専用のバスから不図示のレ
ジスタRAMの内容をとり出し、見る事が出来る。 【0038】OバスはI/O専用のバスで、I/O素子
の拡張に用いる事ができる。 【0039】LANはシリアルI/Oインターフエース
で所定のプロトコルをプログラムによつて構成し、CO
Pを割り当ててシリアル通信をするものである。 【0040】第6図は本実施例の情報処理装置を実現す
るためのタスクとOSのレイヤーを示す。先に述べた様
に本実施例ではCPUの基に並列に実行可能な複数のC
OPがあり、これらCOPのいくつかをPMI制御にア
サインする事が可能である。このOSは通常の機械のコ
ントロール用とPMI用のOSがある。PMI用のOS
は先にも述べた様に人間とのインタラクシヨンを通し
て、その人の癖とか性格を理解し徐々に学習して、理解
をいつそう強くするためのAI的機能をもつたOSと考
えてよい。その外面にCOP群があり、それぞれのタス
ク0〜15を受けもつて並列に処理していく。 【0041】PMI用のタスクとして0〜15のうち、
どれをPサインするかはソフトウエア構成によつて決定
すれば良い。又その部度、仕事量に応じてCOPを増し
たり減らしたりしても構わない。 【0042】以上、説明した処理をするためには、願わ
くばその独自のOS(オペレーテイングシステム)が必
要になる。また、学習機能をもたせたAI的なPMI−
OSを動作させるには高速な並列処理プロセツサが必要
であり、本アーキシクチヤはこれに合致したシステムと
考えられる。 【0043】第7図は本システムをOA機器に導入した
場合の構成例を示す。PMI用の構成としては生体情報
センサ6、デイスプレイ2の一端にPMIの表示を行
い、かつ音声による報知用のスピーカー7を設けてあ
る。尚、5は装置全体を制御するコントローラであり、
内部にオペレータ毎の基本情報(性格を表わすデータ
や、好みを表わすデータ)が格納されている基本データ
格納部5aを備えている。 【0044】このような構成にすれば安価に、従来のマ
ンマシーンインタフエース(MMI)とは1つ次元の高
いPMIが容易に実現される。 【0045】第8図は本実施例における時間経過に伴つ
たPMIのメツセージとアナウンスを示す図である。こ
の図で例えばOA機器に電源を“ON”したときには、
先ず“おはようございます”を表示するなり、音声で出
力したりするわけである。尚、電源“ON”時には常に
朝とは限らないから、その時間に応じた挨拶情報を出力
する様にすればよい。次に必要なときにはパスワードや
ID.Noを入力する。ここでID.Noを入力した
ら、装置はオペレータが誰であるのかが分ることにな
り、以後の精神状態を検出してメツセージを出力すると
きには、その人に最適な出力情報を出力することにな
る。例えば第8図において“テイータイム”(10時と
3時)に“お茶にしませんか?”というメツセージがあ
るが、その人の好きな飲み物がコーヒーである場合に
は。このメツセージを“コーヒーにしませんか?”とい
う具合に変更することもできるわけである。また、この
とき出力映像も個人差があるものであるから、表示装置
に出力される映像も常に一定と限らない。例えばオペレ
ータの好みに応じて山、海、流行歌手、アイドル、仏像
等の映像を出力してもよいし、音はクラシツク音楽、ポ
ピユラー、鳥のさえずりや海のサザ波等、その人の気を
休める映像と音が出力される。従つてID.Noを入力
するということは、装置自身が予め備えている個人別の
基本情報を選択することであり、必要に応じて出力メツ
セージの内容を変更することができるわけである。勿
論、ID.Noという概念がないのなら、一般的な出力
情報を出力しも構わないものである。 【0046】以上説明した様に本実施例によれば、機械
と人間との相互理解が可能になり、ノイローゼ等の精神
的病気から解放され、機械との対話がスムーズに行われ
るようになる。 【0047】また、生体情報を機械が検知し、機械の方
からオペレーターにアクセスする画期的な方式であるか
ら、機械との親和性は当然強まり、機械の方が使用者に
合せて、その時のコンデイシヨンに応じた呼びかけを行
い、誤りを少なくする事が出来る。 【0048】また、オペレータ各人毎の基本情報を装置
側に備えていれば、更に適切なメツセージ出力を出力す
ることが可能となる。 【0049】 【発明の効果】以上説明したように本発明によれば、操
作者の瞳の動きが所定の範囲を外れる度合がある値を越
えたと判定された場合、疲労度が激しくなった兆候と判
断として判断し、操作者の瞳の動きの検出に先立って入
力された、操作者個人が好む画像情報に関する情報に従
って決定された画像を表示画面の一部に表示すること
で、操作者の疲労回復に大きな効果が得られる。 【0050】
のである。 【0002】 【従来の技術】近年になつてオフイスオートメーシヨン
機器(以下、単にOA機器という)は、あらゆる分野へ
進展し、その度合はますます盛んになつている。そし
て、第2次産業革命と伴にMMI(マンマシーンインタ
ーフエース)の重要性がわかり、その要求が高まつてき
ている。 【0003】MMIは人間から見て機械がどの様に見え
るかを問うものであり、一般にユーザフレンドリーを最
も重視している。 【0004】しかし、第2次産業革命は、人間の頭脳の
一部の替りとなるコンピユーター、特に高性能な半導体
コンピユータであるマイコンを中心としたイノベーシヨ
ンである。ある意味においては機械が人間より優れた側
面をもつものがありインテリジエントな機械に人間がバ
カにされていると思わざるを得ないのが今日のMMIの
現状である。 【0005】 【発明が解決しようとする課題】その昔、機械が人間の
手足にとつて代つた第1次産業革命の行き過ぎが人間疎
外を生み出した。それをチヤツプリンの“モダンタイム
ス”がシニカルに風刺している。我々は第2のモダンタ
イムスを防ぐために人間性豊かなMMIを創造する必要
性にせまられるわけである。 【0006】さて、マイコンに代表される機械のインテ
リジエント化は第1次産業革命とは比較にならない程深
刻な人間疎外を生み出している。今日のコンピユータを
中心としたイノベーシヨンは、コンピユータルームから
OA、FA(フアクトリオートメーシヨン)、HA(ホ
ームオートメシヨン)へと質、量とも大幅な変化をと
げ、広範囲にわたつて工場より家庭へと浸透している。
しかし、これは大局的に見ればまだ先駆の波である。今
はまさに、この大波が頭上より覆いかぶさろうとしてい
る段階と言えよう。その中でインテリジエント化され機
械との不適応のため、疎外感が講じてストレス、ノイロ
ーゼになる人が多い。第5世代コンピユータに代表され
る第3次産業革命がまさに勃興しようとしている現在、
これに手を差しのべるのも新しい科学技術の革命であ
り、まさに社会全体がこれを求めている。 【0007】例えば、最近の情報処理装置においては、
マウス(座標入力デバイスの1つ)でもつて表示画面上
のアイコンを動作させて、所望のメニュー或は処理を選
択する様になつてきて、人間にとつてわかり易いものに
なつてきた。 【0008】しかし、キーボードとマウスを使いわける
わけであるから、マウスやアイコンとはまやかし的なも
のであつて、決定的(究極的)なものではない。それ
は、相手は機械であり、人間との交流が出来ない所にあ
る。すなわち、人間とは本来本能的に人間も含めた生物
との交流を指向するものであるが、現在の情報処理装置
は残念ながらそこまでは到達していない。 【0009】また、他の問題は機械に人間があしらわれ
ている事から発生している。だから相手をもつと人間が
親しみを持てるのも、人間や生物に近づける事、究極的
にはサイボーグや高性能ロボツトが目標となるが、各種
情報機器類の擬人化、人格化が大きな一歩となる。 【0010】 【発明が解決しようとする課題】本発明は、操作者の瞳
の動きが所定の範囲を外れる度合がある値を越えたと判
定された場合、疲労度が激しくなった兆候と判断として
判断し、操作者の瞳の動きの検出に先立って入力され
た、操作者個人が好む画像情報に関する情報に従って決
定された画像を表示画面の一部に表示し、もって操作者
の疲労を回復させることを可能ならしめる情報処理方法
を提供しようとするものである。 【0011】尚、PMIはMMIを改善することを目的
としたものであり、パーソナライズとは人格化、個別対
応化の両者の意味をもつている。 【0012】従つて、本発明は 個別対応を可能とするユーザを識別して好みのMMI
を自動選択する。 【0013】習熟度対応 使用総時間、頻度、好み、実績に応じた選択。 【0014】PMIモニター これらを実現するためのハードとOSを備えている事。 【0015】ハード構成はPMIを実現する手段と機
器の制御を行う手段を備え、適切なコストの範囲内であ
ること。 【0016】ユーザ心理に対応するものであるから相
手の連想を引き起こすに必要な情報量だけで良い。従つ
て全画面の高精細、フルカラーである必要はなく、線画
中心の小さなアイコン風キヤラクタで良い。 【0017】機器に多大な負荷を課すことなく、機器
の状態、オペレーシヨンの種類、自己、故障診断、コマ
ンドに対する理解と対応を、マシンを擬人化してユーザ
に定時間を示し、ユーザ心理に訴える事。 【0018】以上の様な課題の下、本発明は、操作者自
身がわかりにくい視線の位置を表示することにより操作
者が自分自身の状態を知ることができようにすること、
及び、視線の位置を常時更新表示するのではなく、基準
値を設けてその比較結果によりある程度選択した情報を
表示することにより、視線の状態により変化する表示情
報を見て更に目が疲労するようなことを防ぐこと、を実
現する情報処理方法を提供しようとするものである。 【0019】 【課題を解決するための手段】この課題を解決するた
め、本発明の情報処理方法は以下の工程を備える。すな
わち、画像情報を表示する表示手段と、前記表示手段の
表示画面に表示する画像情報を制御する制御手段とを有
する情報処理装置における情報処理方法であって、操作
者の瞳の検出に先立って、操作者個人が好む画像情報に
関する情報を入力し、前記情報処理装置の操作者の瞳の
動きが所定の範囲を外れる度合が或る値を越えるか否か
を判断し、操作者の瞳が所定の範囲を外れる度合が或る
値を越えたと判定された場合には、操作者の疲労が激し
くなった兆候と判断し、前記入力された操作者個人が好
む画像情報に関する情報に従って、前記表示制御手段に
より表示画面に表示する画像情報を決定し、前記決定さ
れた画像情報を前記表示画面の一部に表示するよう前記
表示制御手段により制御することを特徴とする。 【0020】 【作用】かかる本発明において、操作者の瞳が所定の範
囲を外れる度合が或る値を越えた判定された場合、操作
者の瞳の検出に先立って、入力した操作者個人が好む画
像情報に関する情報に従って表示制御手段により表示画
面に表示する画像情報を決定し、その決定された画像情
報を表示画面の一部に表示する。 【0021】 【実施例】以下、添付図面に従つて本発明に係る実施例
を詳細に説明する。 【0022】現在の所簡便なMMIの方法として音声入
力装置が活発に提案されている。しかしこれとて、ユー
ザのキー入力の煩わしさから多少開放された程度であつ
て決定的なものではない。特に不特定話者の音声認識は
技術的にも尚難しいところがある。 【0023】本提案は先きも述べたようにユーザとして
のオペレータの心理的動向を機械の方が読み取つて機械
の方から人間にコミユニケーシヨンを求めて行く所に特
徴がある。 【0024】ここで、機械の方から音声で応答したり、
その機械を人間が使うかどうかを、機械への接近或いは
静止している状態を検知して、機械の方でセツトアツプ
(パワーON、イニシヤライズ)に待ちかまえ、音声認
識機能を備え、人間と音声でコミユニケーシヨンする方
法に関してはすでに開示されている。しかし、これはM
MIの域を出ておらず、単に機械とのインタフエースを
簡便にした範囲にとどまつていて、オペレーターの心理
状態にまで機械の方からアクセスしなければPMIは実
現しない。 【0025】さて、本実施例では情報処理装置をPC
(パソコン)やWP(ワードプロセツサ)へ適用した例
で説明する。 【0026】通常、オペレータはCRT(表示装置)を
見ながらキーボードを操作するが、機械の方からどのよ
うにしてオペレーターの心理状態を読みとつたら良いだ
ろうか。 【0027】1つはあらかじめ自分のID.No(認識
ナンバー)と伴に性格、血液型等を機械に入力しておく
ことが考えられる。2つには、機械の方からセンサーに
よつてオペレーターの目の動き、体温、室温、脈拍、血
圧、それに入力時の誤りからその人の心理状態をチエツ
クする方法等が考えられる。これは、極めてあたり前
の、普遍的な事象をキヤツチするだけであるが、これよ
り、その人の性格、心理状態を機械が把握して、より快
適に親しい友人と接するかのように、メツセージを画面
の一部に、或いは音声によつてアナウンサしても良い。
尚、この他にオペレータの作業時間の経過によつても、
ある程度検出することができる。 【0028】その生態情報の検出例を第1図に示す。第
1図はオペレータ1がOA機器(例えばワードプロセツ
サ)を操作している状態を示している。尚、図中、2は
表示装置であり、3はキーボード、4はOA眼鏡であ
る。 【0029】さて、ここで先に説明したオペレータ1の
心理状態を検出するわけであるが、先ずOA眼鏡4につ
いて説明する。 【0030】OA眼鏡4に遠赤外線センサーがあって、
オペレータの瞳の動きをたえず追いかける。実際にはO
A眼鏡4の一端に遠赤外の微弱な発光素子をおき、目に
投射する。人間の目の瞳は当然黒っぽいから反射光は得
られない(或いは減少する)。瞳を外れると受光素子に
反射光が入る。表示装置2の画面を追っている範囲内で
瞳が動いている時は、瞳からの反射光を受光素子が受け
ないように、受光素子の指向角度を第3図に「画面を見
たときの瞳の移動範囲」として点線で示した範囲に調整
しておき、瞳がこの第3図に示した「画面を見たときの
瞳の移動範囲」を外れ、受光素子が反射光を受光するこ
とが多くなった場合にオペレータ1の疲労度が激しくな
ったとか、気が散りやすくなった兆候であると判断す
る。また、第3図において「画面を見たときの瞳の移動
範囲」及び「キーボードを見たときの瞳の移動範囲」と
して点線で示した範囲内で瞳が動いている場合には、瞳
からの反射光を受けないように受光素子の指向角度を調
整しておくことにより、瞳がこの第3図に示した「画面
を見たときの瞳の移動範囲」及び「キーボードを見たと
きの瞳の移動範囲」を外れ、受光素子が反射光を受光す
ることが多くなった場合にオペレータ1の疲労度が激し
くなったとか、気が散りやすくなった兆候であると判断
しても良い。上記オペレータ1の疲労度が激しくなった
とか、気が散りやすくなった兆候の判断に応じて、画面
に“少し休みましょう”とか、オペレータが好む画像の
一部を出す。画像を出力した例を第4図に示す。第4図
は、オペレータが好む画像である風景画を画面の一部に
表示し、同時にオペレータの好むBGM(バックグラウ
ンドミュージック)を流した例である。表示する映像及
びBGMは、当然個人毎に好みに違いがあるものである
から、予め装置を作動する前に、自分のID.NOを入
力する。装置は、より高い確率で各個人の精神状態を判
断するために、瞳の動きに加え、その操作前に入力され
たID.NOに対応して予め記憶されている個人データ
を利用する。」 【0031】さて、オペレータの心理状態を検出するた
めには、ここで述べたOA眼鏡だけとは限らない。先に
説明した様にオペレータが機器を使用しているときの環
境(例えば室温や湿度等)、オペレータの体温や脈拍、
血圧、それに入力時の誤り率からも、その人の心理状態
をチエツクすることが可能である。そのために本実施例
ではキーボード3のいくつかのキー(頻繁に使用するキ
ヤリツジリターン・キーやスペース・キーが望ましい)
に感温センサ及び脈拍センサ、更には血圧センサや押下
圧を検出するセンサ等で心理状態の変化を検出すること
もできる。これらの機能を備えたキーボード3よりキー
ボード3を叩く押圧が通常より高くなつたり、まちがつ
たキーを押して訂正する回数をカウントして行き、その
頻度に応じて機械より語りかけ、人間と機械のインタラ
クシヨン(相互作用)しながら、コミユニケーシヨンを
とることが可能である。 【0032】このように機械の方から察知して、ヒトミ
の動き、入力時のまちがいの頻度、脈拍、体温、血圧の
変化等のオペレータの心理状態を表わす情報を読みとつ
て、疲労の度合を機械が学習して行き、その状況に応じ
た語りかけを行う事が出来ることになる。 【0033】第5図は本提案によるOA機器を構成する
コントローラのアーキテクチヤーで、近年の目ざましい
半導体プロセス技術の進歩でワンチツプで構成する事が
可能である。第5図の特徴はCPUの他に実際のタスク
を制御するコ・プロセツサ(COP)が必要に応じて複
数チヤネルワンチツプ化されている事である。従つてC
PUはこのCOPを管理するOS(オペレーテイングシ
ステム)の実行に専念すれば良い。本実施例のように機
械が人間の心理状態をとらえて学習して行く過程を備え
る事は俗に言うAI(人工知能)に近づく事である。従
つて願くは、高速な複数の並列処理可能なプロセツサが
必要である。 【0034】図中、レイヤー2はCPUが高速に実行出
来る事を可能にしたマイクロプログラムを内蔵している
事である。人間との相互作用により、その人を理解し行
くため複雑なプログラムを高速に実行するためのもので
ある。 【0035】レイター3はコープロセツア群であり、通
常10〜16チヤンネルのプロセツサが独自に並列動作
することが可能である。ここでは、本発明の趣旨から外
れるので、詳細については省略する。 【0036】レイヤー4はタイマー/カウンターアレー
であり、CPU、COPがそれぞれアクセス可能であ
る。尚、COPには独自の16ビツトのタイマカウンタ
ーをそれぞれ14チヤンネルづつ内蔵されている。DP
RAMはデアルポートRAMでCPUとCOP、又はC
OP同志のデータの交換に用いられる。RAMは通常の
2クラツチバツドRAMで、COP、CPUでもアクセ
ス可能である。レイヤー5は外部(コントローラ外)と
のインターフエースに用いられるバスラインであり、S
バスはシステムバスで外部メモリ、I/O等の拡張に用
いられる。 【0037】IバスはICE専用のバスであり、システ
ムのデバツクを行う際、この専用のバスから不図示のレ
ジスタRAMの内容をとり出し、見る事が出来る。 【0038】OバスはI/O専用のバスで、I/O素子
の拡張に用いる事ができる。 【0039】LANはシリアルI/Oインターフエース
で所定のプロトコルをプログラムによつて構成し、CO
Pを割り当ててシリアル通信をするものである。 【0040】第6図は本実施例の情報処理装置を実現す
るためのタスクとOSのレイヤーを示す。先に述べた様
に本実施例ではCPUの基に並列に実行可能な複数のC
OPがあり、これらCOPのいくつかをPMI制御にア
サインする事が可能である。このOSは通常の機械のコ
ントロール用とPMI用のOSがある。PMI用のOS
は先にも述べた様に人間とのインタラクシヨンを通し
て、その人の癖とか性格を理解し徐々に学習して、理解
をいつそう強くするためのAI的機能をもつたOSと考
えてよい。その外面にCOP群があり、それぞれのタス
ク0〜15を受けもつて並列に処理していく。 【0041】PMI用のタスクとして0〜15のうち、
どれをPサインするかはソフトウエア構成によつて決定
すれば良い。又その部度、仕事量に応じてCOPを増し
たり減らしたりしても構わない。 【0042】以上、説明した処理をするためには、願わ
くばその独自のOS(オペレーテイングシステム)が必
要になる。また、学習機能をもたせたAI的なPMI−
OSを動作させるには高速な並列処理プロセツサが必要
であり、本アーキシクチヤはこれに合致したシステムと
考えられる。 【0043】第7図は本システムをOA機器に導入した
場合の構成例を示す。PMI用の構成としては生体情報
センサ6、デイスプレイ2の一端にPMIの表示を行
い、かつ音声による報知用のスピーカー7を設けてあ
る。尚、5は装置全体を制御するコントローラであり、
内部にオペレータ毎の基本情報(性格を表わすデータ
や、好みを表わすデータ)が格納されている基本データ
格納部5aを備えている。 【0044】このような構成にすれば安価に、従来のマ
ンマシーンインタフエース(MMI)とは1つ次元の高
いPMIが容易に実現される。 【0045】第8図は本実施例における時間経過に伴つ
たPMIのメツセージとアナウンスを示す図である。こ
の図で例えばOA機器に電源を“ON”したときには、
先ず“おはようございます”を表示するなり、音声で出
力したりするわけである。尚、電源“ON”時には常に
朝とは限らないから、その時間に応じた挨拶情報を出力
する様にすればよい。次に必要なときにはパスワードや
ID.Noを入力する。ここでID.Noを入力した
ら、装置はオペレータが誰であるのかが分ることにな
り、以後の精神状態を検出してメツセージを出力すると
きには、その人に最適な出力情報を出力することにな
る。例えば第8図において“テイータイム”(10時と
3時)に“お茶にしませんか?”というメツセージがあ
るが、その人の好きな飲み物がコーヒーである場合に
は。このメツセージを“コーヒーにしませんか?”とい
う具合に変更することもできるわけである。また、この
とき出力映像も個人差があるものであるから、表示装置
に出力される映像も常に一定と限らない。例えばオペレ
ータの好みに応じて山、海、流行歌手、アイドル、仏像
等の映像を出力してもよいし、音はクラシツク音楽、ポ
ピユラー、鳥のさえずりや海のサザ波等、その人の気を
休める映像と音が出力される。従つてID.Noを入力
するということは、装置自身が予め備えている個人別の
基本情報を選択することであり、必要に応じて出力メツ
セージの内容を変更することができるわけである。勿
論、ID.Noという概念がないのなら、一般的な出力
情報を出力しも構わないものである。 【0046】以上説明した様に本実施例によれば、機械
と人間との相互理解が可能になり、ノイローゼ等の精神
的病気から解放され、機械との対話がスムーズに行われ
るようになる。 【0047】また、生体情報を機械が検知し、機械の方
からオペレーターにアクセスする画期的な方式であるか
ら、機械との親和性は当然強まり、機械の方が使用者に
合せて、その時のコンデイシヨンに応じた呼びかけを行
い、誤りを少なくする事が出来る。 【0048】また、オペレータ各人毎の基本情報を装置
側に備えていれば、更に適切なメツセージ出力を出力す
ることが可能となる。 【0049】 【発明の効果】以上説明したように本発明によれば、操
作者の瞳の動きが所定の範囲を外れる度合がある値を越
えたと判定された場合、疲労度が激しくなった兆候と判
断として判断し、操作者の瞳の動きの検出に先立って入
力された、操作者個人が好む画像情報に関する情報に従
って決定された画像を表示画面の一部に表示すること
で、操作者の疲労回復に大きな効果が得られる。 【0050】
【図面の簡単な説明】
【図1】本実施例の情報処理装置をオペレータが使用し
ている状態を示す図である。 【図2】実施例のOA眼鏡を携帯した状態を示す図、 【図3】図2のOA眼鏡でもつてオペレータの瞳の動き
の範囲を示す図である。 【図4】本実施例における出力情報の一例を示す図であ
る。 【図5】本実施例による情報処理装置を構成するコント
ローラのアーキテクチヤーを示す図である。 【図6】本実施例におけるタスクとオペレーテイングシ
ステムの概要を示す図である。 【図7】本実施例の情報処理装置の基本構成図である。 【図8】本実施例における時間経過における動作状態を
示す図である。 【符号の説明】 1 オペレータ 2 表示装置 3 キーボード 4 OA眼鏡 5 コントローラ 5a 基本データ格納部 6 生体情報センサ 7 スピーカー
ている状態を示す図である。 【図2】実施例のOA眼鏡を携帯した状態を示す図、 【図3】図2のOA眼鏡でもつてオペレータの瞳の動き
の範囲を示す図である。 【図4】本実施例における出力情報の一例を示す図であ
る。 【図5】本実施例による情報処理装置を構成するコント
ローラのアーキテクチヤーを示す図である。 【図6】本実施例におけるタスクとオペレーテイングシ
ステムの概要を示す図である。 【図7】本実施例の情報処理装置の基本構成図である。 【図8】本実施例における時間経過における動作状態を
示す図である。 【符号の説明】 1 オペレータ 2 表示装置 3 キーボード 4 OA眼鏡 5 コントローラ 5a 基本データ格納部 6 生体情報センサ 7 スピーカー
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 昭57−117041(JP,A)
特開 昭57−211635(JP,A)
特開 昭60−76787(JP,A)
Claims (1)
- (57)【特許請求の範囲】 1.画像情報を表示する表示手段と、前記表示手段の表
示画面に表示する画像情報を制御する制御手段とを有す
る情報処理装置における情報処理方法であって、 操作者の瞳の検出に先立って、操作者個人が好む画像情
報に関する情報を入力し、 前記情報処理装置の操作者の瞳の動きが所定の範囲を外
れる度合が或る値を越えるか否かを判断し、 操作者の瞳が所定の範囲を外れる度合が或る値を越えた
と判定された場合には、操作者の疲労が激しくなった兆
候と判断し、前記入力された操作者個人が好む画像情報
に関する情報に従って、前記表示制御手段により表示画
面に表示する画像情報を決定し、 前記決定された画像情報を前記表示画面の一部に表示す
るよう前記表示制御手段により制御することを特徴とす
る情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5129487A JP2710912B2 (ja) | 1993-05-31 | 1993-05-31 | 情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5129487A JP2710912B2 (ja) | 1993-05-31 | 1993-05-31 | 情報処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP61175718A Division JPS6332624A (ja) | 1986-07-28 | 1986-07-28 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0651902A JPH0651902A (ja) | 1994-02-25 |
JP2710912B2 true JP2710912B2 (ja) | 1998-02-10 |
Family
ID=15010700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5129487A Expired - Lifetime JP2710912B2 (ja) | 1993-05-31 | 1993-05-31 | 情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2710912B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6076787A (ja) * | 1983-10-04 | 1985-05-01 | 日本電信電話株式会社 | バイオフイ−ドバツク制御装置 |
JPS60220417A (ja) * | 1984-04-16 | 1985-11-05 | Nec Corp | コ−ド入力装置 |
-
1993
- 1993-05-31 JP JP5129487A patent/JP2710912B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0651902A (ja) | 1994-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4894777A (en) | Operator mental condition detector | |
EP3559935B1 (en) | Hands-free navigation of touch-based operating systems | |
US5751260A (en) | Sensory integrated data interface | |
US20230131646A1 (en) | Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio | |
US20180329510A1 (en) | Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking | |
US20090153468A1 (en) | Virtual Interface System | |
JP7258766B2 (ja) | 割り込みに対するゲーム内反応 | |
JP2000276610A (ja) | ユーザインタフェース方法、情報処理装置およびプログラム記憶媒体 | |
WO2008054983A2 (en) | Method and apparatus for providing realtime feedback in a voice dialog system | |
CN103353826B (zh) | 一种显示设备及其信息处理方法 | |
US20230053767A1 (en) | System, game console and method for adjusting a virtual environment | |
JP2710912B2 (ja) | 情報処理方法 | |
TW202138971A (zh) | 互動方法、裝置、互動系統、電子設備及存儲介質 | |
Boster et al. | When you can't touch a touch screen | |
CN115033133B (zh) | 渐进式的信息展示方法、装置、电子设备及存储介质 | |
JP2017162268A (ja) | 対話システムおよび制御プログラム | |
WO2005041010A2 (en) | Interactive system and method for controlling an interactive system | |
Wilkes et al. | Designing for human‐robot symbiosis | |
US20180061104A1 (en) | Systems and methods for displaying a control scheme over virtual reality content | |
Mallas et al. | A descriptive model of passive and natural passive human-computer interaction | |
Chan et al. | Integration of assistive technologies into 3D simulations: an exploratory study | |
KR20010017811A (ko) | 인터넷 홈페이지를 통한 영상 및 음성에 따라 움직이는 로봇 및 그 제어 시스템 | |
US20240066399A1 (en) | Smooth switchover of computer game control | |
EP4080329A1 (en) | Wearable control system and method to control an ear-worn device | |
WO2021192712A1 (ja) | 情報処理装置、情報処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 19951003 |
|
EXPY | Cancellation because of completion of term |