JP2710912B2 - 情報処理方法 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は情報処理方法に関するも
のである。 【０００２】 【従来の技術】近年になつてオフイスオートメーシヨン
機器（以下、単にＯＡ機器という）は、あらゆる分野へ
進展し、その度合はますます盛んになつている。そし
て、第２次産業革命と伴にＭＭＩ（マンマシーンインタ
ーフエース）の重要性がわかり、その要求が高まつてき
ている。 【０００３】ＭＭＩは人間から見て機械がどの様に見え
るかを問うものであり、一般にユーザフレンドリーを最
も重視している。 【０００４】しかし、第２次産業革命は、人間の頭脳の
一部の替りとなるコンピユーター、特に高性能な半導体
コンピユータであるマイコンを中心としたイノベーシヨ
ンである。ある意味においては機械が人間より優れた側
面をもつものがありインテリジエントな機械に人間がバ
カにされていると思わざるを得ないのが今日のＭＭＩの
現状である。 【０００５】 【発明が解決しようとする課題】その昔、機械が人間の
手足にとつて代つた第１次産業革命の行き過ぎが人間疎
外を生み出した。それをチヤツプリンの“モダンタイム
ス”がシニカルに風刺している。我々は第２のモダンタ
イムスを防ぐために人間性豊かなＭＭＩを創造する必要
性にせまられるわけである。 【０００６】さて、マイコンに代表される機械のインテ
リジエント化は第１次産業革命とは比較にならない程深
刻な人間疎外を生み出している。今日のコンピユータを
中心としたイノベーシヨンは、コンピユータルームから
ＯＡ、ＦＡ（フアクトリオートメーシヨン）、ＨＡ（ホ
ームオートメシヨン）へと質、量とも大幅な変化をと
げ、広範囲にわたつて工場より家庭へと浸透している。
しかし、これは大局的に見ればまだ先駆の波である。今
はまさに、この大波が頭上より覆いかぶさろうとしてい
る段階と言えよう。その中でインテリジエント化され機
械との不適応のため、疎外感が講じてストレス、ノイロ
ーゼになる人が多い。第５世代コンピユータに代表され
る第３次産業革命がまさに勃興しようとしている現在、
これに手を差しのべるのも新しい科学技術の革命であ
り、まさに社会全体がこれを求めている。 【０００７】例えば、最近の情報処理装置においては、
マウス（座標入力デバイスの１つ）でもつて表示画面上
のアイコンを動作させて、所望のメニュー或は処理を選
択する様になつてきて、人間にとつてわかり易いものに
なつてきた。 【０００８】しかし、キーボードとマウスを使いわける
わけであるから、マウスやアイコンとはまやかし的なも
のであつて、決定的（究極的）なものではない。それ
は、相手は機械であり、人間との交流が出来ない所にあ
る。すなわち、人間とは本来本能的に人間も含めた生物
との交流を指向するものであるが、現在の情報処理装置
は残念ながらそこまでは到達していない。 【０００９】また、他の問題は機械に人間があしらわれ
ている事から発生している。だから相手をもつと人間が
親しみを持てるのも、人間や生物に近づける事、究極的
にはサイボーグや高性能ロボツトが目標となるが、各種
情報機器類の擬人化、人格化が大きな一歩となる。 【００１０】 【発明が解決しようとする課題】本発明は、操作者の瞳
の動きが所定の範囲を外れる度合がある値を越えたと判
定された場合、疲労度が激しくなった兆候と判断として
判断し、操作者の瞳の動きの検出に先立って入力され
た、操作者個人が好む画像情報に関する情報に従って決
定された画像を表示画面の一部に表示し、もって操作者
の疲労を回復させることを可能ならしめる情報処理方法
を提供しようとするものである。 【００１１】尚、ＰＭＩはＭＭＩを改善することを目的
としたものであり、パーソナライズとは人格化、個別対
応化の両者の意味をもつている。 【００１２】従つて、本発明は 個別対応を可能とするユーザを識別して好みのＭＭＩ
を自動選択する。 【００１３】習熟度対応 使用総時間、頻度、好み、実績に応じた選択。 【００１４】ＰＭＩモニター これらを実現するためのハードとＯＳを備えている事。 【００１５】ハード構成はＰＭＩを実現する手段と機
器の制御を行う手段を備え、適切なコストの範囲内であ
ること。 【００１６】ユーザ心理に対応するものであるから相
手の連想を引き起こすに必要な情報量だけで良い。従つ
て全画面の高精細、フルカラーである必要はなく、線画
中心の小さなアイコン風キヤラクタで良い。 【００１７】機器に多大な負荷を課すことなく、機器
の状態、オペレーシヨンの種類、自己、故障診断、コマ
ンドに対する理解と対応を、マシンを擬人化してユーザ
に定時間を示し、ユーザ心理に訴える事。 【００１８】以上の様な課題の下、本発明は、操作者自
身がわかりにくい視線の位置を表示することにより操作
者が自分自身の状態を知ることができようにすること、
及び、視線の位置を常時更新表示するのではなく、基準
値を設けてその比較結果によりある程度選択した情報を
表示することにより、視線の状態により変化する表示情
報を見て更に目が疲労するようなことを防ぐこと、を実
現する情報処理方法を提供しようとするものである。 【００１９】 【課題を解決するための手段】この課題を解決するた
め、本発明の情報処理方法は以下の工程を備える。すな
わち、画像情報を表示する表示手段と、前記表示手段の
表示画面に表示する画像情報を制御する制御手段とを有
する情報処理装置における情報処理方法であって、操作
者の瞳の検出に先立って、操作者個人が好む画像情報に
関する情報を入力し、前記情報処理装置の操作者の瞳の
動きが所定の範囲を外れる度合が或る値を越えるか否か
を判断し、操作者の瞳が所定の範囲を外れる度合が或る
値を越えたと判定された場合には、操作者の疲労が激し
くなった兆候と判断し、前記入力された操作者個人が好
む画像情報に関する情報に従って、前記表示制御手段に
より表示画面に表示する画像情報を決定し、前記決定さ
れた画像情報を前記表示画面の一部に表示するよう前記
表示制御手段により制御することを特徴とする。 【００２０】 【作用】かかる本発明において、操作者の瞳が所定の範
囲を外れる度合が或る値を越えた判定された場合、操作
者の瞳の検出に先立って、入力した操作者個人が好む画
像情報に関する情報に従って表示制御手段により表示画
面に表示する画像情報を決定し、その決定された画像情
報を表示画面の一部に表示する。 【００２１】 【実施例】以下、添付図面に従つて本発明に係る実施例
を詳細に説明する。 【００２２】現在の所簡便なＭＭＩの方法として音声入
力装置が活発に提案されている。しかしこれとて、ユー
ザのキー入力の煩わしさから多少開放された程度であつ
て決定的なものではない。特に不特定話者の音声認識は
技術的にも尚難しいところがある。 【００２３】本提案は先きも述べたようにユーザとして
のオペレータの心理的動向を機械の方が読み取つて機械
の方から人間にコミユニケーシヨンを求めて行く所に特
徴がある。 【００２４】ここで、機械の方から音声で応答したり、
その機械を人間が使うかどうかを、機械への接近或いは
静止している状態を検知して、機械の方でセツトアツプ
（パワーＯＮ、イニシヤライズ）に待ちかまえ、音声認
識機能を備え、人間と音声でコミユニケーシヨンする方
法に関してはすでに開示されている。しかし、これはＭ
ＭＩの域を出ておらず、単に機械とのインタフエースを
簡便にした範囲にとどまつていて、オペレーターの心理
状態にまで機械の方からアクセスしなければＰＭＩは実
現しない。 【００２５】さて、本実施例では情報処理装置をＰＣ
（パソコン）やＷＰ（ワードプロセツサ）へ適用した例
で説明する。 【００２６】通常、オペレータはＣＲＴ（表示装置）を
見ながらキーボードを操作するが、機械の方からどのよ
うにしてオペレーターの心理状態を読みとつたら良いだ
ろうか。 【００２７】１つはあらかじめ自分のＩＤ．Ｎｏ（認識
ナンバー）と伴に性格、血液型等を機械に入力しておく
ことが考えられる。２つには、機械の方からセンサーに
よつてオペレーターの目の動き、体温、室温、脈拍、血
圧、それに入力時の誤りからその人の心理状態をチエツ
クする方法等が考えられる。これは、極めてあたり前
の、普遍的な事象をキヤツチするだけであるが、これよ
り、その人の性格、心理状態を機械が把握して、より快
適に親しい友人と接するかのように、メツセージを画面
の一部に、或いは音声によつてアナウンサしても良い。
尚、この他にオペレータの作業時間の経過によつても、
ある程度検出することができる。 【００２８】その生態情報の検出例を第１図に示す。第
１図はオペレータ１がＯＡ機器（例えばワードプロセツ
サ）を操作している状態を示している。尚、図中、２は
表示装置であり、３はキーボード、４はＯＡ眼鏡であ
る。 【００２９】さて、ここで先に説明したオペレータ１の
心理状態を検出するわけであるが、先ずＯＡ眼鏡４につ
いて説明する。 【００３０】ＯＡ眼鏡４に遠赤外線センサーがあって、
オペレータの瞳の動きをたえず追いかける。実際にはＯ
Ａ眼鏡４の一端に遠赤外の微弱な発光素子をおき、目に
投射する。人間の目の瞳は当然黒っぽいから反射光は得
られない（或いは減少する）。瞳を外れると受光素子に
反射光が入る。表示装置２の画面を追っている範囲内で
瞳が動いている時は、瞳からの反射光を受光素子が受け
ないように、受光素子の指向角度を第３図に「画面を見
たときの瞳の移動範囲」として点線で示した範囲に調整
しておき、瞳がこの第３図に示した「画面を見たときの
瞳の移動範囲」を外れ、受光素子が反射光を受光するこ
とが多くなった場合にオペレータ１の疲労度が激しくな
ったとか、気が散りやすくなった兆候であると判断す
る。また、第３図において「画面を見たときの瞳の移動
範囲」及び「キーボードを見たときの瞳の移動範囲」と
して点線で示した範囲内で瞳が動いている場合には、瞳
からの反射光を受けないように受光素子の指向角度を調
整しておくことにより、瞳がこの第３図に示した「画面
を見たときの瞳の移動範囲」及び「キーボードを見たと
きの瞳の移動範囲」を外れ、受光素子が反射光を受光す
ることが多くなった場合にオペレータ１の疲労度が激し
くなったとか、気が散りやすくなった兆候であると判断
しても良い。上記オペレータ１の疲労度が激しくなった
とか、気が散りやすくなった兆候の判断に応じて、画面
に“少し休みましょう”とか、オペレータが好む画像の
一部を出す。画像を出力した例を第４図に示す。第４図
は、オペレータが好む画像である風景画を画面の一部に
表示し、同時にオペレータの好むＢＧＭ（バックグラウ
ンドミュージック）を流した例である。表示する映像及
びＢＧＭは、当然個人毎に好みに違いがあるものである
から、予め装置を作動する前に、自分のＩＤ．ＮＯを入
力する。装置は、より高い確率で各個人の精神状態を判
断するために、瞳の動きに加え、その操作前に入力され
たＩＤ．ＮＯに対応して予め記憶されている個人データ
を利用する。」 【００３１】さて、オペレータの心理状態を検出するた
めには、ここで述べたＯＡ眼鏡だけとは限らない。先に
説明した様にオペレータが機器を使用しているときの環
境（例えば室温や湿度等）、オペレータの体温や脈拍、
血圧、それに入力時の誤り率からも、その人の心理状態
をチエツクすることが可能である。そのために本実施例
ではキーボード３のいくつかのキー（頻繁に使用するキ
ヤリツジリターン・キーやスペース・キーが望ましい）
に感温センサ及び脈拍センサ、更には血圧センサや押下
圧を検出するセンサ等で心理状態の変化を検出すること
もできる。これらの機能を備えたキーボード３よりキー
ボード３を叩く押圧が通常より高くなつたり、まちがつ
たキーを押して訂正する回数をカウントして行き、その
頻度に応じて機械より語りかけ、人間と機械のインタラ
クシヨン（相互作用）しながら、コミユニケーシヨンを
とることが可能である。 【００３２】このように機械の方から察知して、ヒトミ
の動き、入力時のまちがいの頻度、脈拍、体温、血圧の
変化等のオペレータの心理状態を表わす情報を読みとつ
て、疲労の度合を機械が学習して行き、その状況に応じ
た語りかけを行う事が出来ることになる。 【００３３】第５図は本提案によるＯＡ機器を構成する
コントローラのアーキテクチヤーで、近年の目ざましい
半導体プロセス技術の進歩でワンチツプで構成する事が
可能である。第５図の特徴はＣＰＵの他に実際のタスク
を制御するコ・プロセツサ（ＣＯＰ）が必要に応じて複
数チヤネルワンチツプ化されている事である。従つてＣ
ＰＵはこのＣＯＰを管理するＯＳ（オペレーテイングシ
ステム）の実行に専念すれば良い。本実施例のように機
械が人間の心理状態をとらえて学習して行く過程を備え
る事は俗に言うＡＩ（人工知能）に近づく事である。従
つて願くは、高速な複数の並列処理可能なプロセツサが
必要である。 【００３４】図中、レイヤー２はＣＰＵが高速に実行出
来る事を可能にしたマイクロプログラムを内蔵している
事である。人間との相互作用により、その人を理解し行
くため複雑なプログラムを高速に実行するためのもので
ある。 【００３５】レイター３はコープロセツア群であり、通
常１０〜１６チヤンネルのプロセツサが独自に並列動作
することが可能である。ここでは、本発明の趣旨から外
れるので、詳細については省略する。 【００３６】レイヤー４はタイマー／カウンターアレー
であり、ＣＰＵ、ＣＯＰがそれぞれアクセス可能であ
る。尚、ＣＯＰには独自の１６ビツトのタイマカウンタ
ーをそれぞれ１４チヤンネルづつ内蔵されている。ＤＰ
ＲＡＭはデアルポートＲＡＭでＣＰＵとＣＯＰ、又はＣ
ＯＰ同志のデータの交換に用いられる。ＲＡＭは通常の
２クラツチバツドＲＡＭで、ＣＯＰ、ＣＰＵでもアクセ
ス可能である。レイヤー５は外部（コントローラ外）と
のインターフエースに用いられるバスラインであり、Ｓ
バスはシステムバスで外部メモリ、Ｉ／Ｏ等の拡張に用
いられる。 【００３７】ＩバスはＩＣＥ専用のバスであり、システ
ムのデバツクを行う際、この専用のバスから不図示のレ
ジスタＲＡＭの内容をとり出し、見る事が出来る。 【００３８】ＯバスはＩ／Ｏ専用のバスで、Ｉ／Ｏ素子
の拡張に用いる事ができる。 【００３９】ＬＡＮはシリアルＩ／Ｏインターフエース
で所定のプロトコルをプログラムによつて構成し、ＣＯ
Ｐを割り当ててシリアル通信をするものである。 【００４０】第６図は本実施例の情報処理装置を実現す
るためのタスクとＯＳのレイヤーを示す。先に述べた様
に本実施例ではＣＰＵの基に並列に実行可能な複数のＣ
ＯＰがあり、これらＣＯＰのいくつかをＰＭＩ制御にア
サインする事が可能である。このＯＳは通常の機械のコ
ントロール用とＰＭＩ用のＯＳがある。ＰＭＩ用のＯＳ
は先にも述べた様に人間とのインタラクシヨンを通し
て、その人の癖とか性格を理解し徐々に学習して、理解
をいつそう強くするためのＡＩ的機能をもつたＯＳと考
えてよい。その外面にＣＯＰ群があり、それぞれのタス
ク０〜１５を受けもつて並列に処理していく。 【００４１】ＰＭＩ用のタスクとして０〜１５のうち、
どれをＰサインするかはソフトウエア構成によつて決定
すれば良い。又その部度、仕事量に応じてＣＯＰを増し
たり減らしたりしても構わない。 【００４２】以上、説明した処理をするためには、願わ
くばその独自のＯＳ（オペレーテイングシステム）が必
要になる。また、学習機能をもたせたＡＩ的なＰＭＩ−
ＯＳを動作させるには高速な並列処理プロセツサが必要
であり、本アーキシクチヤはこれに合致したシステムと
考えられる。 【００４３】第７図は本システムをＯＡ機器に導入した
場合の構成例を示す。ＰＭＩ用の構成としては生体情報
センサ６、デイスプレイ２の一端にＰＭＩの表示を行
い、かつ音声による報知用のスピーカー７を設けてあ
る。尚、５は装置全体を制御するコントローラであり、
内部にオペレータ毎の基本情報（性格を表わすデータ
や、好みを表わすデータ）が格納されている基本データ
格納部５ａを備えている。 【００４４】このような構成にすれば安価に、従来のマ
ンマシーンインタフエース（ＭＭＩ）とは１つ次元の高
いＰＭＩが容易に実現される。 【００４５】第８図は本実施例における時間経過に伴つ
たＰＭＩのメツセージとアナウンスを示す図である。こ
の図で例えばＯＡ機器に電源を“ＯＮ”したときには、
先ず“おはようございます”を表示するなり、音声で出
力したりするわけである。尚、電源“ＯＮ”時には常に
朝とは限らないから、その時間に応じた挨拶情報を出力
する様にすればよい。次に必要なときにはパスワードや
ＩＤ．Ｎｏを入力する。ここでＩＤ．Ｎｏを入力した
ら、装置はオペレータが誰であるのかが分ることにな
り、以後の精神状態を検出してメツセージを出力すると
きには、その人に最適な出力情報を出力することにな
る。例えば第８図において“テイータイム”（１０時と
３時）に“お茶にしませんか？”というメツセージがあ
るが、その人の好きな飲み物がコーヒーである場合に
は。このメツセージを“コーヒーにしませんか？”とい
う具合に変更することもできるわけである。また、この
とき出力映像も個人差があるものであるから、表示装置
に出力される映像も常に一定と限らない。例えばオペレ
ータの好みに応じて山、海、流行歌手、アイドル、仏像
等の映像を出力してもよいし、音はクラシツク音楽、ポ
ピユラー、鳥のさえずりや海のサザ波等、その人の気を
休める映像と音が出力される。従つてＩＤ．Ｎｏを入力
するということは、装置自身が予め備えている個人別の
基本情報を選択することであり、必要に応じて出力メツ
セージの内容を変更することができるわけである。勿
論、ＩＤ．Ｎｏという概念がないのなら、一般的な出力
情報を出力しも構わないものである。 【００４６】以上説明した様に本実施例によれば、機械
と人間との相互理解が可能になり、ノイローゼ等の精神
的病気から解放され、機械との対話がスムーズに行われ
るようになる。 【００４７】また、生体情報を機械が検知し、機械の方
からオペレーターにアクセスする画期的な方式であるか
ら、機械との親和性は当然強まり、機械の方が使用者に
合せて、その時のコンデイシヨンに応じた呼びかけを行
い、誤りを少なくする事が出来る。 【００４８】また、オペレータ各人毎の基本情報を装置
側に備えていれば、更に適切なメツセージ出力を出力す
ることが可能となる。 【００４９】 【発明の効果】以上説明したように本発明によれば、操
作者の瞳の動きが所定の範囲を外れる度合がある値を越
えたと判定された場合、疲労度が激しくなった兆候と判
断として判断し、操作者の瞳の動きの検出に先立って入
力された、操作者個人が好む画像情報に関する情報に従
って決定された画像を表示画面の一部に表示すること
で、操作者の疲労回復に大きな効果が得られる。 【００５０】

【図面の簡単な説明】 【図１】本実施例の情報処理装置をオペレータが使用し
ている状態を示す図である。 【図２】実施例のＯＡ眼鏡を携帯した状態を示す図、 【図３】図２のＯＡ眼鏡でもつてオペレータの瞳の動き
の範囲を示す図である。 【図４】本実施例における出力情報の一例を示す図であ
る。 【図５】本実施例による情報処理装置を構成するコント
ローラのアーキテクチヤーを示す図である。 【図６】本実施例におけるタスクとオペレーテイングシ
ステムの概要を示す図である。 【図７】本実施例の情報処理装置の基本構成図である。 【図８】本実施例における時間経過における動作状態を
示す図である。 【符号の説明】 １ オペレータ ２ 表示装置 ３ キーボード ４ ＯＡ眼鏡 ５ コントローラ ５ａ 基本データ格納部 ６ 生体情報センサ ７ スピーカー

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭57−117041（ＪＰ，Ａ) 特開 昭57−211635（ＪＰ，Ａ) 特開 昭60−76787（ＪＰ，Ａ)

Claims (1)

1. (57)【特許請求の範囲】 １．画像情報を表示する表示手段と、前記表示手段の表
   示画面に表示する画像情報を制御する制御手段とを有す
   る情報処理装置における情報処理方法であって、 操作者の瞳の検出に先立って、操作者個人が好む画像情
   報に関する情報を入力し、 前記情報処理装置の操作者の瞳の動きが所定の範囲を外
   れる度合が或る値を越えるか否かを判断し、 操作者の瞳が所定の範囲を外れる度合が或る値を越えた
   と判定された場合には、操作者の疲労が激しくなった兆
   候と判断し、前記入力された操作者個人が好む画像情報
   に関する情報に従って、前記表示制御手段により表示画
   面に表示する画像情報を決定し、 前記決定された画像情報を前記表示画面の一部に表示す
   るよう前記表示制御手段により制御することを特徴とす
   る情報処理方法。