JP2006309448A

JP2006309448A - ユーザインターフェース装置及び方法

Info

Publication number: JP2006309448A
Application number: JP2005130242A
Authority: JP
Inventors: Nobuya Otani; 伸弥大谷
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-04-27
Filing date: 2005-04-27
Publication date: 2006-11-09

Abstract

【課題】ユーザの操作意図を事前に推定して動作し、又は動作準備を行うことが可能なユーザインターフェース装置及びその方法を提供する。
【解決手段】センサ部２１は、ユーザがマウス１１を操作していない場合であっても、ユーザの状態を常時センシングし続け、センシングした情報を操作意図推定部２２に供給する。操作意図推定部２２は、センシングした多次元の情報に基づいてユーザの操作意図を事前に推定し、推定した操作意図に関する情報を操作子選択部２３に供給する。操作子選択部２３は、推定された操作意図に対応する操作子を選択し、表示制御部１２からの問い合わせに応じて、選択した操作子を通知する。表示制御部１２は、操作子選択部２３から操作子が通知されると、ディスプレイ１３に表示されたマウスカーソルの位置を通知された操作子の位置に合わせる。
【選択図】図１

Description

本発明は、ユーザの操作意図を事前に推定して動作し、又は動作準備を行うことが可能なユーザインターフェース装置及びその方法に関する。

ユーザが操作可能なユーザインターフェース装置においては、例えばポインティングデバイスによるポインティング操作など、ユーザの手を使った物理的な操作に応じて動作するのが通常である。しかしながら、特に四肢麻痺等の重度の障害者にとってはポインティングデバイスの表示位置をディスプレイ上のアイコン等の操作子に合わせることが困難であることから、ユーザの操作負担の軽減が求められていた。

そこで、従来、ポインティングデバイスの１つであるマウスを用いたポインティング操作に、ユーザの視線情報を利用することが提案されている。具体的に、下記非特許文献１では、完全にユーザの視線によりポインティング操作を行うAuto方式や、視線による大まかなポインティングを行った後でポインティングデバイスをマウスに切り替えるManual方式などが提案されている。また、下記特許文献１では、ポインティング操作にユーザの視線情報を利用すると共に、ポインティングデバイスの表示位置に最も近い操作子との間に、ポインティングデバイスを操作子に引き寄せる吸着機能を持たせることが提案されている。このようなポインティングデバイスを備えたユーザインターフェース装置によれば、ポインティング操作に際して、ユーザは基本的に視線を動かすのみでよいため、ユーザの操作負担を軽減することができる。

大和正武外，「一般的なＧＵＩに適した視線・マウス併用型ターゲット選択方式」，情報処理学会ジャーナル，Vol.42，No.06 特開２０００−４７８２３号公報

しかしながら、上記非特許文献１におけるAuto方式では、視線認識の精度に起因してアイコンやメニュー等の選択に長時間を要しており、Manual方式でも、視線を移動させてからでなければ視線の場所を計算できないため、実際にポインティングデバイスの表示位置、すなわちマウスカーソルの位置が初期移動するまでには多少の時間を要していた。また、上記特許文献１のポインティングデバイスは、吸着機能を有しているものの、実際にマウスカーソルの位置が初期移動するまでには多少の時間を要していた。

さらに、あらゆる従来のポインティングデバイスでは、ユーザは現在行っている作業にとって大切な意識・意図を必ずポインティング操作に向けなければならず、ポインティング操作を行おうとする度に、現在の作業に対する注意を反らすこととなっていた。

このような問題は、マウス等のポインティングデバイスを備えたユーザインターフェース装置の場合に限らず、他のユーザインターフェース装置においても同様である。

本発明は、このような従来の実情に鑑みて提案されたものであり、ユーザの操作意図を事前に推定して動作し、又は動作準備を行うことが可能なユーザインターフェース装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係るユーザインターフェース装置は、ユーザによる操作が可能なインターフェース手段と、上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段と、ユーザの状態をセンシングするセンサ手段と、上記センサ手段によってセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定手段と、上記操作意図推定手段によって推定された操作意図に応じて上記処理手段を制御する制御手段とを備えることを特徴とする。

また、上述した目的を達成するために、本発明に係るユーザインターフェース方法は、ユーザによる操作が可能なインターフェース手段と、上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段とを備えたユーザインターフェース装置におけるユーザインターフェース方法であって、ユーザの状態をセンシングするセンシング工程と、上記センシング工程にてセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定工程と、上記操作意図推定工程にて推定された操作意図に応じて上記処理手段を制御する制御工程とを有することを特徴とする。

本発明に係るユーザインターフェース装置及びその方法によれば、センシングしたユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定し、推定された操作意図に応じて動作し、又は動作準備を行うことが可能であるため、ユーザが意図してから操作するまでの時間を短縮することができる。また、この際、ユーザインターフェース装置のユーザがあまり意識しない初期状態について動作又は動作準備を行うようにすれば、誤動作した場合であっても大した問題とは認識されず、ユーザは利便性のみを享受することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

以下では先ず、本発明を、ディスプレイとポインティングデバイスとしてのマウスとを備えたユーザインターフェース装置に適用した例について説明する。図１に示すように、ユーザインターフェース装置１は、インターフェース部１０と、ユーザ意図推定モジュール部２０とに大別される。このうち、インターフェース部１０は、マウス１１と、表示制御部１２と、ディスプレイ１３とを有し、ユーザ意図推定モジュール部２０は、センサ部２１と、操作意図推定部２２と、操作子選択部２３とを有している。

このようなユーザインターフェース装置１において、ユーザがディスプレイ１３に表示されたマウスカーソルを所望の位置に移動させるためにマウス１１を操作すると、その操作に応じた操作信号がマウス１１から表示制御部１２に供給される。表示制御部１２は、この操作信号に基づいて、ディスプレイ１３に表示されたマウスカーソルの位置を変更する。また、ユーザがマウスカーソルの位置をアイコン等の操作子に合わせた状態でマウス１１をクリック等すると、その操作に応じた操作信号がマウス１１から表示制御部１２に供給される。表示制御部１２は、この操作信号に基づいて、ディスプレイ１３の表示内容を変更する。

一方、センサ部２１は、ユーザがマウス１１を操作していない場合であっても、ユーザの状態を常時センシングし続け、センシングした情報を操作意図推定部２２に供給する。このセンサ部２１としては、例えば、ＣＣＤ（Charge Coupled Device）カメラ、赤外線カメラ、マイクロホン、発汗検出器、視線検出器、温度検出器など、ユーザの状態をセンシングできる種々のデバイスを用いることができるが、ユーザが特別な装置を装着する必要のないものが好ましい。また、センシングする情報としては、例えば下記の表１のようなものが挙げられるが、ユーザが意図しなくとも発せられる情報が特に好ましい。なお、この表１において、「落ち着き具合」は、例えばユーザの顔の動き量から判断することができ、「熱中度合い」は、例えばユーザの顔とディスプレイ１３との距離から判断することができる。

操作意図推定部２２は、このセンシングした多次元の情報に基づいてユーザの操作意図を事前に推定し、推定した操作意図に関する情報を操作子選択部２３に供給する。操作子選択部２３は、推定された操作意図に対応する操作子を選択し、上述した表示制御部１２からの問い合わせに応じて、選択した操作子を通知する。表示制御部１２は、操作子選択部２３から操作子が通知されると、ディスプレイ１３に表示されたマウスカーソルの位置を通知された操作子の位置に合わせる。

ここで、ユーザインターフェース装置１における操作子とは、ディスプレイ１３上でマウス１１によるクリック等が可能な箇所であり、各操作子にはユーザの操作意図が対応付けられている。例えば、ディスプレイ１３に表示されたウィンドウの場合、図２に示すような操作子３０〜３８が存在し、操作子３０は、ウィンドウを最小化したいという操作意図に、操作子３１は、ウィンドウを最大化したいという操作意図に、操作子３２は、ウィンドウを閉じたい（クローズ）という操作意図にそれぞれ対応している。また、操作子３３〜３６は、それぞれ表示領域を上、下、左、右にスクロールさせたいという操作意図に対応しており、操作子３７，３８は、それぞれ表示領域を上下、左右にスライドさせたいという操作意図に対応している。

上述した操作意図推定部２２は、センサ部２１でセンシングした多次元の情報を入力とし、推論モデルを用いてユーザの操作意図を推定する。推論モデルとしては、例えば、ベイジアンネットワーク、ダイナミックベイジアンネットワーク、サポートベクタマシン、ブースティング、隠れマルコフモデル、ニューラルネットワーク等を用いることができる。また、単なるｉｆ〜ｔｈｅｎ・・・といった決定論的なモデルを用いることもできる。つまり、センシングした多次元の情報と相関の高い操作意図を１つ選択できる推論モデルであればよい。

以下、操作意図推定部２２における推論モデルとしてベイジアンネットワークを用いる場合について説明する。

ベイジアンネットワークのネットワーク構造を構築するには、先ず「操作意図」のノードと、操作意図と相関があると思われるセンシング可能なノードとを決定し、各ノードの状態を定義する。例えば図３に示すように、「操作意図」のノードに加えて、「発汗量」、「手の場所」、及び「熱中度合い」の各ノードを定義することができる。このうち、「操作意図」のノードの状態としては、「最大化」、「最小化」、「クローズ」、「上スクロール」、「下スクロール」など、各操作子の種類を定義する。また、「発汗量」のノードの状態としては、例えば「多い」、「少ない」、「無い」といった状態を定義し、「手の場所」のノードの状態としては、例えば「マウス」、「顔」、「キーボード」といった状態を定義し、「熱中度合い」のノードの状態としては、例えば「熱中」、「普通」、「飽き」といった状態を定義する。

続いて、このような各ノードを繋ぎ、例えば図４に示すようなネットワーク構造を定義する。このネットワーク構造は、例えばＫ２アルゴリズムを用いて学習データから自動定義してもよく、因果関係を考慮して知識から定義してもよい。その後、例えば図５に示すように、各ノードのパラメータを定義する。このパラメータも、学習データから自動定義してもよく、知識から定義してもよい。

このようにしてベイジアンネットワークのネットワーク構造が構築された後、操作意図推定部２２にセンサ部２１でセンシングした多次元の情報が入力されると、操作意図推定部２２は、入力された多次元の情報に基づいてユーザの操作意図を推定する。例えば図６（Ａ）に示すように、「発汗量」は「多い」、「熱中度合い」は「飽き」、「手の場所」は「顔」という情報が操作意図推定部２２に入力されると、操作意図推定部２２は、同図（Ｂ）に示すように各操作意図についての値を生成する。この結果、「クローズ」の値が最も大きいため、操作意図推定部２２は、ユーザの操作意図を「クローズ」と推定し、「クローズ」に関する情報を操作子選択部２３に供給する。

その後、操作子選択部２３は、「クローズ」に対応する操作子、例えば図２における操作子３２を選択し、表示制御部１２からの問い合わせに応じて、操作子３２に関する情報を通知する。表示制御部１２は、操作子選択部２３から操作子３２に関する情報が通知されると、ディスプレイ１３に表示されたマウスカーソルの位置を操作子３２の位置に合わせる。

このように、上述したユーザインターフェース装置１では、センシングしたユーザの状態からユーザの操作意図を事前に推定し、ディスプレイ１３に表示されたマウスカーソルの位置をその操作意図に対応した操作子の位置に合わせるようにしているため、ユーザは、視線は勿論のこと、意識・意図すら拘束されることなく、マウスカーソルの位置を決定することができる。したがって、ユーザは、マウスカーソルを所望の位置に移動させる間にも現在行っている作業を継続することができ、操作子の確認の瞬間だけ視線や意図・意識を奪われるのみですむ。

なお、上述の説明では、推定した操作意図に対応した操作子の位置にマウスカーソルの位置を合わせて表示するものとしたが、本発明はこれに限定されるものではなく、現在のマウスカーソルの位置と推定した操作意図に対応した操作子の位置との間にマウスカーソルを移動させるようにしても構わない。

また、このユーザインターフェース装置１においては、ユーザがマウスを操作していないときにはディスプレイ上にマウスカーソルを表示しないようにしてもよい。この場合には、ディスプレイ上にマウスカーソルが表示されていない間にユーザの操作意図を推定し、ユーザがマウスを僅かに動かした瞬間に、推定した操作意図に対応した操作子の位置にマウスカーソルの位置を合わせて表示することになる。したがって、仮に操作意図の推定を誤ってしまい、ユーザの操作意図とは異なる位置にマウスカーソルを表示させてしまった場合であっても、ユーザはそもそもマウスカーソルの初期位置を気にしないため、大した誤動作とは認識されない。

次に、本発明を、チューナやＣＤ（Compact Disk）再生部，ＭＤ（Mini-Disk：商標）再生部を備えたオーディオ再生装置としてのユーザインターフェース装置に適用した例について説明する。図７に示すように、ユーザインターフェース装置２は、インターフェース部４０と、ユーザ意図推定モジュール部５０とに大別される。このうち、インターフェース部４０は、操作用ボタン４１と、操作制御部４２とを有し、ユーザ意図推定モジュール部５０は、センサ部５１と、操作意図推定部５２と、操作子選択部５３とを有している。

このようなユーザインターフェース装置２において、ユーザが操作用ボタン４１を押圧操作すると、その操作に応じた操作信号が操作用ボタン４１から操作制御部４２に供給される。操作制御部４２は、この操作信号に基づいて、ラジオ番組を再生したり、ＣＤやＭＤ（商標）を再生したりする。

一方、センサ部５１は、ユーザが操作用ボタン４１を操作していない場合であっても、ユーザの状態を常時センシングし続け、センシングした情報を操作意図推定部５２に供給する。このセンサ部５１としては、上述と同様に、ＣＣＤカメラ、赤外線カメラ、マイクロホン、発汗検出器、視線検出器、温度検出器など、ユーザの状態をセンシングできる種々のデバイスを用いることができる。

操作意図推定部５２は、このセンシングした多次元の情報に基づいてユーザの操作意図を推定し、推定した操作意図に関する情報を操作子選択部５３に供給する。操作子選択部５３は、推定された操作意図に対応する操作子を選択し、上述した操作制御部４２からの問い合わせに応じて、選択した操作子を通知する。操作制御部４２は、操作子選択部５３から操作子が通知されると、その操作子に応じた制御を行う。

ここで、ユーザインターフェース装置２における操作子とは、上述した操作用ボタン４１に近い概念であり、各操作子にはユーザの操作意図が対応付けられている。例えばオーディオ再生装置の場合、図８に示すような操作用ボタン６０〜６６が存在し、操作用ボタン６０は、電源を入れたいという操作意図に、操作用ボタン６１は、音量を調節したいという操作意図に、操作用ボタン６２は、ＭＤ（商標）の再生を停止したいという操作意図に、操作用ボタン６３は、ＭＤ（商標）を再生したいという操作意図に、操作用ボタン６４は、選曲したいという操作意図に、操作用ボタン６５は、ＭＤ（商標）を取り出したいという操作意図にそれぞれ対応している。これらの操作用ボタン６０〜６５は、操作子として把握することができる。一方、操作用ボタン６６は、モードを選択するためのものであるが、これはその押圧操作回数により、ＭＤ（商標）再生モードにしたい、ＣＤ再生モードにしたい、ラジオモードにしたい、ＡＵＸモードにしたいという複数の操作意図に対応する。この操作用ボタン６６においては、ＭＤ（商標）再生モード、ＣＤ再生モード、ラジオモード、ＡＵＸモードといった各モードを操作子として把握することができる。

上述した操作意図推定部５２は、センサ部４１でセンシングした多次元の情報を入力とし、推論モデルを用いてユーザの操作意図を推定する。推論モデルとしては、上述したように、例えばベイジアンネットワークなど、センシングした多次元の情報と相関の高い操作意図を１つ選択できる推論モデルを用いることができる。

以下、操作意図推定部５２における推論モデルとしてベイジアンネットワークを用いる場合について説明する。

ベイジアンネットワークのネットワーク構造を構築するには、先ず「操作意図」のノードと、操作意図と相関があると思われるセンシング可能なノードとを決定し、各ノードの状態を定義する。例えば図９に示すように、「操作意図」のノードに加えて、「操作の時刻」、「手の移動」、及び「環境音スペクトル」の各ノードを定義することができる。このうち、「操作意図」のノードの状態としては、「ＭＤ再生モード」、「ＣＤ再生モード」、「ラジオモード」、「ＡＵＸモード」など、各操作子の種類を定義する。また、「操作の時刻」のノードの状態としては、例えば「朝」、「昼」、「夜」、「深夜」といった状態を定義し、「手の移動」のノードの状態としては、例えば「手の甲を上にして近づく」、「親指を上にして近づく」、「手が近づかない」といった状態を定義し、「環境音スペクトル」のノードの状態としては、例えば「高域」、「中域」、「低域」といった状態を定義する。

続いて、このような各ノードを繋ぎ、例えば図１０に示すようなネットワーク構造を定義する。このネットワーク構造は、例えばＫ２アルゴリズムを用いて学習データから自動定義してもよく、因果関係を考慮して知識から定義してもよい。その後、例えば図１１に示すように、各ノードのパラメータを定義する。このパラメータも、学習データから自動定義してもよく、知識から定義してもよい。

このようにしてベイジアンネットワークのネットワーク構造が構築された後、操作意図推定部５２にセンサ部５１でセンシングした多次元の情報が入力されると、操作意図推定部５２は、入力された多次元の情報に基づいてユーザの操作意図を推定する。例えば図１２（Ａ）に示すように、「操作の時刻」は「夜」、「手の移動」は「手の甲を上にして近づく」、「環境音スペクトル」は「中域」という情報が操作意図推定部５２に入力されると、操作意図推定部５２は、同図（Ｂ）に示すように各操作意図についての値を生成する。この結果、「ＣＤ再生モード」の値が最も大きいため、操作意図推定部５２は、ユーザの操作意図を「ＣＤ再生モード」と推定し、「ＣＤ再生モード」に関する情報を操作子選択部５３に供給する。

その後、操作子選択部２３は、「ＣＤ再生モード」に対応する操作子を選択し、操作制御部４２からの問い合わせに応じて、操作子に関する情報を通知する。操作制御部４２は、操作子選択部５３から操作子に関する情報が通知されると、モードを「ＣＤ再生モード」に変更する。

このように、上述したユーザインターフェース装置２では、センシングしたユーザの状態からユーザの操作意図を事前に推定し、推定した操作意図に応じて操作制御するようにしているため、例えばＣＤ再生に用いた場合には、ユーザがＣＤ再生ボタンを押圧操作する前にＣＤが回転し始めることになり、ユーザが意図してから操作するまでの時間を短縮することができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本実施の形態におけるユーザインターフェース装置の概略構成の一例を示す図である。ディスプレイ上の操作子の一例を示す図である。ベイジアンネットワークで定義されるノードとその状態の一例を示す図である。ノード同士を繋いだネットワーク構造の一例を示す図である。各ノードについて定義されるパラメータの一例を示す図である。ユーザの操作意図の推定例を示す図である。本実施の形態におけるユーザインターフェース装置の概略構成の他の例を示す図である。オーディオ再生装置における操作子を説明するための図である。ベイジアンネットワークで定義されるノードとその状態の一例を示す図である。ノード同士を繋いだネットワーク構造の一例を示す図である。各ノードについて定義されるパラメータの一例を示す図である。ユーザの操作意図の推定例を示す図である。

符号の説明

１，２ユーザインターフェース装置、１０インターフェース部、１１マウス、１２表示制御部、１３ディスプレイ、２０ユーザ意図推定モジュール部、２１センサ部、２２操作意図推定部、２３操作子選択部、４０インターフェース部、４１操作用ボタン、４２操作制御部、５０ユーザ意図推定モジュール部、５１センサ部、５２操作意図推定部、５３操作子選択部

Claims

ユーザによる操作が可能なインターフェース手段と、
上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段と、
ユーザの状態をセンシングするセンサ手段と、
上記センサ手段によってセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定手段と、
上記操作意図推定手段によって推定された操作意図に応じて上記処理手段を制御する制御手段と
を備えることを特徴とするユーザインターフェース装置。
上記インターフェース手段は、ポインティングデバイスを有し、
上記制御手段は、上記ポインティングデバイスによるポインティング位置を、推定された操作意図に応じた位置とするように上記処理手段を制御する
ことを特徴とする請求項１記載のユーザインターフェース装置。
上記推論モデルは、ベイジアンネットワーク、ダイナミックベイジアンネットワーク、サポートベクタマシン、ブースティング、隠れマルコフモデル、ニューラルネットワーク、又は決定論的なモデルであることを特徴とする請求項１記載のユーザインターフェース装置。
ユーザによる操作が可能なインターフェース手段と、上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段とを備えたユーザインターフェース装置におけるユーザインターフェース方法であって、
ユーザの状態をセンシングするセンシング工程と、
上記センシング工程にてセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定工程と、
上記操作意図推定工程にて推定された操作意図に応じて上記処理手段を制御する制御工程と
を有することを特徴とするユーザインターフェース方法。