JP2004252849A

JP2004252849A - ユーザインタフェース装置および意思伝達方法

Info

Publication number: JP2004252849A
Application number: JP2003044367A
Authority: JP
Inventors: Kinya Matsuzawa; 欣也松澤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-02-21
Filing date: 2003-02-21
Publication date: 2004-09-09

Abstract

【課題】顔を構成する部位の動きを読み取って装置に使用者の意思を伝達することで、頁めくり等、装置の動きを自動コントロールする。
【解決手段】対象物に対する動きが規定されるボタンが配置された装置に対して使用者の意思を伝達するユーザインタフェース装置であって、使用者の顔を構成する部位の動きを読み取り、ボタンの位置を認識して使用者の意思を伝達する意思伝達部１０を備える。意思伝達部１０は、使用者の眼球運動を測定して視線方向を判定する視線方向判定部１１と、所定回数の瞬き、もしくは所定時間の直視を検出して使用者の意思を伝達する意思伝達起動部１２から成る。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、特に、障害者向けの冊子自動頁めくり装置に用いて好適な、ユーザインタフェース装置および意思伝達方法に関する。
【０００２】
【従来の技術】
従来、上記した冊子自動頁めくり装置における頁めくりの指示は、リモコンボタンによる操作がほとんどであった。また、リモコンボタンでの操作が困難な場合は、例えば、吸気、タッチ式ビッグボタン、音声スイッチ等のサブスイッチにより、頁めくりを実現していた。尚、従来技術としては特許文献１〜４が公開されている（特許文献１〜４参照）。
【０００３】
【特許文献１】
特開平５−１２４３７７号公報
【特許文献２】
特開平５−１８９６０２号公報
【特許文献３】
特開平５−３１３６６５号公報
【特許文献４】
特開平６−３０８３７１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、身体障害者が文字を読む場合、必ずしも上記した吸気や音声等が使用可能であるとは限らない。但し、本を読むために、目は必要最低限の機能を有しているものと推測される。従って、目からの合図（サイン）のみで冊子の自動頁めくりを実現できれば好ましく、そのための冊子自動頁めくり装置の出現が望まれていた。
一方、特許文献４では、視線方向の検出に関して、瞬きはノイズとして処理されていたが、この瞬きをサインとして捉え、頁めくりのためのトリガとして扱えることができれば、自動で頁めくりを行う冊子自動頁めくり装置への適用が可能である。
【０００５】
本発明は上記事情に鑑みてなされたものであり、顔を構成する部位の動きを読み取って装置に使用者の意思を伝達することにより、頁めくり等、装置の動きを自動コントロール可能な、ユーザインタフェース装置および意思伝達方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記した課題を解決するために本発明は、対象物に対する動きが規定される機能ボタンが配置された装置に対して使用者の意思を伝達するユーザインタフェース装置であって、前記使用者の顔を構成する部位の動きを読み取り、前記機能ボタンの位置を認識して使用者の意思を伝達する意思伝達部、を備えたことを特徴とする。
【０００７】
本発明によれば、意思伝達部が、使用者の顔を構成する部位の動きを読み取り、機能ボタンの位置を認識して使用者の意思を伝達することにより、従来、ボタンを押す能力や吸気を吹き込む身体能力が備わっていなければ実現できなかった、例えば、冊子自動頁めくりの操作が、目や口等顔を構成するパーツの機能のみが健丈であれば実現できるユーザインタフェースを提供することができる。
【０００８】
また、本発明において、前記意思伝達部は、前記使用者の眼球運動を測定して視線方向を判定する視線方向判定部と、所定回数の瞬き、もしくは所定時間の直視を検出して前記使用者の意思を伝達する意思伝達起動部と、を備えることを特徴とする。
【０００９】
本発明によれば、視線方向判定部が使用者の眼球運動を測定して視線方向を判定し、意志伝達起動部が所定回数の瞬き、もしくは所定時間の直視を検出して使用者の意思を伝達することにより、例えば、自動冊子頁めくりの操作が実現できるユーザインタフェースを提供することができる。
【００１０】
また、本発明において、前記視線方向判定部は、カメラにより撮影された映像を画像処理して瞳孔中心を検出し、所定の演算式を演算することによって視線方向を判定することを特徴とする。
【００１１】
本発明によれば、視線方向判定部が、カメラにより撮影された映像を画像処理して瞳孔中心を検出し、所定の演算式を演算することによって視線方向を判定することで、従来、ボタンを押す能力や吸気を吹き込む身体能力が備わっていなければ実現できなかった、例えば、冊子自動頁めくりの操作が実現できるユーザインタフェースを提供することができる。
【００１２】
また、本発明において、前記意思伝達部は、目に赤外線もしくは超音波を照射してその反射光をセンサで捕らえ、所定回数の瞬き、もしくは所定時間の直視を検出して前記使用者の意思を伝達することを特徴とする。
【００１３】
本発明によれば、意思伝達部が、目に赤外線もしくは超音波を照射してその反射光をセンサで捕らえ、所定回数の瞬き、もしくは所定時間の直視を検出して使用者の意思を伝達することで、視線方向を判定することなく簡易の冊子自動頁めくり装置を実現できる。
【００１４】
上記した課題を解決するために本発明は、対象物に対する動きが規定される機能ボタンが配置された装置に対して使用者の意思を伝達する意思伝達方法であって、前記使用者の顔を構成する部位の動きを読み取り、前記機能ボタンの位置を認識して使用者の意思を伝達すること、を特徴とする。
【００１５】
本発明によれば、使用者の顔を構成する部位の動きを読み取り、機能ボタンの位置を認識して使用者の意思を伝達することにより、従来、機能ボタンを押す能力や吸気を吹き込む身体能力が備わっていなければ実現できなかった、例えば、冊子自動頁めくりの操作が、目や口等顔を構成するパーツの機能のみが健丈であれば実現できる。
【００１６】
【発明の実施の形態】
図１は、本発明のユーザインタフェース装置の内部構成を示すブロック図であり、ここでは、冊子自動頁めくり装置が示されている。
本発明は、対象物に対する動きが規定される機能ボタンが配置された、例えば冊子自動頁めくり装置に対して使用者の意思を伝達するユーザインタフェース装置であって、使用者の顔を構成する部位の動きを読み取り、機能ボタンの位置を認識して使用者の意思を伝達する意思伝達部１０を備える。
【００１７】
この意志伝達部１０は、使用者の眼球運動を測定して視線方向を判定する視線方向判定部１１と、所定回数の瞬き、もしくは所定時間の直視を検出して使用者の意思を伝達する意思伝達起動部１２で構成される。
視線方向判定部１１、意志伝達起動部１２は共に、画像処理部１３による画像処理結果を入力として得、ここで視線方向を判定し、あるいは瞬き、直視を検出した結果は、装置制御部１４に供給され、装置制御部１４で、例えば、冊子自動頁めくり等が制御される。
【００１８】
図２は、本発明の一実施形態を説明するために引用した図である。ここでは、装置の上部に単眼カメラ２１が装着されており、また、装置上に、「左頁めくり」、「キャンセル」、「目次」、「右頁めくり」の各操作指示ボタン（それぞれ、２２〜２５）が機能ボタンとして割付けられ配置されている。また、０〜９の数字ボタン２６も機能ボタンとして割付けられ配置されている。２７は、頁めくりの対象となる冊子である。
【００１９】
図６は、本発明実施形態の動作を説明するために引用したフローチャートである。以下、図６に示すフローチャートを参照しながら図１、図２に示す本発明一実施形態の動作について説明する。
図２に示す実施形態は、視線の方向を判別できる赤外線センサを搭載した単眼カメラ２１で人間の目の視線方向を認識し、その目のサインを単眼カメラ２１による撮影画像を画像認識することで判別するものである。
例えば、単眼カメラ２１により撮影された映像を画像認識により、読者がボタン「左頁めくり」を見ていることを判定し（Ｓ６１）、次に、読者が、２回／秒程度の速さで瞬きをしたら（Ｓ６２Ｙｅｓ）同じく画像認識により、自動で「左頁めくり」の操作を起動する（Ｓ６３「左頁めくり」）。視線方向の判定は図１に示す意志伝達部１０を構成する視線方向判定部１１が、また、装置に対する左頁めくりの起動は、同じく意志伝達部１０を構成する意思伝達起動部１２が行う。
【００２０】
なお、視線方向判定部１１による視線方向の判定は眼球運動を測定することにより実践される。眼球運動の測定原理には多数あるが、その代表例を以下に列挙する。
一つは、上記したように、画像処理によるものである。すなわち、眼球自体の映像を画像処理し、瞳孔中心を検出して視線方向を判定する方法である。また、他の一つは、目に微弱赤外線を照射してその反射光をセンタで捉えて視線方向を判定する方法である。白目の部分は、黒目の部分に比較して光の反射率が高いため、視線方向が変化すると眼球で反射される光の量も変化する。これを光電変換することで視線方向を判定することができる。
【００２１】
他に、角膜反射法、眼球電位法（ＥＯＧ：Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｐｈｙ）がある。前者は、角膜で反射された光を捉えることにより視線方向を判定し、後者は、眼球が前側と後側で異なる電位を持つことから、眼球の上下に電極を付けて眼球が回転した際に眼球の前側と後側の電位差を検出することで視線方向を判定するものである。
いずれもカメラを頭部に固定する必要があることからここでは用いない。
【００２２】
なお、「目次」、「右頁めくり」の動作についても同様である。また、数字ボタン２６を順番に、「１」、「６」と見た後、「右頁めくり」ボタンを見ながら２回／秒程度の速さで瞬きを検出したら１６頁分を纏めて右頁めくりを実行することも可能である。また、操作を途中でキャンセルしたい場合は、キャンセルボタン２３を見ながら、同様に２回／秒程度の速さで瞬きを行うことにより実現できる。
更に、サインは、２回／秒の瞬きに限らず、２回以上／秒程度の速さ、一定時間以上の直視であっても構わない。また、順方向は勿論、「左頁めくり」等逆方向めくり、「目次」へのジャンプ、上記した複数頁めくり等々様々な操作が可能である。
【００２３】
次に、ステレオカメラを装着した場合の実施形態について図３、図６を参照しながら説明する。
ここでは視線方向を判別できるように、単眼カメラを複数（３１、３２）装着してステレオカメラとし、ステレオ視で読者の目を認識し、そのサインを画像認識で判別する。例えば、ステレオカメラ３１、３２により撮影された映像を画像認識により、読者がボタン「左頁めくり」を見ていることを判定し（Ｓ６１）、次に、読者が、２回／秒程度の速さで瞬きをしたら（Ｓ６２Ｙｅｓ）同じく画像認識により、自動で「左頁めくり」の操作を起動する（Ｓ６３「左頁めくり」）。視線方向の判定は図１に示す意志伝達部１０を構成する視線方向判定部１１が、また、左頁めくりの起動は、同じく意志伝達部１０を構成する意思伝達起動部１２が行う。
【００２４】
なお、視線方向判定部１１による視線方向の判定は、図２に示す実施形態同様、眼球運動を測定することにより実践される。また、ステレオカメラを装着した場合は、単眼カメラの光の反射特性を距離情報として用い、三角測量により視線の方向を認識することになる。
【００２５】
次に、図４、図５を用いて他の実施形態について説明する。図４、図５は共に視線方向を判別することなく、サインの認識のみで冊子自動頁めくりを実現する単機能版であり、超音波を用い（図４）、あるいは赤外線を用いて認識する（図５）それぞれの例を示す。
【００２６】
図４に示す実施形態では超音波センサ４１、４２が装着される。超音波センサ４１、４２で受信される瞬き信号を感知することで判別するものである。例えば、読者が右方向を向きながら瞬きをした場合と、左方向を向きながら瞬きをした場合とでは、左右の超音波センサ４１、４２による受信信号のレベルは異なり、それによっていずれの方向に頁をめくれば良いかを判断することができる。
瞬きの速さはカメラを用いた実施形態同様、２回／秒程度を検出した場合、信号認識により頁をめくることとする。本実施形態においては、正面を向いて規定の瞬きをした場合に「目次」に戻ることになる。ここでは、視線方向を認識しない単機能版であるため、割り付けられるボタンは、図２、図３に示す実施形態に比較して少ないものとなっている。
【００２７】
なお、サインは、２回／秒程度の瞬きに限らず、２回以上／数秒程度の速さ、一定時間以上の直視であっても良い。また、片目だけの瞬きでも頁めくりの判断は可能である。更に、順方向めくりは勿論のこと、逆方向めくり、目次へのジャンプ等、割り付けるボタンは任意である。
【００２８】
図５に示す実施形態では赤外線センサ５１、５２が装着される。赤外線センサ５１、５２で受信される瞬き信号を感知することで判別するものである。例えば、読者が右方向を向きながら瞬きをした場合と、左方向を向きながら瞬きをした場合とでは、左右の赤外線センサ５１、５２による受信信号のレベルは異なり、それによっていずれの方向に頁をめくれば良いかを判断することができる。
瞬きの速さはカメラや超音波を用いた実施形態同様、２回／秒程度を検出した場合、信号認識により頁をめくることとする。本実施形態においては、正面を向いて規定の瞬きをした場合に「目次」に戻ることになる。ここでは、視線方向を認識しない単機能版であるため、割り付けられるボタンは、図２、図３に示す実施形態に比較して少ないものとなっている。
【００２９】
なお、サインは、２回／秒程度の瞬きに限らず、２回以上／数秒程度の速さ、一定時間以上の直視であっても良い。また、片目だけの瞬きでも頁めくりの判断は可能である。更に、順方向めくりは勿論のこと、逆方向めくり、目次へのジャンプ等、割り付けるボタンは任意である。
【００３０】
更に、単眼カメラやステレオカメラを用いた単機能版も考えられ、この場合のサインは、片目のみで頁をめくりたい方向を向く等のパターンが考えられる。
【００３１】
なお、カメラによる視線方向の判定については、その原理、演算式ともに、「小池英樹、外２名、「机型実世界指向システムにおける紙と電子情報の統合および手指による実時間インタラクションの実現」、情報処理学会論文誌、Ｖｏｌ．４２、Ｎｏ．３、ｐｐ．５７７−５８５、Ｍａｒｃｈ２００１」や、「松田圭司、外１名「高速楕円近似による視線位置計測システム」、第９回生体・生理工学シンポジウム論文集、ｐ．１２７−Ｐ．１３０、１９９４」や、「坂井孝光、外１名「顔と視線の移動を許容するリアルタイム電子瞳孔計の開発」、日本エム・イー学会甲信越支部・北陸支部合同大会ポスターセッション、Ａｕｇｕｓｔ３１，２００２」などに記述されている。
また、上記した本発明実施形態によれば、顔のパーツとして目の動きについてのみ例示したが、口の動きについても同様に認識することで応用が可能である。また、対象として冊子についてのみ示したが、電子書籍についても同様に応用が可能である。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【図１】本発明の内部構成を示すブロック図である。
【図２】本発明の一実施形態を示す図である。
【図３】本発明の他の実施形態を示す図である。
【図４】本発明の更に他の実施形態を示す図である。
【図５】本発明の更に他の実施形態を示す図である。
【図６】本発明一実施形態の動作を示すフローチャートである。
【符号の説明】
１０…意志伝達部、１１…視線方向判定部、１２…意思伝達起動部、１３…画像処理部、１４…装置制御部、２１、３１、３２…単眼カメラ、２２〜２６…機能ボタン、２７…冊子、４１、４２…超音波センサ、５１、５２…赤外線センサ

Claims

対象物に対する動きが規定される機能ボタンが配置された装置に対して使用者の意思を伝達するユーザインタフェース装置であって、
前記使用者の顔を構成する部位の動きを読み取り、前記機能ボタンの位置を認識して使用者の意思を伝達する意思伝達部、
を備えたことを特徴とするユーザインタフェース装置。
前記意思伝達部は、
前記使用者の眼球運動を測定して視線方向を判定する視線方向判定部と、
所定回数の瞬き、もしくは所定時間の直視を検出して前記使用者の意思を伝達する意思伝達起動部と、
を備えることを特徴とする請求項１に記載のユーザインタフェース装置。
前記視線方向判定部は、
カメラにより撮影された映像を画像処理して瞳孔中心を検出し、所定の演算式を演算することによって視線方向を判定することを特徴とする請求項２に記載のユーザインタフェース装置。
前記意思伝達部は、
目に赤外線もしくは超音波を照射してその反射光をセンサで捕らえ、所定回数の瞬き、もしくは所定時間の直視を検出して前記使用者の意思を伝達することを特徴とする請求項１に記載のユーザインタフェース装置。
対象物に対する動きが規定される機能ボタンが配置された装置に対して使用者の意思を伝達する意思伝達方法であって、
前記使用者の顔を構成する部位の動きを読み取り、前記機能ボタンの位置を認識して使用者の意思を伝達すること、
を特徴とする意思伝達方法。