JP2007102415A

JP2007102415A - ２つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法

Info

Publication number: JP2007102415A
Application number: JP2005290087A
Authority: JP
Inventors: Fumiaki Kamijo; 文明上條
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-10-03
Filing date: 2005-10-03
Publication date: 2007-04-19

Abstract

【課題】手指の操作や音声を発する必要のないユーザインタフェースの提供。
【解決手段】携帯端末は、ポインティングデバイスと、ユーザの顔画像撮影カメラと、該顔画像から眼球の黒目部分の位置を抽出する手段（画像処理部）と、所定時間間隔で抽出した前記黒目部分の位置から黒目部分の動き及び瞬きの有無を検出する手段（画像解析部）と、を備える。前記顔画像撮影用カメラを主用する第２の入力モード下で、携帯端末は、検出した利用者の眼球の黒目部分の動きを前記ポインティングデバイスの操作情報に置き換え、表示画面中の項目選択手段を前記黒目部分の動きに対応する方向に移動させるとともに、所定時間内に瞬きが２回検出された場合に、前記黒目部分の動きによって移動された項目選択手段の位置にて選択確定処理を行う。
【選択図】図２

Description

本発明は、ポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末、プログラム及び携帯端末への指令入力方法に関し、特に、そのユーザの顔画像撮影カメラを利用した入力インタフェースを実現する技術に関する。

近年の携帯電話機に代表される携帯端末はメールの作成やＷｅｂ閲覧に利用される機会が増えているが、パーソナルコンピュータに比べると操作性は決して良いとはいえない。また機能が豊富化する一方で装置全体の軽小・薄型化の要請もあり、手の不自由な障害者にとっては、操作はより厳しいものとなっている。こうした携帯機器におけるボタンに代る入力インタフェースとして、特開２００２−４９４５５号公報の入力インタフェース装置が知られている。同公報には、撮像装置を用いて操作者の手指の動きの軌跡を抽出する入力インタフェースを備えた携帯情報機器が開示されている。

また、特開２００４−２５２８４９号公報には、障害者向けの冊子自動ページめくり装置において、顔を構成する部位、例えば、眼球の動き（視線方向）に対応する画面上の機能ボタンの位置を認識してユーザの操作意思を受け取るユーザインタフェースが紹介されている。

特開２００２−４９４５５号公報特開２００４−２５２８４９号公報

上述のとおり、携帯端末はその携帯性からさまざまな利用場面での使用が想定されるが、満員電車の車内等、キーボードやマイクを介した操作はもちろん、特許文献１記載の入力インタフェース装置等による手指による操作もままならない状況も考えられる。

また、特許文献２は、瞬き動作が行われた時点での利用者の視線方向に応じた機能ボタンを選択起動する発明であり、垂直ないし水平方向に並んだ３以上の選択肢に容易に対応できないという問題点がある。

本発明は、上記した事情に鑑みてなされたものであって、できる限り周囲の人々に迷惑を掛けずに携帯端末を操作できる入力インタフェースを備えた携帯端末、そのプログラム及び携帯端末への指令入力方法を提供することを目的とする。

本発明の第１の視点によれば、ポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末であって、前記ユーザの顔画像撮影カメラに所定距離で相対した利用者の顔画像を撮像し、該顔画像から眼球の黒目部分の位置を抽出する手段（画像処理部）と、所定時間間隔で抽出した前記黒目部分の位置から黒目部分の動き及び瞬きの有無を検出する手段（画像解析部）と、を備え、前記検出した黒目部分の動きを前記ポインティングデバイスの操作情報に置き換え、表示画面中の項目選択手段を前記黒目部分の動きに対応する方向に移動させるとともに、所定時間内に瞬きが２回検出された場合に、前記黒目部分の動きによって移動された項目選択手段の位置にて選択確定処理を行うこと、を特徴とする携帯端末及びその入力インタフェースを構成するプログラムが提供される。

また、本発明の第２の視点によれば、ポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末への指令入力方法であって、前記携帯端末が、前記ポインティングデバイスを主用する第１の入力モードから前記ユーザの顔画像撮影カメラを主用する第２の入力モードへの移行指令を受け付けるステップと、前記第２の入力モードが選択された状態で、前記携帯端末が、所定時間間隔で、前記ユーザの顔画像撮影カメラに所定距離で相対した利用者の顔画像を撮像し、該顔画像から眼球の黒目部分の位置を抽出するステップと、前記第２の入力モードが選択された状態で、前記携帯端末が、前記黒目部分の位置から黒目部分の動き及び瞬きの有無を検出するステップと、前記第２の入力モードが選択された状態で、前記黒目部分の動きが検出された場合に、前記携帯端末が、前記黒目部分の移動量を前記ポインティングデバイスの操作情報に置き換え、表示画面中の項目選択手段を前記黒目部分の動きに対応する方向に移動させるステップと、前記第２の入力モードが選択された状態で、所定時間内に瞬きが２回検出された場合に、前記携帯端末が、前記黒目部分の動きによって移動された項目選択手段が指し示す項目内容を実行するステップと、を含むこと、を特徴とするポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末への指令入力方法が提供される。

本発明によれば、手指の操作や音声を発することなく、携帯端末の既存の操作メニュー等から一の項目を選び出し、実行させることが可能となる。

続いて、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は、本発明の一実施形態に係る携帯端末の概略構成を表した図である。図１を参照すると、本実施形態に係る携帯端末１００は、カメラ部１１０と、画面表示装置１２０と、入力装置１３０と、携帯端末１００全体を制御する制御部１４０と、画像処理部１５０と、画像解析部１６０と、を備えて構成された携帯電話機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、携帯型コンピュータ等の情報処理装置である。

カメラ部１１０は、携帯端末１００に内蔵ないし装着された撮像機器であり、利用者が画面を見つめた通常使用状態において、正面・所定距離にある利用者の顔に焦点があたるよう指向される。

画面表示装置１２０は、携帯端末の動作選択メニュー、ユーザの入力内容、携帯端末１００の状態やユーザ指令の実行結果を表示するための液晶ディスプレイ装置等である。

入力装置１３０は、カーソルキー式、ダイヤル（ドラム）式、ジョイスティック式、ボール式等の少なくとも一つのポインティングデバイスを含んで構成され、通常入力モード（第１入力モード）において操作情報の入力に主用される入力手段である。

画像処理部１５０は、カメラ部１１０から取り込んだ利用者の顔画像から黒目の位置を抽出し、座標情報として出力する手段である。上記黒目の位置の抽出方法は、特許文献１に記載の画像ブロックの特徴量を用いた方法や、自動赤目補正機能等として実現されている公知の方法を利用することができる。

画像解析部１６０は、画像処理部１５０から所定時間間隔で出力される利用者の黒目の位置の座標情報の変化による黒目の左右上下方向の移動、又は、黒目の座標情報の欠落による瞬き動作を検出する。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図２は、本実施形態に係る携帯端末の動作を表した図である。まず、携帯端末１００の入力装置１３０に含まれる所定キーの押下等が行われると、制御部１４０は、カメラ部１１０、画像処理部１５０、画像解析部１６０を起動し、カメラ操作モード（第２入力モード）への移行動作を行う（ステップＳ１０１）。

続いて、制御部１４０は、画像解析部１６０より、黒目の左右上下方向の移動が検出された場合に（ステップＳ１０２のＹｅｓ）、これをポインティングデバイスの同一方向の操作情報に置き換え（又は、ポインティングデバイスの同一方向の操作情報と見做して）、カーソルを移動させる処理を行う（ステップＳ１０３）。

更に、制御部１４０は、画像解析部１６０より、所定時間内における２回以上の瞬き（有意な瞬き）が検出された場合に（ステップＳ１０４のＹｅｓ）、これを入力装置１３０に配された決定キーの操作情報に置き換え、カーソルによって指示された内容を実行する（ステップＳ１０５）。

図３は、上記した一連の流れに沿って、段階的に機能選択ができるよう構成されたユーザインタフェースの例を表した画面遷移図である。例えば、図３の（ａ）のように、「ＷＥＢ」、「ＭＡＩＬ」、・・・、「（カメラ）入力モード終了」との選択肢が表示された状態で、利用者が下方を見つめることにより、ポインティングデバイスの下方矢印キーを押下したときと同様に「ＭＡＩＬ」が指示された状態にすることができる（図３の（ｂ））。

続く図３の（ｂ）の状態で、利用者が意図的に早く瞬きを２回行うと、決定キーを押下したときと同様に「ＭＡＩＬ」が選択実行され、次画面が表示される（図３の（ｃ））。

更に、図３の（ｃ）の状態で、利用者が意図的に早く瞬きを２回行うと、決定キーを押下したときと同様に「メールボックス」が選択実行され、次画面が表示される（図３の（ｄ））。

そして、図３の（ｄ）の状態で、利用者が下方を見つめることにより、ポインティングデバイスの下方矢印キーを押下したときと同様に「送信箱」が指示された状態にすることができる（図３の（ｅ））。

続く図３の（ｅ）の状態で、利用者が意図的に早く瞬きを２回行うと、決定キーを押下したときと同様に「送信箱」が選択実行され、次画面（送信済みメール表示画面）が表示される（図３の（ｆ））。

なお、図３の（ａ）〜（ｆ）の画面中に配置された「入力モード終了」を選択し、速い瞬き動作を２回行うことによって、上記したカメラ操作モード（第２入力モード）から脱し、通常入力モード（第１入力モード）に戻ることができる。

特に、選択肢が多くなる画面では、図３の（ｆ）のように、選択肢「入力モード終了」を画面上方に固定表示し、その他をスクロールさせるように表示制御を行うことによって、速やかに通常入力モード（第１入力モード）に戻ることが可能となる。

以上のとおり、カメラ部１１０を介して認識される目の動きをポインティングデバイスの操作情報に置き換える本発明によれば、既存のユーザインタフェースを大きく修正することなく適用可能であり、満員電車内等、既存の入力装置を利用できない場面においても携帯端末を操作可能となる。

また、上記特徴を備える本発明は、手指の動きや音声認識を用いるユーザインタフェースのように、ジェスチャーや発声を行う必要がなく、周囲の迷惑や操作内容を他人に悟られることを気にせずに操作できるという利点を有している。

また更に、通常入力モード（第１入力モード）からカメラ操作モード（第２入力モード）への移行操作をワンタッチ・ワンアクションで済むようにすれば、通常入力モード（第１入力モード）と、カメラ操作モード（第２入力モード）とを使用場面に応じて瞬時に切り替えることが可能となる。

本発明の一実施形態に係る携帯端末の概略構成を表した図である。本発明の一実施形態に係る携帯端末の動作を表した図である。本発明の一実施形態に係る携帯端末の動作を説明するための画面遷移図である。

符号の説明

１００携帯端末
１１０カメラ部
１２０画面表示装置
１３０入力装置
１４０制御部
１５０画像処理部
１６０画像解析部

Claims

ポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末であって、
前記ユーザの顔画像撮影カメラに所定距離で相対した利用者の顔画像を撮像し、該顔画像から眼球の黒目部分の位置を抽出する手段と、
所定時間間隔で抽出した前記黒目部分の位置から黒目部分の動き及び瞬きの有無を検出する手段と、を備え、
前記検出した黒目部分の動きを前記ポインティングデバイスの操作情報に置き換え、表示画面中の項目選択手段を前記黒目部分の動きに対応する方向に移動させるとともに、
所定時間内に瞬きが２回検出された場合に、前記黒目部分の動きによって移動された項目選択手段の位置にて選択確定処理を行うこと、
を特徴とする携帯端末。
前記表示画面中の項目選択肢に、前記眼球の黒目部分からの入力を終了する旨の選択肢が含まれていること、
を特徴とする請求項１に記載の携帯端末。
前記携帯端末に実行させる特定の動作と前記黒目部分の移動及び瞬きパターンとを関連付けて記憶する学習機能を備えたこと、
を特徴とする請求項１又は２に記載の携帯端末。
ポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末に実行させるプログラムであって、
前記ユーザの顔画像撮影カメラに所定距離で相対した利用者の顔画像を撮像し、該顔画像から眼球の黒目部分の位置を抽出する処理と、
所定時間間隔で抽出した前記黒目部分の位置から黒目部分の動き及び瞬きの有無を検出する処理と、
前記黒目部分の動きが検出された場合に、前記黒目部分の移動量を前記ポインティングデバイスの操作情報に置き換え、表示画面中の項目選択手段を前記黒目部分の動きに対応する方向に移動させる処理と、
所定時間内に瞬きが２回検出された場合に、前記黒目部分の動きによって移動された項目選択手段が指し示す項目内容を実行する処理と、を前記携帯端末に内蔵されたコンピュータに実行させるプログラム。
前記表示画面中の項目選択肢に、前記眼球の黒目部分からの入力を終了する旨の選択肢が含まれていること、
を特徴とする請求項４に記載のプログラム。
前記携帯端末に実行させる特定の動作と前記黒目部分の移動及び瞬きパターンとを関連付けて記憶する学習機能を実現させること、
を特徴とする請求項４又は５に記載のプログラム。
ポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末への指令入力方法であって、
前記携帯端末が、前記ポインティングデバイスを主用する第１の入力モードから前記ユーザの顔画像撮影カメラを主用する第２の入力モードへの移行指令を受け付けるステップと、
前記第２の入力モードが選択された状態で、前記携帯端末が、所定時間間隔で、前記ユーザの顔画像撮影カメラに所定距離で相対した利用者の顔画像を撮像し、該顔画像から眼球の黒目部分の位置を抽出するステップと、
前記第２の入力モードが選択された状態で、前記携帯端末が、前記黒目部分の位置から黒目部分の動き及び瞬きの有無を検出するステップと、
前記第２の入力モードが選択された状態で、前記黒目部分の動きが検出された場合に、前記携帯端末が、前記黒目部分の移動量を前記ポインティングデバイスの操作情報に置き換え、表示画面中の項目選択手段を前記黒目部分の動きに対応する方向に移動させるステップと、
前記第２の入力モードが選択された状態で、所定時間内に瞬きが２回検出された場合に、前記携帯端末が、前記黒目部分の動きによって移動された項目選択手段が指し示す項目内容を実行するステップと、を含むこと、
を特徴とするポインティングデバイスとユーザの顔画像撮影カメラを備えた携帯端末への指令入力方法。