JP3796840B2 - 身振り入力装置及びそれを含む入力装置 - Google Patents
身振り入力装置及びそれを含む入力装置 Download PDFInfo
- Publication number
- JP3796840B2 JP3796840B2 JP25658396A JP25658396A JP3796840B2 JP 3796840 B2 JP3796840 B2 JP 3796840B2 JP 25658396 A JP25658396 A JP 25658396A JP 25658396 A JP25658396 A JP 25658396A JP 3796840 B2 JP3796840 B2 JP 3796840B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- input
- input device
- operator
- swing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は操作者の首振り動作を観察してその肯定意志、否定意志を自動的に判断し、対話式入力を行う身振り入力装置及びそれを含む入力装置に関する。
【０００２】
【従来の技術】
従来、パーソナルコンピュータやワードプロセッサ等、情報入力を行う電子機器において操作者と対話式手続によって情報入力を行い、演算処理を行う入力装置において、操作者の身振り動作を自動的に認識してその肯定、否定の意志を判断し、入力処理を行うものとして、特開昭６２−１００８２６号公報に開示されたものが知られている。
【０００３】
この従来の身振り入力装置は、操作者の頭部に装着して頭部の回転運動による変動を検出する手段を備え、操作者が表示装置に表示されるシステムの質問に対して首振り動作によって肯定、否定の意志表示を行うことにより、その首振り動作を自動的に認識してＹＥＳ，ＮＯの入力を行うようにしたものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、この従来の身振り入力装置には、操作者が肯定若しくは否定の首振り動作をしても、システム側でどのように受け取ったのか操作者にリアクションする手段がなく、操作者の行った首振り動作を肯定意志と認識したか、否定意志と認識したか、それともいずれの認識もしなかったのかを操作者が直ちに判断することができず、その後のシステム側の動作を見てようやく、システムが操作者の首振り動作をどのように認識したを判断できるものであった。
【０００５】
本発明はこのような従来の問題点に鑑みてなされたもので、システム側が操作者の身振り動作を自動的に認識して肯定意志と判断した場合と否定意志と判断した場合とで表示装置に表示される表示物を異なった表示態様で変化させるリアクションを行わせることによって、操作者の身振り動作に対して正しく認識したかどうかを操作者がその動作直後に直ちに判別することができる身振り入力装置及びそれを含む入力装置を提供することを目的とする。
【０００６】
本発明はまた、肯定、否定の意志表示動作に加えてアンドゥ意志表示動作をも認識することができる身振り入力装置及びそれを含む入力装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１の発明の身振り入力装置は、操作者に対する質問表示である表示物を表示する表示手段と、操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段とを備えたものである。
【０００８】
この請求項１の発明の身振り入力装置では、表示手段に表示されている質問表示に対して操作者が縦に首を振って肯定意志を表示した時、若しくは横に首を振って否定意志を表示した時、操作者の顔面の動きから首振り方向検出手段がその首振り方向を縦方向であるか横方向であるかを検出し、意志判断手段が首振り方向が縦方向であれば肯定の意志を示し、横方向であれば否定の意志を示したと判断する。そして入力認識手段は、意志判断手段が肯定意志と判断した場合に表示手段に表示されている表示物を縦方向に変化させ、意志判断手段が否定意志と判断した場合に表示手段に表示されている表示物を横方向に変化させる。
【０００９】
したがって操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しく否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことになり、操作者は自分の首振り動作が正しく認識されたかどうか、したがって正しく入力されたかどうかを直ちに判別することができるようになる。
【００１０】
請求項２の発明は、請求項１の身振り入力装置において、さらに、前記操作者の顔面を撮像する撮像手段を備え、前記首振り方向検出手段が、この撮像手段の撮像した映像中の前記操作者の顔面の動きに対してその首振り方向を検出するようにしたものであり、操作者に非接触でその首振り方向を検出することによって操作者に与える煩わしさを少なくできる。
【００１４】
請求項３の発明は、請求項１または２の身振り入力装置において、前記入力認識手段により変化させる表示物がそれを見て操作者が首振り動作した表示物であるようにしたものであり、これによって入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうか、また入力が正しいかどうかを操作者に確認させる。
【００１５】
請求項４の発明は、請求項３の身振り入力装置において、前記入力認識手段による表示物の変化をその変化方向に長い形状への変化としたものであり、これによって入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうかを操作者の首振り方向と同じ方向に表示物が変化するかどうかによって確認させ、また操作者にその視点を大きく変えないで確認させる。
【００１６】
請求項５の発明は、請求項１または２の身振り入力装置において、前記入力認識手段が変化させる表示物が前記意志判断手段によって判断した肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であるようにしたものであり、これによって操作者に対して自分の首振り方向そのものの認識結果と、その首振り入力に対する応答結果が正しいかどうかを確認させる。
【００１７】
請求項６の発明は、請求項５の身振り入力装置において、前記入力認識手段による新たな表示物の表示位置を、前記直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置とするものであり、これによって操作者に対して自分の首振り動作により入力した結果が正しい選択であったかどうかを、その選択前後の表示物を比較して確認させる。
【００１８】
請求項７の発明は、請求項５の身振り入力装置において、前記入力認識手段が変化させる新たな表示物の表示に際して、当該新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくようにしたものであり、これによって操作者に対して自分の首振り方向の認識結果を表示物の拡大方向によって確認させ、その首振り入力に対する応答結果を新たな表示物の内容によって容易に確認させる。
【００１９】
請求項８の発明は、請求項１〜７の身振り入力装置において、前記入力認識手段が変化させる表示物が文字列、又は前記文字列を背景から分離して表示するための領域としたものである。
【００２０】
請求項９の発明は、請求項１〜７の身振り入力装置において、前記入力認識手段が変化させる表示物が複数の文字列、又は複数の前記文字列を背景から分離して表示するための領域としたものである。
【００２１】
これらの請求項８又は９の発明の身振り入力装置では、操作者に対して自分の選択した質問事項が何であったか、あるいは自分の選択した結果、次にすべき事項が何であるかを表示物の内容から確認させる。
【００２２】
請求項１０の発明の入力装置は、請求項１〜９のいずれかの身振り入力装置と、それ以外の入力手段とを備えたものであり、操作者の首振りによる入力操作と、それ以外の入力操作を可能とする。
【００２３】
請求項１１の発明は、請求項１０の入力装置において、前記入力手段が操作者の手操作による手段としたものであり、操作者は必要に応じて首振り動作による入力と手操作による入力とを可能とする。
【００２４】
請求項１２の発明は、請求項１０又は１１の入力装置において、前記身振り入力装置による入力と前記入力手段による入力とで前記表示物の表示態様を異ならせたものであり、操作者に直前の入力操作が何によるものであったかを容易に判断させることができる。
【００２５】
請求項１４の発明は、請求項１２の入力装置において、前記入力手段が前記表示手段の前面に取り付けられたタッチパネルであり、当該入力手段による入力操作時に前記表示手段に表示されている表示物のうち、タッチ箇所に人手の形のマークを表示する入力受付表示手段を備えたものであり、首振り動作による入力とタッチ操作による入力とができ、また操作者に直前の入力操作が首振り動作によるものであったかタッチ操作によるものであったかを容易に判断させることができる。
【００２６】
請求項１４の発明は、請求項１〜１３の入力装置において、入力アンドゥ手段を備えたものであり、誤った入力操作に対するリカバリーができる。
【００２７】
請求項１５の発明は、請求項１４の入力装置において、前記首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えたものであり、操作者の首振り動作によってアンドゥ入力を行うことができる。
【００２８】
請求項１６の発明は、請求項１５の入力装置において、前記入力アンドゥ判断手段が前記操作者の連続して２回以上の横方向の首振りによって入力アンドゥと判断するようにしたもので、日常会話における打消し意志を表示する動作に相通ずる動作によってアンドゥ指令を入力することができ、自然な動作でアンドゥ指令が行える。
【００２９】
請求項１７の発明は、請求項１〜１６の入力装置において、前記首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に前記入力認識手段により前記表示物の表示を変化させ、当該表示の変化前の入力を受け付けないようにしたもので、これによって相矛盾する入力を次々に認識することにより発生するシステムの混乱を避け、首振り入力をスムーズに行えるようにする。
【００３０】
請求項１８の発明は、操作者に対する質問表示である表示物を表示する表示手段と、操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段と前記入力認識手段により前記表示手段に表示されている表示物を縦方向に変化させた後、当該肯定意志に対する質問表示の次段の質問表示である表示物を表示し、前記入力認識手段により前記表示手段に表示されている表示物を横方向に変化させた後、当該否定意志に対する質問表示の次段の質問表示である表示物を表示する手段とを備えたものである。
【００３１】
【発明の効果】
請求項１の発明によれば、操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しく否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことができ、操作者は自分の首振り動作が正しく認識されたかどうかを直ちに判別することができる。
【００３２】
請求項２の発明によれば、首振り方向検出手段が撮像手段の撮像した映像中の前操作者の顔面の動きに対してその首振り方向を検出するようにしたので、操作者に非接触でその首振り方向を検出することができ、操作者に与える煩わしさを少なくできる。
【００３４】
請求項３の発明によれば、入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうか、また入力が正しいかどうかを操作者に確認させることができ、また何が動くかを画面内で探さなくてもよくて操作者の負担を小さくできる。
【００３５】
請求項４の発明によれば、入力認識手段による表示物の変化をその変化方向に長い形状への変化としたので、入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうかを操作者の首振り方向と同じ方向に表示物が変化するかどうかによって確認させ、また操作者にその視点を大きく変えないで確認させることができる。
【００３６】
請求項５の発明によれば、入力認識手段が変化させる表示物が操作者の肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であるようにしたので、操作者に対して自分の首振り方向そのものの認識結果と、その首振り入力に対する応答結果が正しいかどうかを確認させることができ、また何が動くかを画面内で探さなくてもよくて操作者の負担を小さくできる。
【００３７】
請求項６の発明によれば、新たな表示物の表示位置を、首振り入力直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置としたので、操作者に対して自分の首振り動作により入力した結果が正しい選択であったかどうかを、その選択前後の表示物を比較して確認させることができる。
【００３８】
請求項７の発明によれば、入力認識手段が変化させる新たな表示物の表示に際して、新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくようにしたので、操作者に対して自分の首振り方向の認識結果を表示物の拡大方向によって確認させ、その首振り入力に対する応答結果を新たな表示物の内容によって容易に確認させることができる。
【００３９】
請求項８及び請求項９の発明によれば、操作者に対して自分の選択した質問事項が何であったか、あるいは自分の選択した結果、次にすべき事項が何であるかを容易に確認させることができる。
【００４０】
請求項１０の発明によれば、身振り入力装置とそれ以外の入力手段とを備えているので、状況に応じて操作者の首振りによる入力操作と、それ以外の入力操作が可能である。
【００４１】
請求項１１の発明によれば、身振り入力装置と手入力手段とを備えているので、操作者は必要に応じて首振り動作による入力と手操作による入力とのいずれも行うことができる。
【００４２】
請求項１２の発明によれば、身振り入力装置による入力とその以外の入力手段による入力とで表示物の表示態様を異ならせるようにしたので、操作者に直前の入力操作が何によるものであったかを容易に判断させることができる。
【００４３】
請求項１３の発明によれば、身振り入力装置とタッチパネルとを備え、タッチパネルによる入力操作時には表示物のタッチ箇所に人手の形のマークを表示するようにしたので、首振り動作による入力とタッチ操作による入力とができ、かつ操作者に直前の入力操作が首振り動作によるものであったかタッチ操作によるものであったかを表示物の表示から容易に判断させることができる。
【００４４】
請求項１４の発明によれば、入力アンドゥ手段を備えたので、誤った入力操作に対するリカバリーができる。
【００４５】
請求項１５の発明によれば、首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えので、操作者の首振り動作によってアンドゥ入力を行うことができる。
【００４６】
請求項１６の発明によれば、入力アンドゥ判断手段が操作者の連続して２回以上の横方向の首振りによって入力アンドゥと判断するようにしたので、日常会話における打消し意志を表示する動作に相通ずる動作によってアンドゥ指令を入力することができ、自然な動作でアンドゥ指令が行える。
【００４７】
請求項１７の発明によれば、首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に入力認識手段により表示物の表示を変化させ、この表示の変化前の入力を受け付けないようにしたので、相矛盾する入力を次々に認識することにより発生するシステムの混乱を避け、首振り入力がスムーズに行える。
【００４８】
請求項１８の発明によれば、操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しくは否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことができ、操作者は自分の首振り動作が正しく認識されたかどうかを直ちに判別することができる。また、表示物を縦方向に変化させた後に肯定意志に対する質問表示の次段の質問表示である表示物を表示し、表示物を横方向に変化させた後に否定意志に対する質問表示の次段の質問表示である表示物を表示するので、装置に対してユーザが自然な形の対話動作によって入力することができる。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１〜図１２は本発明の第１の実施の形態を示している。この第１の実施の形態の入力装置は、自動車の運転席近くのインストルメントパネルにユーザと対面するように設置され、カーナビゲーションシステムとして動作させる入力装置に関し、身振り入力装置と手入力装置としてのタッチパネルとを兼備している。そのハードウェアシステム構成は、タッチパネル１が前面に取り付けられているディスプレイ２と、ドライバやその他のユーザＰの顔面部分を撮像するカメラ３と、ユーザＰの眼球部分を照らす２つの照明灯４ａ，４ｂと、これらの接続機器をコントロールする信号処理装置５から構成されている。
【００５０】
この照明灯４ａはカメラ３のレンズ中心に画像入力と共軸系をなすように配置され、近赤外光を発するＬＥＤであり、照明灯４ｂは照明灯４ａと同一仕様であるが、照明灯４ａから離れた位置に設置されている。
【００５１】
信号処理装置５は、接続機器１〜４との間で入出力信号のインタフェースをなす入出力インタフェース部６と、中央演算処理装置７と、プログラムその他の固定データを保存するＲＯＭや諸パラメータ、可変データを保存するＲＡＭから構成されるメモリ８を備えている。
【００５２】
そして中央演算処理装置７が実行する処理機能をブロック化して示すと図２に示す構成である。すなわち、タッチパネル１にタッチされた場合にそのタッチ信号を入力するタッチ入力処理部２１と、タッチ信号に対してディスプレイ２の表示画面に対応したタッチ位置座標を割り出し、かつそのタッチ位置に表示されている表示物からタッチ入力指令を判別するタッチ位置検出部２２と、タッチ入力指令の認識結果を操作者に知らせるためにタッチ表示物に対して所定のリアクション表示を行うリアクション処理部２３を備えている。
【００５３】
またカメラからの撮像信号を入力する撮像信号入力部２４と、入力された撮像信号をディジタル画像に変換し、後述する方法でユーザの眼球の網膜像を抽出する画像処理部２５と、この画像処理部２５が抽出した網膜像の時間的な移動方向を追跡して縦横いずれの方向に首振りされたか、首振り方向を判別する首振り方向判別部２６と、横方向の首振りを判別した時に所定時間内に何回首振りされたか、首振り回数を判定する首振り回数判定部２７と、首振り方向判定、首振り回数判定結果に基づく所定の入力認識のリアクション表示を行うリアクション処理部２８と、タッチ入力若しくは首振り入力に応答して次の表示処理を行う次処理部２９を備えている。
【００５４】
画像処理部２５による画像処理機能は、本願出願人の出願に係る特開平６−２７０７１１号公報に開示され、また後述する方法が採用されている。
【００５５】
次に、上記構成の入力装置の動作について説明する。ここでは、カーナビゲーションにおける目的地設定、経路探索機能の操作を例にして説明する。操作者であるユーザの縦の首振りはＹＥＳを意味し、横の首振りは１回だけであればＮＯを意味し、２回以上であれば前回の入力を取り消して前画面に戻るアンドゥ指令であることを意味するものと設定している。
【００５６】
ユーザは目的地設定機能を選択後、設定したい地点を地図上で確定すると、中央演算処理装置７の動作によって、ディスプレイ２には図４に示すように、非アクティブになった地図表示３１上に「経路を探索しますか？」という質問の表示物３２と「前画面」の表示物３３とをアクティブ表示して、図３に示すフローチャートの処理を行うプログラムを起動する。
【００５７】
このプログラムではまず、タッチパネル１又は首振りによる入力を許可し（ステップＳ１０１）、ユーザＰがタッチパネル１か首振りにより入力するのを待つ（ステップＳ１０２，Ｓ１０３）。
【００５８】
いまユーザが首振り動作によって入力した時には、その後、所定期間、首振りによる入力処理を完了するまで次の入力を禁止した後、首振り方向と首振り回数を判別する（ステップＳ１０４）。この首振り入力に対する首振り方向と首振り回数の判別は、図１０及び図１１のフローチャートにしたがって実行されるが、これは後述する。
【００５９】
判別した首振り方向が縦方向であった場合、つまり「経路探索を開始しますか？」の質問表示物３２に対してＹＥＳの入力を与えた場合、図５に示すように「経路探索を開始しますか？」の表示物３２を首振り動作と同じく縦方向に微動させるリアクション表示を行わせて首振り動作が受け付けられ、それがＹＥＳと判別されたことをユーザに知らせ（ステップＳ１０５，Ｓ２０６）、さらに次段の質問事項の表示、すなわち図６に示すように「有料道路を優先しますか？」の表示物３４を表示させて次入力を促す（ステップＳ１０７）。
【００６０】
他方、ステップＳ１０５で首振り入力が横方向であれば、首振り回数を判別し（ステップＳ１０８）、１回だけであれば図４に示した「経路探索を開始しますか？」の質問表示物３２に対してＮＯの入力を与えたと判断し、図７に示すように「経路探索を開始しますか？」の表示物３２を首振り動作と同じく横方向に微動させるリアクション表示を行わせて首振り動作が受け付けられ、それがＮＯと判別されたことをユーザに知らせ（ステップＳ１０９）、続いてＮＯ入力に対応した次画面を表示する処理を行い、図８に示すようにディスプレイ２に「経由地設定を行いますか？」の表示物３５を表示させる（ステップＳ１１０）。
【００６１】
ステップＳ１０８の判定で首振り回数が横に２回以上であった時には、前画面に戻る指令が与えられたものとして、この場合、横方向に微動させることなく、前画面に直接戻る処理を行う（ステップＳ１１１）。
【００６２】
次に、図４に示した「経路探索を開始しますか？」の表示部３２がアクティブ表示されている状態で、ユーザＰがタッチパネル１を操作した場合、ステップＳ１０２からステップＳ１１２に分岐してタッチ操作に対するリアクション表示を行わせる。つまり、図４に示す状態において「前画面」の表示物３３にタッチされたとすれば、図９に示すように「前画面」の表示物３３を色変わりさせ、またタッチ入力であることを示す手指マーク３６を表示し、この後、前画面の表示に移行する（ステップＳ１１３）。
【００６３】
次に、カメラ３の撮像信号に対する画像処理部２５による首振り方向と首振り回数の判別処理手順について図１０〜図１３に基づいて説明する。前述したようにこのユーザＰの首振り動作に対してそのユーザＰの顔面部分を照明灯４ａ，４ｂによって一定のタイミングで照らしながらカメラ３によって撮像し、眼球内の網膜反射像を抽出してその位置を検出する手法は特開平６−２７０７１１号公報に開示されている方法を採用し、図１０のフローチャートに示す方法で行う。この方法について説明すると、まず照明灯４ａを点灯させ、他方の照明灯４ｂは消灯状態にして（ステップＳ２０１）、カメラ３でユーザＰの顔面画像Ａを撮像し、ディジタル画像に変換してメモり８に記憶する（ステップＳ２０２）。続いて逆に照明灯４ａを消灯し照明灯４ｂを点灯させてカメラ３で同じくユーザＰの顔面画像Ｂを撮像し、同じようにしてメモり８に記憶する（ステップＳ２０３，Ｓ２０４）。
【００６４】
そしてこれらほぼ同時に撮像した画像Ａ，Ｂに対して差分演算を行い、差分画像Ｃを得る（ステップＳ２０５）。ここで、画像Ａは網膜からの反射光により瞳孔が明るく光って観測され、画像Ｂでは瞳孔が暗く観測され、差分画像Ｃでは瞳孔領域だけが明るく強調されたものとなる。
【００６５】
こうして得た差分画像Ｃに対して、あるしきい値を設定して２値化処理を行い（ステップＳ２０６）、さらにラベリング処理によって領域の番号付けを行う
（ステップＳ２０７）。
【００６６】
差分画像Ｃの中には網膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明の変動で生じた顔の一部など、様々なノイズが含まれている可能性がある。これらのノイズは、一般に不定形状、かつ面積も不定であるため、あらかじめ予想される面積の円若しくは楕円として観測される網膜反射像と識別可能である。そこで、網膜反射像をこれらの他のノイズと識別するために、ここでは領域面積による識別処理を行い（ステップＳ２０８）、また領域形状による識別処理を行うことによって網膜反射像だけを抽出する（ステップＳ２０９）。そしてこの網膜反射像に対してその重心座標を求めて出力する（ステップＳ２１０）。
【００６７】
上記の領域面積による識別処理では、ラベリングの結果から得られた各領域の面積Ｒｉをあらかじめ決めておいたしきい値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）と比較して、Ｓ１＜Ｒｉ＜Ｓ２となる領域のみを抜き出す。ここで、しきい値Ｓ１，Ｓ２はカメラ３の撮像倍率から推定して予想される瞳孔径（直径２〜８ｍｍの瞳孔が面積何画素の領域として観測されるか）にセットされたものである。これによって、眼鏡レンズ反射像も円形領域として観測されるが、カメラ３の絞り値を絞ることによってあらかじめ網膜反射像の面積よりも眼鏡レンズ反射像の面積が小さくなるように設定しておくことにより、反射像の領域面積によって両者を識別することができる。
【００６８】
また領域形状による識別処理では、領域面積による識別処理で残った領域に対して外接長方形に対する領域面積の比率Ｆを計算する。網膜反射像は円又は楕円形状で観測されるために、比率Ｆがある一定値Ｆth以上であるのに対して、例えば、眼鏡フレーム反射像の形状はフレームに沿った細長い領域となるために、領域面積が網膜反射像に近い面積であったとしても比率Ｆが小さくなり、網膜反射像と容易に識別することができる。
【００６９】
このようにして画像処理部２５が求めた網膜反射像の位置座標に対して、首振り方向判別部２６と首振り回数判定部２７は、図１１のフローチャートに示す処理によってユーザＰの首振り方向と首振り回数とを判定する。それにはまず、画像処理部２５が求めた網膜反射像の位置座標（Ｘ１，Ｙ１）を入力し（ステップＳ３０１）、前回計測した網膜反射像の座標を初期位置（Ｘ０，Ｙ０）として、この初期位置からの縦方向又は横方向の位置変化が所定値を越えたかどうか判定する（ステップＳ３０２）。ここで横方向の位置変化は｜Ｘ１−Ｘ０｜であり、縦方向の位置変化は｜Ｙ１−Ｙ０｜である。
【００７０】
そしてこれらのいずれかが所定値を超えた時に、ユーザＰがその方向に首振りしたと判定し、この判定結果をメモり８に記憶しておく（ステップＳ３０３〜Ｓ３０５）。
【００７１】
続いて、所定時間Ｔ１の間、網膜反射像の位置座標を時系列に取得し、それらをメモリ８に記憶していく（ステップＳ３０６）。この時系列データは（Ｘｉ，Ｙｉ）とする。ここでｉは時間指標である。
【００７２】
こうしてタイミングＴ０においてユーザＰの最初の首振りを検出した後、所定時間Ｔ１の間、さらにユーザＰの首振り動作を監視していて、その所定時間のうちに網膜反射像の位置座標が初期位置（Ｘ０，Ｙ０）に戻った回数Ｋを求める（ステップＳ３０７）。図１２はＫ＝１の場合の網膜反射像の位置座標の変化を示しており、図１３はＫ＝２の場合の網膜反射像の位置座標の変化を示している。ここでＫは、しきい値｜Ｒ´｜をそれよりも大きい方から小さい方へクロスした回数として求めるのである。
【００７３】
こうしてＫを求め、このＫ≧１であった時、つまり網膜反射像位置が初期位置付近に戻った場合にのみ首振り入力があったと判定する（ステップＳ３０８〜Ｓ３１０）。そして次回に備えて、最終の網膜反射像位置の座標を初期位置座標（Ｘ０，Ｙ０）として記憶する（ステップＳ３１１）。
【００７４】
なお、新たに入力された網膜反射像の位置座標（Ｘ１，Ｙ１）が前回値と大きく変化していない場合には、新たに入力された網膜反射像の位置座標を新たに初期位置座標（Ｘ０，Ｙ０）として記憶し、ユーザＰの首振り動作に対して誤動作なく反応するようにしている（ステップＳ３０１，Ｓ３０２，Ｓ３１２）。
【００７５】
このようにして首振り方向判別部２６でステップＳ３０４，Ｓ３０５の判定で首振り方向を決定し、またステップＳ３０９によって首振り入力有りと判定すると、続いて首振り回数判定部２７は横方向の首振りであってＫの値が１であればユーザＰが否定意志を入力したと判定し、横方向の首振りであってＫの値が２以上であれば直前の入力の取り消しの意志表示をした判定し、それらの判定結果をリアクション処理部２８に出力する。
【００７６】
そこでリアクション処理部２８が図３のフローチャートにおいてステップＳ１０６，Ｓ１０９のリアクションを表示物３２に対して行わせ、次処理部２９においてステップＳ１０７，Ｓ１１０若しくはＳ１１１の表示処理を行う。
【００７７】
このようにして、この第１の実施の形態によれば、表示物の表示している質問事項に対してユーザが首を縦に振れば肯定意志として認識し、また横に振れば否定意志として認識し、それらの指令に応じて表示物を展開表示させるので、装置に対してユーザが自然な形の対話動作によって入力することができる。
【００７８】
またユーザの首振り動作を自動認識すればユーザが反応した質問事項を表示している表示物を首振り方向に微小変化させることによって入力を受け付けたことを示すと共に首振り方向の認識結果をもユーザに知らせるので、ユーザは自分の首振り動作が正しく認識されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００７９】
またさらに首振り入力と共にタッチパネル１に対するタッチ操作によっても入力することができ、その場合には首振り入力とは異なった態様で入力受付をタッチした表示物の位置に所定のマーク３６で表示するようにしているので、タッチ操作時にもそのタッチ操作が受け付けられたことをユーザにとって容易に知ることができるようになる。
【００８０】
なお、第１の実施の形態において、図３のフローチャートにおけるステップＳ１０７，Ｓ１１０で首振り入力動作に対してＹＥＳと認識した時、またＮＯと認識した時それぞれのディスプレイ２上に表示物３２の変化態様は、図１４又は図１５に示すものとすることができる。図１４に示すＹＥＳ入力に対するリアクションは、「経路探索を開始しますか？」の表示物３２を縦方向の首振り動作に対応して上下方向に拡大するように変化させることによって入力を受け付けたことを示し、また図１５に示すＮＯ入力に対するリアクションは、同じ表示物３２を横方向の首振り動作に対応して横方向に拡大するように変化させることによって入力を受け付けたことを示すようにしている。
【００８１】
この第２の実施の形態の表示態様の変化によっても、第１の実施の形態における図５及び図７に示す表示態様の変化と同様に、ユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００８２】
次に、本発明の第３の実施の形態を図１６〜図１８に基づいて説明する。この第３の実施の形態の特徴は、図２の機能ブロック図におけるリアクション処理部２８が図１６のフローチャートにおけるステップＳ１０６´，Ｓ１０９´の処理を行うようにした点にあり、その他の構成はすべて第１の実施の形態と共通する。
【００８３】
すなわち、第１の実施の形態と同様に図４に示す表示状態でユーザＰが首を縦方向に振って肯定の意志表示をした時、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５の処理を行うが、ＹＥＳに対するリアクションとして図１６に示すステップＳ１０６´の処理を行い、図１７に示すようにＹＥＳに対するリアクションとして「有料道路を優先しますか？」を表示する次画面の表示物３４を直前の表示物３２と共に縦に少しずらした位置関係で展開表示させる。また図４に示す表示状態でユーザＰが首を横方向に１回だけ振って否定の意志表示をした時には、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５及びステップＳ１０８の処理を行うが、ＮＯに対するリアクションとして図１６に示すステップＳ１０９´の処理を行い、図１８に示すようにＮＯに対するリアクションとしてそのＮＯ入力に対応した次画面である「経由地を設定しますか？」の表示物３５を直前の表示物３２と共に横に少しずらした位置関係で展開表示させる。
【００８４】
こうして、この第３の実施の形態によってもユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００８５】
なお、この第３の実施の形態においても、図１６のフローチャートのステップＳ１０６´，Ｓ１０９´におけるリアクション表示と次画面表示とを同時に行う処理において、その表示態様をそれぞれ図１９又は図２０のように変更することができる。この表示態様は、ＹＥＳ入力の場合にはそのＹＥＳ入力に対応した次処理のための表示物３４を最初はその上端部３４ａを少しだけ出現させ、次第に下側に展開していって全体を表示させ、またＮＯ入力の場合にはそのＮＯ入力に対応した次処理のために表示物３５を最初はその中央部３５ａだけを出現させ、次第に左右に展開していって全体を表示させるものである。
【００８６】
これによってこの第４の実施の形態においても、第３の実施の形態と同様に、ユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００８７】
次に、本発明の第５の実施の形態について、図２１〜図２５に基づいて説明する。この第５の実施の形態の特徴は、図２の機能ブロック図におけるリアクション処理部２８が図２１のフローチャートにおけるステップＳ１０６″，Ｓ１０９″の処理を行うようにした点にあり、その他の構成はすべて第１の実施の形態と共通する。
【００８８】
すなわち、第１の実施の形態と同様に図４に示す表示状態でユーザＰが首を縦方向に振って肯定の意志表示をした時、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５の処理を行うが、ＹＥＳに対するリアクションとして図２１に示すステップＳ１０６″の処理を行い、図２２に示すようにＹＥＳ入力に対して表示すべき重要度が同じレベルの表示物が複数個存在する場合には、ＹＥＳに対するリアクションとして並列する複数の表示物、ここでは例として、「有料道路を優先しますか？」の表示物３４、「料金を優先させますか？」の表示物３７、「所要時間を優先させますか？」の表示物３８を上から順次、縦に並ぶように展開表示させる。
【００８９】
そしてこの表示態様の場合、図２３に示すように選択項目が順番に点滅してゆき、所望の項目が点滅した時に首を縦に振ることによってその項目を選択することができ、以後、選択された項目に対応した次画面が同じようにして展開表示されることになる。
【００９０】
また逆に、図４に示す表示状態でユーザＰが首を横方向に１回だけ振って否定の意志表示をした時には、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５及びステップＳ１０８の処理を行うが、ＮＯに対するリアクションとして図２１に示すステップＳ１０９″の処理を行い、図２４に示すようにＮＯ入力に対して表示すべき重要度が同じレベルの表示物が複数個存在する場合には、ＮＯに対するリアクションとして並列する複数の表示物、ここでは例として、「経由地を設定しますか？」の表示物３５と「目的地を保存しますか？」の表示物３９を横に並ぶ形で表示させる。そしてこの場合、各表示物３５，３９は共にその中央部だけを少し表示させ、その後左右に全体を展開させる形で表示させることになる。なお、この横並びの表示は、表示物３５、表示物３９を横方向に順次展開表示させる形態であってもよい。
【００９１】
そしてこれらの複数の選択項目に対しても、選択項目が順番に点滅してゆき、所望の項目が点滅した時に首を縦に振ることによってその項目を選択することができることになる。
【００９２】
さらに、図２２〜図２４に示す表示状態ではタッチパネル１を用いた入力も可能であり、この場合には、図２５に示すように選択項目に直接タッチすることによってその項目を選択することができる。そしてタッチ操作に対するリアクションは図９に示した第１の実施の形態の場合と同様に、選択項目を色変わりさせると共に手指のマーク３６を表示することによって行う。
【００９３】
なお、ある入力に対応した次画面として展開する選択項目（表示物）として、重要度が同じレベルのものが複数個存在せず、ただ１つの表示物だけを表示する場合には、図１４〜図２０に示した第３の実施の形態若しくは第４の実施の形態のような表示形態で表示させることができる。
【００９４】
こうして、この第５の実施の形態によれば、重要度が同じレベルの選択項目が複数ある場合にはそれらを同時に表示させるようにしたので、画面展開操作が少なくて済み、最終目的処理を実行させるまでの入力手続を短時間のうちに行えるようになる。
【００９５】
なお、上記の各実施の形態では、操作者の首振り方向を検出するのに画像処理を用いたものを示したが、これに限定されることはなく、従来例に見られるような操作者の頭部にセンサを装着させ、そのセンサによって首振り方向を検出する構成とすることもできる。しかしながら、撮像手段を用いて画像処理により首振り方向を検出する構成の方が、操作者にとって非接触に首振り方向を検出することができるので煩わしさを与えない利点がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のハードウェア構成を示すブロック図。
【図２】上記の実施の形態の機能構成を示すブロック図。
【図３】上記の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図４】上記の実施の形態における首振り入力直前の画面状態を示す説明図。
【図５】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図６】上記の実施の形態における縦の首振り入力に対応した次画面の表示状態を示す説明図。
【図７】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図８】上記の実施の形態における横の首振り入力に対応した次画面の表示状態を示す説明図。
【図９】上記の実施の形態におけるタッチ入力に対する画面変化の状態を示す説明図。
【図１０】上記の実施の形態におけるカメラが撮像した画像から網膜反射像の位置検出を行う動作のフローチャート。
【図１１】上記の実施の形態における首振り動作の検出処理のフローチャート。
【図１２】上記の実施の形態における首振り回数１回の場合の網膜反射像位置の時間変化を示すグラフ。
【図１３】上記の実施の形態における首振り回数２回の場合の網膜反射像位置の時間変化を示すグラフ。
【図１４】本発明の第２の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図１５】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図１６】本発明の第３の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図１７】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図１８】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図１９】本発明の第４の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図２０】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図２１】本発明の第５の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図２２】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図２３】上記の実施の形態における縦の首振り入力に対応して表示された次画面上での首振り入力処理動作を示す説明図。
【図２４】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図２５】上記の実施の形態における縦の首振り入力に対応して表示された次画面上でのタッチ入力処理動作を示す説明図。
【符号の説明】
Ｐ ユーザ
１ タッチパネル
２ ディスプレイ
３ カメラ
４ａ，４ｂ 照明灯
５ 信号処理装置
６ 入出力インタフェース部
７ 中央演算処理装置
８ メモリ
２１ タッチ入力検出部
２２ タッチ位置検出部
２３ リアクション処理部
２４ 撮像信号入力部
２５ 画像処理部
２６ 首振り方向判別部
２７ 首振り回数判定部
２８ リアクション処理部
２９ 次処理部
３１ 地図表示
３２〜３５ 表示物
３６ マーク
３７〜３９ 表示物
【発明の属する技術分野】
本発明は操作者の首振り動作を観察してその肯定意志、否定意志を自動的に判断し、対話式入力を行う身振り入力装置及びそれを含む入力装置に関する。
【０００２】
【従来の技術】
従来、パーソナルコンピュータやワードプロセッサ等、情報入力を行う電子機器において操作者と対話式手続によって情報入力を行い、演算処理を行う入力装置において、操作者の身振り動作を自動的に認識してその肯定、否定の意志を判断し、入力処理を行うものとして、特開昭６２−１００８２６号公報に開示されたものが知られている。
【０００３】
この従来の身振り入力装置は、操作者の頭部に装着して頭部の回転運動による変動を検出する手段を備え、操作者が表示装置に表示されるシステムの質問に対して首振り動作によって肯定、否定の意志表示を行うことにより、その首振り動作を自動的に認識してＹＥＳ，ＮＯの入力を行うようにしたものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、この従来の身振り入力装置には、操作者が肯定若しくは否定の首振り動作をしても、システム側でどのように受け取ったのか操作者にリアクションする手段がなく、操作者の行った首振り動作を肯定意志と認識したか、否定意志と認識したか、それともいずれの認識もしなかったのかを操作者が直ちに判断することができず、その後のシステム側の動作を見てようやく、システムが操作者の首振り動作をどのように認識したを判断できるものであった。
【０００５】
本発明はこのような従来の問題点に鑑みてなされたもので、システム側が操作者の身振り動作を自動的に認識して肯定意志と判断した場合と否定意志と判断した場合とで表示装置に表示される表示物を異なった表示態様で変化させるリアクションを行わせることによって、操作者の身振り動作に対して正しく認識したかどうかを操作者がその動作直後に直ちに判別することができる身振り入力装置及びそれを含む入力装置を提供することを目的とする。
【０００６】
本発明はまた、肯定、否定の意志表示動作に加えてアンドゥ意志表示動作をも認識することができる身振り入力装置及びそれを含む入力装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１の発明の身振り入力装置は、操作者に対する質問表示である表示物を表示する表示手段と、操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段とを備えたものである。
【０００８】
この請求項１の発明の身振り入力装置では、表示手段に表示されている質問表示に対して操作者が縦に首を振って肯定意志を表示した時、若しくは横に首を振って否定意志を表示した時、操作者の顔面の動きから首振り方向検出手段がその首振り方向を縦方向であるか横方向であるかを検出し、意志判断手段が首振り方向が縦方向であれば肯定の意志を示し、横方向であれば否定の意志を示したと判断する。そして入力認識手段は、意志判断手段が肯定意志と判断した場合に表示手段に表示されている表示物を縦方向に変化させ、意志判断手段が否定意志と判断した場合に表示手段に表示されている表示物を横方向に変化させる。
【０００９】
したがって操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しく否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことになり、操作者は自分の首振り動作が正しく認識されたかどうか、したがって正しく入力されたかどうかを直ちに判別することができるようになる。
【００１０】
請求項２の発明は、請求項１の身振り入力装置において、さらに、前記操作者の顔面を撮像する撮像手段を備え、前記首振り方向検出手段が、この撮像手段の撮像した映像中の前記操作者の顔面の動きに対してその首振り方向を検出するようにしたものであり、操作者に非接触でその首振り方向を検出することによって操作者に与える煩わしさを少なくできる。
【００１４】
請求項３の発明は、請求項１または２の身振り入力装置において、前記入力認識手段により変化させる表示物がそれを見て操作者が首振り動作した表示物であるようにしたものであり、これによって入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうか、また入力が正しいかどうかを操作者に確認させる。
【００１５】
請求項４の発明は、請求項３の身振り入力装置において、前記入力認識手段による表示物の変化をその変化方向に長い形状への変化としたものであり、これによって入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうかを操作者の首振り方向と同じ方向に表示物が変化するかどうかによって確認させ、また操作者にその視点を大きく変えないで確認させる。
【００１６】
請求項５の発明は、請求項１または２の身振り入力装置において、前記入力認識手段が変化させる表示物が前記意志判断手段によって判断した肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であるようにしたものであり、これによって操作者に対して自分の首振り方向そのものの認識結果と、その首振り入力に対する応答結果が正しいかどうかを確認させる。
【００１７】
請求項６の発明は、請求項５の身振り入力装置において、前記入力認識手段による新たな表示物の表示位置を、前記直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置とするものであり、これによって操作者に対して自分の首振り動作により入力した結果が正しい選択であったかどうかを、その選択前後の表示物を比較して確認させる。
【００１８】
請求項７の発明は、請求項５の身振り入力装置において、前記入力認識手段が変化させる新たな表示物の表示に際して、当該新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくようにしたものであり、これによって操作者に対して自分の首振り方向の認識結果を表示物の拡大方向によって確認させ、その首振り入力に対する応答結果を新たな表示物の内容によって容易に確認させる。
【００１９】
請求項８の発明は、請求項１〜７の身振り入力装置において、前記入力認識手段が変化させる表示物が文字列、又は前記文字列を背景から分離して表示するための領域としたものである。
【００２０】
請求項９の発明は、請求項１〜７の身振り入力装置において、前記入力認識手段が変化させる表示物が複数の文字列、又は複数の前記文字列を背景から分離して表示するための領域としたものである。
【００２１】
これらの請求項８又は９の発明の身振り入力装置では、操作者に対して自分の選択した質問事項が何であったか、あるいは自分の選択した結果、次にすべき事項が何であるかを表示物の内容から確認させる。
【００２２】
請求項１０の発明の入力装置は、請求項１〜９のいずれかの身振り入力装置と、それ以外の入力手段とを備えたものであり、操作者の首振りによる入力操作と、それ以外の入力操作を可能とする。
【００２３】
請求項１１の発明は、請求項１０の入力装置において、前記入力手段が操作者の手操作による手段としたものであり、操作者は必要に応じて首振り動作による入力と手操作による入力とを可能とする。
【００２４】
請求項１２の発明は、請求項１０又は１１の入力装置において、前記身振り入力装置による入力と前記入力手段による入力とで前記表示物の表示態様を異ならせたものであり、操作者に直前の入力操作が何によるものであったかを容易に判断させることができる。
【００２５】
請求項１４の発明は、請求項１２の入力装置において、前記入力手段が前記表示手段の前面に取り付けられたタッチパネルであり、当該入力手段による入力操作時に前記表示手段に表示されている表示物のうち、タッチ箇所に人手の形のマークを表示する入力受付表示手段を備えたものであり、首振り動作による入力とタッチ操作による入力とができ、また操作者に直前の入力操作が首振り動作によるものであったかタッチ操作によるものであったかを容易に判断させることができる。
【００２６】
請求項１４の発明は、請求項１〜１３の入力装置において、入力アンドゥ手段を備えたものであり、誤った入力操作に対するリカバリーができる。
【００２７】
請求項１５の発明は、請求項１４の入力装置において、前記首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えたものであり、操作者の首振り動作によってアンドゥ入力を行うことができる。
【００２８】
請求項１６の発明は、請求項１５の入力装置において、前記入力アンドゥ判断手段が前記操作者の連続して２回以上の横方向の首振りによって入力アンドゥと判断するようにしたもので、日常会話における打消し意志を表示する動作に相通ずる動作によってアンドゥ指令を入力することができ、自然な動作でアンドゥ指令が行える。
【００２９】
請求項１７の発明は、請求項１〜１６の入力装置において、前記首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に前記入力認識手段により前記表示物の表示を変化させ、当該表示の変化前の入力を受け付けないようにしたもので、これによって相矛盾する入力を次々に認識することにより発生するシステムの混乱を避け、首振り入力をスムーズに行えるようにする。
【００３０】
請求項１８の発明は、操作者に対する質問表示である表示物を表示する表示手段と、操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段と前記入力認識手段により前記表示手段に表示されている表示物を縦方向に変化させた後、当該肯定意志に対する質問表示の次段の質問表示である表示物を表示し、前記入力認識手段により前記表示手段に表示されている表示物を横方向に変化させた後、当該否定意志に対する質問表示の次段の質問表示である表示物を表示する手段とを備えたものである。
【００３１】
【発明の効果】
請求項１の発明によれば、操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しく否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことができ、操作者は自分の首振り動作が正しく認識されたかどうかを直ちに判別することができる。
【００３２】
請求項２の発明によれば、首振り方向検出手段が撮像手段の撮像した映像中の前操作者の顔面の動きに対してその首振り方向を検出するようにしたので、操作者に非接触でその首振り方向を検出することができ、操作者に与える煩わしさを少なくできる。
【００３４】
請求項３の発明によれば、入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうか、また入力が正しいかどうかを操作者に確認させることができ、また何が動くかを画面内で探さなくてもよくて操作者の負担を小さくできる。
【００３５】
請求項４の発明によれば、入力認識手段による表示物の変化をその変化方向に長い形状への変化としたので、入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうかを操作者の首振り方向と同じ方向に表示物が変化するかどうかによって確認させ、また操作者にその視点を大きく変えないで確認させることができる。
【００３６】
請求項５の発明によれば、入力認識手段が変化させる表示物が操作者の肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であるようにしたので、操作者に対して自分の首振り方向そのものの認識結果と、その首振り入力に対する応答結果が正しいかどうかを確認させることができ、また何が動くかを画面内で探さなくてもよくて操作者の負担を小さくできる。
【００３７】
請求項６の発明によれば、新たな表示物の表示位置を、首振り入力直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置としたので、操作者に対して自分の首振り動作により入力した結果が正しい選択であったかどうかを、その選択前後の表示物を比較して確認させることができる。
【００３８】
請求項７の発明によれば、入力認識手段が変化させる新たな表示物の表示に際して、新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくようにしたので、操作者に対して自分の首振り方向の認識結果を表示物の拡大方向によって確認させ、その首振り入力に対する応答結果を新たな表示物の内容によって容易に確認させることができる。
【００３９】
請求項８及び請求項９の発明によれば、操作者に対して自分の選択した質問事項が何であったか、あるいは自分の選択した結果、次にすべき事項が何であるかを容易に確認させることができる。
【００４０】
請求項１０の発明によれば、身振り入力装置とそれ以外の入力手段とを備えているので、状況に応じて操作者の首振りによる入力操作と、それ以外の入力操作が可能である。
【００４１】
請求項１１の発明によれば、身振り入力装置と手入力手段とを備えているので、操作者は必要に応じて首振り動作による入力と手操作による入力とのいずれも行うことができる。
【００４２】
請求項１２の発明によれば、身振り入力装置による入力とその以外の入力手段による入力とで表示物の表示態様を異ならせるようにしたので、操作者に直前の入力操作が何によるものであったかを容易に判断させることができる。
【００４３】
請求項１３の発明によれば、身振り入力装置とタッチパネルとを備え、タッチパネルによる入力操作時には表示物のタッチ箇所に人手の形のマークを表示するようにしたので、首振り動作による入力とタッチ操作による入力とができ、かつ操作者に直前の入力操作が首振り動作によるものであったかタッチ操作によるものであったかを表示物の表示から容易に判断させることができる。
【００４４】
請求項１４の発明によれば、入力アンドゥ手段を備えたので、誤った入力操作に対するリカバリーができる。
【００４５】
請求項１５の発明によれば、首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えので、操作者の首振り動作によってアンドゥ入力を行うことができる。
【００４６】
請求項１６の発明によれば、入力アンドゥ判断手段が操作者の連続して２回以上の横方向の首振りによって入力アンドゥと判断するようにしたので、日常会話における打消し意志を表示する動作に相通ずる動作によってアンドゥ指令を入力することができ、自然な動作でアンドゥ指令が行える。
【００４７】
請求項１７の発明によれば、首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に入力認識手段により表示物の表示を変化させ、この表示の変化前の入力を受け付けないようにしたので、相矛盾する入力を次々に認識することにより発生するシステムの混乱を避け、首振り入力がスムーズに行える。
【００４８】
請求項１８の発明によれば、操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しくは否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことができ、操作者は自分の首振り動作が正しく認識されたかどうかを直ちに判別することができる。また、表示物を縦方向に変化させた後に肯定意志に対する質問表示の次段の質問表示である表示物を表示し、表示物を横方向に変化させた後に否定意志に対する質問表示の次段の質問表示である表示物を表示するので、装置に対してユーザが自然な形の対話動作によって入力することができる。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１〜図１２は本発明の第１の実施の形態を示している。この第１の実施の形態の入力装置は、自動車の運転席近くのインストルメントパネルにユーザと対面するように設置され、カーナビゲーションシステムとして動作させる入力装置に関し、身振り入力装置と手入力装置としてのタッチパネルとを兼備している。そのハードウェアシステム構成は、タッチパネル１が前面に取り付けられているディスプレイ２と、ドライバやその他のユーザＰの顔面部分を撮像するカメラ３と、ユーザＰの眼球部分を照らす２つの照明灯４ａ，４ｂと、これらの接続機器をコントロールする信号処理装置５から構成されている。
【００５０】
この照明灯４ａはカメラ３のレンズ中心に画像入力と共軸系をなすように配置され、近赤外光を発するＬＥＤであり、照明灯４ｂは照明灯４ａと同一仕様であるが、照明灯４ａから離れた位置に設置されている。
【００５１】
信号処理装置５は、接続機器１〜４との間で入出力信号のインタフェースをなす入出力インタフェース部６と、中央演算処理装置７と、プログラムその他の固定データを保存するＲＯＭや諸パラメータ、可変データを保存するＲＡＭから構成されるメモリ８を備えている。
【００５２】
そして中央演算処理装置７が実行する処理機能をブロック化して示すと図２に示す構成である。すなわち、タッチパネル１にタッチされた場合にそのタッチ信号を入力するタッチ入力処理部２１と、タッチ信号に対してディスプレイ２の表示画面に対応したタッチ位置座標を割り出し、かつそのタッチ位置に表示されている表示物からタッチ入力指令を判別するタッチ位置検出部２２と、タッチ入力指令の認識結果を操作者に知らせるためにタッチ表示物に対して所定のリアクション表示を行うリアクション処理部２３を備えている。
【００５３】
またカメラからの撮像信号を入力する撮像信号入力部２４と、入力された撮像信号をディジタル画像に変換し、後述する方法でユーザの眼球の網膜像を抽出する画像処理部２５と、この画像処理部２５が抽出した網膜像の時間的な移動方向を追跡して縦横いずれの方向に首振りされたか、首振り方向を判別する首振り方向判別部２６と、横方向の首振りを判別した時に所定時間内に何回首振りされたか、首振り回数を判定する首振り回数判定部２７と、首振り方向判定、首振り回数判定結果に基づく所定の入力認識のリアクション表示を行うリアクション処理部２８と、タッチ入力若しくは首振り入力に応答して次の表示処理を行う次処理部２９を備えている。
【００５４】
画像処理部２５による画像処理機能は、本願出願人の出願に係る特開平６−２７０７１１号公報に開示され、また後述する方法が採用されている。
【００５５】
次に、上記構成の入力装置の動作について説明する。ここでは、カーナビゲーションにおける目的地設定、経路探索機能の操作を例にして説明する。操作者であるユーザの縦の首振りはＹＥＳを意味し、横の首振りは１回だけであればＮＯを意味し、２回以上であれば前回の入力を取り消して前画面に戻るアンドゥ指令であることを意味するものと設定している。
【００５６】
ユーザは目的地設定機能を選択後、設定したい地点を地図上で確定すると、中央演算処理装置７の動作によって、ディスプレイ２には図４に示すように、非アクティブになった地図表示３１上に「経路を探索しますか？」という質問の表示物３２と「前画面」の表示物３３とをアクティブ表示して、図３に示すフローチャートの処理を行うプログラムを起動する。
【００５７】
このプログラムではまず、タッチパネル１又は首振りによる入力を許可し（ステップＳ１０１）、ユーザＰがタッチパネル１か首振りにより入力するのを待つ（ステップＳ１０２，Ｓ１０３）。
【００５８】
いまユーザが首振り動作によって入力した時には、その後、所定期間、首振りによる入力処理を完了するまで次の入力を禁止した後、首振り方向と首振り回数を判別する（ステップＳ１０４）。この首振り入力に対する首振り方向と首振り回数の判別は、図１０及び図１１のフローチャートにしたがって実行されるが、これは後述する。
【００５９】
判別した首振り方向が縦方向であった場合、つまり「経路探索を開始しますか？」の質問表示物３２に対してＹＥＳの入力を与えた場合、図５に示すように「経路探索を開始しますか？」の表示物３２を首振り動作と同じく縦方向に微動させるリアクション表示を行わせて首振り動作が受け付けられ、それがＹＥＳと判別されたことをユーザに知らせ（ステップＳ１０５，Ｓ２０６）、さらに次段の質問事項の表示、すなわち図６に示すように「有料道路を優先しますか？」の表示物３４を表示させて次入力を促す（ステップＳ１０７）。
【００６０】
他方、ステップＳ１０５で首振り入力が横方向であれば、首振り回数を判別し（ステップＳ１０８）、１回だけであれば図４に示した「経路探索を開始しますか？」の質問表示物３２に対してＮＯの入力を与えたと判断し、図７に示すように「経路探索を開始しますか？」の表示物３２を首振り動作と同じく横方向に微動させるリアクション表示を行わせて首振り動作が受け付けられ、それがＮＯと判別されたことをユーザに知らせ（ステップＳ１０９）、続いてＮＯ入力に対応した次画面を表示する処理を行い、図８に示すようにディスプレイ２に「経由地設定を行いますか？」の表示物３５を表示させる（ステップＳ１１０）。
【００６１】
ステップＳ１０８の判定で首振り回数が横に２回以上であった時には、前画面に戻る指令が与えられたものとして、この場合、横方向に微動させることなく、前画面に直接戻る処理を行う（ステップＳ１１１）。
【００６２】
次に、図４に示した「経路探索を開始しますか？」の表示部３２がアクティブ表示されている状態で、ユーザＰがタッチパネル１を操作した場合、ステップＳ１０２からステップＳ１１２に分岐してタッチ操作に対するリアクション表示を行わせる。つまり、図４に示す状態において「前画面」の表示物３３にタッチされたとすれば、図９に示すように「前画面」の表示物３３を色変わりさせ、またタッチ入力であることを示す手指マーク３６を表示し、この後、前画面の表示に移行する（ステップＳ１１３）。
【００６３】
次に、カメラ３の撮像信号に対する画像処理部２５による首振り方向と首振り回数の判別処理手順について図１０〜図１３に基づいて説明する。前述したようにこのユーザＰの首振り動作に対してそのユーザＰの顔面部分を照明灯４ａ，４ｂによって一定のタイミングで照らしながらカメラ３によって撮像し、眼球内の網膜反射像を抽出してその位置を検出する手法は特開平６−２７０７１１号公報に開示されている方法を採用し、図１０のフローチャートに示す方法で行う。この方法について説明すると、まず照明灯４ａを点灯させ、他方の照明灯４ｂは消灯状態にして（ステップＳ２０１）、カメラ３でユーザＰの顔面画像Ａを撮像し、ディジタル画像に変換してメモり８に記憶する（ステップＳ２０２）。続いて逆に照明灯４ａを消灯し照明灯４ｂを点灯させてカメラ３で同じくユーザＰの顔面画像Ｂを撮像し、同じようにしてメモり８に記憶する（ステップＳ２０３，Ｓ２０４）。
【００６４】
そしてこれらほぼ同時に撮像した画像Ａ，Ｂに対して差分演算を行い、差分画像Ｃを得る（ステップＳ２０５）。ここで、画像Ａは網膜からの反射光により瞳孔が明るく光って観測され、画像Ｂでは瞳孔が暗く観測され、差分画像Ｃでは瞳孔領域だけが明るく強調されたものとなる。
【００６５】
こうして得た差分画像Ｃに対して、あるしきい値を設定して２値化処理を行い（ステップＳ２０６）、さらにラベリング処理によって領域の番号付けを行う
（ステップＳ２０７）。
【００６６】
差分画像Ｃの中には網膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明の変動で生じた顔の一部など、様々なノイズが含まれている可能性がある。これらのノイズは、一般に不定形状、かつ面積も不定であるため、あらかじめ予想される面積の円若しくは楕円として観測される網膜反射像と識別可能である。そこで、網膜反射像をこれらの他のノイズと識別するために、ここでは領域面積による識別処理を行い（ステップＳ２０８）、また領域形状による識別処理を行うことによって網膜反射像だけを抽出する（ステップＳ２０９）。そしてこの網膜反射像に対してその重心座標を求めて出力する（ステップＳ２１０）。
【００６７】
上記の領域面積による識別処理では、ラベリングの結果から得られた各領域の面積Ｒｉをあらかじめ決めておいたしきい値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）と比較して、Ｓ１＜Ｒｉ＜Ｓ２となる領域のみを抜き出す。ここで、しきい値Ｓ１，Ｓ２はカメラ３の撮像倍率から推定して予想される瞳孔径（直径２〜８ｍｍの瞳孔が面積何画素の領域として観測されるか）にセットされたものである。これによって、眼鏡レンズ反射像も円形領域として観測されるが、カメラ３の絞り値を絞ることによってあらかじめ網膜反射像の面積よりも眼鏡レンズ反射像の面積が小さくなるように設定しておくことにより、反射像の領域面積によって両者を識別することができる。
【００６８】
また領域形状による識別処理では、領域面積による識別処理で残った領域に対して外接長方形に対する領域面積の比率Ｆを計算する。網膜反射像は円又は楕円形状で観測されるために、比率Ｆがある一定値Ｆth以上であるのに対して、例えば、眼鏡フレーム反射像の形状はフレームに沿った細長い領域となるために、領域面積が網膜反射像に近い面積であったとしても比率Ｆが小さくなり、網膜反射像と容易に識別することができる。
【００６９】
このようにして画像処理部２５が求めた網膜反射像の位置座標に対して、首振り方向判別部２６と首振り回数判定部２７は、図１１のフローチャートに示す処理によってユーザＰの首振り方向と首振り回数とを判定する。それにはまず、画像処理部２５が求めた網膜反射像の位置座標（Ｘ１，Ｙ１）を入力し（ステップＳ３０１）、前回計測した網膜反射像の座標を初期位置（Ｘ０，Ｙ０）として、この初期位置からの縦方向又は横方向の位置変化が所定値を越えたかどうか判定する（ステップＳ３０２）。ここで横方向の位置変化は｜Ｘ１−Ｘ０｜であり、縦方向の位置変化は｜Ｙ１−Ｙ０｜である。
【００７０】
そしてこれらのいずれかが所定値を超えた時に、ユーザＰがその方向に首振りしたと判定し、この判定結果をメモり８に記憶しておく（ステップＳ３０３〜Ｓ３０５）。
【００７１】
続いて、所定時間Ｔ１の間、網膜反射像の位置座標を時系列に取得し、それらをメモリ８に記憶していく（ステップＳ３０６）。この時系列データは（Ｘｉ，Ｙｉ）とする。ここでｉは時間指標である。
【００７２】
こうしてタイミングＴ０においてユーザＰの最初の首振りを検出した後、所定時間Ｔ１の間、さらにユーザＰの首振り動作を監視していて、その所定時間のうちに網膜反射像の位置座標が初期位置（Ｘ０，Ｙ０）に戻った回数Ｋを求める（ステップＳ３０７）。図１２はＫ＝１の場合の網膜反射像の位置座標の変化を示しており、図１３はＫ＝２の場合の網膜反射像の位置座標の変化を示している。ここでＫは、しきい値｜Ｒ´｜をそれよりも大きい方から小さい方へクロスした回数として求めるのである。
【００７３】
こうしてＫを求め、このＫ≧１であった時、つまり網膜反射像位置が初期位置付近に戻った場合にのみ首振り入力があったと判定する（ステップＳ３０８〜Ｓ３１０）。そして次回に備えて、最終の網膜反射像位置の座標を初期位置座標（Ｘ０，Ｙ０）として記憶する（ステップＳ３１１）。
【００７４】
なお、新たに入力された網膜反射像の位置座標（Ｘ１，Ｙ１）が前回値と大きく変化していない場合には、新たに入力された網膜反射像の位置座標を新たに初期位置座標（Ｘ０，Ｙ０）として記憶し、ユーザＰの首振り動作に対して誤動作なく反応するようにしている（ステップＳ３０１，Ｓ３０２，Ｓ３１２）。
【００７５】
このようにして首振り方向判別部２６でステップＳ３０４，Ｓ３０５の判定で首振り方向を決定し、またステップＳ３０９によって首振り入力有りと判定すると、続いて首振り回数判定部２７は横方向の首振りであってＫの値が１であればユーザＰが否定意志を入力したと判定し、横方向の首振りであってＫの値が２以上であれば直前の入力の取り消しの意志表示をした判定し、それらの判定結果をリアクション処理部２８に出力する。
【００７６】
そこでリアクション処理部２８が図３のフローチャートにおいてステップＳ１０６，Ｓ１０９のリアクションを表示物３２に対して行わせ、次処理部２９においてステップＳ１０７，Ｓ１１０若しくはＳ１１１の表示処理を行う。
【００７７】
このようにして、この第１の実施の形態によれば、表示物の表示している質問事項に対してユーザが首を縦に振れば肯定意志として認識し、また横に振れば否定意志として認識し、それらの指令に応じて表示物を展開表示させるので、装置に対してユーザが自然な形の対話動作によって入力することができる。
【００７８】
またユーザの首振り動作を自動認識すればユーザが反応した質問事項を表示している表示物を首振り方向に微小変化させることによって入力を受け付けたことを示すと共に首振り方向の認識結果をもユーザに知らせるので、ユーザは自分の首振り動作が正しく認識されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００７９】
またさらに首振り入力と共にタッチパネル１に対するタッチ操作によっても入力することができ、その場合には首振り入力とは異なった態様で入力受付をタッチした表示物の位置に所定のマーク３６で表示するようにしているので、タッチ操作時にもそのタッチ操作が受け付けられたことをユーザにとって容易に知ることができるようになる。
【００８０】
なお、第１の実施の形態において、図３のフローチャートにおけるステップＳ１０７，Ｓ１１０で首振り入力動作に対してＹＥＳと認識した時、またＮＯと認識した時それぞれのディスプレイ２上に表示物３２の変化態様は、図１４又は図１５に示すものとすることができる。図１４に示すＹＥＳ入力に対するリアクションは、「経路探索を開始しますか？」の表示物３２を縦方向の首振り動作に対応して上下方向に拡大するように変化させることによって入力を受け付けたことを示し、また図１５に示すＮＯ入力に対するリアクションは、同じ表示物３２を横方向の首振り動作に対応して横方向に拡大するように変化させることによって入力を受け付けたことを示すようにしている。
【００８１】
この第２の実施の形態の表示態様の変化によっても、第１の実施の形態における図５及び図７に示す表示態様の変化と同様に、ユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００８２】
次に、本発明の第３の実施の形態を図１６〜図１８に基づいて説明する。この第３の実施の形態の特徴は、図２の機能ブロック図におけるリアクション処理部２８が図１６のフローチャートにおけるステップＳ１０６´，Ｓ１０９´の処理を行うようにした点にあり、その他の構成はすべて第１の実施の形態と共通する。
【００８３】
すなわち、第１の実施の形態と同様に図４に示す表示状態でユーザＰが首を縦方向に振って肯定の意志表示をした時、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５の処理を行うが、ＹＥＳに対するリアクションとして図１６に示すステップＳ１０６´の処理を行い、図１７に示すようにＹＥＳに対するリアクションとして「有料道路を優先しますか？」を表示する次画面の表示物３４を直前の表示物３２と共に縦に少しずらした位置関係で展開表示させる。また図４に示す表示状態でユーザＰが首を横方向に１回だけ振って否定の意志表示をした時には、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５及びステップＳ１０８の処理を行うが、ＮＯに対するリアクションとして図１６に示すステップＳ１０９´の処理を行い、図１８に示すようにＮＯに対するリアクションとしてそのＮＯ入力に対応した次画面である「経由地を設定しますか？」の表示物３５を直前の表示物３２と共に横に少しずらした位置関係で展開表示させる。
【００８４】
こうして、この第３の実施の形態によってもユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００８５】
なお、この第３の実施の形態においても、図１６のフローチャートのステップＳ１０６´，Ｓ１０９´におけるリアクション表示と次画面表示とを同時に行う処理において、その表示態様をそれぞれ図１９又は図２０のように変更することができる。この表示態様は、ＹＥＳ入力の場合にはそのＹＥＳ入力に対応した次処理のための表示物３４を最初はその上端部３４ａを少しだけ出現させ、次第に下側に展開していって全体を表示させ、またＮＯ入力の場合にはそのＮＯ入力に対応した次処理のために表示物３５を最初はその中央部３５ａだけを出現させ、次第に左右に展開していって全体を表示させるものである。
【００８６】
これによってこの第４の実施の形態においても、第３の実施の形態と同様に、ユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【００８７】
次に、本発明の第５の実施の形態について、図２１〜図２５に基づいて説明する。この第５の実施の形態の特徴は、図２の機能ブロック図におけるリアクション処理部２８が図２１のフローチャートにおけるステップＳ１０６″，Ｓ１０９″の処理を行うようにした点にあり、その他の構成はすべて第１の実施の形態と共通する。
【００８８】
すなわち、第１の実施の形態と同様に図４に示す表示状態でユーザＰが首を縦方向に振って肯定の意志表示をした時、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５の処理を行うが、ＹＥＳに対するリアクションとして図２１に示すステップＳ１０６″の処理を行い、図２２に示すようにＹＥＳ入力に対して表示すべき重要度が同じレベルの表示物が複数個存在する場合には、ＹＥＳに対するリアクションとして並列する複数の表示物、ここでは例として、「有料道路を優先しますか？」の表示物３４、「料金を優先させますか？」の表示物３７、「所要時間を優先させますか？」の表示物３８を上から順次、縦に並ぶように展開表示させる。
【００８９】
そしてこの表示態様の場合、図２３に示すように選択項目が順番に点滅してゆき、所望の項目が点滅した時に首を縦に振ることによってその項目を選択することができ、以後、選択された項目に対応した次画面が同じようにして展開表示されることになる。
【００９０】
また逆に、図４に示す表示状態でユーザＰが首を横方向に１回だけ振って否定の意志表示をした時には、図３のフローチャートと同様にステップＳ１０１〜Ｓ１０５及びステップＳ１０８の処理を行うが、ＮＯに対するリアクションとして図２１に示すステップＳ１０９″の処理を行い、図２４に示すようにＮＯ入力に対して表示すべき重要度が同じレベルの表示物が複数個存在する場合には、ＮＯに対するリアクションとして並列する複数の表示物、ここでは例として、「経由地を設定しますか？」の表示物３５と「目的地を保存しますか？」の表示物３９を横に並ぶ形で表示させる。そしてこの場合、各表示物３５，３９は共にその中央部だけを少し表示させ、その後左右に全体を展開させる形で表示させることになる。なお、この横並びの表示は、表示物３５、表示物３９を横方向に順次展開表示させる形態であってもよい。
【００９１】
そしてこれらの複数の選択項目に対しても、選択項目が順番に点滅してゆき、所望の項目が点滅した時に首を縦に振ることによってその項目を選択することができることになる。
【００９２】
さらに、図２２〜図２４に示す表示状態ではタッチパネル１を用いた入力も可能であり、この場合には、図２５に示すように選択項目に直接タッチすることによってその項目を選択することができる。そしてタッチ操作に対するリアクションは図９に示した第１の実施の形態の場合と同様に、選択項目を色変わりさせると共に手指のマーク３６を表示することによって行う。
【００９３】
なお、ある入力に対応した次画面として展開する選択項目（表示物）として、重要度が同じレベルのものが複数個存在せず、ただ１つの表示物だけを表示する場合には、図１４〜図２０に示した第３の実施の形態若しくは第４の実施の形態のような表示形態で表示させることができる。
【００９４】
こうして、この第５の実施の形態によれば、重要度が同じレベルの選択項目が複数ある場合にはそれらを同時に表示させるようにしたので、画面展開操作が少なくて済み、最終目的処理を実行させるまでの入力手続を短時間のうちに行えるようになる。
【００９５】
なお、上記の各実施の形態では、操作者の首振り方向を検出するのに画像処理を用いたものを示したが、これに限定されることはなく、従来例に見られるような操作者の頭部にセンサを装着させ、そのセンサによって首振り方向を検出する構成とすることもできる。しかしながら、撮像手段を用いて画像処理により首振り方向を検出する構成の方が、操作者にとって非接触に首振り方向を検出することができるので煩わしさを与えない利点がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のハードウェア構成を示すブロック図。
【図２】上記の実施の形態の機能構成を示すブロック図。
【図３】上記の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図４】上記の実施の形態における首振り入力直前の画面状態を示す説明図。
【図５】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図６】上記の実施の形態における縦の首振り入力に対応した次画面の表示状態を示す説明図。
【図７】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図８】上記の実施の形態における横の首振り入力に対応した次画面の表示状態を示す説明図。
【図９】上記の実施の形態におけるタッチ入力に対する画面変化の状態を示す説明図。
【図１０】上記の実施の形態におけるカメラが撮像した画像から網膜反射像の位置検出を行う動作のフローチャート。
【図１１】上記の実施の形態における首振り動作の検出処理のフローチャート。
【図１２】上記の実施の形態における首振り回数１回の場合の網膜反射像位置の時間変化を示すグラフ。
【図１３】上記の実施の形態における首振り回数２回の場合の網膜反射像位置の時間変化を示すグラフ。
【図１４】本発明の第２の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図１５】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図１６】本発明の第３の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図１７】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図１８】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図１９】本発明の第４の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図２０】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図２１】本発明の第５の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図２２】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図２３】上記の実施の形態における縦の首振り入力に対応して表示された次画面上での首振り入力処理動作を示す説明図。
【図２４】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図２５】上記の実施の形態における縦の首振り入力に対応して表示された次画面上でのタッチ入力処理動作を示す説明図。
【符号の説明】
Ｐ ユーザ
１ タッチパネル
２ ディスプレイ
３ カメラ
４ａ，４ｂ 照明灯
５ 信号処理装置
６ 入出力インタフェース部
７ 中央演算処理装置
８ メモリ
２１ タッチ入力検出部
２２ タッチ位置検出部
２３ リアクション処理部
２４ 撮像信号入力部
２５ 画像処理部
２６ 首振り方向判別部
２７ 首振り回数判定部
２８ リアクション処理部
２９ 次処理部
３１ 地図表示
３２〜３５ 表示物
３６ マーク
３７〜３９ 表示物
Claims (18)
- 操作者に対する質問表示である表示物を表示する表示手段と、
操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、
前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、
前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段とを備えて成る身振り入力装置。 - 前記操作者の顔面を撮像する撮像手段を備え、
前記首振り方向検出手段が、この撮像手段の撮像した映像中の前記操作者の顔面の動きに対してその首振り方向を検出することを特徴とする請求項１に記載の身振り入力装置。 - 前記入力認識手段が変化させる表示物がそれを見て操作者が首振り動作した表示物であることを特徴とする請求項１又は請求項２に記載の身振り入力装置。
- 前記入力認識手段による表示物の変化をその変化方向に長い形状への変化とする請求項３に記載の身振り入力装置。
- 前記入力認識手段により変化させる表示物が前記意志判断手段によって判断した肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であることを特徴とする請求項１又は請求項２に記載の身振り入力装置。
- 前記入力認識手段による前記新たな表示物の表示位置を、前記直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置とすることを特徴とする請求項５に記載の身振り入力装置。
- 前記入力認識手段による前記新たな表示物の表示に際して、当該新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくことを特徴とする請求項５に記載の身振り入力装置。
- 前記入力認識手段が変化させる表示物が文字列、又は前記文字列を背景から分離して表示するための領域であることを特徴とする請求項１〜７のいずれかに記載の身振り入力装置。
- 前記入力認識手段が変化させる表示物が複数の文字列、又は複数の前記文字列を背景から分離して表示するための領域であることを特徴とする請求項１〜７のいずれかに記載の身振り入力装置。
- 請求項１〜９のいずれかに記載の身振り入力装置と、それ以外の入力手段とを備えて成る入力装置。
- 前記入力手段が操作者の手操作による手段であることを特徴とする請求項１０に記載の入力装置。
- 前記身振り入力装置による入力と前記入力手段による入力とで前記表示物の表示態様を異ならせることを特徴とする請求項１０又は１１に記載の入力装置。
- 前記入力手段が前記表示手段の前面に取り付けられたタッチパネルであり、当該入力手段による入力操作時に前記表示手段に表示されている表示物のうち、タッチ箇所に人手の形のマークを表示する入力受付表示手段を備えて成る請求項１２に記載の入力装置。
- 入力アンドゥ手段を備えて成る請求項１〜１３のいずれかに記載の入力装置。
- 前記首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えて成る請求項１４に記載の入力装置。
- 前記入力アンドゥ判断手段が前記操作者の連続して２回以上の横方向の首振りによって入力アンドゥと判断することを特徴とする請求項１５に記載の入力装置。
- 前記首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に前記入力認識手段により前記表示物の表示を変化させ、当該表示の変化前 の入力を受け付けないようにしたことを特徴とする請求項１〜１６のいずれかに記載の入力装置。
- 操作者に対する質問表示である表示物を表示する表示手段と、
操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、
前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、
前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段と
前記入力認識手段により前記表示手段に表示されている表示物を縦方向に変化させた後、当該肯定意志に対する質問表示の次段の質問表示である表示物を表示し、前記入力認識手段により前記表示手段に表示されている表示物を横方向に変化させた後、当該否定意志に対する質問表示の次段の質問表示である表示物を表示する手段とを備えて成る身振り入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25658396A JP3796840B2 (ja) | 1996-09-27 | 1996-09-27 | 身振り入力装置及びそれを含む入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25658396A JP3796840B2 (ja) | 1996-09-27 | 1996-09-27 | 身振り入力装置及びそれを含む入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10105310A JPH10105310A (ja) | 1998-04-24 |
| JP3796840B2 true JP3796840B2 (ja) | 2006-07-12 |
Family
ID=17294654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25658396A Expired - Fee Related JP3796840B2 (ja) | 1996-09-27 | 1996-09-27 | 身振り入力装置及びそれを含む入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3796840B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
| US7542628B2 (en) * | 2005-04-11 | 2009-06-02 | Sarnoff Corporation | Method and apparatus for providing strobed image capture |
| JP2007094619A (ja) * | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
| JP2007263931A (ja) * | 2006-03-30 | 2007-10-11 | Denso It Laboratory Inc | ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム |
| JP4781181B2 (ja) * | 2006-07-07 | 2011-09-28 | 株式会社ソニー・コンピュータエンタテインメント | ユーザインタフェースプログラム、装置および方法、情報処理システム |
| JP5207513B2 (ja) * | 2007-08-02 | 2013-06-12 | 公立大学法人首都大学東京 | 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム |
| JP5061074B2 (ja) * | 2008-09-26 | 2012-10-31 | 株式会社デンソーアイティーラボラトリ | 車載機器制御装置および車載機器制御方法 |
| JP5958876B2 (ja) * | 2011-10-21 | 2016-08-02 | スズキ株式会社 | 車両の入力装置 |
| JP6134235B2 (ja) * | 2013-08-30 | 2017-05-24 | Kddi株式会社 | 制御装置、電子制御システム、制御方法、およびプログラム |
-
1996
- 1996-09-27 JP JP25658396A patent/JP3796840B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10105310A (ja) | 1998-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11249555B2 (en) | Systems and methods to detect a user behavior within a vehicle | |
| JP3324295B2 (ja) | 車両用視線方向計測装置 | |
| JP2988178B2 (ja) | 視線方向計測装置 | |
| CN105009032B (zh) | 信息处理装置和姿势检测方法 | |
| US6677969B1 (en) | Instruction recognition system having gesture recognition function | |
| US8270669B2 (en) | Apparatus for extracting operating object and apparatus for projecting operating hand | |
| KR101576106B1 (ko) | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 | |
| US20120207345A1 (en) | Touchless human machine interface | |
| JPH09251342A (ja) | 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法 | |
| CN106933343A (zh) | 用于识别虚拟现实头戴装置中的手势的设备和方法 | |
| JP7091983B2 (ja) | 機器制御装置 | |
| JP3796840B2 (ja) | 身振り入力装置及びそれを含む入力装置 | |
| US10496186B2 (en) | Information processing apparatus, information processing method, and program | |
| CN110520822B (zh) | 控制装置、信息处理***、控制方法和程序 | |
| JP6092173B2 (ja) | 電子装置とその操作方法 | |
| JP2003150306A (ja) | 情報表示装置とその方法 | |
| KR101396488B1 (ko) | 신호 입력 장치 및 신호 입력 방법 | |
| JP3689285B2 (ja) | 入力装置および入力装置用ヘッドマウントディスプレイ | |
| JPH07296299A (ja) | 画像処理装置およびそれを用いた居眠り警報装置 | |
| JPH09167049A (ja) | コンソール用視線入力装置 | |
| US11978287B2 (en) | Information provision system, information terminal, and information provision method | |
| JP3627468B2 (ja) | 動作検出装置 | |
| JP4088282B2 (ja) | コンピュータ入力方法と装置 | |
| JP2000056916A (ja) | ハンドポインティング装置 | |
| JPH05232908A (ja) | 指示入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050928 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |