JP3796840B2 - 身振り入力装置及びそれを含む入力装置 - Google Patents
身振り入力装置及びそれを含む入力装置 Download PDFInfo
- Publication number
- JP3796840B2 JP3796840B2 JP25658396A JP25658396A JP3796840B2 JP 3796840 B2 JP3796840 B2 JP 3796840B2 JP 25658396 A JP25658396 A JP 25658396A JP 25658396 A JP25658396 A JP 25658396A JP 3796840 B2 JP3796840 B2 JP 3796840B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- input
- input device
- operator
- swing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は操作者の首振り動作を観察してその肯定意志、否定意志を自動的に判断し、対話式入力を行う身振り入力装置及びそれを含む入力装置に関する。
【0002】
【従来の技術】
従来、パーソナルコンピュータやワードプロセッサ等、情報入力を行う電子機器において操作者と対話式手続によって情報入力を行い、演算処理を行う入力装置において、操作者の身振り動作を自動的に認識してその肯定、否定の意志を判断し、入力処理を行うものとして、特開昭62−100826号公報に開示されたものが知られている。
【0003】
この従来の身振り入力装置は、操作者の頭部に装着して頭部の回転運動による変動を検出する手段を備え、操作者が表示装置に表示されるシステムの質問に対して首振り動作によって肯定、否定の意志表示を行うことにより、その首振り動作を自動的に認識してYES,NOの入力を行うようにしたものである。
【0004】
【発明が解決しようとする課題】
しかしながら、この従来の身振り入力装置には、操作者が肯定若しくは否定の首振り動作をしても、システム側でどのように受け取ったのか操作者にリアクションする手段がなく、操作者の行った首振り動作を肯定意志と認識したか、否定意志と認識したか、それともいずれの認識もしなかったのかを操作者が直ちに判断することができず、その後のシステム側の動作を見てようやく、システムが操作者の首振り動作をどのように認識したを判断できるものであった。
【0005】
本発明はこのような従来の問題点に鑑みてなされたもので、システム側が操作者の身振り動作を自動的に認識して肯定意志と判断した場合と否定意志と判断した場合とで表示装置に表示される表示物を異なった表示態様で変化させるリアクションを行わせることによって、操作者の身振り動作に対して正しく認識したかどうかを操作者がその動作直後に直ちに判別することができる身振り入力装置及びそれを含む入力装置を提供することを目的とする。
【0006】
本発明はまた、肯定、否定の意志表示動作に加えてアンドゥ意志表示動作をも認識することができる身振り入力装置及びそれを含む入力装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
請求項1の発明の身振り入力装置は、操作者に対する質問表示である表示物を表示する表示手段と、操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段とを備えたものである。
【0008】
この請求項1の発明の身振り入力装置では、表示手段に表示されている質問表示に対して操作者が縦に首を振って肯定意志を表示した時、若しくは横に首を振って否定意志を表示した時、操作者の顔面の動きから首振り方向検出手段がその首振り方向を縦方向であるか横方向であるかを検出し、意志判断手段が首振り方向が縦方向であれば肯定の意志を示し、横方向であれば否定の意志を示したと判断する。そして入力認識手段は、意志判断手段が肯定意志と判断した場合に表示手段に表示されている表示物を縦方向に変化させ、意志判断手段が否定意志と判断した場合に表示手段に表示されている表示物を横方向に変化させる。
【0009】
したがって操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しく否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことになり、操作者は自分の首振り動作が正しく認識されたかどうか、したがって正しく入力されたかどうかを直ちに判別することができるようになる。
【0010】
請求項2の発明は、請求項1の身振り入力装置において、さらに、前記操作者の顔面を撮像する撮像手段を備え、前記首振り方向検出手段が、この撮像手段の撮像した映像中の前記操作者の顔面の動きに対してその首振り方向を検出するようにしたものであり、操作者に非接触でその首振り方向を検出することによって操作者に与える煩わしさを少なくできる。
【0014】
請求項3の発明は、請求項1または2の身振り入力装置において、前記入力認識手段により変化させる表示物がそれを見て操作者が首振り動作した表示物であるようにしたものであり、これによって入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうか、また入力が正しいかどうかを操作者に確認させる。
【0015】
請求項4の発明は、請求項3の身振り入力装置において、前記入力認識手段による表示物の変化をその変化方向に長い形状への変化としたものであり、これによって入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうかを操作者の首振り方向と同じ方向に表示物が変化するかどうかによって確認させ、また操作者にその視点を大きく変えないで確認させる。
【0016】
請求項5の発明は、請求項1または2の身振り入力装置において、前記入力認識手段が変化させる表示物が前記意志判断手段によって判断した肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であるようにしたものであり、これによって操作者に対して自分の首振り方向そのものの認識結果と、その首振り入力に対する応答結果が正しいかどうかを確認させる。
【0017】
請求項6の発明は、請求項5の身振り入力装置において、前記入力認識手段による新たな表示物の表示位置を、前記直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置とするものであり、これによって操作者に対して自分の首振り動作により入力した結果が正しい選択であったかどうかを、その選択前後の表示物を比較して確認させる。
【0018】
請求項7の発明は、請求項5の身振り入力装置において、前記入力認識手段が変化させる新たな表示物の表示に際して、当該新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくようにしたものであり、これによって操作者に対して自分の首振り方向の認識結果を表示物の拡大方向によって確認させ、その首振り入力に対する応答結果を新たな表示物の内容によって容易に確認させる。
【0019】
請求項8の発明は、請求項1〜7の身振り入力装置において、前記入力認識手段が変化させる表示物が文字列、又は前記文字列を背景から分離して表示するための領域としたものである。
【0020】
請求項9の発明は、請求項1〜7の身振り入力装置において、前記入力認識手段が変化させる表示物が複数の文字列、又は複数の前記文字列を背景から分離して表示するための領域としたものである。
【0021】
これらの請求項8又は9の発明の身振り入力装置では、操作者に対して自分の選択した質問事項が何であったか、あるいは自分の選択した結果、次にすべき事項が何であるかを表示物の内容から確認させる。
【0022】
請求項10の発明の入力装置は、請求項1〜9のいずれかの身振り入力装置と、それ以外の入力手段とを備えたものであり、操作者の首振りによる入力操作と、それ以外の入力操作を可能とする。
【0023】
請求項11の発明は、請求項10の入力装置において、前記入力手段が操作者の手操作による手段としたものであり、操作者は必要に応じて首振り動作による入力と手操作による入力とを可能とする。
【0024】
請求項12の発明は、請求項10又は11の入力装置において、前記身振り入力装置による入力と前記入力手段による入力とで前記表示物の表示態様を異ならせたものであり、操作者に直前の入力操作が何によるものであったかを容易に判断させることができる。
【0025】
請求項14の発明は、請求項12の入力装置において、前記入力手段が前記表示手段の前面に取り付けられたタッチパネルであり、当該入力手段による入力操作時に前記表示手段に表示されている表示物のうち、タッチ箇所に人手の形のマークを表示する入力受付表示手段を備えたものであり、首振り動作による入力とタッチ操作による入力とができ、また操作者に直前の入力操作が首振り動作によるものであったかタッチ操作によるものであったかを容易に判断させることができる。
【0026】
請求項14の発明は、請求項1〜13の入力装置において、入力アンドゥ手段を備えたものであり、誤った入力操作に対するリカバリーができる。
【0027】
請求項15の発明は、請求項14の入力装置において、前記首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えたものであり、操作者の首振り動作によってアンドゥ入力を行うことができる。
【0028】
請求項16の発明は、請求項15の入力装置において、前記入力アンドゥ判断手段が前記操作者の連続して2回以上の横方向の首振りによって入力アンドゥと判断するようにしたもので、日常会話における打消し意志を表示する動作に相通ずる動作によってアンドゥ指令を入力することができ、自然な動作でアンドゥ指令が行える。
【0029】
請求項17の発明は、請求項1〜16の入力装置において、前記首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に前記入力認識手段により前記表示物の表示を変化させ、当該表示の変化前の入力を受け付けないようにしたもので、これによって相矛盾する入力を次々に認識することにより発生するシステムの混乱を避け、首振り入力をスムーズに行えるようにする。
【0030】
請求項18の発明は、操作者に対する質問表示である表示物を表示する表示手段と、操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段と前記入力認識手段により前記表示手段に表示されている表示物を縦方向に変化させた後、当該肯定意志に対する質問表示の次段の質問表示である表示物を表示し、前記入力認識手段により前記表示手段に表示されている表示物を横方向に変化させた後、当該否定意志に対する質問表示の次段の質問表示である表示物を表示する手段とを備えたものである。
【0031】
【発明の効果】
請求項1の発明によれば、操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しく否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことができ、操作者は自分の首振り動作が正しく認識されたかどうかを直ちに判別することができる。
【0032】
請求項2の発明によれば、首振り方向検出手段が撮像手段の撮像した映像中の前操作者の顔面の動きに対してその首振り方向を検出するようにしたので、操作者に非接触でその首振り方向を検出することができ、操作者に与える煩わしさを少なくできる。
【0034】
請求項3の発明によれば、入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうか、また入力が正しいかどうかを操作者に確認させることができ、また何が動くかを画面内で探さなくてもよくて操作者の負担を小さくできる。
【0035】
請求項4の発明によれば、入力認識手段による表示物の変化をその変化方向に長い形状への変化としたので、入力認識結果に対応して次の処理を行う前に直前に行った首振り動作が正しく認識されたかどうかを操作者の首振り方向と同じ方向に表示物が変化するかどうかによって確認させ、また操作者にその視点を大きく変えないで確認させることができる。
【0036】
請求項5の発明によれば、入力認識手段が変化させる表示物が操作者の肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であるようにしたので、操作者に対して自分の首振り方向そのものの認識結果と、その首振り入力に対する応答結果が正しいかどうかを確認させることができ、また何が動くかを画面内で探さなくてもよくて操作者の負担を小さくできる。
【0037】
請求項6の発明によれば、新たな表示物の表示位置を、首振り入力直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置としたので、操作者に対して自分の首振り動作により入力した結果が正しい選択であったかどうかを、その選択前後の表示物を比較して確認させることができる。
【0038】
請求項7の発明によれば、入力認識手段が変化させる新たな表示物の表示に際して、新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくようにしたので、操作者に対して自分の首振り方向の認識結果を表示物の拡大方向によって確認させ、その首振り入力に対する応答結果を新たな表示物の内容によって容易に確認させることができる。
【0039】
請求項8及び請求項9の発明によれば、操作者に対して自分の選択した質問事項が何であったか、あるいは自分の選択した結果、次にすべき事項が何であるかを容易に確認させることができる。
【0040】
請求項10の発明によれば、身振り入力装置とそれ以外の入力手段とを備えているので、状況に応じて操作者の首振りによる入力操作と、それ以外の入力操作が可能である。
【0041】
請求項11の発明によれば、身振り入力装置と手入力手段とを備えているので、操作者は必要に応じて首振り動作による入力と手操作による入力とのいずれも行うことができる。
【0042】
請求項12の発明によれば、身振り入力装置による入力とその以外の入力手段による入力とで表示物の表示態様を異ならせるようにしたので、操作者に直前の入力操作が何によるものであったかを容易に判断させることができる。
【0043】
請求項13の発明によれば、身振り入力装置とタッチパネルとを備え、タッチパネルによる入力操作時には表示物のタッチ箇所に人手の形のマークを表示するようにしたので、首振り動作による入力とタッチ操作による入力とができ、かつ操作者に直前の入力操作が首振り動作によるものであったかタッチ操作によるものであったかを表示物の表示から容易に判断させることができる。
【0044】
請求項14の発明によれば、入力アンドゥ手段を備えたので、誤った入力操作に対するリカバリーができる。
【0045】
請求項15の発明によれば、首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えので、操作者の首振り動作によってアンドゥ入力を行うことができる。
【0046】
請求項16の発明によれば、入力アンドゥ判断手段が操作者の連続して2回以上の横方向の首振りによって入力アンドゥと判断するようにしたので、日常会話における打消し意志を表示する動作に相通ずる動作によってアンドゥ指令を入力することができ、自然な動作でアンドゥ指令が行える。
【0047】
請求項17の発明によれば、首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に入力認識手段により表示物の表示を変化させ、この表示の変化前の入力を受け付けないようにしたので、相矛盾する入力を次々に認識することにより発生するシステムの混乱を避け、首振り入力がスムーズに行える。
【0048】
請求項18の発明によれば、操作者が表示手段に表示されている質問表示に対して首振り動作によって肯定若しくは否定の意志表示を行えば、システム側がその認識結果を直ちに表示物を相異なる表示態様で変化させるリアクションによって示すことができ、操作者は自分の首振り動作が正しく認識されたかどうかを直ちに判別することができる。また、表示物を縦方向に変化させた後に肯定意志に対する質問表示の次段の質問表示である表示物を表示し、表示物を横方向に変化させた後に否定意志に対する質問表示の次段の質問表示である表示物を表示するので、装置に対してユーザが自然な形の対話動作によって入力することができる。
【0049】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図1〜図12は本発明の第1の実施の形態を示している。この第1の実施の形態の入力装置は、自動車の運転席近くのインストルメントパネルにユーザと対面するように設置され、カーナビゲーションシステムとして動作させる入力装置に関し、身振り入力装置と手入力装置としてのタッチパネルとを兼備している。そのハードウェアシステム構成は、タッチパネル1が前面に取り付けられているディスプレイ2と、ドライバやその他のユーザPの顔面部分を撮像するカメラ3と、ユーザPの眼球部分を照らす2つの照明灯4a,4bと、これらの接続機器をコントロールする信号処理装置5から構成されている。
【0050】
この照明灯4aはカメラ3のレンズ中心に画像入力と共軸系をなすように配置され、近赤外光を発するLEDであり、照明灯4bは照明灯4aと同一仕様であるが、照明灯4aから離れた位置に設置されている。
【0051】
信号処理装置5は、接続機器1〜4との間で入出力信号のインタフェースをなす入出力インタフェース部6と、中央演算処理装置7と、プログラムその他の固定データを保存するROMや諸パラメータ、可変データを保存するRAMから構成されるメモリ8を備えている。
【0052】
そして中央演算処理装置7が実行する処理機能をブロック化して示すと図2に示す構成である。すなわち、タッチパネル1にタッチされた場合にそのタッチ信号を入力するタッチ入力処理部21と、タッチ信号に対してディスプレイ2の表示画面に対応したタッチ位置座標を割り出し、かつそのタッチ位置に表示されている表示物からタッチ入力指令を判別するタッチ位置検出部22と、タッチ入力指令の認識結果を操作者に知らせるためにタッチ表示物に対して所定のリアクション表示を行うリアクション処理部23を備えている。
【0053】
またカメラからの撮像信号を入力する撮像信号入力部24と、入力された撮像信号をディジタル画像に変換し、後述する方法でユーザの眼球の網膜像を抽出する画像処理部25と、この画像処理部25が抽出した網膜像の時間的な移動方向を追跡して縦横いずれの方向に首振りされたか、首振り方向を判別する首振り方向判別部26と、横方向の首振りを判別した時に所定時間内に何回首振りされたか、首振り回数を判定する首振り回数判定部27と、首振り方向判定、首振り回数判定結果に基づく所定の入力認識のリアクション表示を行うリアクション処理部28と、タッチ入力若しくは首振り入力に応答して次の表示処理を行う次処理部29を備えている。
【0054】
画像処理部25による画像処理機能は、本願出願人の出願に係る特開平6−270711号公報に開示され、また後述する方法が採用されている。
【0055】
次に、上記構成の入力装置の動作について説明する。ここでは、カーナビゲーションにおける目的地設定、経路探索機能の操作を例にして説明する。操作者であるユーザの縦の首振りはYESを意味し、横の首振りは1回だけであればNOを意味し、2回以上であれば前回の入力を取り消して前画面に戻るアンドゥ指令であることを意味するものと設定している。
【0056】
ユーザは目的地設定機能を選択後、設定したい地点を地図上で確定すると、中央演算処理装置7の動作によって、ディスプレイ2には図4に示すように、非アクティブになった地図表示31上に「経路を探索しますか?」という質問の表示物32と「前画面」の表示物33とをアクティブ表示して、図3に示すフローチャートの処理を行うプログラムを起動する。
【0057】
このプログラムではまず、タッチパネル1又は首振りによる入力を許可し(ステップS101)、ユーザPがタッチパネル1か首振りにより入力するのを待つ(ステップS102,S103)。
【0058】
いまユーザが首振り動作によって入力した時には、その後、所定期間、首振りによる入力処理を完了するまで次の入力を禁止した後、首振り方向と首振り回数を判別する(ステップS104)。この首振り入力に対する首振り方向と首振り回数の判別は、図10及び図11のフローチャートにしたがって実行されるが、これは後述する。
【0059】
判別した首振り方向が縦方向であった場合、つまり「経路探索を開始しますか?」の質問表示物32に対してYESの入力を与えた場合、図5に示すように「経路探索を開始しますか?」の表示物32を首振り動作と同じく縦方向に微動させるリアクション表示を行わせて首振り動作が受け付けられ、それがYESと判別されたことをユーザに知らせ(ステップS105,S206)、さらに次段の質問事項の表示、すなわち図6に示すように「有料道路を優先しますか?」の表示物34を表示させて次入力を促す(ステップS107)。
【0060】
他方、ステップS105で首振り入力が横方向であれば、首振り回数を判別し(ステップS108)、1回だけであれば図4に示した「経路探索を開始しますか?」の質問表示物32に対してNOの入力を与えたと判断し、図7に示すように「経路探索を開始しますか?」の表示物32を首振り動作と同じく横方向に微動させるリアクション表示を行わせて首振り動作が受け付けられ、それがNOと判別されたことをユーザに知らせ(ステップS109)、続いてNO入力に対応した次画面を表示する処理を行い、図8に示すようにディスプレイ2に「経由地設定を行いますか?」の表示物35を表示させる(ステップS110)。
【0061】
ステップS108の判定で首振り回数が横に2回以上であった時には、前画面に戻る指令が与えられたものとして、この場合、横方向に微動させることなく、前画面に直接戻る処理を行う(ステップS111)。
【0062】
次に、図4に示した「経路探索を開始しますか?」の表示部32がアクティブ表示されている状態で、ユーザPがタッチパネル1を操作した場合、ステップS102からステップS112に分岐してタッチ操作に対するリアクション表示を行わせる。つまり、図4に示す状態において「前画面」の表示物33にタッチされたとすれば、図9に示すように「前画面」の表示物33を色変わりさせ、またタッチ入力であることを示す手指マーク36を表示し、この後、前画面の表示に移行する(ステップS113)。
【0063】
次に、カメラ3の撮像信号に対する画像処理部25による首振り方向と首振り回数の判別処理手順について図10〜図13に基づいて説明する。前述したようにこのユーザPの首振り動作に対してそのユーザPの顔面部分を照明灯4a,4bによって一定のタイミングで照らしながらカメラ3によって撮像し、眼球内の網膜反射像を抽出してその位置を検出する手法は特開平6−270711号公報に開示されている方法を採用し、図10のフローチャートに示す方法で行う。この方法について説明すると、まず照明灯4aを点灯させ、他方の照明灯4bは消灯状態にして(ステップS201)、カメラ3でユーザPの顔面画像Aを撮像し、ディジタル画像に変換してメモり8に記憶する(ステップS202)。続いて逆に照明灯4aを消灯し照明灯4bを点灯させてカメラ3で同じくユーザPの顔面画像Bを撮像し、同じようにしてメモり8に記憶する(ステップS203,S204)。
【0064】
そしてこれらほぼ同時に撮像した画像A,Bに対して差分演算を行い、差分画像Cを得る(ステップS205)。ここで、画像Aは網膜からの反射光により瞳孔が明るく光って観測され、画像Bでは瞳孔が暗く観測され、差分画像Cでは瞳孔領域だけが明るく強調されたものとなる。
【0065】
こうして得た差分画像Cに対して、あるしきい値を設定して2値化処理を行い(ステップS206)、さらにラベリング処理によって領域の番号付けを行う
(ステップS207)。
【0066】
差分画像Cの中には網膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明の変動で生じた顔の一部など、様々なノイズが含まれている可能性がある。これらのノイズは、一般に不定形状、かつ面積も不定であるため、あらかじめ予想される面積の円若しくは楕円として観測される網膜反射像と識別可能である。そこで、網膜反射像をこれらの他のノイズと識別するために、ここでは領域面積による識別処理を行い(ステップS208)、また領域形状による識別処理を行うことによって網膜反射像だけを抽出する(ステップS209)。そしてこの網膜反射像に対してその重心座標を求めて出力する(ステップS210)。
【0067】
上記の領域面積による識別処理では、ラベリングの結果から得られた各領域の面積Riをあらかじめ決めておいたしきい値S1,S2(S1<S2)と比較して、S1<Ri<S2となる領域のみを抜き出す。ここで、しきい値S1,S2はカメラ3の撮像倍率から推定して予想される瞳孔径(直径2〜8mmの瞳孔が面積何画素の領域として観測されるか)にセットされたものである。これによって、眼鏡レンズ反射像も円形領域として観測されるが、カメラ3の絞り値を絞ることによってあらかじめ網膜反射像の面積よりも眼鏡レンズ反射像の面積が小さくなるように設定しておくことにより、反射像の領域面積によって両者を識別することができる。
【0068】
また領域形状による識別処理では、領域面積による識別処理で残った領域に対して外接長方形に対する領域面積の比率Fを計算する。網膜反射像は円又は楕円形状で観測されるために、比率Fがある一定値Fth以上であるのに対して、例えば、眼鏡フレーム反射像の形状はフレームに沿った細長い領域となるために、領域面積が網膜反射像に近い面積であったとしても比率Fが小さくなり、網膜反射像と容易に識別することができる。
【0069】
このようにして画像処理部25が求めた網膜反射像の位置座標に対して、首振り方向判別部26と首振り回数判定部27は、図11のフローチャートに示す処理によってユーザPの首振り方向と首振り回数とを判定する。それにはまず、画像処理部25が求めた網膜反射像の位置座標(X1,Y1)を入力し(ステップS301)、前回計測した網膜反射像の座標を初期位置(X0,Y0)として、この初期位置からの縦方向又は横方向の位置変化が所定値を越えたかどうか判定する(ステップS302)。ここで横方向の位置変化は|X1−X0|であり、縦方向の位置変化は|Y1−Y0|である。
【0070】
そしてこれらのいずれかが所定値を超えた時に、ユーザPがその方向に首振りしたと判定し、この判定結果をメモり8に記憶しておく(ステップS303〜S305)。
【0071】
続いて、所定時間T1の間、網膜反射像の位置座標を時系列に取得し、それらをメモリ8に記憶していく(ステップS306)。この時系列データは(Xi,Yi)とする。ここでiは時間指標である。
【0072】
こうしてタイミングT0においてユーザPの最初の首振りを検出した後、所定時間T1の間、さらにユーザPの首振り動作を監視していて、その所定時間のうちに網膜反射像の位置座標が初期位置(X0,Y0)に戻った回数Kを求める(ステップS307)。図12はK=1の場合の網膜反射像の位置座標の変化を示しており、図13はK=2の場合の網膜反射像の位置座標の変化を示している。ここでKは、しきい値|R´|をそれよりも大きい方から小さい方へクロスした回数として求めるのである。
【0073】
こうしてKを求め、このK≧1であった時、つまり網膜反射像位置が初期位置付近に戻った場合にのみ首振り入力があったと判定する(ステップS308〜S310)。そして次回に備えて、最終の網膜反射像位置の座標を初期位置座標(X0,Y0)として記憶する(ステップS311)。
【0074】
なお、新たに入力された網膜反射像の位置座標(X1,Y1)が前回値と大きく変化していない場合には、新たに入力された網膜反射像の位置座標を新たに初期位置座標(X0,Y0)として記憶し、ユーザPの首振り動作に対して誤動作なく反応するようにしている(ステップS301,S302,S312)。
【0075】
このようにして首振り方向判別部26でステップS304,S305の判定で首振り方向を決定し、またステップS309によって首振り入力有りと判定すると、続いて首振り回数判定部27は横方向の首振りであってKの値が1であればユーザPが否定意志を入力したと判定し、横方向の首振りであってKの値が2以上であれば直前の入力の取り消しの意志表示をした判定し、それらの判定結果をリアクション処理部28に出力する。
【0076】
そこでリアクション処理部28が図3のフローチャートにおいてステップS106,S109のリアクションを表示物32に対して行わせ、次処理部29においてステップS107,S110若しくはS111の表示処理を行う。
【0077】
このようにして、この第1の実施の形態によれば、表示物の表示している質問事項に対してユーザが首を縦に振れば肯定意志として認識し、また横に振れば否定意志として認識し、それらの指令に応じて表示物を展開表示させるので、装置に対してユーザが自然な形の対話動作によって入力することができる。
【0078】
またユーザの首振り動作を自動認識すればユーザが反応した質問事項を表示している表示物を首振り方向に微小変化させることによって入力を受け付けたことを示すと共に首振り方向の認識結果をもユーザに知らせるので、ユーザは自分の首振り動作が正しく認識されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【0079】
またさらに首振り入力と共にタッチパネル1に対するタッチ操作によっても入力することができ、その場合には首振り入力とは異なった態様で入力受付をタッチした表示物の位置に所定のマーク36で表示するようにしているので、タッチ操作時にもそのタッチ操作が受け付けられたことをユーザにとって容易に知ることができるようになる。
【0080】
なお、第1の実施の形態において、図3のフローチャートにおけるステップS107,S110で首振り入力動作に対してYESと認識した時、またNOと認識した時それぞれのディスプレイ2上に表示物32の変化態様は、図14又は図15に示すものとすることができる。図14に示すYES入力に対するリアクションは、「経路探索を開始しますか?」の表示物32を縦方向の首振り動作に対応して上下方向に拡大するように変化させることによって入力を受け付けたことを示し、また図15に示すNO入力に対するリアクションは、同じ表示物32を横方向の首振り動作に対応して横方向に拡大するように変化させることによって入力を受け付けたことを示すようにしている。
【0081】
この第2の実施の形態の表示態様の変化によっても、第1の実施の形態における図5及び図7に示す表示態様の変化と同様に、ユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【0082】
次に、本発明の第3の実施の形態を図16〜図18に基づいて説明する。この第3の実施の形態の特徴は、図2の機能ブロック図におけるリアクション処理部28が図16のフローチャートにおけるステップS106´,S109´の処理を行うようにした点にあり、その他の構成はすべて第1の実施の形態と共通する。
【0083】
すなわち、第1の実施の形態と同様に図4に示す表示状態でユーザPが首を縦方向に振って肯定の意志表示をした時、図3のフローチャートと同様にステップS101〜S105の処理を行うが、YESに対するリアクションとして図16に示すステップS106´の処理を行い、図17に示すようにYESに対するリアクションとして「有料道路を優先しますか?」を表示する次画面の表示物34を直前の表示物32と共に縦に少しずらした位置関係で展開表示させる。また図4に示す表示状態でユーザPが首を横方向に1回だけ振って否定の意志表示をした時には、図3のフローチャートと同様にステップS101〜S105及びステップS108の処理を行うが、NOに対するリアクションとして図16に示すステップS109´の処理を行い、図18に示すようにNOに対するリアクションとしてそのNO入力に対応した次画面である「経由地を設定しますか?」の表示物35を直前の表示物32と共に横に少しずらした位置関係で展開表示させる。
【0084】
こうして、この第3の実施の形態によってもユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【0085】
なお、この第3の実施の形態においても、図16のフローチャートのステップS106´,S109´におけるリアクション表示と次画面表示とを同時に行う処理において、その表示態様をそれぞれ図19又は図20のように変更することができる。この表示態様は、YES入力の場合にはそのYES入力に対応した次処理のための表示物34を最初はその上端部34aを少しだけ出現させ、次第に下側に展開していって全体を表示させ、またNO入力の場合にはそのNO入力に対応した次処理のために表示物35を最初はその中央部35aだけを出現させ、次第に左右に展開していって全体を表示させるものである。
【0086】
これによってこの第4の実施の形態においても、第3の実施の形態と同様に、ユーザは自分の首振り動作が正しく入力されたかどうかを容易に知ることができ、またその確認のために視線をほとんど移動させる必要がなく、首振り入力動作のために要求されるユーザの負担を小さなものにすることができる。
【0087】
次に、本発明の第5の実施の形態について、図21〜図25に基づいて説明する。この第5の実施の形態の特徴は、図2の機能ブロック図におけるリアクション処理部28が図21のフローチャートにおけるステップS106″,S109″の処理を行うようにした点にあり、その他の構成はすべて第1の実施の形態と共通する。
【0088】
すなわち、第1の実施の形態と同様に図4に示す表示状態でユーザPが首を縦方向に振って肯定の意志表示をした時、図3のフローチャートと同様にステップS101〜S105の処理を行うが、YESに対するリアクションとして図21に示すステップS106″の処理を行い、図22に示すようにYES入力に対して表示すべき重要度が同じレベルの表示物が複数個存在する場合には、YESに対するリアクションとして並列する複数の表示物、ここでは例として、「有料道路を優先しますか?」の表示物34、「料金を優先させますか?」の表示物37、「所要時間を優先させますか?」の表示物38を上から順次、縦に並ぶように展開表示させる。
【0089】
そしてこの表示態様の場合、図23に示すように選択項目が順番に点滅してゆき、所望の項目が点滅した時に首を縦に振ることによってその項目を選択することができ、以後、選択された項目に対応した次画面が同じようにして展開表示されることになる。
【0090】
また逆に、図4に示す表示状態でユーザPが首を横方向に1回だけ振って否定の意志表示をした時には、図3のフローチャートと同様にステップS101〜S105及びステップS108の処理を行うが、NOに対するリアクションとして図21に示すステップS109″の処理を行い、図24に示すようにNO入力に対して表示すべき重要度が同じレベルの表示物が複数個存在する場合には、NOに対するリアクションとして並列する複数の表示物、ここでは例として、「経由地を設定しますか?」の表示物35と「目的地を保存しますか?」の表示物39を横に並ぶ形で表示させる。そしてこの場合、各表示物35,39は共にその中央部だけを少し表示させ、その後左右に全体を展開させる形で表示させることになる。なお、この横並びの表示は、表示物35、表示物39を横方向に順次展開表示させる形態であってもよい。
【0091】
そしてこれらの複数の選択項目に対しても、選択項目が順番に点滅してゆき、所望の項目が点滅した時に首を縦に振ることによってその項目を選択することができることになる。
【0092】
さらに、図22〜図24に示す表示状態ではタッチパネル1を用いた入力も可能であり、この場合には、図25に示すように選択項目に直接タッチすることによってその項目を選択することができる。そしてタッチ操作に対するリアクションは図9に示した第1の実施の形態の場合と同様に、選択項目を色変わりさせると共に手指のマーク36を表示することによって行う。
【0093】
なお、ある入力に対応した次画面として展開する選択項目(表示物)として、重要度が同じレベルのものが複数個存在せず、ただ1つの表示物だけを表示する場合には、図14〜図20に示した第3の実施の形態若しくは第4の実施の形態のような表示形態で表示させることができる。
【0094】
こうして、この第5の実施の形態によれば、重要度が同じレベルの選択項目が複数ある場合にはそれらを同時に表示させるようにしたので、画面展開操作が少なくて済み、最終目的処理を実行させるまでの入力手続を短時間のうちに行えるようになる。
【0095】
なお、上記の各実施の形態では、操作者の首振り方向を検出するのに画像処理を用いたものを示したが、これに限定されることはなく、従来例に見られるような操作者の頭部にセンサを装着させ、そのセンサによって首振り方向を検出する構成とすることもできる。しかしながら、撮像手段を用いて画像処理により首振り方向を検出する構成の方が、操作者にとって非接触に首振り方向を検出することができるので煩わしさを与えない利点がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のハードウェア構成を示すブロック図。
【図2】上記の実施の形態の機能構成を示すブロック図。
【図3】上記の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図4】上記の実施の形態における首振り入力直前の画面状態を示す説明図。
【図5】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図6】上記の実施の形態における縦の首振り入力に対応した次画面の表示状態を示す説明図。
【図7】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図8】上記の実施の形態における横の首振り入力に対応した次画面の表示状態を示す説明図。
【図9】上記の実施の形態におけるタッチ入力に対する画面変化の状態を示す説明図。
【図10】上記の実施の形態におけるカメラが撮像した画像から網膜反射像の位置検出を行う動作のフローチャート。
【図11】上記の実施の形態における首振り動作の検出処理のフローチャート。
【図12】上記の実施の形態における首振り回数1回の場合の網膜反射像位置の時間変化を示すグラフ。
【図13】上記の実施の形態における首振り回数2回の場合の網膜反射像位置の時間変化を示すグラフ。
【図14】本発明の第2の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図15】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図16】本発明の第3の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図17】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図18】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図19】本発明の第4の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図20】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図21】本発明の第5の実施の形態の首振り入力及びタッチ入力に対する入力処理動作を示すフローチャート。
【図22】上記の実施の形態における縦の首振り入力に対する画面変化の状態を示す説明図。
【図23】上記の実施の形態における縦の首振り入力に対応して表示された次画面上での首振り入力処理動作を示す説明図。
【図24】上記の実施の形態における横の首振り入力に対する画面変化の状態を示す説明図。
【図25】上記の実施の形態における縦の首振り入力に対応して表示された次画面上でのタッチ入力処理動作を示す説明図。
【符号の説明】
P ユーザ
1 タッチパネル
2 ディスプレイ
3 カメラ
4a,4b 照明灯
5 信号処理装置
6 入出力インタフェース部
7 中央演算処理装置
8 メモリ
21 タッチ入力検出部
22 タッチ位置検出部
23 リアクション処理部
24 撮像信号入力部
25 画像処理部
26 首振り方向判別部
27 首振り回数判定部
28 リアクション処理部
29 次処理部
31 地図表示
32〜35 表示物
36 マーク
37〜39 表示物
Claims (18)
- 操作者に対する質問表示である表示物を表示する表示手段と、
操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、
前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、
前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段とを備えて成る身振り入力装置。 - 前記操作者の顔面を撮像する撮像手段を備え、
前記首振り方向検出手段が、この撮像手段の撮像した映像中の前記操作者の顔面の動きに対してその首振り方向を検出することを特徴とする請求項1に記載の身振り入力装置。 - 前記入力認識手段が変化させる表示物がそれを見て操作者が首振り動作した表示物であることを特徴とする請求項1又は請求項2に記載の身振り入力装置。
- 前記入力認識手段による表示物の変化をその変化方向に長い形状への変化とする請求項3に記載の身振り入力装置。
- 前記入力認識手段により変化させる表示物が前記意志判断手段によって判断した肯定意志若しくは否定意志それぞれに対応して新たに表示すべき表示物であることを特徴とする請求項1又は請求項2に記載の身振り入力装置。
- 前記入力認識手段による前記新たな表示物の表示位置を、前記直前の表示物に対して縦方向若しくは横方向に所定幅ずらせた位置とすることを特徴とする請求項5に記載の身振り入力装置。
- 前記入力認識手段による前記新たな表示物の表示に際して、当該新たな表示物の一部を表示し、そこを起点にして縦方向若しくは横方向に徐々に表示部分を拡大していくことを特徴とする請求項5に記載の身振り入力装置。
- 前記入力認識手段が変化させる表示物が文字列、又は前記文字列を背景から分離して表示するための領域であることを特徴とする請求項1〜7のいずれかに記載の身振り入力装置。
- 前記入力認識手段が変化させる表示物が複数の文字列、又は複数の前記文字列を背景から分離して表示するための領域であることを特徴とする請求項1〜7のいずれかに記載の身振り入力装置。
- 請求項1〜9のいずれかに記載の身振り入力装置と、それ以外の入力手段とを備えて成る入力装置。
- 前記入力手段が操作者の手操作による手段であることを特徴とする請求項10に記載の入力装置。
- 前記身振り入力装置による入力と前記入力手段による入力とで前記表示物の表示態様を異ならせることを特徴とする請求項10又は11に記載の入力装置。
- 前記入力手段が前記表示手段の前面に取り付けられたタッチパネルであり、当該入力手段による入力操作時に前記表示手段に表示されている表示物のうち、タッチ箇所に人手の形のマークを表示する入力受付表示手段を備えて成る請求項12に記載の入力装置。
- 入力アンドゥ手段を備えて成る請求項1〜13のいずれかに記載の入力装置。
- 前記首振り検出手段の検出する操作者の特定の首振り動作を入力アンドゥと判断する入力アンドゥ判断手段を備えて成る請求項14に記載の入力装置。
- 前記入力アンドゥ判断手段が前記操作者の連続して2回以上の横方向の首振りによって入力アンドゥと判断することを特徴とする請求項15に記載の入力装置。
- 前記首振り検出手段により最初の首振り方向を検出した後、所定時間経過した後に前記入力認識手段により前記表示物の表示を変化させ、当該表示の変化前 の入力を受け付けないようにしたことを特徴とする請求項1〜16のいずれかに記載の入力装置。
- 操作者に対する質問表示である表示物を表示する表示手段と、
操作者の顔の動きに対してその首振り方向を検出する首振り方向検出手段と、
前記首振り方向検出手段によって検出された首振り方向が縦方向の場合に前記操作者が肯定の意志を示したと判断し、前記首振り方向が横方向の場合に前記操作者が否定の意志を示したと判断する意志判断手段と、
前記意志判断手段が肯定意志と判断した場合に前記表示手段に表示されている表示物を縦方向に変化させ、前記意志判断手段が否定意志と判断した場合に前記表示手段に表示されている表示物を横方向に変化させる入力認識手段と
前記入力認識手段により前記表示手段に表示されている表示物を縦方向に変化させた後、当該肯定意志に対する質問表示の次段の質問表示である表示物を表示し、前記入力認識手段により前記表示手段に表示されている表示物を横方向に変化させた後、当該否定意志に対する質問表示の次段の質問表示である表示物を表示する手段とを備えて成る身振り入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25658396A JP3796840B2 (ja) | 1996-09-27 | 1996-09-27 | 身振り入力装置及びそれを含む入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25658396A JP3796840B2 (ja) | 1996-09-27 | 1996-09-27 | 身振り入力装置及びそれを含む入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10105310A JPH10105310A (ja) | 1998-04-24 |
JP3796840B2 true JP3796840B2 (ja) | 2006-07-12 |
Family
ID=17294654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25658396A Expired - Fee Related JP3796840B2 (ja) | 1996-09-27 | 1996-09-27 | 身振り入力装置及びそれを含む入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3796840B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
US7542628B2 (en) * | 2005-04-11 | 2009-06-02 | Sarnoff Corporation | Method and apparatus for providing strobed image capture |
JP2007094619A (ja) * | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
JP2007263931A (ja) * | 2006-03-30 | 2007-10-11 | Denso It Laboratory Inc | ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム |
JP4781181B2 (ja) * | 2006-07-07 | 2011-09-28 | 株式会社ソニー・コンピュータエンタテインメント | ユーザインタフェースプログラム、装置および方法、情報処理システム |
JP5207513B2 (ja) * | 2007-08-02 | 2013-06-12 | 公立大学法人首都大学東京 | 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム |
JP5061074B2 (ja) * | 2008-09-26 | 2012-10-31 | 株式会社デンソーアイティーラボラトリ | 車載機器制御装置および車載機器制御方法 |
JP5958876B2 (ja) * | 2011-10-21 | 2016-08-02 | スズキ株式会社 | 車両の入力装置 |
JP6134235B2 (ja) * | 2013-08-30 | 2017-05-24 | Kddi株式会社 | 制御装置、電子制御システム、制御方法、およびプログラム |
-
1996
- 1996-09-27 JP JP25658396A patent/JP3796840B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10105310A (ja) | 1998-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11249555B2 (en) | Systems and methods to detect a user behavior within a vehicle | |
JP3324295B2 (ja) | 車両用視線方向計測装置 | |
JP2988178B2 (ja) | 視線方向計測装置 | |
CN105009032B (zh) | 信息处理装置和姿势检测方法 | |
US6677969B1 (en) | Instruction recognition system having gesture recognition function | |
US8270669B2 (en) | Apparatus for extracting operating object and apparatus for projecting operating hand | |
KR101576106B1 (ko) | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 | |
US20120207345A1 (en) | Touchless human machine interface | |
JPH09251342A (ja) | 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法 | |
CN106933343A (zh) | 用于识别虚拟现实头戴装置中的手势的设备和方法 | |
JP7091983B2 (ja) | 機器制御装置 | |
JP3796840B2 (ja) | 身振り入力装置及びそれを含む入力装置 | |
US10496186B2 (en) | Information processing apparatus, information processing method, and program | |
CN110520822B (zh) | 控制装置、信息处理***、控制方法和程序 | |
JP6092173B2 (ja) | 電子装置とその操作方法 | |
JP2003150306A (ja) | 情報表示装置とその方法 | |
KR101396488B1 (ko) | 신호 입력 장치 및 신호 입력 방법 | |
JP3689285B2 (ja) | 入力装置および入力装置用ヘッドマウントディスプレイ | |
JPH07296299A (ja) | 画像処理装置およびそれを用いた居眠り警報装置 | |
JPH09167049A (ja) | コンソール用視線入力装置 | |
US11978287B2 (en) | Information provision system, information terminal, and information provision method | |
JP3627468B2 (ja) | 動作検出装置 | |
JP4088282B2 (ja) | コンピュータ入力方法と装置 | |
JP2000056916A (ja) | ハンドポインティング装置 | |
JPH05232908A (ja) | 指示入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |