JP6004972B2 - 操作入力装置および操作入力方法 - Google Patents

Description

本発明は、操作入力装置および操作入力方法に関し、特に、ユーザの操作子の回転操作の入力を受け付ける操作入力装置に用いて好適なものである。

従来、カメラで撮影した画像からユーザのジェスチャを認識し、認識したジェスチャに応じた操作の入力を受け付ける操作入力装置が知られている。例えば、ものを摘まんで手首をひねるジェスチャをユーザが空間領域において行ったときに、そのジェスチャをカメラで撮影した画像の認識処理により、ユーザインタフェースとして画面表示されたつまみを回す操作をコンピュータに入力できるようにしたものが提案されている（例えば、特許文献１参照）。

特開２００６−２６８２０９号公報

しかしながら、手首を回転する操作において、手首と肘の関節機構の関係から、右手では右へ回転する操作に長けている一方で、左へ回転する操作は手首の動きだけではうまくできないという問題がある。すなわち、右手で左へ回転する操作は、肘の関節もひねって手首を回さないと、１回の回転で可能な最大の回転量が右回転の場合と同量にならないという問題があった。

このため、右回転なら１回で済む操作であっても、左回転だと２回以上の操作が必要となる場合がある。この場合、右手首を左へ一度回転させた後、その手首をいったん元の位置に戻す動きが必要となる。そして、この元に戻す動きが右手首を右へ回転する操作であると誤認識されてしまい、その操作がコンピュータに誤って入力されてしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、手首を右へ回転する操作と左へ回転する操作とで１回の最大操作量が変わらないようにすることで、手首の回転について使い勝手の良い入力操作を実現できるようにすることを目的とする。

上記した課題を解決するために、本発明では、ユーザの手首の動きが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当する場合に、当該手首の回転量に対して一定係数を掛け合せることで操作量を設定するようにしている。
一の形態として、カメラで撮影された画像に写り込んだユーザの手のジェスチャを認識することにより、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当するか否かを判定するようにしている。
他の形態として、回転操作子を把持する複数の指の位置および回転操作子の操作の方向に基づいて、回転操作子の操作が、右手首を左に回転させる動きまたは左手首を右に回転させる動きによるものか否かを判定するようにしている。
さらなる他の形態として、ユーザの手首の動きが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当する場合、手首の回転量が閾値より大きいときのみ、手首の回転量に対して一定係数を掛け合せることで操作量を設定するようにしている。

右手首を左に回転させる動きまたは左手首を右に回転させる動き（以下、逆回転という）は、手首と肘の関節機構の関係から手首を回しにくい方向の回転であり、右手首を右に回転させる動きまたは左手首を左に回転させる動き（以下、順回転という）に比べて実際の回転量が少なくなってしまう。これに対して、上記のように構成した本発明によれば、逆回転の動きであっても、その回転量に対して一定係数を掛け合せて操作量が設定されるため、逆回転を行ったときの１回当たりの最大操作量を、順回転を行ったときの１回当たりの最大操作量と同量に設定することができる。これにより、手首を右へ回転する操作と左へ回転する操作とで１回の最大操作量が変わらないようにすることができ、手首の回転について使い勝手の良い入力操作を実現することができる。

本実施形態の操作入力装置の機能構成例を示すブロック図である。 ユーザインタフェースとして回転操作子が表示された操作画面の一例を示す図である。 本実施形態の操作量設定部による処理内容を説明するための図である。 本実施形態による操作入力装置の動作例を示すフローチャートである。 本実施形態の操作入力装置の他の機能構成例を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による操作入力装置の機能構成例を示すブロック図である。本実施形態の操作入力装置１０は、ナビゲーション装置やオーディオ装置などの電子機器に搭載される。この操作入力装置１０は、例えば、図２のようにユーザインタフェースとして回転操作子２０が画面表示された状態において、ユーザの手首を回転させるジェスチャを認識し、当該手首の回転量に応じて回転操作子２０の操作量を設定する。

例えば、ナビゲーション装置において、回転操作子２０の操作方向および操作量に応じて地図スクロールや地図縮尺変更などを行う場合に本実施形態の操作入力装置１０を適用することが可能である。また、オーディオ装置において、回転操作子２０の操作方向および操作量に応じてボリューム調整、チャンネル変更、表示の明るさ調整などを行う場合にも本実施形態の操作入力装置１０を適用することが可能である。

図１に示すように、本実施形態の操作入力装置１０は、その機能構成として、画像入力部１、ジェスチャ認識部２、動き判定部３、回転量検出部４および操作量設定部５を備えている。これらの各機能１〜５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能１〜５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

画像入力部１は、カメラ１１により撮影された画像を入力する。ジェスチャ認識部２は、画像入力部１により入力された撮影画像に写り込んだユーザの手のジェスチャを認識する。このジェスチャ認識部２は、認識対象とする手のジェスチャの種別をあらかじめ登録しており、画像入力部１により入力された撮影画像より手のジェスチャの種別を認識する。本実施形態では、手首の回転というジェスチャの種別を認識するものとする。

動き判定部３は、ジェスチャ認識部２により認識されたジェスチャが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当するか否かを判定する。すなわち、動き判定部３は、ジェスチャ認識部２により認識された手首の動きが、手首と肘の関節機構の関係から手首を回しにくい方向の「逆回転」に該当するか否かを判定する。

具体的には、動き判定部３はまず、ジェスチャ認識部２により認識されたジェスチャが、右手によるものか左手によるものかを判定する。この判定は、撮影画像に写り込んでいる手の形状を認識することによって行うことが可能である。例えば、親指が手のどちら側についているかを認識することにより、右手か左手かを判定することが可能である。

次に、動き判定部３は、右手または左手が左右どちらの方向に回されたのかを判定する。この判定は、フレームレートに従って画像入力部１に順次入力される撮影画像からジェスチャ認識部２により認識されるユーザの手の動きの方向を検出することによって行うことが可能である。このとき動き判定部３は、右手首を左に回転させる動きまたは左手首を右に回転させる動き、つまり逆回転に該当するか否かを判定する。

回転量検出部４は、ジェスチャ認識部２により認識された手首の動きの回転量を検出する。具体的には、回転量検出部４は、手首の回転が開始されてからその回転が止まるまでに、手の中の一点（例えば、所定の指先）が手首を回転中心として何度回転したかを検出する。

操作量設定部５は、動き判定部３により判定された結果と、回転量検出部４により検出された手首の回転量とに応じて、回転操作子２０の操作量を設定する。操作量設定部５は、動き判定部３により手首の動きが逆回転に該当しないと判定された場合、つまり、右手首を右に回転させる動きまたは左手首を左に回転させる動きである「順回転」に該当すると判定された場合には、回転量検出部４により検出された手首の回転量を回転操作子２０の操作量として設定する。一方、動き判定部３により手首の動きが逆回転に該当すると判定された場合、操作量設定部５は、回転量検出部４により検出された手首の回転量に対して一定係数を掛け合せることで回転操作子２０の操作量を設定する。

図３は、操作量設定部５による処理内容を説明するための図である。本実施形態では、図３（ａ）に示すように左手首を右に回転させる動き、図３（ｂ）に示すように右手首を左に回転させる動きに対しては、手首の回転量をＮ倍して回転操作子２０の操作量を設定する。ここで、一定係数Ｎは、以下のようにして定める。仮に、肘を固定して右手首を左に逆回転させたときに回転可能な最大角度が４０度、肘を固定して右手首を右に順回転させたときに回転可能な最大角度が６０度であった場合、一定係数Ｎを１．５（＝６０／４０）に設定する。

このようにすれば、手首を逆回転させたときの回転操作子２０の１回における最大可能操作量を、手首を順回転させたときの回転操作子２０の１回における最大可能操作量と同量に設定することができる。すなわち、手首を右へ回転する操作と左へ回転する操作とで１回の最大操作量が変わらないようにすることができる。

図４は、上記のように構成した本実施形態による操作入力装置１０の動作例を示すフローチャートである。なお、図４に示すフローチャートは、例えば、図２のような操作画面を表示させてジェスチャによる操作入力が可能な状態に設定されたときに開始する。

まず、ジェスチャ認識部２は、画像入力部１によりカメラ１１から入力された撮影画像に写り込んだユーザの手のジェスチャを認識する（ステップＳ１）。そして、ジェスチャ認識部２は、認識された手のジェスチャが手首の回転によるものか否かを判定する（ステップＳ２）。

ジェスチャ認識部２により認識された手のジェスチャが手首の回転によるものである場合、回転量検出部４は、ジェスチャ認識部２により認識された手首の動きの回転量を検出する（ステップＳ３）。動き判定部３は、その手首の回転が、右手首を左に回転させる動きまたは左手首を右に回転させる動きである「逆回転」に該当するか否かを判定する（ステップＳ４）。

手首の動きが逆回転に該当すると動き判定部３にて判定された場合、操作量設定部５は、回転量検出部４により検出された手首の回転量をＮ倍して回転操作子２０の操作量を設定する（ステップＳ５）。一方、手首の動きが逆回転に該当しない、つまり「順回転」に該当すると動き判定部３にて判定された場合、操作量設定部５は、回転量検出部４により検出された手首の回転量を回転操作子２０の操作量として設定する（ステップＳ６）。

このようにして操作量設定部５により回転操作子２０の操作量が設定されると、本実施形態の操作入力装置１０を搭載したナビゲーション装置やオーディオ装置などにおいて、回転操作子２０の操作量および操作方向に応じた所定の処理が実行される。所定の処理とは、地図スクロール、地図縮尺変更、ボリューム調整、チャンネル変更、表示の明るさ調整などである。

操作入力装置１０においては、ステップＳ５またはステップＳ６で回転操作子２０の操作量を設定した後、ジェスチャによる操作入力が可能な状態を解除されたか否かを判定する（ステップＳ７）。例えば、図２に示すような操作画面から別の画面に遷移した場合や、操作入力装置１０を搭載した電子機器の電源がオフとされた場合には、ジェスチャによる操作入力が可能な状態を解除されたと判定する。この場合、図４に示すフローチャートの処理は終了する。

一方、ジェスチャによる操作入力が可能な状態がまだ解除されていないと判定された場合、処理はステップＳ１に戻る。なお、上記ステップＳ２において、ジェスチャ認識部２により認識された手のジェスチャが手首の回転によるものではないと判定された場合、操作入力装置１０はその他の操作入力処理を行う（ステップＳ８）。その後、処理はステップＳ７に進む。なお、その他の操作入力処理については本実施形態の主眼ではないので、説明を割愛する。

以上詳しく説明したように、本実施形態では、カメラ１１による撮影画像からジェスチャ認識部２より認識されたユーザの手のジェスチャが、右手首を左に回転させる動きまたは左手首を右に回転させる動きである「逆回転」に該当すると動き判定部３により判定された場合、操作量設定部５は、回転量検出部４により検出された手首の回転量に対して一定係数Ｎを掛け合せることで回転操作子２０の操作量を設定するようにしている。

このように構成した本実施形態によれば、逆回転を行ったときの回転操作子２０の１回当たりの最大操作量を、順回転を行ったときの１回当たりの最大操作量と同量に設定することができる。これにより、手首を右へ回転する操作と左へ回転する操作とで１回の最大操作量が変わらないようにすることができ、手首の回転というジェスチャについて使い勝手の良い入力操作を実現することができる。

例えば、ナビゲーション装置において回転操作子２０を操作することによって地図縮尺を変えようとする場合に、ユーザの希望する操作量が右手首による１回の右回転で済む操作量の範囲内であれば、回しにくい右手首による左回転であっても１回の操作で実現することができる。そのため、右手首を左へ一度回転させた後、その手首をいったん元の位置に戻す動きが不要となる。これにより、手首を元に戻す動きが右手首を右へ回転する操作であると誤認識されてしまい、その操作によって地図縮尺が変わってしまうという不都合を回避することができる。

なお、上記実施形態では、撮影画像に写り込んでいる手の形状を認識することにより、ジェスチャが右手によるものか左手によるものかを判定する例について説明したが、本発明はこれに限定されない。例えば、以下のように判定するようにしてもよい。

例えば、ナビゲーション装置などの電子機器が車載機であって、カメラが右座席と左座席との中央付近に設置されているものとする。この場合において、撮影画像に写り込んでいる腕が、当該撮影画像に写り込んでいる手よりも右側にある場合は、ジェスチャを行ったユーザがカメラより右側にいて（右座席に座っている）、左手でジェスチャをしたと判定する。逆に、撮影画像に写り込んでいる腕が、当該撮影画像に写り込んでいる手よりも左側にある場合は、ジェスチャを行ったユーザがカメラより左側にいて（左座席に座っている）、右手でジェスチャをしたと判定する。

または、撮影画像の認識処理によってジェスチャが右手によるものか左手によるものかを判定するのではなく、赤外線センサなどによって手の形状を検出することにより、ジェスチャが右手によるものか左手によるものかを判定するようにしてもよい。

また、上記実施形態では、操作量設定部５は、手首の動きが逆回転に該当すると判定された場合に、単純に手首の回転量をＮ倍して回転操作子２０の操作量を設定する例について説明したが、本発明はこれに限定されない。例えば、操作量設定部５は、手首の回転量が閾値より大きいときのみ、手首の回転量をＮ倍して回転操作子２０の操作量を設定するようにしてもよい。このようにすれば、逆回転であっても無理なく手首を回せる少ない回転量の範囲では、回転量通りの操作量を設定することができ、微調整も行いやすくすることができる。

また、上記実施形態では、図２のように画面表示されたユーザインタフェースとしての回転操作子２０をジェスチャにより操作する場合を例に挙げて説明したが、本発明はこれに限定されない。例えば、物理的なハードウェアの操作子をジェスチャにより操作する場合にも本発明を適用することが可能である。または、物理的なハードウェアの操作子をジェスチャではなく実際に触れて操作する場合にも本発明を適用することが可能である。

図５は、物理的なハードウェアの操作子を実際に触れて操作する場合に適用した操作入力装置１０’の機能構成例を示すブロック図である。図５に示す操作入力装置１０’は、ナビゲーション装置やオーディオ装置などの電子機器に搭載される。この操作入力装置１０’は、例えば、ロータリエンコーダのようなハードウェアとしての回転操作子３０をユーザが指でつまんで回転させる操作について、そのときの手首の動きに応じて回転操作子３０の操作量を設定する。

操作受付部２１は、回転操作子３０に対するユーザの操作を受け付ける。指位置検出部２２は、ユーザが回転操作子３０を把持する複数の指の位置を検出する。具体的には、指位置検出部２２は、回転操作子３０に備えられた圧力センサ３１からの信号に基づいて、回転操作子３０を把持する複数の指の位置を検出する。

動き判定部２３は、操作受付部２１により受け付けられた回転操作子３０の操作が、右手首を左に回転させる動きまたは左手首を右に回転させる動きによるものか否かを判定する。すなわち、動き判定部２３は、ユーザが回転操作子３０を操作したときの手首の動きが、手首と肘の関節機構の関係から手首を回しにくい方向の「逆回転」に該当するか否かを判定する。

具体的には、動き判定部２３はまず、指位置検出部２２により検出された指の位置に基づいて、回転操作子３０が左右どちらの手で把持されたのかを判定する。この判定に関しては、例えば特開２００５−９６５１５号公報に開示された方法を適用することが可能である。なお、図１に示した実施形態と同様に、カメラで撮影した画像を解析し、撮影画像に写り込んでいる親指が手のどちら側についているかを認識することにより、右手か左手かを判定するようにしてもよい。

次に、動き判定部２３は、操作受付部２１により受け付けられた回転操作子３０の操作に基づいて、回転操作子３０が左右どちらの方向に回されたのかを判定する。動き判定部２３は、回転操作子３０が回された方向を手首の回転方向として判定する。このとき動き判定部２３は、右手首を左に回転させる動きまたは左手首を右に回転させる動き、つまり逆回転に該当するか否かを判定する。

回転量検出部２４は、操作受付部２１により受け付けられた回転操作子３０の回転量を、当該回転操作子３０を操作した手首の回転量として検出する。例えば、回転量検出部２４は、回転操作子３０の回転操作に伴って操作受付部２１に入力されるパルスの数を手首の回転量として検出する。

操作量設定部２５は、動き判定部２３により判定された結果と、回転量検出部２４により検出された手首の回転量とに応じて、回転操作子３０の操作量を設定する。操作量設定部２５は、動き判定部２３により手首の動きが逆回転に該当しないと判定された場合、つまり、右手首を右に回転させる動きまたは左手首を左に回転させる動きである「順回転」に該当すると判定された場合には、回転量検出部２４により検出された手首の回転量を回転操作子３０の操作量として設定する。一方、動き判定部２３により手首の動きが逆回転に該当すると判定された場合、操作量設定部２５は、回転量検出部２４により検出された手首の回転量に対して一定係数を掛け合せることで回転操作子３０の操作量を設定する。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 画像入力部
２ ジェスチャ認識部
３ 動き判定部
４ 回転量検出部
５ 操作量設定部
２０ 回転操作子
２１ 操作受付部
２２ 指位置検出部
２３ 動き判定部
２４ 回転量検出部
２５ 操作量設定部
３０ 回転操作子

Claims (6)

1. 手首の回転量に応じて操作子の操作量を設定するようになされた操作入力装置であって、
   カメラで撮影された画像に写り込んだユーザの手のジェスチャを認識するジェスチャ認識部と、
   上記ジェスチャ認識部により認識された手首の回転量を検出する回転量検出部と、
   上記ジェスチャ認識部により認識されたジェスチャが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当するか否かを判定する動き判定部と、
   上記動き判定部により右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当すると判定された場合に、上記回転量検出部により検出された手首の回転量に対して一定係数を掛け合せることで操作量を設定する操作量設定部とを備えたことを特徴とする操作入力装置。
2. 手首の回転量に応じて操作子の操作量を設定するようになされた操作入力装置であって、
   回転操作子に対するユーザの操作を受け付ける操作受付部と、
   上記ユーザが上記回転操作子を把持する複数の指の位置を検出する指位置検出部と、
   上記操作受付部により受け付けられた上記回転操作子の回転量を上記手首の回転量として検出する回転量検出部と、
   上記指位置検出部により検出された指の位置および上記操作受付部により受け付けられた回転操作子の操作の方向に基づいて、上記回転操作子の操作が、右手首を左に回転させる動きまたは左手首を右に回転させる動きによるものか否かを判定する動き判定部と、
   上記動き判定部により右手首を左に回転させる動きまたは左手首を右に回転させる動きによるものと判定された場合に、上記回転量検出部により検出された手首の回転量に対して一定係数を掛け合せることで操作量を設定する操作量設定部とを備えることを特徴とする操作入力装置。
3. 手首の回転量に応じて操作子の操作量を設定するようになされた操作入力装置であって、
   上記手首の回転量を検出する回転量検出部と、
   上記手首の動きが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当するか否かを判定する動き判定部と、
   上記動き判定部により右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当すると判定された場合に、上記手首の回転量が閾値より大きいときのみ、上記回転量検出部により検出された手首の回転量に対して一定係数を掛け合せることで操作量を設定する操作量設定部とを備えることを特徴とする操作入力装置。
4. 手首の回転量に応じて操作子の操作量を設定するようになされた操作入力方法であって、
   コンピュータのジェスチャ認識部が、カメラで撮影された画像に写り込んだユーザの手のジェスチャを認識する第１のステップと、
   上記コンピュータの回転量検出部が、上記ジェスチャ認識部により認識された手首の回転量を検出する第２のステップと、
   上記コンピュータの動き判定部が、上記ジェスチャ認識部により認識されたジェスチャが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当するか否かを判定する第３のステップと、
   上記コンピュータの操作量設定部が、上記動き判定部により右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当すると判定された場合に、上記回転量検出部により検出された手首の回転量に対して一定係数を掛け合せることで操作量を設定する第４のステップとを有することを特徴とする操作入力方法。
5. 手首の回転量に応じて操作子の操作量を設定するようになされた操作入力方法であって、
   コンピュータの操作受付部が、回転操作子に対するユーザの操作を受け付ける第１のステップと、
   上記コンピュータの指位置検出部が、上記ユーザが上記回転操作子を把持する複数の指の位置を検出する第２のステップと、
   上記コンピュータの回転量検出部が、上記操作受付部により受け付けられた上記回転操作子の回転量を上記手首の回転量として検出する第３のステップと、
   上記コンピュータの動き判定部が、上記指位置検出部により検出された指の位置および上記操作受付部により受け付けられた回転操作子の操作の方向に基づいて、上記回転操作子の操作が、右手首を左に回転させる動きまたは左手首を右に回転させる動きによるものか否かを判定する第４のステップと、
   上記コンピュータの操作量設定部が、上記動き判定部により右手首を左に回転させる動きまたは左手首を右に回転させる動きによるものと判定された場合に、上記回転量検出部により検出された手首の回転量に対して一定係数を掛け合せることで操作量を設定する第５のステップとを有することを特徴とする操作入力方法。
6. 手首の回転量に応じて操作子の操作量を設定するようになされた操作入力方法であって、
   コンピュータの回転量検出部が、上記手首の回転量を検出する第１のステップと、
   上記コンピュータの動き判定部が、上記手首の動きが、右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当するか否かを判定する第２のステップと、
   上記コンピュータの操作量設定部が、上記動き判定部により右手首を左に回転させる動きまたは左手首を右に回転させる動きに該当すると判定された場合に、上記手首の回転量が閾値より大きいときのみ、上記回転量検出部により検出された手首の回転量に対して一定係数を掛け合せることで操作量を設定する第３のステップとを有することを特徴とする操作入力方法。

Images