JP2020149228A - 制御装置および制御方法 - Google Patents

Abstract

【課題】ユーザビリティを向上させること。【解決手段】制御装置は、認識部と、設定部とを備える。認識部は、制御対象となる対象機器を指し示す第１ジェスチャー操作を認識する。設定部は、認識部によって認識された第１ジェスチャー操作に基づいて基準点を設定する。認識部は、設定部によって設定された基準点に基づいて第２ジェスチャー操作を認識する。【選択図】図２

Description

本発明は、制御装置および制御方法に関する。

従来、車内の車載機器に対するジェスチャー操作を受け付ける車載装置がある（例えば、特許文献１参照）。

特開２０１２−１２１３８６号公報

しかしながら、従来技術では、例えば、ジェスチャー操作によって、エアコンやオーディオ等の設定温度や音量の強弱の微調整を行うのが容易でなく、ユーザビリティを向上させる点において、改善の余地があった。

本発明は、上記に鑑みてなされたものであって、ユーザビリティを向上させることができる制御装置および制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る制御装置は、認識部と、設定部とを備える。前記認識部は、制御対象となる対象機器を指し示す第１ジェスチャー操作を認識する。前記設定部は、前記認識部によって認識された第１ジェスチャー操作に基づいて基準点を設定する。前記認識部は、前記設定部によって設定された基準点に基づいて第２ジェスチャー操作を認識する。

本発明によれば、ユーザビリティを向上させることができる。

図１Ａは、制御装置の搭載例を示す図である。 図１Ｂは、制御方法の概要を示す図である。 図２は、制御装置のブロック図である。 図３は、無効領域の具体例を示す図である。 図４Ａは、第２ジェスチャー操作の具体例を示す図（その１）である。 図４Ｂは、第２ジェスチャー操作の具体例を示す図（その２）である。 図４Ｃは、第２ジェスチャー操作の具体例を示す図（その３）である。 図４Ｄは、第２ジェスチャー操作の具体例を示す図（その４）である。 図５は、制御装置が実行するフローチャートである。

以下、添付図面を参照して、本願の開示する制御装置および制御方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る制御装置および制御方法の概要について説明する。図１Ａは、実施形態に係る制御装置の搭載例を示す図である。図１Ｂは、制御方法の概要を示す図である。また、本実施形態では、対象機器が車載機器５０である場合を例に挙げて説明する。

図１Ａに示すように、実施形態に係る制御装置１は、車両Ｃに搭載され、各種車載機器５０のユーザインターフェースとして機能する。具体的には、制御装置１は、車内の３次元情報を検出する３Ｄセンサ１０の計測結果に基づいて乗員のジェスチャー操作を認識し、認識したジェスチャー操作に応じた制御コマンドを車載機器５０へ出力する。

例えば、車載機器５０は、制御装置１から送信される制御コマンドに基づき、車両Ｃのパワーウインド（以下、窓と記載する）の開度を制御する。

ここで、例えば、車両Ｃの助手席に着座したユーザは、後部座席の窓を開閉させるのは困難である。また、仮に、ユーザが、例えば、手を上下に動作させるジェスチャー操作によって窓を開閉させる場合、手をあげる動作と、手を下げる動作とをそれぞれ別々のジェスチャーとして認識されるおそれがあり、窓の開度の微調整が困難となる。

そこで、実施形態に係る制御方法では、基準点を設定し、設定した基準点に基づいてジェスチャー操作を認識することとした。つまり、実施形態に係る制御方法では、基準点からの手の移動量に応じて窓の開度を調節することが可能となる。

具体的には、図１Ｂに示すように、まず、実施形態に係る制御方法では、第１ジェスチャー操作を認識する（ステップＳ１）。ここで、第１ジェスチャー操作は、制御対象となる対象機器を指し示す操作である。

例えば、実施形態に係る制御方法では、第１ジェスチャー操作が指し示す延長線上に対象機器である窓の窓枠Ｗがある場合、第１ジェスチャー操作として認識する。また、実施形態に係る制御方法では、第１ジェスチャー操作を認識することによってユーザが操作を所望する機器を検出することができる。

続いて、実施形態に係る制御方法では、第１ジェスチャー操作に基づいて基準点Ｐを設定する（ステップＳ２）。例えば、実施形態に係る制御方法では、第１ジェスチャー操作における指の位置を基準点Ｐとして設定することができる。

その後、実施形態に係る制御方法では、設定した基準点Ｐに基づいて第１ジェスチャー操作に続く第２ジェスチャー操作を認識する（ステップＳ３）。具体的には、実施形態に係る制御方法では、第２ジェスチャー操作の認識処理において、手の動きを認識し、基準点Ｐからの移動ベクトルＶを算出する。

そして、実施形態に係る制御方法では、移動ベクトルＶを制御量に換算し、制御量に応じた制御コマンドを車載機器５０へ出力する。この場合、移動ベクトルＶが上向きである場合、窓を閉めることができ、移動ベクトルＶが下向きである場合、窓を開けることができる。

また、ユーザは、手を大きく動かすことで、移動ベクトルＶが大きくなり、制御量を大きくすることができるとともに、手を小さく動かすことで、移動ベクトルＶが小さくなり、制御量を小さくすることができる。

このように、実施形態に係る制御方法では、第１ジェスチャー操作に基づいて基準点Ｐを設定し、基準点Ｐを基準として、第１ジェスチャー操作に続く第２ジェスチャー操作を認識する。

これにより、実施形態に係る制御方法によれば、ユーザが制御量を任意に調整することができるので、ユーザビリティを向上させることができる。

次に、図２を用いて実施形態に係る制御装置１の構成例について説明する。図２は、制御装置１のブロック図である。なお、図２には、３Ｄセンサ１０および車載機器５０を併せて示す。

３Ｄセンサ１０は、車内の３次元情報を検出するセンサである。３Ｄセンサ１０は、例えば、アクティブステレオ方式や、ＴｏＦ（Time of Flight）方式を用いて車内の３次元情報を検出する。なお、３Ｄセンサ１０は、上記の例に限られず、車内の３次元情報を算出可能な構成であれば、その他の構成であってもよい。

また、３Ｄセンサ１０に加え、車内を撮像するカメラを設けることにしてもよい。すなわち、制御装置１は、画像データと、３次元情報とを組み合わせてジェスチャー操作を認識することにしてもよい。

車載機器５０は、制御装置１から入力される制御コマンドに応じて、窓の開度を制御する制御装置である。

図２に示すように、実施形態に係る制御装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、認識部２２と、設定部２３と、出力部２４とを備える。記憶部３は、座標情報３１、基準点情報３２およびコマンド情報３３を記憶する。

制御装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、認識部２２、設定部２３および出力部２４として機能する。

また、制御部２の取得部２１、認識部２２、設定部２３および出力部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、座標情報３１、基準点情報３２およびコマンド情報３３や、各種プログラムの情報等を記憶することができる。なお、制御装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

座標情報３１は、車内空間における窓枠Ｗの３次元座標および３Ｄセンサ１０の設置位置に関する３次元座標、３Ｄセンサ１０の取付角度に関する情報である。基準点情報３２は、第１ジェスチャー操作に基づいて設定された基準点に関する情報である。コマンド情報３３は、各第２ジェスチャー操作に紐付けられた制御コマンドに関する情報である。

制御部２は、第１ジェスチャー操作を認識し、基準点Ｐを設定するとともに基準点に基づいて第２ジェスチャー操作を認識する。

取得部２１は、３Ｄセンサ１０から入力される３次元情報を取得し、取得した３次元情報を取得毎に認識部２２へ渡す。

認識部２２は、３次元情報に基づいて制御対象機器を指し示す第１ジェスチャー操作を認識する。具体的には、まず、認識部２２は、第１ジェスチャー操作の操作対象となるユーザの特定部位（腕や、手など）を認識する。

続いて、認識部２２は、特定部位が指し示す方向を算出し、特定部位が指し示す方角に窓枠Ｗが存在するか否かを判定する。認識部２２は、特定方位が指し示す方向に窓枠Ｗが存在する場合、第１ジェスチャー操作として認識する。

このとき、認識部２２は、所定時間（例えば、３秒）継続して認識した第１ジェスチャー操作のみを第１ジェスチャー操作として認識することもできる。言い換えれば、認識部２２は、ユーザが特定部位を窓枠Ｗに向けて所定時間、静止する動作を第１ジェスチャー操作として認識する。

これにより、ユーザの意図しない動作を第１ジェスチャー操作として認識する誤認識を抑制することができる。なお、認識部２２は、上記の認識条件を満たさない場合、第１ジェスチャーとして認識しない。

また、認識部２２は、設定部２３によって設定された基準点に基づいて第２ジェスチャー操作を認識することもできるが、かかる点については、図４Ａ〜図４Ｄを用いて後述する。

設定部２３は、認識部２２によって認識された第１ジェスチャー操作に基づいて基準点Ｐを設定する。具体的には、設定部２３は、第１ジェスチャー操作における特定部位の位置を基準点Ｐとして設定する。設定部２３は、基準点を設定すると、基準点に関する情報を基準点情報３２として、記憶部３に格納する。認識部２２は、かかる基準点情報３２に基づいて第２ジェスチャー操作を認識することができる。

また、例えば、設定部２３は、認識部２２が上下方向への動作を第２ジェスチャー操作として認識する場合、第２ジェスチャー操作に対する無効領域を設定することもできる。図３は、無効領域の具体例を示す図である。

図３に示すように、設定部２３は、基準点Ｐと高さが同一の基準線Ｐｌを設定する。基準線Ｐｌを基準として、基準線Ｐｌの幅方向（上下方向）に無効領域ｌａが設けられる。この無効領域ｌａは、第２ジェスチャー操作を認識しない領域となる。

これにより、車両Ｃの揺れに基づく第２ジェスチャー操作の誤認識を抑制することができる。すなわち、ユーザが第１ジェスチャー操作後に、意図せず手を動かす動作を第２ジェスチャー操作として認識対象から除外することができる。なお、無効領域ｌａの上下方向の幅は、例えば、車両Ｃの振動等を考慮して、予め実験等に基づいて設定される。

なお、ここでは、無効領域ｌａが帯状の領域である場合について示したが、無効領域ｌａは、基準点Ｐを中心とする領域であればよく、円状や楕円状などであってもよい。

図２の説明に戻り、出力部２４について説明する。出力部２４は、認識部２２によって認識された第２ジェスチャー操作に応じた制御コマンドを生成し、車載機器５０へ出力する。図４Ａ〜図４Ｄは、第２ジェスチャー操作の具体例を示す図である。

図４Ａに示すように、認識部２２は、５本の指を用いるジェスチャー操作を第２ジェスチャー操作として認識する。この場合、認識部２２は、５本の指が基準線Ｐｌよりも下に移動した場合、窓を全開にし、５本の指が、基準線Ｐｌよりも上に移動した場合、窓を全閉にするジェスチャー操作として認識することができる。

すなわち、図１Ｂに示したように、１本の指を用いる第２ジェスチャー操作を認識した場合には、移動ベクトルＶに基づいて窓の制御量が調整された制御コマンドが出力される。一方で、５本指を用いる第２ジェスチャー操作を認識した場合には、全開または全閉のいずれかの制御コマンドが出力されることとなる。

つまり、認識部２２は、第２ジェスチャー操作に用いられる指の本数に応じて、制御コマンドの強弱を調節することで、ユーザによる操作を容易にすることができる。なお、ここでは、認識部２２が第２ジェスチャー操作として認識する指の本数が、１本または５本である場合について示したが、２〜４本であってもよく、両手の指を用いて６本以上であってもよい。

また、認識部２２は、指が基準線Ｐ１に沿って左右に移動するジェスチャー操作を第２ジェスチャー操作として認識してもよい。例えば、認識部２２は、１本の指が基準線Ｐ１に沿って左右に移動した場合、これを窓の高さ位置を示すジェスチャー操作として認識することができる。例えば、基準線Ｐ１の高さ位置よりも窓が開いている状態で、１本の指が基準線Ｐ１に沿って左右に移動した場合、基準線Ｐ１の高さ位置まで窓が閉まり、基準線Ｐ１の高さ位置よりも窓が閉まっている状態で、１本の指が基準線Ｐ１に沿って左右に移動した場合、基準線Ｐ１の高さ位置まで窓が開くようにしてもよい。つまり、同じジェスチャー操作だが、操作時の状態（窓の開閉状態）に応じて異なる制御（窓開ける制御または窓を閉じる制御）が行われる。これによりユーザは複数のジェスチャーを覚えることなく現在の状態に応じた直感的な操作が可能となる。

さらに、認識部２２は、窓が全開または基準線Ｐ１の高さ位置よりも開いている状態で、５本の指が基準線Ｐ１に沿って左右に移動した場合、窓を全閉にするジェスチャー操作として認識し、反対に、窓が全閉または基準線Ｐ１の高さ位置よりも閉まっている状態で、５本の指が基準線Ｐ１に沿って左右に移動した場合、窓を全開にするジェスチャー操作として認識してもよい。この場合、ユーザは制御内容に応じてジェスチャー操作を変更する必要がないので煩わしさを低減できる。

また、図４Ｂに示すように、認識部２２は、基準点Ｐを基準として、人差し指の先端と親指の先端とが近接した状態で、人差し指の先端と親指の先端とを、基準点Ｐから上下に離隔させたり、また、基準点Ｐに近接させたり、と移動させるような動作を第２ジェスチャーとして認識することができる。例えば、この場合、出力部２４は、移動後の親指の先端と基準点Ｐとの距離および人差し指の先端と基準点Ｐとの距離の和に基づいて制御量、例えば、窓の開閉の制御量を調整する。尚、親指の先端と人差し指の先端との距離に基づいて、制御量を調整しても良い。

また、図４Ｃに示すように、認識部２２は、基準点Ｐを始点として、円弧状の軌跡を辿る動作を第２ジェスチャー操作として認識することもできる。この場合、認識部２２は、基準点Ｐから右回りの軌跡Ｖｒをとる場合、窓を開くジェスチャーとして認識し、基準点Ｐから左回りの軌跡Ｖｌをとる場合、窓を閉めるジェスチャーとして認識する。

また、この場合、出力部２４は、軌跡Ｖｒ、Ｖｌの軌道の長さや円の大きさに応じて、制御量を調整した制御コマンドを車載機器５０へ出力する。

また、図４Ｄに示すように、認識部２２は、第１ジェスチャー操作によって基準点Ｐを設定後、基準点Ｐで所定時間（例えば３秒）停止する動作を第２ジェスチャー操作として認識することもできる。

この場合、出力部２４は、基準点Ｐに対応付けられた制御コマンドを出力する。本実施形態において、基準点Ｐに対応付けられた制御コマンドは、窓の開度を高さＴａとする制御コマンドである。

この場合、例えば、認識部２２は、ユーザが指し示す窓枠Ｗの位置Ｔおよび高さＴａを算出する。そして、出力部２４は、窓の開度を高さＴａとする制御コマンドを車載機器５０へ出力する。

つまり、この場合、現在の窓の開度によらず、ユーザが指定した開度に調整することが可能となる。これにより、ユーザが指定した任意の高さに調整することができるので、ユーザビリティを向上させることが可能となる。

なお、ここでは、基準点Ｐに対応付けられた制御コマンドが、窓の開度を高さＴａとする制御コマンドである場合について示したが、これに限定されるものではなく、任意に設定することにしてもよい。

次に、図５を用いて実施形態に係る制御装置１が実行する処理手順について説明する。図５は、制御装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、制御装置１の制御部２によって繰り返し実行される。

図５に示すように、制御装置１は、まず、３次元情報を取得開始すると（ステップＳ１０１）、第１ジェスチャー操作を認識開始したか否かを判定する（ステップＳ１０２）。

制御装置１は、第１ジェスチャー操作の認識を開始した場合（ステップＳ１０２，Ｙｅｓ）、第１ジェスチャー操作を認識してから所定時間経過したか否かを判定する（ステップＳ１０３）。

制御装置１は、ステップＳ１０３の処理において、所定時間経過したと判定した場合（ステップＳ１０３，Ｙｅｓ）、第１ジェスチャー操作が継続中か否かを判定する（ステップＳ１０４）。ステップＳ１０４の処理は、ジェスチャー操作の操作対象となる特定部位、例えば、指の動きが止まった（所定時間以上）か否かを判定することにより行われる。

制御装置１は、ステップＳ１０４の処理において、第１ジェスチャー操作が継続中であると判定した場合（ステップＳ１０４，Ｙｅｓ）、第１ジェスチャー操作に基づいて基準点Ｐを設定する（ステップＳ１０５）。

続いて、制御装置１は、基準点Ｐに基づき、第１ジェスチャー操作に続く第２ジェスチャー操作を認識し（ステップＳ１０６）、第２ジェスチャー操作に応じた制御コマンドを生成する（ステップＳ１０７）。

そして、制御装置１は、車載機器５０へ制御コマンドを出力して（ステップＳ１０８）、処理を終了する。また、制御装置１は、ステップＳ１０２の判定処理において、第１ジェスチャー操作の認識を開始していない場合（ステップＳ１０２，Ｎｏ）や、ステップＳ１０４の判定処理において、第１ジェスチャー操作が継続されていない場合（ステップＳ１０４，Ｎｏ）、ステップＳ１０２の処理へ移行する。

また、制御装置１は、ステップＳ１０３の処理において、所定時間経過していない場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０３の処理を継続して行う。

上述したように、実施形態に係る制御装置１は、認識部２２と、設定部２３とを備える。認識部２２は、制御対象となる対象機器を指し示す第１ジェスチャー操作を認識する。設定部２３は、認識部２２によって認識された第１ジェスチャー操作に基づいて基準点Ｐを設定する。

認識部２２は、設定部２３によって設定された基準点Ｐに基づいて第２ジェスチャー操作を認識する。したがって、実施形態に係る制御装置１によれば、ユーザビリティを向上させることができる。

ところで、上述した実施形態では、制御装置１が車両Ｃに搭載され、対象機器が窓である場合について説明したが、これに限定されるものではない。すなわち、制御装置１は、車両以外に搭載することにしてもよいし、窓以外の対象機器を制御することにしてもよい。

また、上述した実施形態では、第１ジェスチャー操作に基づいて基準点Ｐを設定し、基準点Ｐに基づいて第１ジェスチャー操作に続く第２ジェスチャー操作を認識する場合について説明したが、これに限定されるものではない。

すなわち、過去に設定した基準点Ｐに基づいて第２ジェスチャー操作を認識することにしてもよい。言い換えれば、一度設定した基準点Ｐを使いまわして用いることにしてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 制御装置
１０ ３Ｄセンサ
２１ 取得部
２２ 認識部
２３ 設定部
２４ 出力部
Ｐ 基準点
Ｐｌ 基準線
ｌａ 無効領域

Claims (6)

1. 制御対象となる対象機器を指し示す第１ジェスチャー操作を認識する認識部と、
   前記認識部によって認識された第１ジェスチャー操作に基づいて基準点を設定する設定部と
   を備え、
   前記認識部は、
   前記設定部によって設定された基準点に基づいて第２ジェスチャー操作を認識すること
   を特徴とする制御装置。
2. 前記設定部は、
   第１ジェスチャー操作に基づいて設定した基準点を基準とした所定範囲に第２ジェスチャー操作に対する無効領域を設定すること
   を特徴とする請求項１に記載の制御装置。
3. 前記認識部は、
   所定時間継続された第１ジェスチャー操作を認識すること
   を特徴とする請求項１または２に記載の制御装置。
4. 前記認識部によって認識した第２ジェスチャー操作に応じた制御コマンドを前記対象機器へ出力する出力部
   をさらに備え、
   前記認識部は、
   第２ジェスチャー操作に用いられる指の本数を認識し、
   前記出力部は、
   前記認識部によって認識された指の本数に応じて、制御コマンドの強弱を変更すること
   を特徴とする請求項１、２または３に記載の制御装置。
5. 前記認識部は、
   前記設定部によって設定した基準点で停止する第２ジェスチャー操作を認識し、
   前記出力部は、
   前記基準点に対応する制御コマンドを出力すること
   を特徴とする請求項４に記載の制御装置。
6. 制御対象となる対象機器を指し示す第１ジェスチャー操作を認識する認識工程と、
   前記認識工程によって認識された第１ジェスチャー操作に基づいて基準点を設定する設定工程と
   を含み、
   前記認識工程は、
   前記設定工程によって設定された基準点に基づいて第２ジェスチャー操作を認識すること
   を特徴とする制御方法。

Images