JP2014149640A - Gesture operation device and gesture operation program - Google Patents
Gesture operation device and gesture operation program Download PDFInfo
- Publication number
- JP2014149640A JP2014149640A JP2013017555A JP2013017555A JP2014149640A JP 2014149640 A JP2014149640 A JP 2014149640A JP 2013017555 A JP2013017555 A JP 2013017555A JP 2013017555 A JP2013017555 A JP 2013017555A JP 2014149640 A JP2014149640 A JP 2014149640A
- Authority
- JP
- Japan
- Prior art keywords
- gesture operation
- gesture
- detection
- occupant
- operation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ジェスチャによって種々の機器（例えば、車載器）を操作するジェスチャ操作装置及びジェスチャ操作プログラムに関する。 The present invention relates to a gesture operation device and a gesture operation program for operating various devices (for example, on-vehicle devices) using gestures.
ジェスチャによって操作を行う技術としては、例えば、特許文献１に記載の技術が提案されている。 As a technique for performing an operation using a gesture, for example, a technique described in Patent Document 1 has been proposed.
特許文献１には、ステレオカメラによりユーザの画像を撮像するユーザ撮像手段と、ユーザのジェスチャを検出するジェスチャ検出手段と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段と、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、選択ジェスチャで選択された制御機器とユーザの視線の方向にある制御機器とが一致する場合に制御機器を選択する制御機器選択手段と、選択された制御機器に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段とを備えた制御機器操作ジェスチャ認識装置（ＰＣ）が提案されている。 Patent Document 1 discloses a user imaging unit that captures a user's image with a stereo camera, a gesture detection unit that detects a user's gesture, a gesture determination unit that determines whether the gesture is a selection gesture or an operation gesture, Select the control device when the gaze direction determination means for determining whether or not the control device is in the direction of the user's line of sight and the control device selected by the selection gesture match the control device in the direction of the user's line of sight There has been proposed a control device operation gesture recognition device (PC) including a control device selection unit for performing control and a control device operation unit for performing an operation corresponding to an operation gesture on the selected control device.
しかしながら、特許文献１に記載の技術では、操作対象機器の選択についてもジェスチャで行う必要があり、操作するために覚えるジェスチャの数も多くなるため、改善の余地がある。 However, in the technique described in Patent Document 1, there is room for improvement because selection of the operation target device needs to be performed using gestures, and the number of gestures to be learned for operation increases.
さらに、特許文献１に記載の技術では、ジェスチャ操作するために操作対象を注視する必要があるため、車載機器へ適用するためには、脇見運転となるため改善の余地がある。 Furthermore, in the technique described in Patent Document 1, it is necessary to watch the operation target in order to perform the gesture operation.
本発明は、上記事実を考慮して成されたもので、操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。 The present invention has been made in consideration of the above facts, and an object of the present invention is to provide a gesture operation device and a gesture operation program that can be operated at a glance without looking at an operation target.
上記目的を達成するために請求項１に記載のジェスチャ操作装置は、乗員を撮影する撮影手段と、前記撮影手段の撮影結果から乗員の目の位置を検出する第１検出手段と、前記撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作を検出する第２検出手段と、予め定めた複数の操作対象機器の中から第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定し、前記第２検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御する制御手段と、を備えている。 In order to achieve the above object, the gesture operating device according to claim 1 includes an imaging unit that images an occupant, a first detection unit that detects a position of an occupant's eye from an imaging result of the imaging unit, and the imaging unit. Second detection means for detecting the position and gesture operation of the occupant's hand from the imaging results of the above, the position of the occupant's eye detected by the first detection means from a plurality of predetermined operation target devices, and the second detection The operation target device is determined based on the position of the occupant's hand detected by the means, and the determined operation target device is controlled to perform a predetermined operation corresponding to the gesture operation detected by the second detection means. And a control means.
請求項１に記載の発明によれば、撮影手段では、カメラ等により乗員が撮影され、第１検出手段では、撮影手段の撮影結果から乗員の目の位置が検出され、第２検出手段では、撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作が検出される。なお、撮影手段は、第１検出手段によって乗員の目の位置を検出するための撮影を行う撮影手段と、第２検出手段によって乗員の手の位置及びジェスチャ操作を検出するための撮影を行う撮影手段とをそれぞれ備えるようにしてもよい。 According to the first aspect of the present invention, in the photographing means, the occupant is photographed by a camera or the like. In the first detecting means, the position of the occupant's eyes is detected from the photographing result of the photographing means. In the second detecting means, The position of the occupant's hand and the gesture operation are detected from the photographing result of the photographing means. The photographing means performs photographing for detecting the position of the occupant's eyes by the first detecting means, and photographing for detecting the position and gesture operation of the occupant's hand by the second detecting means. Each means may be provided.
また、制御手段では、予め定めた操作対象機器の中から第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器が決定される。例えば、請求項３に記載の発明のように、乗員の目の位置と手の位置とを結ぶ線分の延長線上に存在する機器を操作対象機器として決定するようにしてもよい。 In the control means, the operation target device is selected based on the position of the occupant's eyes detected by the first detection means and the position of the occupant's hand detected by the second detection means from the predetermined operation target devices. It is determined. For example, as in the invention described in claim 3, a device existing on an extension line of a line connecting a passenger's eye position and a hand position may be determined as the operation target device.
そして、第２検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器が制御される制御手段によって制御される。 Then, the determined operation target device is controlled by the control unit so as to perform a predetermined operation corresponding to the gesture operation detected by the second detection unit.
すなわち、乗員は、操作対象機器をちら見して、操作対象機器方向に向かってジェスチャ操作するだけで、制御手段が、操作対象機器を決定してジェスチャ操作に対応する操作を行うように、操作対象機器を制御するので、操作対象を注視することなく、ちら見程度でジェスチャ操作によって操作対象機器を操作することができる。 That is, the occupant looks at the operation target device and performs a gesture operation toward the operation target device direction so that the control means determines the operation target device and performs an operation corresponding to the gesture operation. Since the device is controlled, it is possible to operate the operation target device by a gesture operation at a glance without looking at the operation target.
例えば、請求項２に記載の発明のように、第１検出手段が、撮影手段の撮影結果から乗員の視線を更に検出して、制御手段が、予め定めた複数の操作対象機器の中から第１検出手段によって検出した視線の先に存在する操作対象機器候補を抽出する抽出手段を含み、抽出手段によって抽出された操作対象機器候補の中から、第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定するようにしてもよい。これにより、操作対象機器を容易に特定することが可能となる。 For example, as in the second aspect of the invention, the first detection unit further detects the sight line of the occupant from the imaging result of the imaging unit, and the control unit selects the first operation target device from a plurality of predetermined operation target devices. An extraction unit that extracts an operation target device candidate existing ahead of the line of sight detected by the one detection unit, and the occupant's eyes detected by the first detection unit from the operation target device candidates extracted by the extraction unit You may make it determine an operation target apparatus based on a position and the position of the passenger | crew's hand detected by the 2nd detection means. Thereby, it becomes possible to specify an operation target apparatus easily.
また、請求項４に記載の発明のように、制御手段によって決定した操作対象機器を表す情報を報知する報知手段を更に備えるようにしてもよい。これによって、制御手段によって決定した操作対象機器が適正か否かを報知手段によって確認することができる。 Moreover, you may make it further provide the alerting | reporting means which alert | reports the information showing the operation target apparatus determined by the control means like invention of Claim 4. Thereby, it is possible to confirm by the notification means whether or not the operation target device determined by the control means is appropriate.
なお、本発明は、請求項５に記載の発明のように、コンピュータを、請求項１〜４の何れか１項に記載のジェスチャ操作装置の前記第１検出手段、前記第２検出手段、及び前記制御手段として機能させるためのジェスチャ操作プログラムとしてもよい。 In the present invention, as in the invention described in claim 5, the computer is connected to the first detection unit, the second detection unit, and the gesture operation device according to any one of claims 1 to 4. It is good also as a gesture operation program for functioning as said control means.
以上説明したように本発明によれば、操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することができる、という効果がある。 As described above, according to the present invention, there is an effect that it is possible to provide a gesture operation device and a gesture operation program that can be operated with a close look without paying attention to an operation target.
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。 Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.
（第１実施形態） (First embodiment)
図１は、本発明の第１実施形態に係るジェスチャ操作装置の概略を示す図であり、図２は、本発明の第１実施形態に係るジェスチャ操作装置の構成を示すブロック図である。 FIG. 1 is a diagram showing an outline of a gesture operating device according to the first embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of the gesture operating device according to the first embodiment of the present invention.
本実施形態に係るジェスチャ操作装置１０は、ジェスチャ操作によって自動車に搭載された各種機器を操作するものである。ジェスチャ操作装置１０のジェスチャ操作の操作対象機器２２としては、例えば、ディスプレイ２２Ａや、インストルメントパネルに設けられたインパネスイッチ（例えば、ヒータコントローラ、ミラースイッチ、エアコンスイッチ、オーディオの操作スイッチ等の各種スイッチ）２２Ｂを適用することができる。
The
ジェスチャ操作装置１０は、乗員（運転者）のジェスチャ操作を検出するためのジェスチャ操作検出用カメラ１４、及び乗員（運転者）の視線を検出する視線検出用カメラ１８を備えている。
The
ジェスチャ操作検出用カメラ１４は、ジェスチャ操作を検出すると共に、手の位置を検出するために、ステレオカメラによって撮影が行われる。ジェスチャ操作検出用カメラ１４は、例えば、図１に示すように、ルームミラーのベース部分に設けられ、インストルメントパネルに設けられたインパネスイッチ２２Ｂやディスプレイ２２Ａ等の操作対象機器２２の方向を撮影するように、車両のルーフ側から下方向に向けて配置されている。なお、ジェスチャ操作検出用カメラ１４は、本実施形態では、ステレオカメラを適用して３次元撮影が可能なものを適用するが、これに限るものではなく、例えば、単眼カメラと距離センサ等を併用して、ジェスチャ操作及び手の位置を検出するようにしてもよい。
The gesture
また、視線検出用カメラ１８は、乗員の顔を撮影して、撮影画像から目の位置を検出すると共に、視線を検出するために、単眼のカメラによって撮影が行われる。視線検出用カメラ１８は、例えば、図１に示すように、運転者側のルーフに、運転者側に向けられて配置されている。なお、ジェスチャ操作検出用カメラ１４に隣接して設けるようにしてもよい。
The line-of-
ジェスチャ操作の検出や視線検出は、周知の各種技術を適用して検出することができる。また、本実施形態では、ジェスチャ操作検出用カメラ１４と視線検出用カメラ１８をそれぞれ別に設ける構成として説明するが、例えば、ステレオカメラ１つでジェスチャ操作と視線を共に検出するようにしてもよい。或いは、単眼カメラと距離センサを用いてジェスチャ操作と視線を共に検出するようにしてもよい。
Detection of gesture operation and gaze detection can be detected by applying various known techniques. In this embodiment, the gesture
ジェスチャ操作装置１０は、ジェスチャ操作ＥＣＵ（Electronic Control Unit）１２を備えており、乗員のジェスチャ操作に応じてジェスチャ操作ＥＣＵ１２が操作対象機器２２の操作を制御するようになっている。
The
ジェスチャ操作ＥＣＵ１２は、ＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ、及びＩ／Ｏ（入出力インターフェース）１２Ｄがバス１２Ｅに接続されたマイクロコンピュータで構成されている。
The gesture operation ECU 12 includes a microcomputer in which a
Ｉ／Ｏ１２Ｄには、ジェスチャ操作検出用ＥＣＵ１６、視線検出用ＥＣＵ２０、及び複数の操作対象機器２２（２２Ａ、２２Ｂ・・・）が接続されている。
A gesture
ジェスチャ操作検出用ＥＣＵ１６には、上述のジェスチャ操作検出用カメラ１４が接続されており、ジェスチャ操作検出用カメラ１４の撮影結果が入力される。ジェスチャ操作検出用ＥＣＵ１６は、ジェスチャ操作検出用カメラ１４の撮影結果から、乗員の手の位置及びジェスチャ操作を検出して、検出結果をジェスチャ操作ＥＣＵ１２へ出力する。ジェスチャ操作としては、操作内容毎にジェスチャ操作を予め定めて記憶しておくことにより、対応するジェスチャ操作をパターンマッチング等によって検出する。なお、ジェスチャ操作としては、例えば、手振りや、サイン、手形状など手で行うことができる動作全般とすることができる。
The gesture
視線検出用ＥＣＵ２０には、上述の視線検出用カメラ１８が接続されており、視線検出用カメラ１８の撮影結果が入力される。視線検出用ＥＣＵ２０は、視線検出用カメラ１８の撮影結果から、乗員の目の位置及び視線を検出して、検出結果をジェスチャ操作ＥＣＵ１２へ出力する。
The line-of-sight detection ECU 18 is connected to the line-of-
ジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂにジェスチャ操作用プログラムや、操作対象機器２２の位置等が予め記憶されており、ＲＯＭ１２Ｂに記憶されたジェスチャ操作用プログラムをＲＡＭ１２Ｃに展開してＣＰＵ１２Ａが実行することにより、ジェスチャ操作に対応する動作を行うように操作対象機器２２を制御する。
The gesture operation program, the position of the
具体的には、乗員は、図３（Ａ）の実線矢印で示すように、前方を注視して運転しているが、操作を行う場合に、図３（Ａ）の点線矢印で示すように、操作対象機器２２をちら見する。
Specifically, as shown by the solid arrow in FIG. 3A, the occupant is driving while paying attention to the front, but when performing an operation, as shown by the dotted arrow in FIG. The
視線検出用カメラ１８及び視線検出用ＥＣＵ２０が乗員の目の位置及び視線を検出して、検出結果をジェスチャ操作ＥＣＵ１２に出力する。そして、ジェスチャ操作ＥＣＵ１２が、図３（Ａ）の点線矢印で示すように、ちら見の視線先に存在する操作対象機器候補を複数抽出する。例えば、図１に示すように、ちら見（図１の一点鎖線矢印）先には、ディスプレイ２２Ａとインパネスイッチ２２Ｂが存在するので、これらの機器を操作対象候補として抽出する。
The line-of-
続いて、乗員は、図３（Ｂ）に示すように、ちら見によって確認した操作対象機器に向かって操作指示に対応して予め定めたジェスチャ操作を乗員が行う。 Subsequently, as shown in FIG. 3 (B), the occupant performs a gesture operation that is determined in advance in response to the operation instruction toward the operation target device confirmed by the glance.
ジェスチャ操作検出用カメラ１４及びジェスチャ操作検出用ＥＣＵ１６が乗員の手の位置及びジェスチャ操作を検出して、検出結果をジェスチャ操作ＥＣＵ１２に出力する。
The gesture
そして、ジェスチャ操作ＥＣＵ１２が、操作対象候補の中から、図３（Ｂ）に示すように、乗員の目の位置と乗員の手の位置の延長線上に存在する機器を操作対象機器２２に決定して、検出したジェスチャ操作に対応する動作を行うように、決定した操作対象機器２２を制御する。図３（Ｂ）の例では、インパネスイッチ２２Ｂが操作対象機器２２として決定された例を示す
And gesture operation ECU12 determines the apparatus which exists on the extension line of the position of a passenger | crew's eye and the position of a passenger | crew's hand from the operation object candidate to the
すなわち、本実施形態に係るジェスチャ操作装置１０では、操作対象機器２２を注視することなく、ちら見とジェスチャ操作だけで操作対象機器を操作することができる。
That is, in the
続いて、上述のように構成された本発明の第１実施形態に係るジェスチャ操作装置１０で行われる具体的な処理例について説明する。図４は、本発明の第１実施形態に係るジェスチャ操作装置１０におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図４の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。
Next, a specific processing example performed by the
ステップ１００では、視線検出が行われてステップ１０２へ移行する。すなわち、視線検出用カメラ１８によって乗員を撮影して、視線検出用ＥＣＵ２０が撮影結果から視線を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１０２では、操作対象機器への視線の移動があったか否か判定される。該判定は、視線検出用ＥＣＵ２０によって検出された視線に基づいて、ジェスチャ操作ＥＣＵ１２が予め定めた操作対象機器２２が存在する方向への視線の移動があったか否かを判定し、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合には一連の処理がリターンされる。
In
ステップ１０４では、操作対象機器候補がジェスチャ操作ＥＣＵ１２によって抽出されてステップ１０６へ移行する。すなわち、視線検出用ＥＣＵ２０によって検出されたちら見の視線先に存在する操作対象候補を抽出する。例えば、図１の一点鎖線矢印で示すように、ちら見先にディスプレイ２２Ａとインパネスイッチ２２Ｂが存在する場合には、これらを操作対象機器候補として抽出する。
In
ステップ１０６では、目の位置が検出されてステップ１０８へ移行する。すなわち、視線検出用カメラ１８によって乗員を撮影して、視線検出用ＥＣＵ２０が撮影結果から乗員の目の位置を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１０８では、手の位置が検出されてステップ１１０へ移行する。すなわち、ジェスチャ操作検出用カメラ１４によって乗員を撮影して、ジェスチャ操作検出用ＥＣＵ１６が撮影結果から乗員の手の位置を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１１０では、操作対象機器の決定が行われてステップ１１２へ移行する。すなわち、乗員の目の位置と乗員の手の位置の延長線上に位置する操作対象候補をジェスチャ操作ＥＣＵ１２が特定することにより、特定した操作対象機器候補を操作対象に決定する。
In
ステップ１１２では、ジェスチャ操作が検出されてステップ１１４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４によって乗員を撮影して、ジェスチャ操作検出用ＥＣＵ１６が撮影結果からジェスチャ操作を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１１４では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ１１２において、予め定めたジェスチャ操作を検出できたか否かを判定し、該判定が肯定された場合にはステップ１１６へ移行し、否定された場合には、ステップ１１８へ移行する。
In
ステップ１１６では、ステップ１１０で決定した操作対象機器２２に対してステップ１１２で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器を操作することができる。
In step 116, the
また、ステップ１１８では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
In
（第２実施形態） (Second Embodiment)
続いて、本発明の第２実施形態に係るジェスチャ操作装置について説明する。図５は、本発明の第２実施形態に係るジェスチャ操作装置の構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。 Next, a gesture operation device according to the second embodiment of the present invention will be described. FIG. 5 is a block diagram showing the configuration of the gesture operating device according to the second embodiment of the present invention. In addition, about the same structure as 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
本実施形態のジェスチャ操作装置１１は、第１実施形態に対して、操作対象を決定したときに、操作対象を表す情報を報知する報知機器を更に備えた構成とされている。 The gesture operation device 11 according to the present embodiment is configured to further include a notification device that notifies information representing an operation target when the operation target is determined, with respect to the first embodiment.
すなわち、図５に示すように、ジェスチャ操作ＥＣＵ１２のＩ／Ｏ１２Ｄに報知機器２４が第１実施形態のジェスチャ操作装置１０に対して更に接続されている。その他の構成については、第１実施形態と共通とされている。
That is, as shown in FIG. 5, the
報知機器２４としては、例えば、図６に示すように、フロントウインドガラス等に画像を投影する投影部を有して当該投影部に画像を投影する、所謂ヘッドアップディスプレイ２４Ａを適用することができる。ヘッドアップディスプレイ２４Ａを適用した場合には、決定した操作対象機器２２を表す情報（例えば、操作対象機器毎に予め定めた色を表示するようにしてもよいし、操作対象機器をテキスト表示するようにしてもよい。或いは、報知機器２４は、図６に示すように、ルーフ等に設けたＬＥＤ等の異なる色をジェスチャ操作している手に照射可能な光源２４Ｂを適用することもできる。光源２４Ｂを適用する場合には、例えば、ジェスチャ操作する手に向けて、操作対象機器２２毎に色を予め定めておき、操作対象機器２２に対応して予め定めた色の光を照射することにより、手に照射された光の色を確認することで、決定した操作対象機器２２が操作しようとした機器か否かを乗員が認識することができる。
As the
続いて、本発明の第２実施形態に係るジェスチャ操作装置１１で行われる具体的な処理例について説明する。図７は、本発明の第２実施形態に係るジェスチャ操作装置１１におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図７の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。また、第１実施形態と同一処理については同一符号を付して説明する。
Next, a specific processing example performed by the gesture operation device 11 according to the second embodiment of the present invention will be described. FIG. 7 is a flowchart illustrating an example of a flow of processing performed by executing a gesture operation program stored in the
ステップ１００では、視線検出が行われてステップ１０２へ移行する。すなわち、視線検出用カメラ１８によって乗員を撮影して、視線検出用ＥＣＵ２０が撮影結果から視線を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１０２では、操作対象機器への視線の移動があったか否か判定される。該判定は、視線検出用ＥＣＵ２０によって検出された視線に基づいて、ジェスチャ操作ＥＣＵ１２が予め定めた操作対象機器２２が存在する方向への視線の移動があったか否かを判定し、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合には一連の処理がリターンされる。
In
ステップ１０４では、操作対象機器候補がジェスチャ操作ＥＣＵ１２によって抽出されてステップ１０６へ移行する。すなわち、視線検出用ＥＣＵ２０によって検出されたちら見の視線先に存在する操作対象候補を抽出する。例えば、図１の一点鎖線矢印で示すように、ちら見先にディスプレイ２２Ａとインパネスイッチ２２Ｂが存在する場合には、これらを操作対象機器候補として抽出する。
In
ステップ１０６では、目の位置が検出されてステップ１０８へ移行する。すなわち、視線検出用カメラ１８によって乗員を撮影して、視線検出用ＥＣＵ２０が撮影結果から乗員の目の位置を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１０８では、手の位置が検出されてステップ１１０へ移行する。すなわち、ジェスチャ操作検出用カメラ１４によって乗員を撮影して、ジェスチャ操作検出用ＥＣＵ１６が撮影結果から乗員の手の位置を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１１０では、操作対象機器の決定が行われてステップ１１１へ移行する。すなわち、乗員の目の位置と乗員の手の位置の延長線上に位置する操作対象候補をジェスチャ操作ＥＣＵ１２が特定することにより、特定した操作対象機器候補を操作対象に決定する。
In
ステップ１１１では、決定した操作対象機器が報知機器２４によって乗員に報知されてステップ１１２へ移行する。例えば、報知機器２４としてヘッドアップディスプレイ２４Ａを適用した場合には、操作対象機器毎に色を予め定めて、決定した操作対象機器２２に対応する色を表示したり、操作対象機器２２が何であるかをテキスト表示したりすることにより、操作対象機器が適切な機器が選択されたか否かを確認することができる。或いは、報知機器２４として光源２４Ｂを適用した場合には、操作対象機器毎に色を予め定めて、決定した操作対象機器２２に対応する色を乗員のジェスチャ操作をしている手に照射することで、手に照射されて光の色によって操作対象機器を認識することができる。或いは、報知機器２５として音声出力装置等を適用して、音声により決定した操作対象機器２２を報知するようにしてもよい。
In
ステップ１１２では、ジェスチャ操作が検出されてステップ１１４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４によって乗員を撮影して、ジェスチャ操作検出用ＥＣＵ１６が撮影結果からジェスチャ操作を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。
In
ステップ１１４では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ１１２において、予め定めたジェスチャ操作を検出できたか否かを判定し、該判定が肯定された場合にはステップ１１６へ移行し、否定された場合には、ステップ１１８へ移行する。
In
ステップ１１６では、ステップ１１０で決定した操作対象機器２２に対してステップ１１２で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器を操作することができる。
In step 116, the
また、ステップ１１８では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
In
なお、上記の実施の形態では、ジェスチャ操作の操作対象機器２２の一例として、インストルメントパネルに設けられたディスプレイ２２Ａや、インパネスイッチ２２Ｂを一例として挙げたが、操作対象装置は、これに限るものではなく、例えば、ドアトリムに設けたパワーウインドスイッチや、ドアミラースイッチ等を操作対象機器として適用するようにしてもよい。
In the above embodiment, the
また、上記の実施の形態では、運転者によるジェスチャ操作を対象として説明したが、助手席等の乗員によるジェスチャ操作についても同様に制御するようにしてもよい。 In the above embodiment, the gesture operation by the driver has been described as an object. However, the gesture operation by a passenger such as a passenger seat may be similarly controlled.
また、上記の実施の形態では、視線を検出して操作対象機器候補を抽出してから、手の位置及び目の位置に基づいて操作対象機器を決定するようにしたが、操作対象機器候補の抽出を行わずに、手の位置及び目の位置のみに基づいて、操作対象機器を決定するようにしてもよい。 In the above embodiment, the operation target device candidate is determined based on the hand position and the eye position after detecting the line of sight and extracting the operation target device candidate. The operation target device may be determined based only on the position of the hand and the position of the eyes without performing extraction.
１０ ジェスチャ操作装置
１２ ジェスチャ操作ＥＣＵ
１４ ジェスチャ操作検出用カメラ
１６ ジェスチャ操作検出用ＥＣＵ
１８ 視線検出用カメラ
２０ 視線検出用ＥＣＵ
２２ 操作対象機器
２２Ａ ディスプレイ
２２Ｂ インパネスイッチ
２４ 報知機器
２４Ａ ヘッドアップディスプレイ
２４Ｂ 光源
10
14 Gesture
18 Camera for eye-
22
Claims (5)
前記撮影手段の撮影結果から乗員の目の位置を検出する第１検出手段と、
前記撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作を検出する第２検出手段と、
予め定めた複数の操作対象機器の中から第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定し、前記第２検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御する制御手段と、
を備えたジェスチャ操作装置。 Photographing means for photographing the occupant;
First detection means for detecting the position of the occupant's eyes from the photographing result of the photographing means;
Second detection means for detecting the position of the occupant's hand and the gesture operation from the photographing result of the photographing means;
An operation target device is determined based on a position of an occupant's eye detected by the first detection means from a plurality of predetermined operation target devices and a position of the occupant's hand detected by the second detection means, Control means for controlling the determined operation target device so as to perform a predetermined operation corresponding to the gesture operation detected by the second detection means;
Gesture operating device with
前記制御手段が、予め定めた複数の操作対象機器の中から前記第１検出手段によって検出した視線の先に存在する操作対象機器候補を抽出する抽出手段を含み、前記抽出手段によって抽出された前記操作対象機器候補の中から、第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定する請求項１に記載のジェスチャ操作装置。 The first detection means further detects the line of sight of the occupant from the imaging result of the imaging means;
The control means includes an extraction means for extracting operation target device candidates existing ahead of the line of sight detected by the first detection means from a plurality of predetermined operation target devices, and the extraction means is extracted by the extraction means The operation target device is determined based on a position of an occupant's eye detected by the first detection unit and a position of the occupant's hand detected by the second detection unit from the operation target device candidates. Gesture operation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013017555A JP2014149640A (en) | 2013-01-31 | 2013-01-31 | Gesture operation device and gesture operation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013017555A JP2014149640A (en) | 2013-01-31 | 2013-01-31 | Gesture operation device and gesture operation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014149640A true JP2014149640A (en) | 2014-08-21 |
Family
ID=51572583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013017555A Pending JP2014149640A (en) | 2013-01-31 | 2013-01-31 | Gesture operation device and gesture operation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014149640A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017062607A (en) * | 2015-09-24 | 2017-03-30 | パナソニックＩｐマネジメント株式会社 | Equipment controller, equipment control method, equipment control program and recording medium |
| WO2018116565A1 (en) * | 2016-12-22 | 2018-06-28 | 株式会社デンソー | Information display device for vehicle and information display program for vehicle |
| JP2018162023A (en) * | 2017-03-27 | 2018-10-18 | 株式会社デンソー | Operation device |
| WO2019053200A1 (en) * | 2017-09-18 | 2019-03-21 | Bayerische Motoren Werke Aktiengesellschaft | Method for outputting information to an object of a means of locomotion, system and automobile |
| DE102018123114A1 (en) | 2017-11-20 | 2019-05-23 | Toyota Jidosha Kabushiki Kaisha | control unit |
| US10506913B2 (en) | 2015-08-28 | 2019-12-17 | Fujifilm Corporation | Apparatus operation device, apparatus operation method, and electronic apparatus system |
| US11683197B2 (en) | 2018-08-10 | 2023-06-20 | Denso Corporation | Vehicle master device, update data distribution control method, computer program product and data structure of specification data |
| CN117021117A (en) * | 2023-10-08 | 2023-11-10 | 电子科技大学 | Mobile robot man-machine interaction and positioning method based on mixed reality |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
| WO2012176535A1 (en) * | 2011-06-20 | 2012-12-27 | 本田技研工業株式会社 | Automotive instrument operating device and alert device |
-
2013
- 2013-01-31 JP JP2013017555A patent/JP2014149640A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
| WO2012176535A1 (en) * | 2011-06-20 | 2012-12-27 | 本田技研工業株式会社 | Automotive instrument operating device and alert device |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016022146; 渡辺 博己 Ｈｉｒｏｋｉ Ｗａｔａｎａｂｅ: 'マルチカメラを用いた全方位ポインティングジェスチャの方向推定 Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｏｍｎｉ-Ｄｉｒｅｃｔｉｎａｌ Ｐｏｉｎｔｉｎｇ' 電気学会論文誌Ｃ Ｖｏｌ．１２１-Ｃ Ｎｏ．９ Ｔｈｅ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉ 第１２１-Ｃ巻, 20010901, １３８９頁, （社）電気学会 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10506913B2 (en) | 2015-08-28 | 2019-12-17 | Fujifilm Corporation | Apparatus operation device, apparatus operation method, and electronic apparatus system |
| JP2017062607A (en) * | 2015-09-24 | 2017-03-30 | パナソニックＩｐマネジメント株式会社 | Equipment controller, equipment control method, equipment control program and recording medium |
| WO2018116565A1 (en) * | 2016-12-22 | 2018-06-28 | 株式会社デンソー | Information display device for vehicle and information display program for vehicle |
| JP2018103646A (en) * | 2016-12-22 | 2018-07-05 | 株式会社デンソー | Vehicular information display device and vehicular information display program |
| JP2018162023A (en) * | 2017-03-27 | 2018-10-18 | 株式会社デンソー | Operation device |
| WO2019053200A1 (en) * | 2017-09-18 | 2019-03-21 | Bayerische Motoren Werke Aktiengesellschaft | Method for outputting information to an object of a means of locomotion, system and automobile |
| DE102018123114A1 (en) | 2017-11-20 | 2019-05-23 | Toyota Jidosha Kabushiki Kaisha | control unit |
| US10890980B2 (en) | 2017-11-20 | 2021-01-12 | Toyota Jidosha Kabushiki Kaisha | Operating apparatus for estimating an operation intention intended by a face direction |
| US11683197B2 (en) | 2018-08-10 | 2023-06-20 | Denso Corporation | Vehicle master device, update data distribution control method, computer program product and data structure of specification data |
| CN117021117A (en) * | 2023-10-08 | 2023-11-10 | 电子科技大学 | Mobile robot man-machine interaction and positioning method based on mixed reality |
| CN117021117B (en) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | Mobile robot man-machine interaction and positioning method based on mixed reality |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014149640A (en) | Gesture operation device and gesture operation program | |
| US11205348B2 (en) | Drive assist device | |
| US10466800B2 (en) | Vehicle information processing device | |
| JP6528139B2 (en) | Display control device and display control program | |
| US11524578B2 (en) | Control method and control device for vehicle display device | |
| JP6413207B2 (en) | Vehicle display device | |
| US9522633B2 (en) | Driver customizable blind spot display method and apparatus | |
| US9517776B2 (en) | Systems, methods, and apparatus for controlling devices based on a detected gaze | |
| JPWO2015125243A1 (en) | Display control device, display control method for display control device, gaze direction detection system, and calibration control method for gaze direction detection system | |
| JP2008230558A (en) | Vehicle periphery monitoring device | |
| CN105523041B (en) | Lane-departure warning system and method for controlling the system | |
| JP2010111260A (en) | Vehicle speed control device | |
| US20190236343A1 (en) | Gesture detection device | |
| JP2017097759A (en) | Visual line direction detection device, and visual line direction detection system | |
| US20190375292A1 (en) | Vehicle display system | |
| JP6057755B2 (en) | Gesture operation device and gesture operation program | |
| JPWO2017061026A1 (en) | Image display device | |
| JP5136948B2 (en) | Vehicle control device | |
| WO2013114871A1 (en) | Driving assistance device and driving assistance method | |
| JP6365409B2 (en) | Image display device for vehicle driver | |
| JP5617678B2 (en) | Vehicle display device | |
| CN110850975A (en) | Electronic system with palm identification, vehicle and operation method thereof | |
| CN104517540A (en) | Curved display apparatus with safety button | |
| KR20130076214A (en) | Device for driving vehicle using pointing jesture of driver and method thereof | |
| US20230376123A1 (en) | Display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160715 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161129 |