JPWO2019016878A1 - Operation support apparatus and operation support method - Google Patents
Operation support apparatus and operation support method Download PDFInfo
- Publication number
- JPWO2019016878A1 JPWO2019016878A1 JP2019530277A JP2019530277A JPWO2019016878A1 JP WO2019016878 A1 JPWO2019016878 A1 JP WO2019016878A1 JP 2019530277 A JP2019530277 A JP 2019530277A JP 2019530277 A JP2019530277 A JP 2019530277A JP WO2019016878 A1 JPWO2019016878 A1 JP WO2019016878A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- switch
- indicator
- selection switch
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000011521 glass Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- User Interface Of Digital Computer (AREA)
- Instrument Panels (AREA)
Abstract
本発明は、運転者が操作機器を注視することなく操作を行えると共に、運転者がどのスイッチを操作すれば良いかを容易に把握することのできる、操作支援装置および操作支援方法の提供を目的とする。本発明の操作支援装置は、操作パネル（２２）に対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部（１１）と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部（１２）と、指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部（１３）と、車両に搭載された表示装置（２１）に、操作画像を表示させる表示制御部（１４）と、を備える。操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す。An object of the present invention is to provide an operation support device and an operation support method that enable a driver to perform an operation without paying attention to an operating device and easily grasp which switch the driver should operate. And The operation support apparatus of the present invention includes an instruction information acquisition unit (11) that acquires instruction information including a position of an indicator relative to an operation panel (22) or an instruction direction of the indicator, and a plurality of operation panels based on the instruction information. A switch selection unit (12) that selects one or more operation switches as a selection switch from among the operation switches, and an operation panel image that represents the arrangement of the plurality of operation switches on the operation panel based on the instruction information. And an operation image creating unit (13) for creating an operation image, and a display control unit (14) for displaying the operation image on the display device (21) mounted on the vehicle. The operation image represents a non-selection switch that is an operation switch that is not a selection switch and a selection switch in different modes.
Description
本発明は、操作支援装置および操作支援方法に関する。 The present invention relates to an operation support apparatus and an operation support method.
特許文献１には、運転者の手を撮影し、撮影画像を操作機器のスイッチ配列画像に重畳して表示装置に表示させることにより、運転者が運転中に操作機器を注視することなく操作を行える技術が開示されている。
In
特許文献１の技術では、スイッチ配列画像を無加工で表示しているため、操作機器が有するスイッチが多く複雑である場合に、運転者はどのスイッチを押せばよいかが分かりにくいという問題があった。
In the technique of
本発明は上述の問題に鑑み、運転者が操作機器を注視することなく操作を行えると共に、運転者がどのスイッチを操作すれば良いかを容易に把握することのできる、操作支援装置および操作支援方法の提供を目的とする。 In view of the above-described problems, the present invention enables an operation support apparatus and operation support that enable a driver to perform an operation without paying attention to an operation device and easily understand which switch the driver should operate. The purpose is to provide a method.
本発明に係る操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。 The operation support device according to the present invention is the position of the indicator relative to the operation panel or the indicator when the driver of the vehicle uses the indicator to operate the operation panel for operating the operation target device mounted on the vehicle. An instruction information acquisition unit for acquiring instruction information including the specified direction, a switch selection unit for selecting one or more operation switches as a selection switch from among a plurality of operation switches of the operation panel based on the instruction information, and an instruction An operation image creation unit that creates an operation image by combining an indicator image representing a body with an operation panel image representing an arrangement of a plurality of operation switches on the operation panel based on the instruction information, and a display device mounted on the vehicle A display control unit that displays an operation image, and the operation image is different from a non-selection switch that is an operation switch that is not a selection switch, and a selection switch. Is an image that represents.
本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。 The operation support method according to the present invention is the position of the indicator relative to the operation panel or the indicator when the driver of the vehicle uses the indicator to operate the operation panel for operating the operation target device mounted on the vehicle. The instruction information including the instruction direction is acquired, and based on the instruction information, one or a plurality of operation switches are selected as a selection switch from among the plurality of operation switches of the operation panel, and an indicator image representing the indicator is indicated. An operation support method for creating an operation image by combining with an operation panel image representing an arrangement of a plurality of operation switches on the operation panel based on information, and displaying the operation image on a display device mounted on the vehicle, The operation image is an image that represents a non-selection switch and a selection switch, which are operation switches that are not selection switches, in different modes.
本発明に係る操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援装置によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。 The operation support device according to the present invention is the position of the indicator relative to the operation panel or the indicator when the driver of the vehicle uses the indicator to operate the operation panel for operating the operation target device mounted on the vehicle. An instruction information acquisition unit for acquiring instruction information including the specified direction, a switch selection unit for selecting one or more operation switches as a selection switch from among a plurality of operation switches of the operation panel based on the instruction information, and an instruction An operation image creation unit that creates an operation image by combining an indicator image representing a body with an operation panel image representing an arrangement of a plurality of operation switches on the operation panel based on the instruction information, and a display device mounted on the vehicle A display control unit that displays an operation image, and the operation image is different from a non-selection switch that is an operation switch that is not a selection switch, and a selection switch. Is an image that represents. According to the operation support device of the present invention, the driver can perform an operation without paying attention to the operation device, and can easily grasp which operation switch the driver should operate.
本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援方法によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。 The operation support method according to the present invention is the position of the indicator relative to the operation panel or the indicator when the driver of the vehicle uses the indicator to operate the operation panel for operating the operation target device mounted on the vehicle. The instruction information including the instruction direction is acquired, and based on the instruction information, one or a plurality of operation switches are selected as a selection switch from among the plurality of operation switches of the operation panel, and an indicator image representing the indicator is indicated. An operation support method for creating an operation image by combining with an operation panel image representing an arrangement of a plurality of operation switches on the operation panel based on information, and displaying the operation image on a display device mounted on the vehicle, The operation image is an image that represents a non-selection switch and a selection switch, which are operation switches that are not selection switches, in different modes. According to the operation support method according to the present invention, the driver can perform an operation without paying attention to the operation device, and can easily grasp which operation switch the driver should operate.
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objects, features, aspects, and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.
＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、実施の形態１に係る操作支援装置１０１の構成を示すブロック図である。操作支援装置１０１は、車両Ａの運転者が操作パネル２２を使って、車両Ａに搭載された操作対象装置２３を操作する際に、その操作を支援する装置である。操作対象装置２３は、例えばエアコン、オーディオまたはナビゲーション装置などである。<A.
<A-1. Configuration>
FIG. 1 is a block diagram illustrating a configuration of an
図１では操作支援装置１０１を車両Ａに搭載された装置として示しているが、これは一例である。＜Ｄ．ハードウェア構成＞で後述するように、操作支援装置１０１の各部の構成は車両以外の場所に分散して配置されていても良い。
Although FIG. 1 shows the
操作支援装置１０１は、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３および表示制御部１４を備える。操作支援装置１０１は、表示装置２１と接続され、これらを利用可能に構成されている。表示装置２１および操作パネル２２は車両Ａに搭載されている。
The
指示情報取得部１１は指示情報を取得する。指示情報は、車両Ａの運転者が指示体で操作パネル２２を指示する際の、操作パネル２２に対する指示体の位置または指示方向を含む。操作パネル２２は、操作対象装置２３を操作するための装置であり、複数の操作スイッチを搭載している。各操作スイッチは、操作対象装置２３の異なる制御内容に対応しており、車両Ａの運転者は所望の操作スイッチを扱うことにより操作対象装置２３の所望の制御を行うことができる。
The instruction
スイッチ選択部１２は、指示情報取得部１１から取得した指示情報に基づき、操作パネルの複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択する。選択スイッチは、現状の指示体の挙動から運転者が操作すると思われる操作スイッチである。スイッチ選択部１２は、特定した選択スイッチの情報を操作画像作成部１３に出力する。
Based on the instruction information acquired from the instruction
操作画像作成部１３は、指示体画像および操作パネル画像を作成する。指示体画像は、指示体を表す画像であり、例えば指示体を撮影した画像またはＣＧ画像などである。操作パネル画像は、操作パネル２２における複数の操作スイッチの配置を表す画像である。操作パネル画像において、選択スイッチとそれ以外の操作スイッチ（以下、これを「非選択スイッチ」とも称する）とは異なる態様で表される。
The operation
そして、操作画像作成部１３は、指示情報取得部１１から取得した指示情報に基づき、指示体画像と操作パネル画像とを合成して、操作画像を作成する。操作画像には、指示体と操作パネル２２の各操作スイッチとの実際の位置関係が反映される。
Then, the operation
表示制御部１４は、操作画像作成部１３から操作画像を取得し、表示装置２１に操作画像を表示させる。
The
＜Ａ−２．動作＞
図２は、操作支援装置１０１の動作を示すフローチャートである。以下、図２に沿って操作支援装置１０１の動作を説明する。<A-2. Operation>
FIG. 2 is a flowchart showing the operation of the
まず、指示情報取得部１１が指示情報を取得する（ステップＳ１０１）。
First, the instruction
次に、スイッチ選択部１２が指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択する（ステップＳ１０２）。
Next, based on the instruction information, the
次に、操作画像作成部１３が、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像を生成する（ステップＳ１０３）。操作パネル画像において、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとは異なる態様で表示される。
Next, the operation
次に、操作画像作成部１３が指示体を表す指示体画像を生成する（ステップＳ１０４）。
Next, the operation
次に、操作画像作成部１３が、指示情報に基づき指示体画像と操作パネル画像とを合成して操作画像を生成する（ステップＳ１０５）。
Next, the operation
次に、表示制御部１４が、表示装置２１に操作画像を表示させる（ステップＳ１０６）。
Next, the
以上で、操作支援装置１０１の動作を終了する。
Above, operation | movement of the
＜Ａ−３．効果＞
実施の形態１の操作支援装置１０１は、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部１１と、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部１２と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部１３と、車両Ａに搭載された表示装置２１に、操作画像を表示させる表示制御部１４と、を備える。そして、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。従って、運転者は操作パネルを見ることなく、操作画像を見ながら操作スイッチを操作することができる。また、選択スイッチが他の操作スイッチとは異なる態様で表示されるため、運転者は所望の操作スイッチを適格に操作することができる。<A-3. Effect>
The
実施の形態１の操作支援方法によれば、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両Ａに搭載された表示装置２１に操作画像を表示させる。そして、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。従って、運転者は操作パネルを見ることなく、操作画像を見ながら操作スイッチを操作することができる。また、選択スイッチが他の操作スイッチとは異なる態様で表示されるため、運転者は所望の操作スイッチを適格に操作することができる。
According to the operation support method of the first embodiment, the
＜Ｂ．実施の形態２＞
＜Ｂ−１．全体構成＞
図３は、実施の形態２に係る操作支援装置１０２の構成を示すブロック図である。操作支援装置１０２の構成は、図１に示した通りであり、実施の形態１に係る操作支援装置１０１の構成と同様である。但し、操作支援装置１０２は、指示体検出装置２４と接続され、これを利用可能に構成されている。<B. Second Embodiment>
<B-1. Overall configuration>
FIG. 3 is a block diagram illustrating a configuration of the
図４は、操作パネル２２を示す図である。操作パネル２２は大抵、運転者が運転しながら操作スイッチ３２を操作しやすいように、運転席のコンソールなど運転者の手元に配置される。図４では操作スイッチ３２を機械的なスイッチとして図示しており、ボタン、ダイヤル、レバー等種々の形態のものが操作スイッチ３２として想定される。しかし、操作スイッチ３２は液晶画面等に表示されたアイコン等により実現されても良い。
FIG. 4 is a diagram showing the
個々の操作スイッチ３２は、操作対象装置２３の異なる制御に対応している。運転者は、指示体を用いて操作スイッチ３２を扱うことにより、操作対象装置２３を操作することが可能である。ここでは操作スイッチ３２を「扱う」と述べているが、操作スイッチ３２の形状に応じて押す、引く、回すなどの種々の操作が操作スイッチ３２を扱う動作として想定される。図４では、運転者の手指４０を指示体の例としているが、タッチペン等、他の指示体を用いることも可能である。
Each
多数の操作スイッチ３２が操作パネル２２に搭載されるほど、運転者が意図していない操作スイッチ３２を誤って扱ってしまう。あるいは、運転者はどの操作スイッチ３２が実行したい操作対象装置２３の制御内容に対応しているのかを把握しにくい。特に、運転者は運転しながら、手元の近くの操作パネル２２を注視することは困難であるため、上記の問題が顕著に発生する。
The more operation switches 32 are mounted on the
そこで、操作支援装置１０２は、運転者が指示体を操作スイッチ３２に近づけた際に、指示体と操作スイッチ３２との位置関係を表す操作画像を表示装置２１に表示させることにより、運転者が運転中でも操作画像を見ながら所望の操作スイッチ３２を的確に操作することが出来るようにする。この目的を達するため、表示装置２１は、操作パネル２２よりは運転者が前方を見て運転する際の視界（以下、「前方視界」と称する）に近い場所に設置されていることが望ましく、例えばHead-Up Display（ＨＵＤ）またはInstrument Cluster Display（ＩＣＤ）などである。
Therefore, the
指示体検出装置２４は、例えば操作パネル２２を撮影するカメラ、または操作パネル２２に対する指示体の接近を検出する静電容量式タッチパネル等により構成され、操作パネル２２に対する指示体の位置、または指示体の指示方向を検出する。指示体検出装置２４は、操作パネル２２に対する指示体の位置と指示体の指示方向の両方を検出しても良い。指示体検出装置２４による検出結果は、指示情報として指示情報取得部１１に出力される。すなわち、指示情報には操作パネル２２に対する指示体の位置、および指示体の指示方向の少なくとも一方が含まれる。
The
指示情報取得部１１は、指示体検出装置２４から指示情報を取得し、これをスイッチ選択部１２に出力する。
The instruction
スイッチ選択部１２、操作画像作成部１３、表示制御部１４の構成は、実施の形態１と同様である。
The configurations of the
＜Ｂ−２．操作画像＞
操作支援装置１０２の動作は、図２のフローチャートに示した通りであるため、フローチャートに沿った説明はここでは省略する。以下、図５から図８を用いて表示装置２１に表示される操作画像を例示する。<B-2. Operation image>
Since the operation of the
図５の操作画像５０は、指示体である運転者の手指４０を示す画像（以下、「手指画像」と称する）４０Ｄと、操作パネルを示す操作パネル画像２２Ｄとが合成されたものである。操作パネル画像２２Ｄでは、操作パネル２２に搭載された複数の操作スイッチ３２の画像（以下、「操作スイッチ画像３２Ｄ」が表示されている。
The
手指画像４０Ｄは、手指４０の実際の操作パネルに対する位置または方向にあわせた位置または方向で、操作パネル画像２２Ｄに合成される。図５の例で、手指画像４０Ｄは操作パネル画像２２Ｄの左下に重ねられており、これは実際に手指４０が操作パネル２２の左下に重なっていることを反映している。このように、操作画像５０は、指示体が操作パネル２２に対してどのような位置または方向にあるかを表すため、運転者は操作画像を見ることにより、実際に操作パネル２２を見なくても操作パネル２２上の所望の操作スイッチ３２を操作することが可能になる。
The
手指４０が操作パネル２２の左下に重なったとき、手指４０との距離が近い１又は複数の操作スイッチ３２が選択スイッチとなる。ここで、手指４０から距離の近い順に３つの操作スイッチ３２が選択スイッチになるものとする。従って、図５に示すように、操作画像５０において手指画像４０Ｄの近くに表示される３つの操作スイッチ画像が選択スイッチ画像３２ＡＤとして、他の操作スイッチ画像３２Ｄよりも太い枠で表示される。このように選択スイッチ画像３２ＡＤは、操作画像５０において他の操作スイッチ画像３２Ｄとは容易に区別可能な態様で表示される。従って、運転者は自身が今から操作しようとしているスイッチ、すなわち選択スイッチがどの操作スイッチ３２であるかを容易に把握することができる。
When the
図５に示した、選択スイッチ画像３２ＡＤを他の操作スイッチ画像３２Ｄよりも太い枠で表示することは、選択スイッチ画像３２ＡＤと他の操作スイッチ画像３２Ｄとを異なる態様で表示することの一例である。他の例として図６に示すように、選択スイッチ画像３２ＡＤを通常の画像、例えば選択スイッチの撮影画像とし、他の操作スイッチ画像３２Ｄを記号または文字で表しても良い。
Displaying the selection switch image 32AD with a thicker frame than the other
また、選択スイッチ画像３２ＡＤを撮影画像とし、他の操作スイッチ画像３２ＤをＣＧ画像としても良い。また、反透過、低コントラスト、またはブラー表示等の方法で、他の操作スイッチ画像３２Ｄが選択スイッチ画像３２ＡＤに比べて不明瞭に表示されても良い。以上に述べた表示方法によって、運転者は選択スイッチ画像３２ＡＤと他の操作スイッチ画像３２Ｄとを容易に区別することができる。
Alternatively, the selection switch image 32AD may be a captured image, and the other
また、図７および図８に示すように、選択スイッチ画像３２ＡＤに、選択スイッチの操作内容を説明する操作メニュー３３を付記表示しても良い。図８の操作画像５０では、ダイヤル形状の選択スイッチの選択スイッチ画像３２ＡＤに対して、ダイヤルを右に回すとＵＰ、左に回すとＤＯＷＮという操作内容を説明する操作メニュー３３が表示されている。従って、運転者は自身が操作しようとする操作スイッチ３２の操作方法を、操作画像５０から容易に把握することができる。
As shown in FIGS. 7 and 8, an
図５から図８では、操作画像５０を２次元の画像として表現した。しかし、操作画像５０は操作スイッチ３２および手指４０等を立体的に表現する立体視画像であっても良い。この場合、操作画像作成部１３は、指示体画像と操作パネル画像をそれぞれ立体視画像として作成し、両画像を立体視画像として合成する。そして、このような操作画像５０は、裸眼立体視表示機能を有する表示装置２１に表示される。
5 to 8, the
＜Ｂ−３．選択スイッチの特定＞
スイッチ選択部１２は、指示情報に基づき、複数の操作スイッチ３２の中から選択スイッチを選択する。図５から図８の表示例では、手指４０との距離が近い順に所定の数の操作スイッチ３２を選択スイッチとしていたが、これは、操作パネル２２に対する手指４０の位置に基づき選択スイッチを選択する方法の一例である。<B-3. Identification of selection switch>
The
スイッチ選択部１２は、操作パネル２２に対する手指４０の指示方向に基づき、選択スイッチを選択しても良い。つまり、手指４０の指示方向に重なる操作スイッチ３２が、選択スイッチとして選択される。手指４０の指示方向が複数の操作スイッチ３２に跨って重なる場合、スイッチ選択部１２は指示方向が重なる全ての操作スイッチ３２を選択スイッチとしても良い。また、スイッチ選択部１２は指示方向が重なる操作スイッチ３２だけでなく、当該操作スイッチ３２と隣り合う所定数の他の操作スイッチ３２も、選択スイッチとしても良い。
The
なお、スイッチ選択部１２は、例えば指示体と操作パネル２２との距離が、予め定められた閾値よりも小さくなったときに、そのときの指示情報に基づき選択スイッチを選択する。すなわち、指示体が操作パネル２２にある程度近づかなければ、選択スイッチは選択されない。あるいは、スイッチ選択部１２は、指示体が予め定められた時間継続して同じ操作スイッチを指示している場合に、選択スイッチを選択する。
For example, when the distance between the indicator and the
＜Ｂ−４．変形例１＞
図９は、実施の形態２の変形例１に係る操作支援装置１０２Ａの構成を示すブロック図である。操作支援装置１０２Ａの構成は、操作支援装置１０２の構成において、指示情報取得部１１が手形検出部１１Ａを備えたものである。<B-4.
FIG. 9 is a block diagram illustrating a configuration of an
指示体検出装置２４は、操作パネル２２に対する指示体の位置と指示方向に加えて、指示体が運転者の手指４０である場合に手指４０の形状を検出し、これを指示情報として指示情報取得部１１に出力する。例えば、指示体検出装置２４はカメラによって操作パネル２２に接近した運転者の手指４０を撮影し、撮影画像を指示情報として指示情報取得部１１に出力することができる。
The
手形検出部１１Ａは、指示体が運転者の手指４０である場合に、指示情報から手指４０の形状を検出する。例えば、手形検出部１１Ａは、手指４０が人差し指などいずれかの指を伸ばしてボタンを押すときの形状（以下、これを「ボタン形状」と称する）をしているか、あるいは手指４０がダイヤルを掴むときの形状（以下、これを「ダイヤル形状」と称する）をしているかを検出する。手形検出部１１Ａの検出結果は、指示情報に含められて指示情報取得部１１からスイッチ選択部１２に出力される。
When the indicator is the driver's
図１０は、操作支援装置１０２Ａのスイッチ選択部１２による選択スイッチの選択処理に関するフローチャートであり、図２のステップＳ１０２に対応したフローチャートである。スイッチ選択部１２は、指示情報に基づき選択スイッチを選択する。操作支援装置１０２では、スイッチ選択部１２は全ての操作スイッチ３２から選択スイッチを選択していた。しかし、操作支援装置１０２Ａでは、スイッチ選択部１２は手指４０の形状に対応する操作スイッチ３２を特定し（ステップＳ１０２１Ａ）、特定した操作スイッチ３２の中から選択スイッチを選択する（ステップＳ１０２２Ａ）。
FIG. 10 is a flowchart regarding selection switch selection processing by the
例えば、手指４０の形状がボタン形状である場合、選択スイッチはボタン形状の操作スイッチ３２の中から選択され、手指４０の形状がダイヤル形状である場合、選択スイッチはダイヤル形状の操作スイッチ３２の中から選択される。これにより、スイッチ選択部１２は精度良く選択スイッチを選択することができる。
For example, when the shape of the
図１１は、操作支援装置１０２Ａによる操作画像５０を示す図である。この操作画像５０には、ボタン形状の操作スイッチ３２の操作スイッチ画像３２Ｄと、ダイヤル形状の操作スイッチ３２の操作スイッチ画像３２Ｄとが表示される。手指画像４０Ｄは、ボタン形状の操作スイッチ３２の操作スイッチ画像３２Ｄの下に重ねて表示されている。手指の形状はダイヤル形状であるので、スイッチ選択部１２は、手指に最も近いボタン形状の操作スイッチ３２ではなく、ダイヤル形状の操作スイッチ３２の中から最も手指に近い左端の操作スイッチ３２を選択スイッチとする。その結果、図１１に示すように、左端のダイヤル形状の操作スイッチ３２の画像が選択スイッチ画像３２ＡＤとして、操作メニュー３３と共に表示される。
FIG. 11 is a diagram showing an
＜Ｂ−５．変形例２＞
図１２は、実施の形態２の変形例２に係る操作支援装置１０２Ｂの構成を示すブロック図である。操作支援装置１０２Ｂは、操作支援装置１０２の構成に加えて、車内情報取得部１５をさらに備えている。<B-5. Modification 2>
FIG. 12 is a block diagram illustrating a configuration of an
車内情報取得部１５は車内情報を取得する。車内情報には、車内の温度の情報、ガラスの曇り等の情報が含まれる。
The in-vehicle
スイッチ選択部１２は、指示情報取得部１１から指示情報を、車内情報取得部１５から車内情報をそれぞれ取得し、指示情報と車内情報に基づき選択スイッチを選択する。具体的には、操作パネル２２に搭載された操作スイッチ３２の中から車内情報に適合する操作スイッチ３２を特定する。
The
例えば、車内情報が車内の温度が高いことを示していれば、エアコンを操作するための操作スイッチ３２が車内情報に適合する操作スイッチ３２となる。また、車内情報がガラスの曇りを示していれば、デフォッガを操作するための操作スイッチ３２が車内情報に適合する操作スイッチ３２となる。
For example, if the in-vehicle information indicates that the temperature in the vehicle is high, the
スイッチ選択部１２は、このようにして特定した操作スイッチ３２の中から、指示情報に基づき、手指４０から近い操作スイッチ３２または手指４０の指示方向に重なる操作スイッチ３２を選択スイッチとして選択する。
Based on the instruction information, the
図１３は、操作支援装置１０２Ｂのスイッチ選択部１２による選択スイッチの選択処理に関するフローチャートであり、図２のステップＳ１０２に対応したフローチャートである。スイッチ選択部１２は、指示情報に基づき選択スイッチを選択する。操作支援装置１０２では、スイッチ選択部１２は全ての操作スイッチ３２から選択スイッチを選択していた。しかし、操作支援装置１０２Ｂでは、スイッチ選択部１２は車内情報に適合する操作スイッチ３２を特定し（ステップＳ１０２１Ｂ）、特定した操作スイッチ３２の中から選択スイッチを選択する（ステップＳ１０２２Ｂ）。
FIG. 13 is a flowchart relating to selection switch selection processing by the
＜Ｂ−６．効果＞
実施の形態２の操作支援装置１０２において、スイッチ選択部１２は、指示体からの距離が短い順に１又は複数の操作スイッチ３２を選択スイッチとして選択する。従って、運転者は指示体の近くにある操作スイッチ３２を操作画像５０上で容易に把握することができるため、所望の操作スイッチ３２を容易に操作することができる。<B-6. Effect>
In the
また、操作画像５０において、選択スイッチは撮影画像で表され、他の操作スイッチ３２はＣＧ画像で表される。このように、操作画像において、選択スイッチの画像と他の操作スイッチ３２の画像とを異なる態様で表示されることにより、運転者は選択スイッチを操作画像５０上で容易に把握することができる。従って、所望の操作スイッチ３２を容易に操作することができる。
In the
あるいは、操作画像５０において、選択スイッチは撮影画像で表され、他の操作スイッチ３２は記号または文字で表される。このように、操作画像において、選択スイッチの画像と他の操作スイッチ３２の画像とを異なる態様で表示されることにより、運転者は選択スイッチを操作画像５０上で容易に把握することができる。従って、運転者は所望の操作スイッチ３２を容易に操作することができる。
Alternatively, in the
あるいは、操作画像５０において、選択スイッチは他の操作スイッチ３２よりも高い明瞭度で表示される。従って、運転者は操作画像上で、選択スイッチを容易に把握することができる。これにより、運転者は所望の操作スイッチ３２を容易に操作することができる。
Alternatively, in the
また、表示装置２１がヘッドアップディスプレイ（ＨＵＤ）であれば、運転者は視線を運転時の通常の方向から大きく移動することなく操作画像５０を視認することができるため、操作画像５０を見ながら容易に操作スイッチ３２を操作することができる。
Further, if the
あるいは、表示装置２１がインスツルメントクラスタディスプレイ（ＩＣＤ）である場合、ＩＣＤはハンドルの奥側など、運転者が視線を運転中の通常の方向から大きく移動することなく視認できる位置に設けられているため、運転者は操作画像５０を見ながら容易に操作スイッチ３２を操作することができる。
Alternatively, when the
また、操作画像５０が立体視画像であり、操作画像５０が裸眼立体視表示機能を有する表示装置２１に表示される場合、運転者は操作画像５０から指示体と操作スイッチとの位置関係をより直感的に理解することができる。従って、運転者は所望の操作スイッチ３２を容易に選択することができる。
When the
操作画像作成部１３は、選択スイッチの操作内容が選択スイッチに付記表示される操作画像５０を作成する。従って、運転者は操作画像５０から選択スイッチの操作内容を容易に把握することができる。
The operation
実施の形態２の変形例２に係る操作支援装置１０２Ａにおいて、指示体は車両Ａの運転者の手指であり、指示情報は、手指の形状の情報を含み、スイッチ選択部１２は、手指の形状に対応した操作スイッチ３２から選択スイッチを選択する。従って、操作支援装置１０２Ａによれば運転者の意図に沿った選択スイッチを精度よく選択することができる。
In the
実施の形態２の変形例２に係る操作支援装置１０２Ｂは、操作支援装置１０２の構成に加えて、車両Ａの室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部１５を備える。また、スイッチ選択部１２は、車両情報に対応した操作スイッチ３２から選択スイッチを選択する。従って、操作支援装置１０２Ｂによれば運転者の意図に沿った選択スイッチを精度よく選択することができる。
In addition to the configuration of the
＜Ｃ．実施の形態３＞
＜Ｃ−１．構成＞
図１４は、実施の形態３に係る操作支援装置１０３の構成を示すブロック図である。操作支援装置１０３は、実施の形態２に係る操作支援装置１０２の構成において、装置制御部１６をさらに備え、指示情報取得部１１がジェスチャ取得部１１Ｂを備えるものであり、これ以外の操作支援装置１０３の構成は操作支援装置１０２と同様である。<C. Embodiment 3>
<C-1. Configuration>
FIG. 14 is a block diagram illustrating a configuration of the
指示体検出装置２４は、指示体である手指の操作パネル２２に対する位置および指示方向を検出し、これらの検出結果を指示情報として指示情報取得部１１に出力する。
The
ジェスチャ取得部１１Ｂは、指示情報から一定期間の手指の動きを読み取り、ジェスチャ操作を検出する。すなわち、ジェスチャ取得部１１Ｂには手指の特定の動作がジェスチャ操作として登録されており、指示情報から取得した手指の動きを登録されたジェスチャ操作と比較することによってジェスチャ操作を検出する。なお、ここではジェスチャ取得部１１Ｂがジェスチャ操作を検出することを説明しているが、指示体検出装置２４がジェスチャ操作の検出を行い、その検出結果をジェスチャ取得部１１Ｂが取得する構成であっても良い。
The
ジェスチャ操作は、操作スイッチに対する非接触の動作であり、例えばボタン形状の手指を操作スイッチ３２に瞬間的に近づけてから離す動作（以下、これを「プッシュ操作」と称する）と、手指をダイヤル形状にしてダイヤルを回す動作（以下、これを「ダイヤル操作」と称する）とがある。
The gesture operation is a non-contact operation with respect to the operation switch, for example, an operation in which a button-shaped finger is brought close to the
ジェスチャ取得部１１Ｂは、ジェスチャ操作を検出すると装置制御部１６に検出したジェスチャ操作の情報を出力する。
When the
装置制御部１６は、ジェスチャ取得部１１Ｂが検出したジェスチャ操作に沿って、操作対象装置２３を制御する。従って、運転者は操作スイッチ３２を触ることなく、操作対象装置２３を操作することが可能になる。
The
＜Ｃ−２．動作＞
図１５は、操作支援装置１０３の動作を示すフローチャートである。以下、図１５のフローに沿って操作支援装置１０３の動作を説明する。<C-2. Operation>
FIG. 15 is a flowchart showing the operation of the
図１５のステップＳ３０１からステップＳ３０６までは、図２のステップＳ１０１からステップＳ１０６までと同様である。ステップＳ３０６で操作画像を表示装置２１に表示させた後、ジェスチャ取得部１１Ｂはジェスチャ操作の有無を判断する（ステップＳ３０７）。
Steps S301 to S306 in FIG. 15 are the same as steps S101 to S106 in FIG. After the operation image is displayed on the
例えば操作画像を表示装置２１に表示してから一定期間の間、ジェスチャ操作がなければ、操作支援装置１０３はそのまま処理を終了する。一方、操作画像を表示装置２１に表示してから一定期間の間にジェスチャ操作があれば、装置制御部１６がジェスチャ操作に対応した操作対象装置２３の制御を行う（ステップＳ３０８）。以上で、操作支援装置１０３の処理を終了する。
For example, if there is no gesture operation for a certain period after the operation image is displayed on the
図１６は、運転者がプッシュ操作を行う際の操作画像５０を示す図である。このとき、装置制御部１６は、選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。選択スイッチが複数存在する場合には、装置制御部１６は例えば手指から最も近い位置にある選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。
FIG. 16 is a diagram illustrating an
図１７は、運転者がダイヤル操作を行う際の操作画像５０を示す図である。このとき、装置制御部１６は、ダイヤル操作の回転方向に応じて、選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。例えば、装置制御部１６は、運転者がダイヤルを右に回すジェスチャ操作を行った場合には、ダイヤル形状の選択スイッチが右に回されたときに行う操作対象装置２３の制御を実行する。
FIG. 17 is a diagram illustrating an
＜Ｃ−３．効果＞
実施の形態３において、指示体は車両Ａの乗員の手指であり、操作支援装置１０３は、実施の形態１に係る操作支援装置１０１の構成に加えて、手指を用いたジェスチャ操作を取得するジェスチャ取得部１１Ｂと、ジェスチャ操作に基づき選択スイッチの操作内容を実行して操作対象装置を制御する装置制御部１６と、を備える。従って、運転者は操作パネル２２に触れることなく選択スイッチを操作することができる。<C-3. Effect>
In the third embodiment, the indicator is a finger of an occupant of the vehicle A, and the
＜Ｄ．ハードウェア構成＞
上述した操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３における、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３、表示制御部１４、車内情報取得部１５および装置制御部１６は、図１８に示す処理回路８１により実現される。すなわち、処理回路８１は、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３、表示制御部１４、車内情報取得部１５および装置制御部１６（以下、「指示情報取得部１１等」と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。<D. Hardware configuration>
In the
処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。指示情報取得部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
When the
処理回路８１がプロセッサである場合、指示情報取得部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１９に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作支援装置１０１は、処理回路８１により実行されるときに、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得するステップと、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するステップと、指示体を表す指示体画像を指示情報に基づき、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す操作パネル画像に合成して操作画像を作成するステップと、車両Ａに搭載された表示装置２１に操作画像を表示させるステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、指示情報取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
When the
以上、指示情報取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、指示情報取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、スイッチ選択部１２については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
The configuration in which each function of the instruction
以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。 As described above, the processing circuit can realize the functions described above by hardware, software, or the like, or a combination thereof.
また、上記では操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３を車載装置として説明したが、車載装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図２０には、車両ＡとサーバＳによる操作支援装置１０１の構成例を示している。図２０に示すように、操作支援装置１０１の構成のうち、指示情報取得部１１と表示制御部１４が車両Ａに配置され、スイッチ選択部１２と操作画像作成部１３がサーバＳに配置される。
In the above description, the
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted. Although the present invention has been described in detail, the above description is illustrative in all aspects, and the present invention is not limited thereto. It is understood that countless variations that are not illustrated can be envisaged without departing from the scope of the present invention.
１１ 指示情報取得部、１１Ａ 手形検出部、１１Ｂ ジェスチャ取得部、１２ スイッチ選択部、１３ 操作画像作成部、１４ 表示制御部、１５ 車内情報取得部、１６ 装置制御部、２１ 表示装置、２２ 操作パネル、２３ 操作対象装置、２４ 指示体検出装置、８１ 処理回路、８２ プロセッサ、８３ メモリ。 11 instruction information acquisition unit, 11A bill detection unit, 11B gesture acquisition unit, 12 switch selection unit, 13 operation image creation unit, 14 display control unit, 15 in-vehicle information acquisition unit, 16 device control unit, 21 display device, 22 operation panel , 23 Operation target device, 24 Indicator detection device, 81 processing circuit, 82 processor, 83 memory.
本発明に係る第１の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。
本発明に係る第２の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像であり、指示体は車両の乗員の手指であり、指示情報は、手指の形状の情報を含み、操作パネルは、手指による操作方法が異なる複数の操作スイッチを有し、スイッチ選択部は、手指の形状に対応した操作方法で操作される操作スイッチから選択スイッチを選択する。
The first operation support device according to the present invention is the position of the indicator relative to the operation panel when the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle using the indicator. Alternatively, an instruction information acquisition unit that acquires instruction information including the indication direction of the indicator, an in- vehicle information acquisition unit that acquires information on the interior temperature of the vehicle or the fogging condition of the glass, and an operation panel based on the instruction information Based on the instruction information, a switch selection unit that selects one or more operation switches corresponding to in- vehicle information as a selection switch and a pointer image representing the pointer are displayed on the operation panel. The operation image is displayed on an operation image creation unit that creates an operation image by combining the operation panel image representing the arrangement of the operation switches and a display device mounted on the vehicle. Includes a Display control unit, an operation image is a selection switch and a non-selection switch is the operation switch not selective switch an image representing a different manner.
According to the second operation support device of the present invention, the position of the indicator relative to the operation panel when the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle using the indicator. Alternatively, an instruction information acquisition unit that acquires instruction information including the instruction direction of the indicator, and a switch selection unit that selects one or more operation switches as selection switches from among a plurality of operation switches of the operation panel based on the instruction information And an operation image creation unit that creates an operation image by combining an indicator image representing the indicator with an operation panel image representing an arrangement of a plurality of operation switches on the operation panel based on the instruction information, and mounted on the vehicle A display control unit that displays an operation image on the display device, and the operation image is different from a non-selection switch and a selection switch that are operation switches that are not selection switches. It is an image represented by a mode, the indicator is a finger of a vehicle occupant, the instruction information includes information on the shape of the finger, the operation panel has a plurality of operation switches with different operation methods by fingers, and switch selection The unit selects a selection switch from operation switches operated by an operation method corresponding to the shape of a finger.
本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。 The operation support method according to the present invention is the position of the indicator relative to the operation panel or the indicator when the driver of the vehicle uses the indicator to operate the operation panel for operating the operation target device mounted on the vehicle. Obtains instruction information including the direction of the vehicle, obtains in- vehicle information including information related to vehicle interior temperature or glass fogging, and responds to in- vehicle information from the multiple operation switches on the operation panel based on the instruction information select one or more operating switches and as a selection switch, creating a pointer image representing the pointer, based on the instruction information, the synthesized and operation image on the operation panel image representing an arrangement of a plurality of operating switches on the operation panel An operation support method for displaying an operation image on a display device mounted on a vehicle, wherein the operation image is an operation switch that is not a selection switch. A switch selectively switches an image representing a different manner.
本発明に係る第１の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援装置によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。
本発明に係る第２の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像であり、指示体は車両の乗員の手指であり、指示情報は、手指の形状の情報を含み、操作パネルは、手指による操作方法が異なる複数の操作スイッチを有し、スイッチ選択部は、手指の形状に対応した操作方法で操作される操作スイッチから選択スイッチを選択する。本発明に係る操作支援装置によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。
The first operation support device according to the present invention is the position of the indicator relative to the operation panel when the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle using the indicator. Alternatively, an instruction information acquisition unit that acquires instruction information including the indication direction of the indicator, an in- vehicle information acquisition unit that acquires information on the interior temperature of the vehicle or the fogging condition of the glass, and an operation panel based on the instruction information Based on the instruction information, a switch selection unit that selects one or more operation switches corresponding to in- vehicle information as a selection switch and a pointer image representing the pointer are displayed on the operation panel. The operation image is displayed on an operation image creation unit that creates an operation image by combining the operation panel image representing the arrangement of the operation switches and a display device mounted on the vehicle. Includes a Display control unit, an operation image is a selection switch and a non-selection switch is the operation switch not selective switch an image representing a different manner. According to the operation support device of the present invention, the driver can perform an operation without paying attention to the operation device, and can easily grasp which operation switch the driver should operate.
According to the second operation support device of the present invention, the position of the indicator relative to the operation panel when the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle using the indicator. Alternatively, an instruction information acquisition unit that acquires instruction information including the instruction direction of the indicator, and a switch selection unit that selects one or more operation switches as selection switches from among a plurality of operation switches of the operation panel based on the instruction information And an operation image creation unit that creates an operation image by combining an indicator image representing the indicator with an operation panel image representing an arrangement of a plurality of operation switches on the operation panel based on the instruction information, and mounted on the vehicle A display control unit that displays an operation image on the display device, and the operation image is different from a non-selection switch and a selection switch that are operation switches that are not selection switches. It is an image represented by a mode, the indicator is a finger of a vehicle occupant, the instruction information includes information on the shape of the finger, the operation panel has a plurality of operation switches with different operation methods by fingers, and switch selection The unit selects a selection switch from operation switches operated by an operation method corresponding to the shape of a finger. According to the operation support device of the present invention, the driver can perform an operation without paying attention to the operation device, and can easily grasp which operation switch the driver should operate.
本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援方法によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。
The operation support method according to the present invention is the position of the indicator relative to the operation panel or the indicator when the driver of the vehicle uses the indicator to operate the operation panel for operating the operation target device mounted on the vehicle. Obtains instruction information including the direction of the vehicle, obtains in- vehicle information including information related to vehicle interior temperature or glass fogging, and responds to in- vehicle information from the multiple operation switches on the operation panel based on the instruction information select one or more operating switches and as a selection switch, creating a pointer image representing the pointer, based on the instruction information, the synthesized and operation image on the operation panel image representing an arrangement of a plurality of operating switches on the operation panel An operation support method for displaying an operation image on a display device mounted on a vehicle, wherein the operation image is an operation switch that is not a selection switch. A switch selectively switches an image representing a different manner. According to the operation support method according to the present invention, the driver can perform an operation without paying attention to the operation device, and can easily grasp which operation switch the driver should operate.
Claims (13)
前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から１又は複数の前記操作スイッチを選択スイッチとして選択するスイッチ選択部と、
前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、
前記車両に搭載された表示装置に、前記操作画像を表示させる表示制御部と、を備え、
前記操作画像は、前記選択スイッチではない操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像である、
操作支援装置。When the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle using the indicator, the position of the indicator relative to the operation panel or the indication direction of the indicator is included. An instruction information acquisition unit for acquiring instruction information;
Based on the instruction information, a switch selection unit that selects one or a plurality of the operation switches as a selection switch from a plurality of operation switches included in the operation panel;
An operation image creating unit that creates an operation image by combining an indicator image representing the indicator with an operation panel image representing an arrangement of the plurality of operation switches on the operation panel based on the instruction information;
A display control unit for displaying the operation image on a display device mounted on the vehicle,
The operation image is an image representing in a different manner a non-selection switch that is an operation switch that is not the selection switch and the selection switch.
Operation support device.
請求項１に記載の操作支援装置。The switch selection unit selects one or a plurality of the operation switches as the selection switch in the order of a short distance from the indicator.
The operation support apparatus according to claim 1.
請求項１に記載の操作支援装置。In the operation image, the selection switch is represented by a captured image, and the other operation switches are represented by CG images.
The operation support apparatus according to claim 1.
請求項１に記載の操作支援装置。In the operation image, the selection switch is represented by a captured image, and the other operation switches are represented by symbols or characters.
The operation support apparatus according to claim 1.
請求項１に記載の操作支援装置。In the operation image, the selection switch is displayed with a higher clarity than the other operation switches.
The operation support apparatus according to claim 1.
請求項１に記載の操作支援装置。The display device is a head-up display;
The operation support apparatus according to claim 1.
請求項１に記載の操作支援装置。The display device is an instrument cluster display;
The operation support apparatus according to claim 1.
前記操作画像作成部は、前記指示体画像と前記操作パネル画像とを立体視画像として合成し、
前記表示装置は、裸眼立体視表示機能を有する、
請求項１に記載の操作支援装置。The operation panel image and the indicator image are stereoscopic images,
The operation image creating unit synthesizes the indicator image and the operation panel image as a stereoscopic image,
The display device has an autostereoscopic display function,
The operation support apparatus according to claim 1.
請求項１に記載の操作支援装置。The operation image creation unit creates the operation panel image in which the operation content of the selection switch is additionally displayed on the selection switch.
The operation support apparatus according to claim 1.
前記指示情報は、前記手指の形状の情報を含み、
前記スイッチ選択部は、前記手指の形状に対応した前記操作スイッチから前記選択スイッチを選択する、
請求項１に記載の操作支援装置。The indicator is a finger of an occupant of the vehicle,
The instruction information includes information on the shape of the finger,
The switch selection unit selects the selection switch from the operation switches corresponding to the shape of the finger.
The operation support apparatus according to claim 1.
前記スイッチ選択部は、前記車両情報に対応した前記操作スイッチから前記選択スイッチを選択する、
請求項１に記載の操作支援装置。An in-vehicle information acquisition unit for acquiring in-vehicle information including information on the room temperature of the vehicle or the fogging condition of the glass,
The switch selection unit selects the selection switch from the operation switches corresponding to the vehicle information.
The operation support apparatus according to claim 1.
前記手指を用いたジェスチャ操作を取得するジェスチャ取得部と、
前記ジェスチャ操作に基づき前記選択スイッチの操作内容を実行して前記操作対象装置を制御する装置制御部と、をさらに備える、
請求項９に記載の操作支援装置。The indicator is a finger of an occupant of the vehicle,
A gesture acquisition unit for acquiring a gesture operation using the fingers;
A device control unit that controls the operation target device by executing the operation content of the selection switch based on the gesture operation;
The operation support apparatus according to claim 9.
前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から１又は複数の前記操作スイッチを選択スイッチとして選択し、
前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、
前記車両に搭載された表示装置に、前記操作画像を表示させる、
操作支援方法であって、
前記操作画像は、前記選択スイッチではない操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像である、
操作支援方法。When the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle using the indicator, the position of the indicator relative to the operation panel or the indication direction of the indicator is included. Get instruction information,
Based on the instruction information, select one or a plurality of the operation switches as a selection switch from a plurality of operation switches of the operation panel,
Based on the instruction information, an indicator image representing the indicator is combined with an operation panel image representing an arrangement of the plurality of operation switches on the operation panel to create an operation image,
Displaying the operation image on a display device mounted on the vehicle;
An operation support method,
The operation image is an image representing in a different manner a non-selection switch that is an operation switch that is not the selection switch and the selection switch.
Operation support method.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/026013 WO2019016878A1 (en) | 2017-07-19 | 2017-07-19 | Operation support device and operation support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019016878A1 true JPWO2019016878A1 (en) | 2019-11-07 |
| JP6727441B2 JP6727441B2 (en) | 2020-07-22 |
Family
ID=65016631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019530277A Active JP6727441B2 (en) | 2017-07-19 | 2017-07-19 | Operation support device and operation support method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6727441B2 (en) |
| WO (1) | WO2019016878A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7255619B2 (en) * | 2021-03-19 | 2023-04-11 | 横河電機株式会社 | Information processing device, information processing method, information processing program, and information processing system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000006687A (en) * | 1998-06-25 | 2000-01-11 | Yazaki Corp | Onboard equipment switch safety operation system |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
| JP2004145722A (en) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | Hand pattern switching device |
| JP2007286696A (en) * | 2006-04-12 | 2007-11-01 | Toyota Motor Corp | Input device |
| JP2008210359A (en) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | Operation device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4426785B2 (en) * | 2002-08-30 | 2010-03-03 | ユニ・チャーム株式会社 | Pants-type disposable diapers |
-
2017
- 2017-07-19 WO PCT/JP2017/026013 patent/WO2019016878A1/en active Application Filing
- 2017-07-19 JP JP2019530277A patent/JP6727441B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000006687A (en) * | 1998-06-25 | 2000-01-11 | Yazaki Corp | Onboard equipment switch safety operation system |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
| JP2004145722A (en) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | Hand pattern switching device |
| JP2007286696A (en) * | 2006-04-12 | 2007-11-01 | Toyota Motor Corp | Input device |
| JP2008210359A (en) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | Operation device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019016878A1 (en) | 2019-01-24 |
| JP6727441B2 (en) | 2020-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3000013B1 (en) | Interactive multi-touch remote control | |
| JP6900133B2 (en) | Gesture operation device and gesture operation method | |
| JP2010184600A (en) | Onboard gesture switch device | |
| CN110395182B (en) | Motor vehicle with electronic rear view mirror | |
| CN109643219B (en) | Method for interacting with image content presented on a display device in a vehicle | |
| JP2009239674A (en) | Vehicular periphery display device | |
| JPWO2019016936A1 (en) | Operation support apparatus and operation support method | |
| US10960898B2 (en) | Method and arrangement for interacting with a suggestion system having automated operations | |
| JP7338184B2 (en) | Information processing device, information processing system, moving body, information processing method, and program | |
| US20180157324A1 (en) | Method and Device for Interacting with a Graphical User Interface | |
| JP6481156B2 (en) | Input display device | |
| JP2006264615A (en) | Display device for vehicle | |
| JP6477123B2 (en) | Operation system | |
| JP2008195141A (en) | Operation supporting device and method for on-vehicle equipment | |
| US10318118B2 (en) | Vehicular display apparatus | |
| US20220234444A1 (en) | Input device | |
| JP2014021748A (en) | Operation input device and on-vehicle equipment using the same | |
| JPWO2019021418A1 (en) | Display control apparatus and display control method | |
| JP6033465B2 (en) | Display control device | |
| JPWO2019016878A1 (en) | Operation support apparatus and operation support method | |
| EP3421300A1 (en) | Control unit for vehicle | |
| US10664152B2 (en) | Input apparatus for vehicle | |
| US8731824B1 (en) | Navigation control for a touch screen user interface | |
| EP3361367A1 (en) | In-vehicle input device, in-vehicle input system, and in-vehicle input device control method | |
| JP7043240B2 (en) | Vehicle input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190717 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6727441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |