JP2018190268A - タッチ式操作装置とその作動方法および作動プログラム - Google Patents

タッチ式操作装置とその作動方法および作動プログラム Download PDF

Info

Publication number
JP2018190268A
JP2018190268A JP2017093662A JP2017093662A JP2018190268A JP 2018190268 A JP2018190268 A JP 2018190268A JP 2017093662 A JP2017093662 A JP 2017093662A JP 2017093662 A JP2017093662 A JP 2017093662A JP 2018190268 A JP2018190268 A JP 2018190268A
Authority
JP
Japan
Prior art keywords
spherical
fingers
finger
touch
pinch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2017093662A
Other languages
English (en)
Inventor
宇佐美 由久
Yoshihisa Usami
由久 宇佐美
直樹 塚本
Naoki Tsukamoto
直樹 塚本
祐介 北川
Yusuke Kitagawa
祐介 北川
岡部 雄生
Takeo Okabe
雄生 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017093662A priority Critical patent/JP2018190268A/ja
Priority to US15/950,190 priority patent/US10635301B2/en
Publication of JP2018190268A publication Critical patent/JP2018190268A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • B60K2360/1442Emulation of input devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • B60K35/223Flexible displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】タッチセンサの球体状操作領域に対するピンチイン操作によってユーザの意図しない処理が行われることを防ぎ、使い勝手を向上させることが可能なタッチ式操作装置とその作動方法および作動プログラムを提供する。
【解決手段】タッチパッド13は、平面部40と、半球状をした凸型の立体部41とを有する。立体部41の外周面が球体状操作領域を構成する。タッチパッド制御部61の第2認識部76は、この球体状操作領域における少なくとも2本の指Fの移動軌跡が、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、少なくとも2本の指Fのジェスチャー操作を、平面状の操作領域におけるピンチイン操作と同じジェスチャー操作であると認識する。
【選択図】図21

Description

本発明は、タッチ式操作装置とその作動方法および作動プログラムに関する。
タッチセンサを備えるタッチ式操作装置が普及している。タッチセンサは、ユーザが指を接触させてジェスチャー操作を行う操作領域を有する。こうしたタッチ式操作装置は、現在様々な機器に搭載されている。例えば特許文献1では、車載用のディスプレイへの入力装置として、タッチ式操作装置が適用されている。
特許文献1では、球体状の操作領域(以下、球体状操作領域)を有するタッチセンサが例示されている。また、ジェスチャー操作としてピンチイン操作が例示されている。ピンチイン操作は、少なくとも2本の指(例えば親指と人差し指)を離した状態で操作領域に接触させた後、2本の指の一方または両方を操作領域上で滑らせて、2本の指同士を近付けるように移動させるジェスチャー操作である。
ピンチイン操作は、2本の指の距離を縮めるジェスチャー操作である。このため特許文献1では、ピンチイン操作に応じた操作コマンドとして、ピンチイン操作で直感的にイメージがしやすい、車載用のディスプレイに表示された画像の表示サイズを縮小する操作コマンドを割り当てている。
特開2014−215817号公報
ここで、平面状の操作領域に対するピンチイン操作においては、平面状の操作領域のいずれの場所で行っても、2本の指の移動軌跡は、平面状の操作領域に接触する2本の指の位置を結んだ直線に沿ったものとなる。
しかしながら、特許文献1のような球体状操作領域に対するピンチイン操作においては、場所によって、2本の指の移動軌跡が、2本の指の接触位置を結んだ直線に沿ったものとはならない。具体的には、球体状操作領域を平面状の操作領域に置き換えた場合に、斜め方向に指を移動させるストローク操作を伴うジェスチャー操作と認識される場合がある。
ピンチイン操作に対して画像の表示サイズを縮小する操作コマンドが割り当てられ、かつストローク操作に対して画像を移動する操作コマンドが割り当てられていた場合を考える。この場合、上記のように、球体状操作領域に対するピンチイン操作が、斜め方向のストローク操作を伴うジェスチャー操作と認識されると、ユーザは画像の表示サイズの縮小のみを意図してピンチイン操作を行ったにも関わらず、画像が移動してしまう。つまり、ユーザの意図しない処理が行われてしまい、使い勝手が悪くなる。
本発明は、タッチセンサの球体状操作領域に対するピンチイン操作によってユーザの意図しない処理が行われることを防ぎ、使い勝手を向上させることが可能なタッチ式操作装置とその作動方法および作動プログラムを提供することを目的とする。
上記課題を解決するために、本発明のタッチ式操作装置は、ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、球体状操作領域への指の接触を検出して検出信号を出力するタッチセンサと、検出信号に基づき、球体状操作領域への指の接触位置、および球体状操作領域における指の移動軌跡を認識する第1認識部と、第1認識部で認識した接触位置および移動軌跡に基づき、球体状操作領域に対して行われたジェスチャー操作を認識する第2認識部であり、第1認識部で認識した少なくとも2本の指の移動軌跡が、少なくとも2本の指の接触位置に応じた、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、少なくとも2本の指のジェスチャー操作を、操作領域が平面状である場合において少なくとも2本の指の移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識部とを備える。
球体状操作領域は、球体状をした凸型の立体部の外周面であり、第2認識部は、少なくとも2本の指の接触位置が立体部の中心線上にあり、かつ少なくとも2本の指の移動軌跡が中心線に沿うものであった場合に、円弧状の移動軌跡であった場合と同じく、少なくとも2本の指のジェスチャー操作を、ピンチイン操作と同じジェスチャー操作であると認識することが好ましい。
球体状操作領域は、球体状をした凸型の立体部の外周面であり、少なくとも2本の指の接触位置が同じ高さであった場合、円弧状の移動軌跡は、球体状操作領域を平面視した場合において、少なくとも2本の指の接触位置を結ぶ直線と平行な立体部の中心線を弦とし、少なくとも2本の指の接触位置を通る円弧に沿うことが好ましい。
球体状操作領域は、球体状をした凸型の第1立体部の外周面と、第1立体部の頂点を含む位置上に配置され、第1立体部よりもサイズが小さい、球体状をした凸型の第2立体部の外周面であり、円弧状の移動軌跡は、第1立体部と第2立体部との境界である第2立体部の下部周縁に沿うことが好ましい。
第2認識部は、第1認識部で認識した移動軌跡と、円弧状の移動軌跡との誤差が許容範囲内である場合に、両者が一致すると判定することが好ましい。許容範囲は、指の幅の平均値に基づいて設定されることが好ましい。
操作領域には、検出信号を出力するための第1電極と第2電極がマトリックス状に配設されており、第1認識部は、検出信号に基づいて、第1電極と第2電極の交点を接触位置と認識することが好ましい。この場合、第1認識部は、第1電極と第2電極の隣接する複数の交点のうち、検出信号が極値をとる交点を接触位置と認識することが好ましい。また、第1電極および第2電極は、円弧状の移動軌跡に沿って設けられていることが好ましい。
ピンチイン操作に応じて、ディスプレイに表示された画像が縮小されることが好ましい。また、ピンチイン操作に応じて、タッチセンサの操作ロックが解除されることが好ましい。
第1認識部で認識した移動軌跡が、少なくとも2本の指を互いに移動させたものである場合に実行される機能と、第1認識部で認識した移動軌跡が、少なくとも2本の指のうちの一方を固定で他方を移動させたものである場合に実行される機能とが異なることが好ましい。
球体状操作領域は、半球状をした凸型の立体部の外周面であることが好ましい。また、車載用であることが好ましい。
本発明のタッチ式操作装置の作動方法は、ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、球体状操作領域への指の接触を検出して検出信号を出力するタッチセンサを備えるタッチ式操作装置の作動方法において、検出信号に基づき、球体状操作領域への指の接触位置、および球体状操作領域における指の移動軌跡を認識する第1認識ステップと、第1認識ステップで認識した接触位置および移動軌跡に基づき、球体状操作領域に対して行われたジェスチャー操作を認識する第2認識ステップであり、第1認識ステップで認識した少なくとも2本の指の移動軌跡が、少なくとも2本の指の接触位置に応じた、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、少なくとも2本の指のジェスチャー操作を、操作領域が平面状である場合において少なくとも2本の指の移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識ステップとを備える。
本発明のタッチ式操作装置の作動プログラムは、ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、球体状操作領域への指の接触を検出して検出信号を出力するタッチセンサを備えるタッチ式操作装置の作動プログラムにおいて、検出信号に基づき、球体状操作領域への指の接触位置、および球体状操作領域における指の移動軌跡を認識する第1認識機能と、第1認識機能で認識した接触位置および移動軌跡に基づき、球体状操作領域に対して行われたジェスチャー操作を認識する第2認識機能であり、第1認識機能で認識した少なくとも2本の指の移動軌跡が、少なくとも2本の指の接触位置に応じた、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、少なくとも2本の指のジェスチャー操作を、操作領域が平面状である場合において少なくとも2本の指の移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識機能とを、コンピュータに実行させる。
本発明によれば、タッチセンサの球体状操作領域における少なくとも2本の指の移動軌跡が、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、少なくとも2本の指のジェスチャー操作を、平面状の操作領域におけるピンチイン操作と同じジェスチャー操作であると認識するので、タッチセンサの球体状操作領域に対するピンチイン操作によってユーザの意図しない処理が行われることを防ぎ、使い勝手を向上させることが可能なタッチ式操作装置とその作動方法および作動プログラムを提供することができる。
自動車のコンソールシステムの全体構成を示す概略図である。 地図表示画面を示す図である。 メニューバーが表示された地図表示画面を示す図である。 カーオーディオの音量調節が行われている様子を示す図である。 現在地表示から地図が移動された状態を示す図である。 半球状をした凸型の立体部を有するタッチパッドの外観斜視図である。 タッチパッドの断面図である。 タッチパッドの平面図である。 タッチパッドの製造方法の説明図である。 回転スライド操作の説明図である。 タップ操作の説明図である。 ストローク操作の説明図である。 スプレッド操作およびピックアップ操作の説明図である。 ピンチイン操作およびピンチアウト操作の説明図である。 ピンチイン操作およびピンチアウト操作で地図の表示範囲が縮小または拡大される様子を示す図である。 地図の表示範囲を変更する場合のジェスチャー操作の手順を示すフローチャートである。 コンソールデバイス制御部と主制御装置のブロック図である。 タッチパッド制御部のブロック図である。 検出信号が極値をとる第1電極と第2電極の交点を指の接触位置と認識する第1認識部の機能を説明する図である。 操作認識用情報を示す図である。 ピンチイン操作の指の移動軌跡の例を示す図である。 ピンチイン操作の指の移動軌跡の例を示す図である。 ピンチイン操作の指の移動軌跡の例を示す図である。 円弧状の移動軌跡に対して設定される許容範囲を示す図である。 操作コマンド変換用情報を示す図である。 コンソールシステムの処理手順を示すフローチャートである。 第2認識部によるジェスチャー操作認識の処理手順を示すフローチャートである。 タッチパッドの別の例を示す外観斜視図である。 図28に示すタッチパッドの場合のピンチイン操作の指の移動軌跡の例を示す図である。 タッチパッドのさらに別の例を示す平面図である。 各電極をZ軸回りに所定角度回転させたタッチパッドを示す平面図である。 OS処理部からタッチパッド制御部にタッチパッドの操作ロック制御情報を送信する様子を示す図である。 第3実施形態の操作コマンド変換用情報を示す図である。 ピンチイン操作に応じて、タッチパッドの操作ロックを解除する様子を示す図である。 少なくとも2本の指のうちの一方を固定で他方を移動させるピンチイン操作の説明図である。 第4実施形態の操作コマンド変換用情報を示す図である。
[第1実施形態]
図1において、コンソールシステム10は、自動車のインストルメントパネル11に組み込まれる。コンソールシステム10は、自動車の走行経路を案内するカーナビゲーション(以下、カーナビと略す)アプリケーションプログラム(以下、AP(Application Program)と略す)、自動車内の空調を制御するカーエアコンAP、音楽や映像を再生するカーオーディオAPといった各種車載AP67(図17参照)を操作するためのシステムである。コンソールシステム10は、タッチパネルディスプレイ(以下、単にタッチパネルと呼ぶ)12、タッチパッド13、スピーカー14、コンソールデバイス制御部15、および主制御装置16を備える。
インストルメントパネル11は、ダッシュボード17とセンターコンソール18とを含む。ダッシュボード17は、ハンドル19が配置される運転席20側から、助手席21側にわたって、Y軸(自動車の幅方向と平行な水平軸)方向に延びている。センターコンソール18は、運転席20と助手席21の間に配置され、上部18A、中央部18B、および下部18Cで構成される。
上部18Aはダッシュボード17の中央部と接続している。中央部18Bは、上部18Aと下部18Cとを接続する段差のない滑らかな曲面を有する。上部18Aおよび中央部18Bは、鉛直軸であるZ軸に対して自動車の前側に多少傾いている。下部18Cは、中央部18Bから略直角に折れ曲がり、Y軸およびZ軸と直交するX軸(自動車の長さ方向と平行な水平軸)に対して略平行である。上部18Aにはタッチパネル12が、下部18Cにはタッチパッド13がそれぞれ配されている。
タッチパネル12は、周知のようにタッチセンサの一種であり、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイ等の薄い平面状のディスプレイと、ディスプレイ上に配置される、これも薄い平面状のタッチパッドとで構成される。タッチパネル12は、ディスプレイに各種画面を表示し、かつ各種画面に対するユーザの指F(図7等参照)の接触によるジェスチャー操作を認識する。なお、本実施形態では、ユーザは、運転席20に座る自動車のドライバである。
タッチパッド13は、タッチパネル12とは異なり表示機能は備えていないが、タッチパネル12と同じくタッチセンサの一種であり、ジェスチャー操作を認識する。タッチパッド13は、詳しくは後述するが、タッチパネル12のような平面状の二次元形状ではなく、立体部41(図6参照)が設けられた三次元形状を有している。
スピーカー14は、例えばダッシュボード17やドア(図示せず)に内蔵されている。スピーカー14は、カーナビAPの案内音声、カーオーディオAPの再生音声、タッチパネル12およびタッチパッド13を介したジェスチャー操作に対する報知音声等の各種音声を出力する。ジェスチャー操作に対する報知音声には、ジェスチャー操作を認識したことを示す効果音や、ジェスチャー操作に応じて各車載AP67で実行される機能の内容等が含まれる。
コンソールデバイス制御部15は、タッチパネル12、タッチパッド13、およびスピーカー14といったコンソールデバイスの動作を制御する。コンソールデバイス制御部15には主制御装置16が接続されている。主制御装置16は、コンソールデバイス制御部15を含む自動車の各部の動作を統括的に制御する。
カーナビAPは、周知のように、タッチパネル12を介して、GPS(Global Positioning System、図示せず)で割り出された自動車の現在地を地図上に表示したり、設定された目的地までの走行経路を案内したりする(図2等参照)。また、カーナビAPは、渋滞情報や空き駐車場情報、周辺店舗情報等を提供することも可能である。
カーエアコンAPは、コンプレッサーやヒーターを有する空調機器22を起動して、ダッシュボード17等に形成された送風口(図示せず)から車内に冷温風を供給し、車内の温度調節を行う。
カーオーディオAPは、タッチパネル12やスピーカー14を介して、テレビ放送やラジオ放送を再生したり、CD(Compact Disc)やDVD(Digital Versatile Disc)等の記録メディアに収録された楽曲や映像を再生したりする。また、コンソールシステム10は、ポータブル音楽プレーヤー等の外部機器を接続する端子(AUX(Auxiliary)端子(図示せず)を備えており、カーオーディオAPは、スピーカー14を介して外部機器に記憶された楽曲を再生することも可能である。
図2〜図5は、タッチパネル12に表示される地図表示画面25を示す。地図表示画面25には、カーナビAPによる地図26が表示される。デフォルトの状態では、GPSで割り出された自動車の現在地を略中心とした設定範囲内の周辺地域を示す地図26が表示される(以下、現在地表示という)。地図26は、ディスプレイに表示された画像に相当する。
図2〜図4の地図表示画面25に示すように、地図26で示す周辺地域内に自動車の現在地が存在する場合、自動車の現在地を示す現在地マーク27が表示される。また、目的地が設定された場合、目的地までの走行経路28、目的地の到着予測時刻および目的地までの距離を示す第1ナビ情報29、並びに次に右折または左折する交差点を示す第2ナビ情報30等が表示される。
図3および図4において、タッチパネル12の上部には、メニューバー31が挿入表示される。メニューバー31は、複数のメニュー項目に応じた複数の操作ボタン32A、32B、32C、32D、32Eが横方向に並べられた細長いストライプ状をしている。
メニュー項目は、カーナビAP、カーエアコンAP、カーオーディオAPの各車載AP67で実行される各種の機能に対応したものである。図3および図4では、カーオーディオAPの機能に対応したメニュー項目が操作ボタン32A〜32Cに、カーエアコンAPの機能に対応したメニュー項目が操作ボタン32D、32Eにそれぞれ割り当てられている。より具体的には、AV(Audio-Visual)メニューが操作ボタン32Aに、音量調節が操作ボタン32Bに、選曲が操作ボタン32Cに、A/C(Air Conditioner)メニューが操作ボタン32Dに、温度調節が操作ボタン32Eにそれぞれ割り当てられている。なお、図3および図4では、カーナビAPの機能に対応したメニュー項目が割り当てられた操作ボタンは図示していないが、当該操作ボタンもメニューバー31には設けられている。以下では、特に区別する必要がない場合は、複数の操作ボタンをまとめて操作ボタン32と表記する場合がある。
各操作ボタン32には、各メニュー項目を示すイラストや文字が表示される。例えば音量調節の操作ボタン32Bには、スピーカー14を模したイラストと、現在設定されている音量値を示す数字が表示される。また、各操作ボタン32のうちの現在選択されている操作ボタン32(図3および図4では操作ボタン32B)は、ハッチングで示すように他の操作ボタン32と識別可能なフォーカス表示がなされる。フォーカス表示には、例えば選択されている操作ボタン32を赤色、他の操作ボタン32を灰色(グレーアウト)で表示する等、選択されている操作ボタン32と他の操作ボタン32とを異なる色で表示したり、選択されている操作ボタン32のみを枠で囲んだり、あるいは選択されている操作ボタン32の表示サイズを大きく表示させて目立たせるといった表示手法がとられる。
操作ボタン32Aは、カーオーディオAPで実行される全機能を操作可能なAVメニュー画面(図示せず)を呼び出すためのボタンである。操作ボタン32Aが選択された場合、タッチパネル12には、AVメニュー画面が表示される。
操作ボタン32Bは、音量を調節するためのボタンである。操作ボタン32Cは、カーオーディオAPで再生中の楽曲を送り戻しする、すなわち選曲を行うためのボタンである。
これら操作ボタン32Bおよび操作ボタン32Cで操作可能な音量調節機能および選曲機能は、カーオーディオAPで実行される各種機能のうち、使用される頻度が比較的高い機能である。音量調節機能および選曲機能は、AVメニュー画面からでも操作可能であるが、その場合は操作ボタン32Aを選択してAVメニュー画面を呼び出したうえで、さらに音量調節や選曲の操作を行う必要があり多少面倒である。このため、操作ボタン32Bおよび操作ボタン32Cは、AVメニュー画面を介さずダイレクトに使用頻度が高い音量調節機能および選曲機能にアクセスするために、専用に設けられたショートカットボタンである。
操作ボタン32Dは、カーエアコンAPで実行される全機能を操作可能なA/Cメニュー画面(図示せず)を呼び出すためのボタンである。操作ボタン32Dが選択された場合、タッチパネル12には、A/Cメニュー画面が表示される。
操作ボタン32Eは、空調機器22の目標温度を調節するためのボタンである。この温度調節機能は、音量調節機能等と同様、カーエアコンAPで実行される各種機能のうち、使用される頻度が比較的高い機能である。このため操作ボタン32Eは、操作ボタン32B等と同様に、使用頻度が高い温度調節機能にダイレクトにアクセスするためのショートカットボタンである。なお、図示は省略したが、カーエアコン専用の操作ボタンには、操作ボタン32Eに加えて、冷温風の風量を調節するためのボタンや、冷温風の風向を調節するためのボタンがある。
図示は省略したが、メニューバー31には、カーナビAPで実行される全機能を操作可能なナビメニュー画面(図示せず)を呼び出すための操作ボタン32が配されている。また、カーナビAP、カーエアコンAP、カーオーディオAPの各車載AP67で実行される全機能を操作可能なメインメニュー画面(図示せず)を呼び出すための操作ボタン32も配されている。なお、カーナビAPで実行される機能としては、平面ビュー、鳥瞰ビュー等の地図26の視点切替機能、名称、電話番号、住所、あるいは施設ジャンル(例えばガソリンスタンド、コンビニエンスストア、ホテル等)を用いた目的地検索機能、現在地周辺の施設検索機能等がある。
図4において、メニューバー31の各操作ボタン32のうちの例えば操作ボタン32Bが選択された場合、操作ボタン32Bの下方に音量調節バー33がプルダウン表示される。音量調節バー33のカーソル34を所望の位置に移動させることで、音量が調節される。温度調節用の操作ボタン32Eが選択された場合も基本的に同じである。
図5は、図2〜図4に示す現在地表示から地図26が移動された状態を示す。この場合、地図表示画面25には、地図26を現在地表示に戻すための操作ボタン35が表示される。操作ボタン35には、地図26を現在地表示に戻すという機能を表す文字が表示される。操作ボタン35が選択された場合、地図26が現在地表示に戻される。なお、現在地表示から地図26が移動された図5に示す状態では、第1ナビ情報29および第2ナビ情報30は消去される。
地図表示画面25における地図26の移動、メニューバー31の表示/非表示の切り替え、操作ボタン32、操作ボタン35等の各種操作ボタンの選択および選択確定操作、AVメニュー画面、A/Cメニュー画面、ナビメニュー画面、メインメニュー画面を通じた各種機能の選択、設定操作等は、全てタッチパネル12を通じて行うことが可能である。また、タッチパッド13によってもタッチパネル12と同様の操作を行うことができる。
図6に示すように、タッチパッド13は、タッチパネル12のように操作領域の全域が平面状の二次元形状とは異なり、平面部40と、平面部40から突出した凸型の立体部41とを組み合わせた三次元形状を有している。平面部40は矩形状、より具体的には正方形状をしている。立体部41は球体状、具体的には球を半分にした半球状をしており、平面部40のほぼ中央に設けられている。これら平面部40と立体部41の外周面の全域が、ユーザが指Fを接触させてジェスチャー操作を行う操作領域である。特に、立体部41の外周面は、本発明の球体状操作領域を構成している。なお、半球状とは、球を完全に半分にしたものに限らず、例えば球を5等分に輪切りしたうちの2/5あるいは4/5も半球状に含まれる。
図7および図8に示すように、平面部40と立体部41との境界である立体部41の下部周縁41Aは、平面部40と立体部41との間に生じる、立体部41の高さ分の段差THによって画定されている。段差THは、手で触れることで平面部40と立体部41との境界を知覚できる程度の高さであればよく、具体的には指Fの厚み(約10mm)以上の高さを有することが好ましい。
タッチパッド13は、操作領域における複数の指Fの接触位置を同時に検出する多点検出が可能な投影型静電容量方式である。タッチパッド13は、例えば、特開2016−213435号公報に記載された方法で製造することができる。
タッチパッド13の製造方法の詳細は上記公報に記載されている通りであるが、図9に概略を示す。まず、図9Aにおいて、平面状の基板45上の表面および裏面の全領域に、スクリーン印刷等の印刷方法で被めっき層46A、46Bを形成する(図9Aでは一部の被めっき層46A、46Bのみ図示)。被めっき層46A、46Bは、指Fの接触位置を検出するための第1電極47A、第2電極47B(図9D参照)の下地である。
表面の被めっき層46Aは、X軸方向に沿うストライプ状に形成される。裏面の被めっき層46Bは、Y軸方向に沿うストライプ状に形成される。これにより、被めっき層46A、46Bは、基板45の表面と裏面にマトリックス状に配設される。
基板45は、ポリエチレンテレフタレート、ポリカーボネート等の透明な熱可塑性樹脂製である。被めっき層46A、46Bは、めっき触媒等と相互作用する官能基等を有する化合物または組成物である。官能基としては、例えば、カルボン酸基、シアノ基等が挙げられる。
被めっき層46A、46Bを形成した後、図9Bに示すように、例えば真空成形、ブロー成形、熱プレス成形等の熱変形法を用いて、基板45のほぼ中央を半球状に突出させて立体部41を形成する。これにより平面部40と立体部41、さらには平面部40と立体部41との境界である立体部41の下部周縁41Aが画定される。
続いて、図9Cに示すように、変形後の基板45を銅等のめっき液に浸漬する金属めっき処理を施す。この金属めっき処理によって、図9Dに示すように銅等の半透明金属薄膜(金属層)で構成される第1電極47A、第2電極47Bが被めっき層46A、46B上に形成される。図9Dに示す基板45に対して表面保護層の形成等の種々の加工を施し、また信号処理IC(Integrated Circuit)等の各種電子部品を接続することで、タッチパッド13の製造が完了する。
ここで、一般的に金属層は破断伸度が小さい。そのため、基板45に金属層を設けた後に基板45を立体形状に変形させると、基板45の伸びに金属層が追従できずに破断する場合が多い。また、破断には至らなくとも、変形の際に基板45に追従して伸びることで金属層の膜厚が薄くなり、その分金属層の抵抗値が高くなる。
対して図9に示す製造方法では、被めっき層46A、46Bを形成した基板45を所望の立体形状に変形させた後、金属めっき処理を施して金属層を形成しているので、金属層の破断が防止される。また、基板45の変形に追従して金属層が伸びることがなく、金属層の抵抗値は高くならない。そのため、図9に示す製造方法は、球体状操作領域を有するタッチパッド13の製造方法として有効である。
マトリックス状に配設された各電極47A、47B間には微小な電圧が印加される。ユーザの指Fがタッチパッド13の操作領域に接触すると、接触位置において静電容量が変化し、この静電容量の変化に応じた電圧変化が検出信号として出力される。この検出信号に基づいて、各電極47A、47Bの複数の交点IPのうちのいずれかが指Fの接触位置として認識される。なお、図9では、説明の便宜上、各電極47A、47Bの幅を比較的太く示したが、実際には各電極47A、47Bの幅は非常に細い。例えば、基板45を、表示機能を備えたタッチパネルとして利用する場合を考えると、各電極47A、47Bは、タッチパネルの表示画素の開口率が90%程度になるような微細な幅である。
図10〜図14には、タッチパッド13に対する代表的なジェスチャー操作を示す。図10は、立体部41の下部周縁41Aに、上方から親指と人差し指を含む少なくとも2本の指Fを掴むように接触させ、その状態で下部周縁41Aに沿って指Fを左右に回転移動させるジェスチャー操作である。以下、このジェスチャー操作を回転スライド操作と呼ぶ。なお、この回転スライド操作を可能とするために、立体部41は、手HDですっぽりと包み込むことができる大きさ(例えば段差THが約90mm以下)に形成されている。
図2で示したメニューバー31が表示されていない状態で回転スライド操作が行われた場合、図3で示したようにメニューバー31がタッチパネル12の上部に挿入表示され、同時に操作ボタン32のフォーカス表示が移動されて操作ボタン32(メニュー項目)の選択が可能となる。
図11は、タッチパッド13の立体部41の表面を、指Fで叩くジェスチャー操作である。以下、このジェスチャー操作をタップ操作と呼ぶ。
タップ操作には、立体部41の表面を1回叩くシングルタップ操作と、2回連続して叩くダブルタップ操作の2種類がある。図3で示したメニューバー31が表示された状態でシングルタップ操作が行われた場合、そのときフォーカス表示されていた操作ボタン32の選択が確定される。また、図5で示したように地図26が現在地表示から移動されて操作ボタン35が表示されている状態でダブルタップ操作が行われた場合は、操作ボタン35が選択され、地図26が現在地表示に戻される。
図12は、立体部41の外周面の任意の位置に、人差し指等の少なくとも1本の指Fを接触させ、その状態で、手HDを前後左右(図12では左右のみ図示)に振るようにして立体部41の外周面を撫でるジェスチャー操作である。図12Aは手HDを左側に振った状態、図12Bは反対に右側に振った状態をそれぞれ示す。以下、このジェスチャー操作をストローク操作と呼ぶ。
地図表示画面25が表示された状態でストローク操作が行われた場合、地図26が移動される。
図13Aは、立体部41の上方を手HDの親指と人差し指と中指を含む少なくとも3本の指Fで掴み、かつ指Fを下方向に移動させた場合を示す。対して図13Bは、親指と人差し指と中指を含む少なくとも3本の指Fを立体部41の下部に接触させ、かつ立体部41の外周面を摘まみ上げるようにして指Fを上方向に移動させた場合を示す。図13A、図13Bともに、指Fを移動させた後の手HDを図示していて、指Fを移動させる前は図示していないが、図13Aの指Fを移動させる前は丁度図13Bに示す状態であり、図13Bの指Fを移動させる前は丁度図13Aに示す状態である。以下、図13Aのジェスチャー操作をスプレッド操作、図13Bのジェスチャー操作をピックアップ操作と呼ぶ。
地図表示画面25が表示された状態でスプレッド操作が行われた場合、地図26の表示範囲が拡大される。一方、ピックアップ操作が行われた場合は、地図26の表示範囲が縮小される。
また、ピックアップ操作は、各種表示、設定の終了を指示する場合に行われる。例えば図3のようにメニューバー31が表示された状態でピックアップ操作が行われた場合、タッチパネル12からメニューバー31の表示が消える。また、図4のように音量調節バー33が表示された状態でピックアップ操作が行われた場合、音量調節バー33の表示が消え、そのときカーソル34で選択されていた音量が設定される。
図14は、少なくとも2本の指Fに相当する親指と人差し指をそれぞれ立体部41に接触させた後、親指と人差し指を立体部41上で滑らせるジェスチャー操作である。図14Aは、立体部41に親指と人差し指を離した状態で接触させた後、親指と人差し指を互いに近付く方向に移動させた状態、図14Bは逆に互いに離れる方向に移動させた状態をそれぞれ示す。図13A、図13Bの場合と同じく、図14Aの指Fを移動させる前は丁度図14Bに示す状態であり、図14Bの指Fを移動させる前は丁度図14Aに示す状態である。以下、図14Aのジェスチャー操作をピンチイン操作、図14Bのジェスチャー操作をピンチアウト操作と呼ぶ。
ピンチイン操作およびピンチアウト操作は、カーオーディオAPの音量調節、選曲、カーエアコンAPの温度調節等の際に行われる。例えば図4のように音量調節バー33が表示された状態でピンチイン操作が行われた場合、カーソル34が上方に移動して音量が上げられる。一方、ピンチアウト操作が行われた場合は、カーソル34が下方に移動して音量が下げられる。
また、図15に示すように、地図表示画面25が表示された状態でピンチイン操作が行われた場合、ピックアップ操作の場合と同じく地図26の表示範囲が縮小される。一方、ピンチアウト操作が行われた場合は、スプレッド操作の場合と同じく地図26の表示範囲が拡大される。
図16は、一連のジェスチャー操作の手順の例を示している。ここでは地図26の表示範囲を変更する場合を例に説明する。まず、ステップST100に示すように、地図表示画面25が表示された状態でピンチイン操作またはピンチアウト操作が行われることによって、地図26の表示範囲が縮小または拡大される。また、ステップST110に示すように、ストローク操作が行われることによって、地図26が移動される。そして、ステップST120に示すように、ダブルタップ操作が行われることによって、地図26が現在地表示に戻される。
こうした一連のジェスチャー操作の合間には、スピーカー14から報知音声が出力される。例えばステップST100においては、「地図を縮小します。」「縮尺500m。」といった報知音声が出力される。また、ステップST110においては、「地図を現在地から北側に移動します。」といった報知音声が出力される。さらに、ステップST120においては、「現在地表示に戻します。」といった報知音声が出力される。なお、報知音声は、運転席20に座るドライバが、ハンドル19を手動で操作して走行している手動運転の状態のみ出力してもよいし、手動運転中、停車中を問わず出力してもよい。
図17において、コンソールデバイス制御部15には、第1ストレージデバイス50が接続されている。第1ストレージデバイス50には、作動プログラム51、および操作認識用情報52(図20参照)が記憶されている。
作動プログラム51が起動されると、コンソールデバイス制御部15は、タッチパネル制御部60、タッチパッド制御部61、音声出力制御部62、およびAPインタフェース部63として機能する。
タッチパネル制御部60は、タッチパネル12に表示された各種画面に対するジェスチャー操作を認識する。そして、認識したジェスチャー操作の情報(以下、ジェスチャー情報)をAPインタフェース部63に出力する。同様に、タッチパッド制御部61は、タッチパッド13の操作領域に対するジェスチャー操作を認識する。そして、ジェスチャー情報をAPインタフェース部63に出力する。
APインタフェース部63は、両制御部60、61からのジェスチャー情報を主制御装置16に送信し、かつ主制御装置16から制御情報を受信する。制御情報には、地図表示画面25の更新情報といった画面関連情報、あるいはジェスチャー操作に対する報知音声といった音声情報がある。
APインタフェース部63は、制御情報が画面関連情報であった場合はタッチパネル制御部60に出力し、制御情報が音声情報であった場合は音声出力制御部62に出力する。タッチパネル制御部60は、APインタフェース部63からの画面関連情報に基づいて各種画面の表示制御を行う。音声出力制御部62は、APインタフェース部63からの音声情報に基づく音声をスピーカー14から出力させる。
主制御装置16には、第2ストレージデバイス65が接続されている。第2ストレージデバイス65には、車載OS(Operating System)66や、カーナビAP、カーエアコンAP、カーオーディオAPといった各車載AP67が記憶されている。また、第2ストレージデバイス65には、操作コマンド変換用情報68(図25参照)が記憶されている。なお、図示は省略したが、第2ストレージデバイス65には、これらの他にも、例えば、CVT(Continuously Variable Transmission)等の変速機の制御プログラムや衝突回避システムの制御プログラム等、コンソールシステム10以外のシステムを制御するためのプログラムが記憶されている。
主制御装置16のCPU(Central Processing Unit)69は、車載OS66および各車載AP67をロードして実行することで、OS処理部70およびAP実行部71として機能する。OS処理部70は、車載OS66に関する処理を実行する。AP実行部71は、OS処理部70の監視下で、各車載AP67の機能を実行する。AP実行部71は、APインタフェース部63からのジェスチャー情報に応じた画面関連情報や音声情報を制御情報としてAPインタフェース部63に送信する。
AP実行部71が実行する機能の内容は、例えば次の通りである。まず、カーナビAPの機能として、地図(現在地)表示機能、視点切替機能、目的地検索機能、あるいは施設検索機能を実行する。また、目的地が設定された場合は、走行経路28の探索、探索した走行経路28、第1ナビ情報29、第2ナビ情報30の表示、案内音声の出力といったナビ機能を実行する。カーエアコンAPの機能としては、温度調節機能、風量調節機能、風向調節機能を実行する。さらに、AP実行部71は、カーオーディオAPの機能として、各種再生機能、音量調節機能、選曲機能を実行する。
カーナビAPの場合、AP実行部71がAPインタフェース部63に送信する制御情報としては、現在地表示の地図表示画面25、地図26が移動、拡大、あるいは縮小された地図表示画面25、案内音声等がある。カーエアコンAPの場合の制御情報としては、温度調節、風量調節、風向調節に応じて表示が更新された地図表示画面25等がある。カーオーディオAPの場合の制御情報としては、テレビ放送の映像および音声やラジオ放送の音声、楽曲の音声、音量調節バー33を含む地図表示画面25等がある。
OS処理部70はマルチタスクに対応しており、AP実行部71に種類の異なる車載AP67の機能を同時並行で実行させることが可能である。例えば、カーナビAPのナビ機能を実行中に、カーオーディオAPの再生機能を実行させ、さらにカーエアコンAPの温度調節機能を実行させる。
図18において、タッチパッド制御部61は、第1認識部75および第2認識部76を備えている。すなわち、タッチパッド制御部61は、タッチパッド13とともに、本発明のタッチ式操作装置77を構成する。
第1認識部75は、タッチパッド13からの検出信号に基づいて、球体状操作領域を含むタッチパッド13の全操作領域への指Fの接触位置、および球体状操作領域を含むタッチパッド13の全操作領域における指Fの移動軌跡を認識する第1認識機能を担う。第1認識部75は、認識した指Fの接触位置および移動軌跡を第2認識部76に出力する。
第2認識部76は、第1認識部75からの指Fの接触位置および移動軌跡、並びに操作認識用情報52に基づき、球体状操作領域を含むタッチパッド13の全操作領域に対して行われたジェスチャー操作を認識する第2認識機能を担う。第2認識部76は、認識したジェスチャー操作のジェスチャー情報をAPインタフェース部63に出力する。
第1認識部75は、検出信号に基づいて、第1電極47Aと第2電極47Bの交点IPを指Fの接触位置と認識する。より具体的には、第1認識部75は、第1電極47Aと第2電極47Bの隣接する複数の交点IPのうち、検出信号が極値をとる交点IPを指Fの接触位置と認識する。
図19は、第1電極47AとしてY1、Y2、・・・、Y7が、第2電極47BとしてX1、X2、・・・、X7がそれぞれ配設されたタッチパッド13の操作領域のある一部分における、指Fの検出信号の例を示す。検出信号は、指Fが最も密着して、最も静電容量が変化した位置において極値をとる。図19では、第1電極Y1〜Y7のうちのY3において、検出信号が極値である最大値SYMAXをとる。また、第2電極X1〜X7のうちのX4において、検出信号が極値である最大値SXMAXをとる。この場合、第1認識部75は、座標(X4、Y3)で表される交点IPを指Fの接触位置と認識する。なお、ここでは検出信号が正の値であるとし、極値を最大値としているが、検出信号が負の値をとる場合は、極値は最小値となる。
回転スライド操作やストローク操作、ピンチイン操作といったタップ操作以外のジェスチャー操作が行われた場合、ユーザの指Fは、タッチパッド13の操作領域内の複数の位置に時間差で連続的に接触する。この場合、指Fの接触位置を表す検出信号は、第1認識部75に対して連続的に入力される。第1認識部75は、連続的に入力される検出信号からその都度、図19で示したように指Fの接触位置を表す交点IPの座標を求め、求めた座標の集合を指Fの接触位置の軌跡、すなわち指Fの移動軌跡として認識する。
例えば図19に示す状態から指FがY方向に沿って下方に移動し、第1電極Y7上で止まった場合、指Fの移動軌跡は、座標(X4、Y3)の交点IPを起点として、座標(X4、Y4)、(X4、Y5)、(X4、Y6)の交点IPを通って、座標(X4、Y7)の交点IPで終点となる。このように、指Fの接触位置および移動軌跡は、実際には交点IPの座標情報である。
また、第1認識部75は、タッチパッド13の操作領域に対する指Fの接触本数も認識する。具体的には、第1認識部75は、認識した指Fの接触位置の個数を、指Fの接触本数と認識する。
図20において、操作認識用情報52は、タッチパッド13の操作領域のうちの指Fの接触位置、指Fの接触本数、および移動軌跡の組に対応するジェスチャー操作を記憶したものである。第2認識部76は、第1認識部75からの指Fの接触位置、接触本数、および移動軌跡の組が、どのジェスチャー操作に対応したものであるかを操作認識用情報52で照合する。
なお、接触位置には、(XRP1、YRP1)、(XRP2、YRP2)のように、実際には交点IPの座標情報が登録されている。(XRP1、YRP1)は、下部周縁41Aに存在する交点IPの座標情報を、(XRP2、YRP2)は、立体部41に存在する交点IPの座標情報をそれぞれ示している。座標情報は、図19でX1〜X7、Y1〜Y7と例示したように、具体的には第1電極47Aと第2電極47Bに順に付された記号や番号である。
例えば、接触位置が下部周縁41A、接触本数が少なくとも2本で、下部周縁41Aに沿った移動軌跡であった場合、第2認識部76は、ジェスチャー操作を回転スライド操作と認識する。また、接触位置が立体部41、接触本数が少なくとも1本で、移動軌跡がなく、かつ検出信号の出力が所定時間内に1回であった場合、第2認識部76は、ジェスチャー操作をシングルタップ操作と認識する。
さらに、接触位置が立体部41、接触本数が少なくとも2本で、少なくとも2本の指Fが近付く円弧状の移動軌跡、または少なくとも2本の指Fが近付く立体部41の中心線CL(図23参照)に沿った移動軌跡であった場合、第2認識部76は、ジェスチャー操作をピンチイン操作と認識する。
ここで、図21に示すように、ピンチイン操作における少なくとも2本の指Fの接触位置CP1、CP2(ここでは親指の接触位置がCP1、人差し指の接触位置がCP2)が、立体部41の中心Oからずれており、かつ同じ高さである場合を考える。
この場合、指Fの移動軌跡は、図21Aの矢印の下段に二点鎖線および×印で示すように、立体部41の外周面で構成される球体状操作領域を平面視した場合に、2本の指の接触位置CP1、CP2を結ぶ直線L(図21Bの矢印の下段参照)に沿ったものとはならない。指Fの移動軌跡は、図21Bの矢印の下段に二点鎖線で示すように、球体状操作領域を平面視した場合において、直線Lと平行な立体部41の中心線CLを弦とし、2本の指Fの接触位置CP1、CP2を通る円弧ARに沿う。すなわち、指Fの移動軌跡は、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡となる。なお、円弧ARの弦である中心線CLは、本例のように立体部41が球を半分にしたものであれば、立体部41の直径である。
図22は、ピンチイン操作における2本の指Fの接触位置CP1、CP2が、立体部41の中心Oからずれているところまでは図21の場合と同じであるが、2本の指Fの接触位置CP1、CP2が同じ高さでない(図22では接触位置CP1に比べて接触位置CP2のほうが低い)点で図21の場合と異なる。この場合の指Fの移動軌跡は、図21の場合のように円弧AR(図21B参照)には沿わないものの、矢印の下段に二点鎖線で示すように、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡にはなる。
こうした円弧状の移動軌跡は、球体状操作領域ならではのもので、2本の指Fを近付けた場合に自然に辿ると推定される、2本の指Fを最小の移動エネルギーで近付けることが可能と思われる軌跡である。円弧状の移動軌跡は、もし操作領域が平面状であった場合は、斜め方向のストローク操作を伴うピンチイン操作と認識される。しかし、操作領域が平面状である場合と同じく、円弧状の移動軌跡を斜め方向のストローク操作を伴うピンチイン操作と認識してしまうと、ユーザは地図26の表示サイズの縮小のみを意図してピンチイン操作を行ったにも関わらず、地図26が移動してしまう。つまり、ユーザの意図しない処理が行われてしまい、使い勝手が悪くなる。
そこで、第2認識部76は、2本の指Fの移動軌跡が、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、2本の指のジェスチャー操作を、操作領域が平面状である場合において2本の指の移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する。
次に、図23に示すように、ピンチイン操作における2本の指Fの接触位置CP1、CP2が、立体部41の中心線CL上にあった場合を考える。この場合、指Fの移動軌跡は、矢印の下段に二点鎖線で示すように、中心線CLに沿う。
すなわち、2本の指Fの接触位置CP1、CP2が、立体部41の中心線CL上にあった場合は、球体状操作領域を平面視した場合に、操作領域が平面状である場合と同じく、2本の指Fの移動軌跡は直線となる。換言すれば、2本の指Fの接触位置CP1、CP2が、立体部41の中心線CL上にない場合は、2本の指Fの移動軌跡は全て円弧状の移動軌跡となる。なお、この中心線CLに沿う移動軌跡も、円弧状の移動軌跡と同じく、立体部41の中心線CL上にある2本の指Fを近付けた場合に自然に辿ると推定される、2本の指Fを最小の移動エネルギーで近付けることが可能と思われる軌跡である。
第2認識部76は、図23で示したように、2本の指Fの接触位置CP1、CP2が中心線CL上にあり、かつ2本の指Fの移動軌跡が中心線CLに沿うものであった場合に、円弧状の移動軌跡であった場合と同じく、2本の指Fのジェスチャー操作を、操作領域が平面状である場合において2本の指の移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する。
ここで、第1認識部75からの実際の指Fの移動軌跡は、理想的な円弧状の移動軌跡、または中心線CLに沿う移動軌跡と完全に一致するとは限らず、多少の揺らぎがある。そこで、第2認識部76は、第1認識部75からの実際の指Fの移動軌跡から、揺らぎを排除した理想的な円弧状の移動軌跡、または中心線CLに沿う移動軌跡を求める。この理想的な円弧状の移動軌跡、または中心線CLに沿う移動軌跡に対して、誤差の許容範囲TR(図24参照)が設定される。第2認識部76は、第1認識部75からの実際の指Fの移動軌跡と、実際の指Fの移動軌跡から求めた理想的な円弧状の移動軌跡、あるいは中心線CLに沿う移動軌跡とを比較する。そして、実際の指Fの移動軌跡と、理想的な円弧状の移動軌跡、あるいは中心線CLに沿う移動軌跡の誤差が許容範囲TR内である場合に、実際の指Fの移動軌跡と、理想的な円弧状の移動軌跡、あるいは中心線CLに沿う移動軌跡とが一致すると判定する。
図24は、理想的な円弧状の移動軌跡として、図21Bの円弧ARに対して設定された許容範囲TRの例である。許容範囲TRは、円弧ARを中心線とする幅Wの帯状の領域である。この許容範囲TRの幅Wは、指Fの幅の平均値に基づいて設定される。成人の指Fの幅の平均値は、約15mm〜約20mmである。このため、幅Wは、例えば指Fの幅の平均値と同じ約15mm〜約20mmに設定されている。なお、幅Wは、指Fの幅の平均値の2倍、あるいは半分等でもよい。また、指Fの幅の平均値に関係なく幅Wを設定してもよい。
図25において、操作コマンド変換用情報68は、各ジェスチャー操作に対する操作コマンドを、処理ステータスと関連付けて記憶したものである。操作コマンドは、各ジェスチャー操作を、AP実行部71が理解可能な形態に変換したものである。処理ステータスは、地図表示画面25の表示状態、AP実行部71による各車載AP67の機能の実行状態等、コンソールシステム10の動作状況を示す情報である。
ジェスチャー操作には、処理ステータスに応じて異なる操作コマンドが割り当てられているものがある。例えばピックアップ操作は、メニューバー31が表示されていない状態では、地図26の表示範囲を縮小する操作コマンドが割り当てられ、一方でメニューバー31が表示された状態では、メニューバー31を非表示とする操作コマンドが割り当てられている。さらに、音量調節バー33がプルダウン表示された状態では、音量調節バー33を非表示とし、かつそのときカーソル34で選択されていた音量を設定する操作コマンドが割り当てられている。
また、ピンチイン操作は、メニューバー31が表示されていない状態では、ピックアップ操作と同じく、地図26の表示範囲を縮小する操作コマンドが割り当てられ、一方で音量調節バー33がプルダウン表示された状態では、音量を上げる操作コマンドが割り当てられている。
OS処理部70は、AP実行部71を監視下におくことで、処理ステータスを把握している。OS処理部70は、処理ステータス、並びに操作コマンド変換用情報68に基づいて、APインタフェース部63からのジェスチャー情報で表されるジェスチャー操作を操作コマンドに変換する。OS処理部70は、変換した操作コマンドをAP実行部71に与える。AP実行部71は、OS処理部70から与えられた操作コマンドに応じた機能を実行する。
なお、図25では、例えばカーナビAPの地図縮小、カーオーディオAPの音量調節(音量上げ下げ)等、種類が異なる車載AP67の操作コマンドを1つの操作コマンド変換用情報68に統合して登録しているが、車載AP67毎に操作コマンド変換用情報68があってもよい。
以下、上記構成の作用について、図26および図27に示すフローチャートを参照して説明する。まず、自動車のイグニッションスイッチ等の電源スイッチがユーザにより操作され、コンソールシステム10の電源がオンされると、作動プログラム51が起動される。これにより、図17で示したように、コンソールデバイス制御部15が各制御部60〜62およびAPインタフェース部63として機能する。タッチ式操作装置77を構成するタッチパッド制御部61には、図18で示したように、第1認識部75および第2認識部76が構築される。
また、主制御装置16のCPU69にOS処理部70およびAP実行部71が構築される。AP実行部71によりカーナビAPの地図表示機能が実行され、これにより図2で示したようにタッチパネル12に地図表示画面25が表示される。
タッチパッド13の操作領域に対してユーザによりジェスチャー操作が行われた場合(ステップST500でYES)、指Fの検出信号がタッチパッド13から第1認識部75に出力される。第1認識部75では、検出信号に基づいて、指Fの接触位置、接触本数、および移動軌跡が認識される(ステップST510、第1認識ステップ)。このとき、図19で示したように、第1電極47Aと第2電極47Bの隣接する複数の交点IPのうち、検出信号が極値をとる交点IPが指Fの接触位置と認識される。
続いて、第1認識部75からの指Fの接触位置、接触本数、および移動軌跡、並びに操作認識用情報52に基づいて、第2認識部76でジェスチャー操作が認識される(ステップST520、第2認識ステップ)。そして、ジェスチャー操作に応じたジェスチャー情報が第2認識部76からAPインタフェース部63に出力される(ステップST530)。これら一連の処理は、電源がオフされる(ステップST540でYES)まで繰り返し続けられる。
図27は、図26のステップST520のジェスチャー操作認識のサブルーチンの処理手順を示す。第2認識部76では、まず、第1認識部75からの指Fの接触位置、接触本数、および移動軌跡の組が、操作認識用情報52のどのジェスチャー操作に対応したものであるかが照合される(ステップST521)。
接触位置が立体部41、接触本数が少なくとも2本で、少なくとも2本の指Fが近付く円弧状の移動軌跡、または少なくとも2本の指Fが近付く立体部41の中心線CLに沿った移動軌跡であった場合(ステップST522でYES)、第1認識部75からの実際の指Fの移動軌跡と、理想的な円弧状の移動軌跡、あるいは中心線CLに沿う移動軌跡の誤差が許容範囲TR内であるか否かが第2認識部76で判定される(ステップST523)。
第1認識部75からの実際の指Fの移動軌跡と、理想的な円弧状の移動軌跡、あるいは中心線CLに沿う移動軌跡の誤差が許容範囲TR内であった場合(ステップST523でYES)、第2認識部76において当該ジェスチャー操作がピンチイン操作と認識される(ステップST524)。
一方、他のジェスチャー操作であった場合(ステップST522でNO、ステップST525でYES)、第2認識部76において他のジェスチャー操作と認識される(ステップST526)。例えば、接触位置が下部周縁41A、接触本数が少なくとも2本で、下部周縁41Aに沿った移動軌跡であった場合は、第2認識部76において回転スライド操作と認識される。また、接触位置が立体部41、接触本数が少なくとも1本で、立体部41に沿う移動軌跡であった場合は、第2認識部76においてストローク操作と認識される。
主制御装置16では、APインタフェース部63からのジェスチャー情報で表されるジェスチャー操作が、操作コマンド変換用情報68に基づきOS処理部70で操作コマンドに変換される。操作コマンドはOS処理部70からAP実行部71に与えられる。AP実行部71では操作コマンドに応じた機能が実行される。これによりAP実行部71からAPインタフェース部63に制御情報が送信される。
制御情報は、APインタフェース部63から各制御部60〜62に出力される。これにより、例えば図15で示したように、ピンチイン操作、ピンチアウト操作に応じて地図表示画面25の地図26の表示範囲が縮小、拡大されたり、回転スライド操作およびシングルタップ操作に応じて、地図表示画面25に音量調節バー33が表示されてカーオーディオAPの音量調節が可能となったりする。さらにはジェスチャー操作に対する報知音声がスピーカー14から出力されたりする。
第2認識部76は、2本の指Fの移動軌跡が、立体部41の外周面で構成される球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、2本の指のジェスチャー操作を、操作領域が平面状である場合のピンチイン操作と同じジェスチャー操作であると認識する。このため、円弧状の移動軌跡を斜め方向のストローク操作を伴うピンチイン操作と認識し、地図26の表示範囲の縮小とともに地図26を移動してしまうことがなくなる。すなわち、タッチパッド13の球体状操作領域に対するピンチイン操作によってユーザの意図しない処理が行われることを防ぎ、使い勝手を向上させることが可能となる。
また、第2認識部76は、2本の指Fの接触位置が立体部41の中心線CL上にあり、かつ2本の指Fの移動軌跡が中心線CLに沿うものであった場合においても、2本の指のジェスチャー操作を、ピンチイン操作と同じジェスチャー操作であると認識する。このため、操作領域が平面状である場合と同じく直線状の移動軌跡となる中心線CLに沿った移動軌跡も、正しくピンチイン操作と認識することができる。
第2認識部76は、第1認識部75で認識した実際の移動軌跡と、理想的な円弧状の移動軌跡との誤差が許容範囲TR内である場合に、両者が一致すると判定する。このため、2本の指Fの移動軌跡が理想的な円弧状の移動軌跡から多少ずれていても、ピンチイン操作と認識することができる。したがって、ユーザは、2本の指Fを厳密に円弧状に移動させるよう意識する必要がなく、力の赴くままに2本の指Fを移動させればよいので、ジェスチャー操作にストレスを感じることがない。
許容範囲TRが広すぎると、ユーザがピンチイン操作と意識せずに行った2本の指Fを近付けるジェスチャー操作もピンチイン操作と誤認識してしまい、逆に許容範囲TRが狭すぎると、2本の指Fの移動軌跡が少しずれただけでピンチイン操作と認識しなくなってしまう。そこで、本実施形態では、ピンチイン操作を実際に行う指Fの幅の平均値に基づいて許容範囲TRを設定している。こうすれば、適度な感度でピンチイン操作を認識することができる。
第1認識部75は、第1電極47Aと第2電極47Bの隣接する複数の交点IPのうち、検出信号が極値をとる交点IPを指Fの接触位置と認識する。このため、指Fの接触位置を確実に一点に絞ることができる。
球体状操作領域を、半球状をした凸型の立体部41の外周面としたので、タッチパッド13を比較的簡単に製造することができる。また、指向性がないので、ユーザの手HDのあらゆる角度からのアクセスにも同じ操作感を与えることができる。
なお、球体状操作領域としては、楕円を三次元に拡張したラグビーボール型の楕円球をベースとした立体部の外周面でもよい。この場合、接触位置が中心線である場合以外の2本の指Fの移動軌跡は、球体状操作領域を平面視した場合に外側に膨らむ楕円弧状の移動軌跡となる。
すなわち、本発明でいう球体状とは、完全な半球状でなくても構わない。回転楕円体(楕円球)、あるいは回転楕円体が若干変形したものでも、2本の指Fの移動軌跡が、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡となる場合は、実質的に同様の効果が得られる。
球体状操作領域を構成する立体部の具体的な寸法の範囲としては、立体部の最長部直径(上記第1実施形態では立体部41の直径である中心線CL)に対する高さ(上記第1実施形態では平面部40と立体部41との段差TH)の下限が1/100(TH≧1/100CL)、好ましくは1/50(TH≧1/50CL)、さらに好ましくは1/20(TH≧1/20CL)であり、最も好ましくは1/20である。一方、立体部の最長部直径に対する高さの上限は、10倍(TH≦10CL)、好ましくは5倍(TH≦5CL)、さらに好ましくは2倍(TH≦2CL)、最も好ましくは1.5倍(TH≦1.5CL)である。
立体部の高さが下限よりも低い場合は、平面部と略同等となるため、2本の指Fの移動軌跡が、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡とはならない。このため、立体部の高さが下限よりも低い場合は、平面状の操作領域の場合と同じ扱いとなる。一方、立体部の高さが上限よりも高い場合は、立体部は筒に近い形状となり、2本の指Fの移動軌跡は、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡というよりは、筒の側面に沿った移動軌跡に近くなる。
このように、球体状操作領域を構成する立体部は、上記に挙げた範囲内の寸法に形成され、少なくとも一部が曲面状であることが必要である。球体状操作領域がなく、平面状の操作領域のみの場合は、言うまでもなく接触する2本の指の位置を結んだ直線に沿った移動軌跡がピンチイン操作と認識される。
また、図28に示すタッチパッド80のように、第1立体部82と第2立体部83の外周面を球体状操作領域としてもよい。
図28において、タッチパッド80は、正方形状の平面部81を有し、そのほぼ中央に半球状をした凸型の第1立体部82が設けられている点までは、平面部40および立体部41を有する図6のタッチパッド13と同じである。ただし、タッチパッド80には、さらに第1立体部82上に半球状をした凸型の第2立体部83が設けられている。第2立体部83は、第1立体部82の約1/4程度の大きさの相似図形であり、第1立体部82の頂点を含む位置上に配置されている。
第2立体部83は、タップ操作でユーザが指Fで叩く際の目標物として設けられている。つまり、第2立体部83は、マウスに置き換えればクリックボタンに相当する。このため、この場合の操作認識用情報のシングルタップ操作およびダブルタップ操作に対応する指Fの接触位置には、第2立体部83が登録されている。
ここで、タッチパッド80において、図29に示すように、2本の指Fの接触位置CP1、CP2が、第2立体部83を跨いで中心線CL上にある場合を考える。
上記第1実施形態のタッチパッド13では、図23の矢印の下段に二点鎖線で示したように、指Fの移動軌跡は中心線CLに沿うものとなるが、タッチパッド80では、指Fの移動する先に第2立体部83が存在するため、図29Aの矢印の下段に二点鎖線および×印で示すように、指Fの移動軌跡は中心線CLに沿ったものとはならない。指Fの移動軌跡は、図29Bの矢印の下段に二点鎖線で示すように、第1立体部82と第2立体部83との境界である第2立体部83の下部周縁83Aに沿った円弧状の移動軌跡となる。この円弧状の移動軌跡も、2本の指Fを近付けた場合に自然に辿ると推定される、2本の指Fを最小の移動エネルギーで近付けることが可能と思われる軌跡である。
第2認識部76は、2本の指Fの移動軌跡が、図29Bで示した第2立体部83の下部周縁83Aに沿った円弧状の移動軌跡であった場合、2本の指Fのジェスチャー操作を、操作領域が平面状である場合のピンチイン操作と同じジェスチャー操作であると認識する。
このように、第1立体部82と第2立体部83の外周面を球体状操作領域とした場合に、2本の指Fの移動軌跡が、第2立体部83の下部周縁83Aに沿った円弧状の移動軌跡であった場合、2本の指Fのジェスチャー操作を、操作領域が平面状である場合のピンチイン操作と同じジェスチャー操作であると認識するので、第1立体部82と第2立体部83の外周面を球体状操作領域とした場合も、ピンチイン操作を正しく認識することができる。
なお、図29では、2本の指Fの接触位置CP1、CP2が中心線CL上にある場合を例示しているが、これに限定されない。2本の指Fの接触位置CP1、CP2が中心線CL上にない場合も、2本の指Fの移動経路に第2立体部83が存在している場合は、2本の指Fの移動軌跡は、第2立体部83の下部周縁83Aに沿った円弧状の移動軌跡を含むものとなる。
また、第2立体部83を、第1立体部82を縮小した相似図形としたが、第1立体部82を半球状、第2立体部83を楕円球状、あるいはその逆としてもよい。
[第2実施形態]
上記第1実施形態では、図9で示したように、X軸方向およびY軸方向に沿うストライプ状に被めっき層46A、46Bを形成した基板45を半球状に突出させて立体部41を形成した後、被めっき層46A、46B上に各電極47A、47Bを形成している。このため、各電極47A、47Bは、立体部41の外周面で構成される球体状操作領域を平面視した場合に、X軸方向またはY軸方向に沿う直線状に設けられる。対して、図30に示す第2実施形態では、立体部92に対して、円弧状の移動軌跡に沿って各電極を設ける。
図30において、第2実施形態のタッチパッド90は、正方形状の平面部91を有し、そのほぼ中央に半球状をした凸型の立体部92が設けられている点は、平面部40および立体部41を有する図6のタッチパッド13と同じである。ただし、第1電極93Aおよび第2電極93Bの構成が異なる。
すなわち、第1電極93Aは、X軸と平行な立体部92の中心線CLXに沿う1本の第1電極93A−CLXと、中心線CLXを弦とする複数本の円弧ARXに沿う複数本の第1電極93A−ARXとで構成される。第2電極93Bは、Y軸と平行な立体部92の中心線CLYに沿う1本の第2電極93B−CLYと、中心線CLYを弦とする複数本の円弧ARYに沿う複数本の第2電極93B−ARYとで構成される。第1電極93Aはタッチパッド90の表面に、第2電極93Bは裏面にそれぞれ配設されている。
円弧ARX、ARYは、図21Bで示したように、ピンチイン操作における2本の指Fの接触位置CP1、CP2が、立体部41の中心Oからずれており、かつ同じ高さである場合の指Fの移動軌跡である。このため、各電極93A−ARX、93B−ARYは、立体部92の外周面で構成される球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡に沿って設けられているといえる。また、各電極93A−CLX、93B−CLYは、2本の指Fの接触位置CP1、CP2が、中心線CLX、CLY上にあった場合の指Fの移動軌跡と一致する。
このように、各電極93A、93Bを円弧状の移動軌跡に沿って設けると、例えば1本の第1電極93A−ARXに沿って2本の指Fが移動した場合、接触位置や移動軌跡の座標情報は、Xの座標が一定でYの座標のみが変化するものとなるので、座標情報の扱いが容易になる。
また、図9で示した各電極47A、47Bの配置では、立体部41の頂点から下部周縁41Aに向かうに連れて交点IPの個数が減るため、下部周縁41A付近の指Fの接触検出の分解能が頂点付近と比較して低くなる。対して図30に示す各電極93A、93Bの配置では、交点IPは立体部92に隔たりなく分布するので、指Fの接触検出の分解能が場所によって異なるということがない。
なお、図31に示すように、各電極93A、93Bを、図30の状態からZ軸回りに所定角度回転させてもよい。この場合の所定角度は、ユーザの手HDがタッチパッド90にアクセスした場合に、自然に触れた親指と人差し指の接触位置CP1、CP2に基づく円弧ARに、各電極93A、93Bのうちのいずれかが沿う角度に調整される。あるいは、図30に示すタッチパッド90自体をZ軸回りに回転させてセンターコンソール18に配置してもよい。
[第3実施形態]
上記各実施形態では、タッチパッドの操作領域に対するジェスチャー操作の制約を特に設けていないが、通常、タッチパッド等のタッチセンサの操作領域には、ユーザの指Fの意図しない接触による誤操作を防止するために、操作ロックが掛けられる。そこで、図32〜図34に示す第3実施形態では、タッチパッドの操作領域に操作ロックを掛ける。そして、この操作ロックを解除する役割をピンチイン操作に担わせる。なお、第3実施形態では、基本的な構成は第1実施形態と同様である。このため、以下では第1実施形態をベースに説明する。
まず、図32に示すように、OS処理部70は、タッチパッド13の操作ロックの実行、または解除を指示する操作ロック制御情報をタッチパッド制御部61に送信する(APインタフェース部63は図示省略)。また、図33の操作コマンド変換用情報95に示すように、ピンチイン操作に、地図縮小等に加えて、操作ロック解除の操作コマンドを割り当てる。
図34において、左側は、操作ロックの実行を指示する操作ロック制御情報がOS処理部70からタッチパッド制御部61に送信されていて、タッチパッド13の操作ロックが実行されている状態を示す。この状態でピンチイン操作が行われた場合、右側に示すように、今度は操作ロックの解除を指示する操作ロック制御情報がOS処理部70からタッチパッド制御部61に送信される。これによりタッチパッド13の操作ロックが解除される。
ピンチイン操作は、ユーザの指Fの意図しない接触と区別がつかないタップ操作やストローク操作とは違い、明確にユーザが意図して行うジェスチャー操作である。しかもピンチイン操作は、回転スライド操作等と比較して単純なジェスチャー操作である。このため、ピンチイン操作に応じて、タッチパッド13の操作ロックを解除する構成とすれば、ユーザの指Fの意図しない接触による誤操作を防止することができ、かつ比較的容易にタッチパッド13の操作ロックを解除することができる。
また、本発明では、指Fの移動軌跡が、球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、2本の指のジェスチャー操作を、平面状の操作領域におけるピンチイン操作と同じジェスチャー操作であると認識するので、ユーザが意図したピンチイン操作で確実にタッチパッド13の操作ロックを解除することができる。
ここで、自動車の停車中は、ユーザはタッチパッド13を視認しながらジェスチャー操作を行うことができるため、誤操作は起きにくいと考えられる。そこで、自動車の停車中はタッチパッド13の操作ロックを自動的に解除することが好ましい。対して、運転席20に座るドライバが、ハンドル19を手動で操作して走行している手動運転中は、ユーザは前方に視線を集中していて、タッチパッド13を視認しながらジェスチャー操作を行うことが困難であるため、誤操作が起こりやすいと考えられる。そこで、手動運転中の場合のみ操作ロックを実行することが好ましい。
なお、手動運転の状態は、近い将来に実用化される自動運転とは区別される。自動運転は、ハンドル19の操作等が自動的に行われている状態である。この場合は停車している状態と略同じと考えられるため、自動運転の状態は停車している状態と同じ扱いとする。
[第4実施形態]
図14Aで例示したピンチイン操作は、少なくとも2本の指Fを互いに移動させたものである。対して図35および図36に示す第4実施形態では、少なくとも2本の指Fのうちの一方を固定で他方を移動させるジェスチャー操作も、ピンチイン操作と認識する。なお、第4実施形態においても、上記第3実施形態と同じく、基本的な構成は第1実施形態と同様であるため、以下では第1実施形態をベースに説明する。
図35は、少なくとも2本の指Fに相当する親指と人差し指をそれぞれ立体部41に接触させた後、人差し指は固定で親指を立体部41上で滑らせるジェスチャー操作である。第2認識部76は、図14Aに示す、2本の指Fを互いに移動させるピンチイン操作(以下、第1ピンチイン操作という)に加えて、この図35に示す、2本の指Fのうちの一方を固定で他方を移動させるジェスチャー操作(以下、第2ピンチイン操作という)も、ピンチイン操作と認識する。2本の指Fのジェスチャー操作が第1ピンチイン操作に該当するか第2ピンチイン操作に該当するかは、移動軌跡の座標情報の変化の違いを見極めれば判断することができる。
この場合、図36に示す操作コマンド変換用情報100のように、第1ピンチイン操作の場合に実行される機能と、第2ピンチイン操作の場合に実行される機能とを異ならせてもよい。具体的には、第1ピンチイン操作には、操作ロック解除、比較的大きい縮小率の地図縮小、並びに比較的大きい変更量の音量上げの操作コマンドを割り当て、第2ピンチイン操作には、比較的小さい縮小率の地図縮小、並びに比較的小さい変更量の音量上げといった操作コマンドを割り当てる。
このように、第1ピンチイン操作と第2ピンチイン操作の2種のピンチイン操作を認識し、第1ピンチイン操作と第2ピンチイン操作とで実行する機能を異ならせることで、実行する機能のバリエーションを増やすことができる。
また、ピンチイン操作に対して多くの機能を割り当てた場合、ピンチイン操作を他のジェスチャー操作と誤認識してユーザの意図しない処理が行われてしまうと、使い勝手が非常に悪くなるおそれがあるが、本発明では、ピンチイン操作によってユーザの意図しない処理が行われることが確実に防止されるため、使い勝手が非常に悪くなる心配はない。
なお、図35では、人差し指は固定で親指を立体部41上で滑らせる例を挙げたが、逆に親指は固定で人差し指を立体部41上で滑らせるジェスチャー操作を第2ピンチイン操作としてもよい。また、ピンチアウト操作も同様に、少なくとも2本の指Fを互いに移動させる第1ピンチアウト操作と、少なくとも2本の指Fのうちの一方を固定で他方を移動させる第2ピンチアウト操作の2種を認識し、これらで実行する機能を異ならせてもよい。
ピンチイン操作を行う少なくとも2本の指Fは、親指と人差し指に限らない。例えば、人差し指と中指を1本の指のように密着させた状態で親指に対して移動させてもよい。
球体状操作領域を有するタッチセンサとしては、上記各実施形態の表示機能をもたないタッチパッドに限らない。表示機能をもつタッチパネルを、球体状操作領域を有するタッチセンサとしてもよい。
上記各実施形態において、例えば、コンソールデバイス制御部15、タッチパネル制御部60、タッチパッド制御部61、音声出力制御部62、APインタフェース部63、OS処理部70、AP実行部71、第1認識部75、第2認識部76といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
各種のプロセッサには、CPU、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、専用電気回路等が含まれる。CPUは、周知のとおりソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサである。PLDは、FPGA(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
上記記載から、以下の付記項1に記載のタッチ式操作装置を把握することができる。
[付記項1]
ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、前記球体状操作領域への前記指の接触を検出して検出信号を出力するタッチセンサを備えるタッチ式操作装置において、
前記検出信号に基づき、前記球体状操作領域への前記指の接触位置、および前記球体状操作領域における前記指の移動軌跡を認識する第1認識プロセッサと、
前記第1認識プロセッサで認識した前記接触位置および前記移動軌跡に基づき、前記球体状操作領域に対して行われた前記ジェスチャー操作を認識する第2認識プロセッサであり、前記第1認識プロセッサで認識した少なくとも2本の指の前記移動軌跡が、前記少なくとも2本の指の前記接触位置に応じた、前記球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、前記少なくとも2本の指の前記ジェスチャー操作を、前記操作領域が平面状である場合において前記少なくとも2本の指の前記移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識プロセッサとを備えるタッチ式操作装置。
本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
10 コンソールシステム
11 インストルメントパネル
12 タッチパネル
13、80、90 タッチパッド
14 スピーカー
15 コンソールデバイス制御部
16 主制御装置
17 ダッシュボード
18 センターコンソール
18A、18B、18C 上部、中央部、下部
19 ハンドル
20 運転席
21 助手席
22 空調機器
25 地図表示画面
26 地図
27 現在地マーク
28 走行経路
29 第1ナビ情報
30 第2ナビ情報
31 メニューバー
32、32A〜32E 操作ボタン
33 音量調節バー
34 カーソル
35 操作ボタン
40、81、91 平面部
41、92 立体部
41A 下部周縁
45 基板
46A、46B 被めっき層
47A、47B 第1電極、第2電極
50 第1ストレージデバイス
51 作動プログラム
52 操作認識用情報
60 タッチパネル制御部
61 タッチパッド制御部
62 音声出力制御部
63 APインタフェース部
65 第2ストレージデバイス
66 車載OS
67 車載AP
68、95、100 操作コマンド変換用情報
69 CPU
70 OS処理部
71 AP実行部
75 第1認識部
76 第2認識部
77 タッチ式操作装置
82 第1立体部
83 第2立体部
83A 下部周縁
93A、93A−CLX、93A−ARX 第1電極
93B、93B−CLY、93B−ARY 第2電極
X 自動車の長さ方向と平行な水平軸
Y 自動車の幅方向と平行な水平軸
Z 鉛直軸
HD 手
F 指
TH 段差
IP 交点
Y1〜Y7 第1電極
X1〜X7 第2電極
SXMAX、SYMAX 検出信号の最大値(極値)
CP1、CP2 指の接触位置
O 立体部の中心
L 指の接触位置を結ぶ直線
CL、CLX、CLY 立体部の中心線
AR、ARX、ARY 円弧
TR 許容範囲
W 幅
ST100〜ST120、ST500〜ST540、ST521〜ST526 ステップ

Claims (16)

  1. ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、前記球体状操作領域への前記指の接触を検出して検出信号を出力するタッチセンサと、
    前記検出信号に基づき、前記球体状操作領域への前記指の接触位置、および前記球体状操作領域における前記指の移動軌跡を認識する第1認識部と、
    前記第1認識部で認識した前記接触位置および前記移動軌跡に基づき、前記球体状操作領域に対して行われた前記ジェスチャー操作を認識する第2認識部であり、前記第1認識部で認識した少なくとも2本の指の前記移動軌跡が、前記少なくとも2本の指の前記接触位置に応じた、前記球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、前記少なくとも2本の指の前記ジェスチャー操作を、前記操作領域が平面状である場合において前記少なくとも2本の指の前記移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識部とを備えるタッチ式操作装置。
  2. 前記球体状操作領域は、球体状をした凸型の立体部の外周面であり、
    前記第2認識部は、前記少なくとも2本の指の前記接触位置が前記立体部の中心線上にあり、かつ前記少なくとも2本の指の前記移動軌跡が前記中心線に沿うものであった場合に、前記円弧状の移動軌跡であった場合と同じく、前記少なくとも2本の指の前記ジェスチャー操作を、前記ピンチイン操作と同じジェスチャー操作であると認識する請求項1に記載のタッチ式操作装置。
  3. 前記球体状操作領域は、球体状をした凸型の立体部の外周面であり、
    前記少なくとも2本の指の前記接触位置が同じ高さであった場合、前記円弧状の移動軌跡は、前記球体状操作領域を平面視した場合において、前記少なくとも2本の指の前記接触位置を結ぶ線と平行な前記立体部の中心線を弦とし、前記少なくとも2本の指の前記接触位置を通る円弧に沿う請求項1または2に記載のタッチ式操作装置。
  4. 前記球体状操作領域は、球体状をした凸型の第1立体部の外周面と、前記第1立体部の頂点を含む位置上に配置され、前記第1立体部よりもサイズが小さい、球体状をした凸型の第2立体部の外周面であり、
    前記円弧状の移動軌跡は、前記第1立体部と前記第2立体部との境界である前記第2立体部の下部周縁に沿う請求項1ないし3のいずれか1項に記載のタッチ式操作装置。
  5. 前記第2認識部は、前記第1認識部で認識した前記移動軌跡と、前記円弧状の移動軌跡との誤差が許容範囲内である場合に、両者が一致すると判定する請求項1ないし4のいずれか1項に記載のタッチ式操作装置。
  6. 前記許容範囲は、前記指の幅の平均値に基づいて設定される請求項5に記載のタッチ式操作装置。
  7. 前記操作領域には、前記検出信号を出力するための第1電極と第2電極がマトリックス状に配設されており、
    前記第1認識部は、前記検出信号に基づいて、前記第1電極と前記第2電極の交点を前記接触位置と認識する請求項1ないし6のいずれか1項に記載のタッチ式操作装置。
  8. 前記第1認識部は、前記第1電極と前記第2電極の隣接する複数の前記交点のうち、前記検出信号が極値をとる交点を前記接触位置と認識する請求項7に記載のタッチ式操作装置。
  9. 前記第1電極および前記第2電極は、前記円弧状の移動軌跡に沿って設けられている請求項7または8に記載のタッチ式操作装置。
  10. 前記ピンチイン操作に応じて、ディスプレイに表示された画像が縮小される請求項1ないし9のいずれか1項に記載のタッチ式操作装置。
  11. 前記ピンチイン操作に応じて、前記タッチセンサの操作ロックが解除される請求項1ないし10のいずれか1項に記載のタッチ式操作装置。
  12. 前記第1認識部で認識した前記移動軌跡が、前記少なくとも2本の指を互いに移動させたものである場合に実行される機能と、前記第1認識部で認識した前記移動軌跡が、前記少なくとも2本の指のうちの一方を固定で他方を移動させたものである場合に実行される機能とが異なる請求項1ないし11のいずれか1項に記載のタッチ式操作装置。
  13. 前記球体状操作領域は、半球状をした凸型の立体部の外周面である請求項1ないし12のいずれか1項に記載のタッチ式操作装置。
  14. 車載用である請求項1ないし13のいずれか1項に記載のタッチ式操作装置。
  15. ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、前記球体状操作領域への前記指の接触を検出して検出信号を出力するタッチセンサを備えるタッチ式操作装置の作動方法において、
    前記検出信号に基づき、前記球体状操作領域への前記指の接触位置、および前記球体状操作領域における前記指の移動軌跡を認識する第1認識ステップと、
    前記第1認識ステップで認識した前記接触位置および前記移動軌跡に基づき、前記球体状操作領域に対して行われた前記ジェスチャー操作を認識する第2認識ステップであり、前記第1認識ステップで認識した少なくとも2本の指の前記移動軌跡が、前記少なくとも2本の指の前記接触位置に応じた、前記球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、前記少なくとも2本の指の前記ジェスチャー操作を、前記操作領域が平面状である場合において前記少なくとも2本の指の前記移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識ステップとを備えるタッチ式操作装置の作動方法。
  16. ユーザが指を接触させてジェスチャー操作を行う操作領域として、球体状の操作領域である球体状操作領域を有し、前記球体状操作領域への前記指の接触を検出して検出信号を出力するタッチセンサを備えるタッチ式操作装置の作動プログラムにおいて、
    前記検出信号に基づき、前記球体状操作領域への前記指の接触位置、および前記球体状操作領域における前記指の移動軌跡を認識する第1認識機能と、
    前記第1認識機能で認識した前記接触位置および前記移動軌跡に基づき、前記球体状操作領域に対して行われた前記ジェスチャー操作を認識する第2認識機能であり、前記第1認識機能で認識した少なくとも2本の指の前記移動軌跡が、前記少なくとも2本の指の前記接触位置に応じた、前記球体状操作領域を平面視した場合に外側に膨らむ円弧状の移動軌跡であった場合に、前記少なくとも2本の指の前記ジェスチャー操作を、前記操作領域が平面状である場合において前記少なくとも2本の指の前記移動軌跡が直線となるピンチイン操作と同じジェスチャー操作であると認識する第2認識機能とを、コンピュータに実行させるタッチ式操作装置の作動プログラム。
JP2017093662A 2017-05-10 2017-05-10 タッチ式操作装置とその作動方法および作動プログラム Abandoned JP2018190268A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017093662A JP2018190268A (ja) 2017-05-10 2017-05-10 タッチ式操作装置とその作動方法および作動プログラム
US15/950,190 US10635301B2 (en) 2017-05-10 2018-04-11 Touch type operation device, and operation method and operation program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017093662A JP2018190268A (ja) 2017-05-10 2017-05-10 タッチ式操作装置とその作動方法および作動プログラム

Publications (1)

Publication Number Publication Date
JP2018190268A true JP2018190268A (ja) 2018-11-29

Family

ID=64096103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017093662A Abandoned JP2018190268A (ja) 2017-05-10 2017-05-10 タッチ式操作装置とその作動方法および作動プログラム

Country Status (2)

Country Link
US (1) US10635301B2 (ja)
JP (1) JP2018190268A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
KR101543107B1 (ko) * 2013-12-11 2015-08-07 현대자동차주식회사 조작장치를 이용한 기능 선택 방법 및 이러한 방법을 이용하는 기능 선택 장치
DE102017113661B4 (de) * 2017-06-21 2021-03-04 Bcs Automotive Interface Solutions Gmbh Kraftfahrzeugbedienvorrichtung
WO2020070979A1 (ja) * 2018-10-04 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 機器制御装置及び機器制御方法
CN111273812A (zh) * 2020-01-15 2020-06-12 深圳市华星光电半导体显示技术有限公司 屏幕触控定位的方法及定位***
CN112667131A (zh) * 2020-12-24 2021-04-16 大众问问(北京)信息科技有限公司 一种基于车载屏幕的人机交互方法、装置、设备及介质
JP2023012286A (ja) * 2021-07-13 2023-01-25 アルプスアルパイン株式会社 ナビゲーション装置
CN113778255B (zh) * 2021-07-29 2023-11-10 荣耀终端有限公司 触摸识别方法和装置
JP2023141413A (ja) * 2022-03-24 2023-10-05 株式会社東海理化電機製作所 操作装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091360A (ja) * 2001-09-17 2003-03-28 Alps Electric Co Ltd 座標入力装置及び電子機器
JP2010182201A (ja) * 2009-02-06 2010-08-19 Hitachi Ltd 静電容量式センサ
JP2012522317A (ja) * 2009-03-30 2012-09-20 マイクロソフト コーポレーション 湾曲面上における接触の検出
JP2013137722A (ja) * 2011-12-28 2013-07-11 Kyocera Corp 装置、方法、及びプログラム
JP2013171399A (ja) * 2012-02-20 2013-09-02 Denso Corp 表示制御装置および表示システム
JP2014002580A (ja) * 2012-06-19 2014-01-09 Nissha Printing Co Ltd タッチパネル、タッチパネルの製造方法
WO2014061097A1 (ja) * 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および表示情報操作方法
JP2014126920A (ja) * 2012-12-25 2014-07-07 Shoei:Kk 球面型検出装置
JP2014153905A (ja) * 2013-02-08 2014-08-25 Panasonic Corp 入力装置
JP2015125705A (ja) * 2013-12-27 2015-07-06 船井電機株式会社 画像表示装置
JP2016031691A (ja) * 2014-07-30 2016-03-07 Smk株式会社 静電容量式タッチパネルとその入力操作位置検出方法
JP2016213435A (ja) * 2015-05-11 2016-12-15 富士フイルム株式会社 導電性積層体の製造方法、導電性積層体、タッチセンサー
JP2017076200A (ja) * 2015-10-13 2017-04-20 本田技研工業株式会社 車両用操作装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335557A (en) * 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US7620915B2 (en) * 2004-02-13 2009-11-17 Ludwig Lester F Electronic document editing employing multiple cursors
JP2007233996A (ja) * 2006-02-06 2007-09-13 Olympus Imaging Corp 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US20090284478A1 (en) * 2008-05-15 2009-11-19 Microsoft Corporation Multi-Contact and Single-Contact Input
US9218116B2 (en) * 2008-07-25 2015-12-22 Hrvoje Benko Touch interaction with a curved display
JP2010244772A (ja) * 2009-04-03 2010-10-28 Sony Corp 静電容量式タッチ部材及びその製造方法、並びに静電容量式タッチ検出装置
US20110191675A1 (en) * 2010-02-01 2011-08-04 Nokia Corporation Sliding input user interface
US20130147743A1 (en) * 2011-12-12 2013-06-13 Lester F. Ludwig Spherical Touch Sensors and Signal/Power Architectures for Trackballs, Globes, Displays, and Other Applications
JP2014215817A (ja) 2013-04-25 2014-11-17 カルソニックカンセイ株式会社 タッチパネル式入力装置
US9405379B2 (en) * 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
KR101621369B1 (ko) * 2014-12-08 2016-05-27 현대자동차주식회사 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법
US10712836B2 (en) * 2016-10-04 2020-07-14 Hewlett-Packard Development Company, L.P. Three-dimensional input device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091360A (ja) * 2001-09-17 2003-03-28 Alps Electric Co Ltd 座標入力装置及び電子機器
JP2010182201A (ja) * 2009-02-06 2010-08-19 Hitachi Ltd 静電容量式センサ
JP2012522317A (ja) * 2009-03-30 2012-09-20 マイクロソフト コーポレーション 湾曲面上における接触の検出
JP2013137722A (ja) * 2011-12-28 2013-07-11 Kyocera Corp 装置、方法、及びプログラム
JP2013171399A (ja) * 2012-02-20 2013-09-02 Denso Corp 表示制御装置および表示システム
JP2014002580A (ja) * 2012-06-19 2014-01-09 Nissha Printing Co Ltd タッチパネル、タッチパネルの製造方法
WO2014061097A1 (ja) * 2012-10-16 2014-04-24 三菱電機株式会社 情報表示装置および表示情報操作方法
JP2014126920A (ja) * 2012-12-25 2014-07-07 Shoei:Kk 球面型検出装置
JP2014153905A (ja) * 2013-02-08 2014-08-25 Panasonic Corp 入力装置
JP2015125705A (ja) * 2013-12-27 2015-07-06 船井電機株式会社 画像表示装置
JP2016031691A (ja) * 2014-07-30 2016-03-07 Smk株式会社 静電容量式タッチパネルとその入力操作位置検出方法
JP2016213435A (ja) * 2015-05-11 2016-12-15 富士フイルム株式会社 導電性積層体の製造方法、導電性積層体、タッチセンサー
JP2017076200A (ja) * 2015-10-13 2017-04-20 本田技研工業株式会社 車両用操作装置

Also Published As

Publication number Publication date
US10635301B2 (en) 2020-04-28
US20180329623A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP2018190268A (ja) タッチ式操作装置とその作動方法および作動プログラム
US10817170B2 (en) Apparatus and method for operating touch control based steering wheel
US9886117B2 (en) Control apparatus and method for controlling operation target device in vehicle, and steering wheel
JP6664346B2 (ja) タッチ式操作装置、その作動方法及び作動プログラム
US10967737B2 (en) Input device for vehicle and input method
US20150130759A1 (en) Display apparatus, vehicle equipped with the display apparatus and control method for the display apparatus
US20140365928A1 (en) Vehicle's interactive system
US20200019252A1 (en) Touch type operation system and operation method of same, and non-transitory computer readable medium
JP5754410B2 (ja) 表示装置
US20200019253A1 (en) Touch type operation apparatus, operation method of same, and information processing system using touch type operation apparatus
US20130201126A1 (en) Input device
US20220350474A1 (en) Information Processing Device and Program
US20200019276A1 (en) Touch type operation apparatus and operation method of same, and non-transitory computer readable medium
JP5860746B2 (ja) 空調機器の表示制御装置
JP2011108103A (ja) 表示装置
JP4501067B2 (ja) 車両用情報表示装置
JP6379822B2 (ja) 入力装置及び電子機器
JP4512999B2 (ja) 車両用情報表示装置
JP5516188B2 (ja) 車両用表示装置
JP2022100096A (ja) 情報処理装置及び表示制御方法
JP4399728B2 (ja) 車両用情報表示装置
JP2006096248A (ja) 車両用情報表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200729