JP6565878B2 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
JP6565878B2
JP6565878B2 JP2016229531A JP2016229531A JP6565878B2 JP 6565878 B2 JP6565878 B2 JP 6565878B2 JP 2016229531 A JP2016229531 A JP 2016229531A JP 2016229531 A JP2016229531 A JP 2016229531A JP 6565878 B2 JP6565878 B2 JP 6565878B2
Authority
JP
Japan
Prior art keywords
screen
cursor
ecu
display
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016229531A
Other languages
English (en)
Other versions
JP2018085071A (ja
Inventor
国広 村上
国広 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016229531A priority Critical patent/JP6565878B2/ja
Priority to US15/793,629 priority patent/US10437413B2/en
Priority to CN201711012817.0A priority patent/CN108108107B/zh
Publication of JP2018085071A publication Critical patent/JP2018085071A/ja
Application granted granted Critical
Publication of JP6565878B2 publication Critical patent/JP6565878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、各制御装置が別々に画面を出力する表示システムに関する。
タッチパッドを操作することによって画面におけるカーソルの表示を制御する情報処理装置が知られている。情報処理装置が行う制御の一例である選択制御では、タッチパッドの操作面で指の接触が検出されることに基づき、その接触した位置に関連付けられる選択項目をカーソルの表示位置として決定する。この際、接触した位置に近い選択項目に引き込み力が作用するような態様で、カーソルの表示位置を決定することも可能である。また、情報処理装置が行う制御の他の例である相対位置制御では、タッチパッドの操作面において指が接触する絶対的な位置に関わらず、操作面において指が接触する位置の移動する距離などに基づいてカーソルの表示を制御する(例えば、特許文献1を参照)。
国際公開第2013/088559号
一方、表示装置に対して各制御装置が別々に画面を出力する表示システムでは、カーソルの位置やカーソルの動きなどのカーソルの表示を制御することが、別々の制御装置によって行われる。そして、1つのカーソルの表示を複数の制御装置で別々に制御することになれば、操作の対象となる画面が遷移することに際して、カーソルが瞬間的に表示されない事象や、カーソルが瞬間的に複数表示される事象などが生じ、カーソルの表示に対して操作とは異なる印象を利用者に与えるおそれがある。
本発明は、このような実情に鑑みてなされたものであって、各制御装置で別々に画面を出力する表示システムにおいて、カーソルの表示に対する違和感を抑えることを可能とした表示システムを提供することにある。
以下、上記課題を解決するための手段およびその作用効果を記載する。
上記課題を解決するための表示システムは、画面を表示する表示装置と、カーソルの操作に関する情報である操作情報を出力する操作装置と、通信ネットワークに接続された複数の制御装置であって、第1の制御装置と第2の制御装置とを含み、前記表示装置に表示させる画面を前記各制御装置で別々に出力する前記複数の制御装置と、を備える。前記第1の制御装置は、前記第1の制御装置が出力する画面でのカーソルの制御態様が設定された第1の設定情報と、前記第2の制御装置が出力する画面でのカーソルの制御態様が設定された第2の設定情報とを用い、前記第1の制御装置が画面の出力中であるとき、前記操作装置が出力する操作情報と前記第1の設定情報とに基づき、カーソルの表示を制御し、前記第2の制御装置が画面の出力中であるとき、前記操作装置が出力する操作情報と前記第2の設定情報とに基づき、カーソルの表示を制御する。
この構成によれば、第1の制御装置が画面の出力中であるとき、および、第2の制御装置が画面の出力中であるとき、これらの両方において、第1の制御装置は、操作情報に基づき、カーソルの表示を制御する。この際、第1の制御装置は、出力される各画面でのカーソルの制御態様が設定された設定情報に基づき、カーソルの制御を行う。そのため、画面の出力元が遷移することに起因して生じるカーソルの表示に対する違和感を抑えることが可能となる。
上記表示システムにおいて、前記第2の制御装置は、前記第2の制御装置が出力する画面の変更に応じて、前記第2の設定情報として、変更後の画面でのカーソルの制御態様が設定された情報を前記第1の制御装置へ送信し、前記第1の制御装置は、前記第2の制御装置から受信した前記第2の設定情報を用いて前記カーソルの表示を制御してもよい。
この構成によれば、第2の制御装置が出力する画面と共にカーソルの制御態様が変わる場合であっても、変更後の画面に適したカーソルの制御態様によって、カーソルの表示制御が可能ともなる。
上記表示システムにおいて、前記表示装置が表示する単一の画面は、前記第1の制御装置が出力した画面及び前記第2の制御装置が出力した画面の双方を含む構成してもよい。
遷移に関わる複数の画面が一度に表示される状況では、上述のような事象の視認によって違和感を抱かれやすい。この点、上記構成であれば、こうした状況における違和感が抑えられるため、上述した効果をより顕著に得られる。
上記表示システムにおいて、前記第2の制御装置は、前記第1の制御装置を介して前記表示装置に画面を出力し、前記第1の制御装置は、前記第2の制御装置から入力される画面と、前記第1の制御装置が出力する画面とを組み合わせた画面を、前記表示装置が表示する単一の画面として前記表示装置へ送信し、前記第1の制御装置は、前記表示装置が表示する画面に対する前記カーソルの相対位置を、前記操作情報に基づき特定し、特定された前記相対位置へ前記カーソルを移動させることによって、前記カーソルの表示を制御してもよい。
この構成によれば、表示装置が表示する単一の画面を第1の制御装置が把握し、表示装置が表示する単一の画面に対するカーソルの相対位置の特定、および、特定された相対位置へのカーソルの移動、これらの処理を第1の制御装置が行う。そのため、カーソルの移動を各別の制御装置で実現する構成と比べて、画面間におけるカーソルの移動など、カーソルの移動に対する違和感をより抑えることが可能ともなる。
上記表示システムにおいて、前記第1の制御装置は、前記操作情報に基づいて操作の種類を特定し、当該特定された前記操作の種類に対応する前記カーソルの表示を示す画面情報を、前記カーソルが表示されている画面を出力した前記制御装置に出力させてもよい。
この構成によれば、相対位置に位置するカーソルの表示を操作の種類に対応した表示とする機能が、カーソルが表示されている画面を出力した制御装置によって実現される。そのため、操作の種類に対応した表示を実行するための負荷を各制御装置に分散させることが可能ともなる。
表示システムを具体化した一実施形態について、その概略構成を示すブロック図。 表示装置による画面表示の一例を模式的に示す図であって、(a)および(b)は2つの画面を表示した状態を示す図。 上記一例におけるカーソル制御の例を示すシーケンス図。 表示装置による画面表示の他の例を模式的に示す図であって、(a)は2つの画面を表示した状態を示す図、(b)は1つの画面を表示した状態を示す図。 上記他の例におけるカーソル制御の例を示すシーケンス図。
図1を参照して、表示システムを具体化した一実施形態について説明する。本実施形態の表示システムは、図示しない車両に搭載された通信ネットワークを含む通信システムを備える。
まず、図1から図5を参照して、表示システムの概要を説明する。
表示システムが備える通信システムは、第1電子制御装置(ECU)40、および、第2電子制御装置(ECU)50を備える。通信システムは、映像を含む画面をディスプレイDPの表示領域に表示する表示装置20を備える。さらに、通信システムは、表示装置20の表示に対する運転者等による操作を可能とする遠隔操作装置30を備える。各ECU40,50は、ディスプレイDPに画面を表示させる。各ECU40,50が出力した画面は、ディスプレイDPの表示領域に表示される。ディスプレイDPが一度に表示する画面は、第1ECU40が出力する画面と、第2ECU50が出力する画面とを含む。
第1ECU40は、第1ECU40で描画された画面を表示装置20に直接出力する。一方、第2ECU50は、第2ECU50で描画された画面を第1ECU40に出力し、第1ECU40を介して、表示装置20に出力する。すなわち、第1ECU40は、第1ECU40が出力する画面と、第2ECU50が出力した画面とを把握する。
第1ECU40は、遠隔操作装置30が出力した情報であって、カーソルの操作に関する操作情報を入力する。第1ECU40が入力する操作情報は、第1ECU40の出力する画面に対するカーソルの操作、および、第2ECU50の出力する画面に対するカーソルの操作に関するものである。そして、第1ECU40は、遠隔操作装置30が入力した操作情報に基づいて、操作が行われた位置である操作位置(座標情報)と、その操作の種類とを特定する。また、第1ECU40は、その操作の対象となった画面を出力したECUに、第1ECU40で特定された操作位置(座標情報)と操作の種類とを把握させる。
すなわち、表示装置20に表示されている画面に対する操作の処理では、まず、第1ECU40で操作位置と操作種類とが特定され、その特定された操作位置と操作種類とが、各ECU40,50で利用される。
続いて、図1を参照して、表示システムの詳細を説明する。
表示システムが備える通信システムは、車載ネットワーク用の通信用バス10を備える。表示装置20、遠隔操作装置30、第1ECU40、および、第2ECU50は、通信可能に通信用バス10に接続されている。
表示装置20は、映像を含む画面を表示領域に表示するディスプレイDPを備える。表示装置20は、通信用バス10を介して第1ECU40から入力した画面をディスプレイDPに表示する。
遠隔操作装置30は、表示装置20の表示に対して運転者等による操作を可能とする装置、例えばタッチパッドを備え、運転者等による操作に基づく情報を入力する。遠隔操作装置30は、カーソルの操作に基づく情報を通信用バス10に操作情報として出力する。通信用バス10に出力された操作情報は、第1ECU40が取得する。遠隔操作装置30は、表示装置20から物理的に離れている。
遠隔操作装置30は、タッチパッドにおいて操作が行われた位置と、その操作の種類とを検出する。遠隔操作装置30は、タッチパッドの操作面上における操作位置の移動を検出する。第1ECU40は、例えば、この検出された操作位置の移動を入力して移動経路を算出する。第1ECU40が算出した移動経路は、表示装置20が表示するカーソルの位置をその移動経路に基づいて移動させる際に用いられる。
遠隔操作装置30は、タッチパッドに対して行われた操作の種類を検出する。この検出された操作の種類は、第1ECU40に入力される。操作の種類は、例えば、タップ、ダブルタップ、フリック、ピンチイン、および、ピンチアウトである。第1ECU40が出力した画面に、操作位置に対応するカーソルの画面上での位置が検出される場合、第1ECU40は、この検出された位置に操作の種類を対応付けて、操作の種類に対応する表示を表示装置20に表示させる。また、第1ECU40は、操作位置と操作の種類とを、操作位置を取り扱うプログラムにも通知する。
第1ECU40は、通信用バス10を介して遠隔操作装置30から操作情報を受信する。第2ECU50は、通信用バス10を介して第1ECU50から操作情報を受信する。操作情報は、遠隔操作装置30が送信した操作位置と操作種類とを含む。各ECU40,50は、表示装置20に表示させる画面を描画する。第1ECU40は、通信用バス10を介して画面を送信する。また、各ECU40,50は、通信用バス10を介して各種の通信メッセージの送受信を相互に可能とする。各ECU40,50は、2つのECU40,50以外の他のECU等との間でも、各種の通信メッセージの送受信を相互に可能とする。
通信システムは、通信プロトコルとして、例えば、CAN(コントローラエリアネットワーク)プロトコルが採用されている。なお、通信システムは、通信経路の一部に無線通信を含むことも可能であり、ゲートウェイ等を介してその他のネットワークを経由する経路を含むことも可能である。
CANプロトコルでは、通信メッセージの構造であるフレームが規定されている。CANプロトコルに規定されるフレームは、通信メッセージの種類を示す識別子としての「メッセージID」の格納領域、ユーザが指定したデータである「メッセージデータ」の格納領域である「データフィールド」等を備える。「メッセージID」は、通信メッセージの種類毎に、特定の値に定められる。各ECU40,50は、それが送信する通信メッセージに、その種類に対応する「メッセージID」を付与して送信し、それが受信した通信メッセージの種類を「メッセージID」に基づいて判断する。この通信システムでは、「メッセージID」を通信メッセージに付与して送信することができるECUは、各「メッセージID」に1つずつであって、各「メッセージID」に固有である。また、「メッセージデータ」が格納される領域である「データフィールド」は、0〜64ビット(8ビット×0〜8バイト)のうちのいずれかの長さである。
各ECU40,50は、演算装置(CPU)や記憶装置を有するマイクロコンピュータを含む。各ECU40,50は、プログラムの演算処理を実行する演算装置と、そのプログラムやデータ等が記憶された読み出し専用メモリ(ROM)と、演算装置の演算結果が一時的に記憶される揮発性メモリ(RAM)とを備える。各ECU40,50は、設定値や演算値を記憶保持するバックアップメモリや、データ等を保持するフラッシュメモリ等の記憶装置等も備える。各ECU40,50は、記憶装置に保持されているプログラムを演算装置に読み込み、読み込まれたプログラムを実行することによって、所定の機能を実現する。各ECU40,50は、画像等の多くのデータを記憶する記憶部をさらに備える。この記憶部は、描画部からのデータの読み書きを可能に構成されている。
各ECU40,50は、CANプロトコル用の通信I/Fや、通信メッセージが一時的に格納される複数のMBOX(MessageBox)等を備える。各ECU40,50は、通信I/FやMBOXを介して通信メッセージの送受信を行う。
各ECU40,50は、描画部41,51と、SW操作判定部44,52とを備える。
各描画部41,51は、それを含むECUによる表示が許可されているとき、画面を描画する。各描画部41,51の描画する画面は、それを含むECUに割り当てられた領域であり、表示装置20の表示領域のなかの一部に割り当てられている。なお、第1ECU40は、第1ECU40による表示、および、第2ECU50による表示の許可を判定する。
第2ECU50は、描画部51が描画した画面を第1ECU40へ出力する。第1ECU40は、描画部41が描画した画面を表示装置20に出力する。この際、第1ECU40は、第1ECU40が出力する画面と、第2ECU50が出力した画面とを組み合わせ、これらを単一の画面として表示装置20に送信する。第1ECU40は、第1ECU40が出力した画面と、第2ECU50が出力した画面とについて、表示装置20において表示されている領域を把握する。つまり、第1ECU40は、遠隔操作装置30から入力された操作位置に対応する画面と、その画面における操作位置とを把握する。
各SW操作判定部44,52は、画面に対して、カーソルがフォーカス可能な画面上の部分的な領域であるスイッチ(SW)が操作された際に、SWの操作に応じた反応を示すアニメーションを出力する。各SW操作判定部44,52は、別々のECUにそれが保有される。そして、操作の種類に対応するアニメーションであって、各ECUで特有のアニメーションが画面に出力される。
第1ECU40は、カーソル制御を行う操作アシスト付カーソル制御部42と、ジェスチャー判定を行うジェスチャー判定部43とを備えている。
操作アシスト付カーソル制御部42は、カーソルを所定の態様で表示させる。カーソルは、ディスプレイDPの表示領域に操作位置を示す。表示装置20に表示させるカーソルの表示に関する情報は、画面情報に含まれて伝達される。
操作アシスト付カーソル制御部42は、表示中の画面と操作位置との関係に応じてカーソルの移動を制御する。例えば、操作アシスト付カーソル制御部42は、画面を表示させているECUにかかわらず、画面間において同様の操作性能を提供することから、操作感(フィーリング)を画面間で統一することができる。また、操作アシスト付カーソル制御部42は、各ECU40,50が別々に表示させている画面上において、相互に隣り合う画面間をまたぐカーソル移動を可能にさせる。すなわち、操作アシスト付カーソル制御部42は、画面間をまたぐカーソル制御を可能とする。
操作アシスト付カーソル制御部42は、フリーカーソル制御部421と、十字移動制御部422と、ポインタ引き込み制御部423と、手書き入力制御部424とを備えている。
フリーカーソル制御部421は、カーソルの操作モードがフリーカーソルモードであるときにカーソルの表示を制御する。フリーカーソル制御部421は、フリーカーソル制御を行う。フリーカーソル制御は、カーソルを移動させる制御であって、画面上における任意の位置でカーソルに操作位置を示させる。フリーカーソル制御では、画面内の各位置においてカーソルの制御条件が同様である。よって、フリーカーソルモードの場合では、操作対象や境界部分でのアシストがない状態や、抑制がない状態で、利用者はカーソルを操作できる。
十字移動制御部422は、カーソルの操作モードが十字移動モードであるとき、カーソルの表示を制御する。十字移動制御部422は、操作対象であることを示すフォーカスが必ず画面内のSWに当たっているように、カーソルの位置を制御する。十字移動モードでは、カーソルの移動方向が上、下、右、左のいずれかに操作されると、操作前にフォーカスの当たっていたSWに移動方向毎に設定されている次のSWヘカーソルが移動する。本実施形態では、出力するECUが相違する2つの画面間でカーソルが移動する場合、第1ECU40の十字移動制御部422で操作前にフォーカスが当たっているSWの位置を特定し、特定された位置から一番近いSWであって移動先である別の画面に描画されているSWへフォーカスを移動させる。
ポインタ引き込み制御部423は、カーソルの操作モードがポインタ引き込みモードであるときカーソルの表示を制御する。ポインタ引き込み制御部423は、カーソルの位置がSWの近くに到達するとカーソルをSWの中心に引き込むように、カーソルの位置を制御する。ポインタ引き込みモードでは、地図画面のように、1つのECUが表示させる画面中にフリーカーソルによる操作が可能な部分と、SWによる操作が可能な部分とが存在している画面で、SWの近くにカーソルが来るとカーソルがSWの中心に引き込まれる制御が行われる。各画面のSWヘのカーソル引き込みは第1ECUが一括して行う。一方、引き込まれたカーソルに対するSWへのタップ等の操作の検知や、タップ等に応じたアニメーション等の描画は、操作されたSWを出力する各ECUが行う。
また、ポインタ引き込み制御部423は、相違する2つの画面が表示されている場合、その画面間に、通常の操作よりも大きい操作が行われないと超えられない移動障壁を設定する。具体的には、2つの画面の中央部を平面としたとき、各画面の周辺部分に壁や丘に相当する障壁が設定されていて、平面を移動するときよりも大きい操作が行われないと移動することができないように、例えば反力が付与されるように設定されている。これにより、ポインタ引き込み制御部423は、画面上のカーソルが意図せずに隣接する他の画面へ移動してしまうことがないように制御している。
手書き入力制御部424は、カーソルの操作モードが手書き文字入力に特化した手書き入力モードであるときカーソルの表示を制御する。手書き入力制御部424は、手書きで描かれた線をそれに対応する文字に変換する。手書き入力制御部424は、特に、手書き入力が必要とされる国向けの製品に設けられる。
ジェスチャー判定部43は、タッチパッド操作の種類を判定する。具体的には、ジェスチャー判定部43は、タッチパッドに操作されたタップ、ダブルタップ、フリック、ピンチイン、ピンチアウトを検出する。例えば、タップはタッチパッドを軽く叩く操作であり、ダブルタップはタッチパッドを軽く2回叩く操作、フリックはタッチパッドを軽く払うような操作である。また、ピンチインはタッチパッドを2本の指で摘むような操作であり、ピンチアウトはタッチパッドを2本の指で広げるような操作である。例えば、タップには、操作対象を特定するとともに、これを実行させる機能が割りあてられ、ダブルタップやフリックにはタップと相違する機能が割りあてられる。また、ピンチインには画面を縮小させる機能が割りあてられ、ピンチアウトには画面を拡大させる機能が割りあてられる。ジェスチャー判定部43は、タッチパッド操作の種類を判定することで、判定された操作の種類に対応する操作が地図等を表示させるプログラムに対して付与される、すなわち地図等に行われる。
本実施形態では、ジェスチャー判定部43は、第1ECU40のみに設けられている。よって、画面を出力するECUの違いにかかわらず、全ての画面に対してこのジェスチャー判定部43によるジェスチャーの判定が行われる。これにより、ジェスチャーの判定がジェスチャー判定部43のみで統一的になされるから、運転者等が操作に対して感じる操作感(フィーリング)が画面間で統一できるようになる。ジェスチャーの判定をECU毎に行うとすれば、ECU毎に操作感が相違するおそれがある。また、第1ECU40のみに設けることで、ジェスチャー判定に関する開発が重複することが避けられるようになる。
第2ECU50は、出力する画面を含む画面情報を送信する。また、第2ECU50は、地図スクロール制御部53を備えている。
地図スクロール制御部53は、例えば、ナビゲーション機能を保有するECUが保有する。地図スクロール制御部53は、地図スクロール等の繊細な操作を実現させる部分である。例えば、地図スクロール制御部53は、地図画面でのフリックによるスクロール操作を実現させる。
なお、描画部41,51、操作アシスト付カーソル制御部42、ジェスチャー判定部43、SW操作判定部44,52、および、地図スクロール制御部53の各機能は、各ECU40,50によるプログラムの演算処理によって実現される。
図2、および、図3を参照して、各ECU40,50が表示装置20に画面を表示させる場合のカーソル制御の例を示す。
図2(a)は、ディスプレイDPの表示領域における左半分以上に、第2ECU50が出力する「画面A」が表示され、ディスプレイDPの表示領域における右半分未満に、第1ECU40が出力した「画面A」が表示されている状態を示す。図2(b)は、ディスプレイDPの表示領域における左半分以上に、第2ECU50が出力する「画面B」が表示され、ディスプレイDPの表示領域における右半分未満に、図2(a)と同様に、第1ECU40が出力した「画面A」が表示されている状態を示す。すなわち、いずれの場合であっても、第2ECU50が出力する画面と、第1ECU40が出力した画面との2つの画面が表示装置20に表示されている。
図3を参照して、図2(a)、および、(b)を例にしてカーソルの動作例について説明する。ここでは、表示装置20に表示される画面が図2の(a)から(b)に遷移するとともに、この後に、第2ECU50の出力する画面への操作が行われる場合について、その動作を説明する。
図3に示すように、まず、第1ECU40は、ディスプレイDPの表示領域における右部分に「画面A」を表示させる(ステップ431)。一方、第2ECU50は、ディスプレイDPの表示領域における左部分用に「画面A」を出力中である(ステップ531)。なお、第2ECU50による「画面A」は、第1ECU40を介して表示装置20に表示されている。そして、第2ECU50で「画面B」への遷移イベントが発生する(ステップ532)。このイベントの発生に応じて、第2ECU50は、操作の対象となる「画面B」を出力する(ステップ533)。表示装置20には、第1ECU40を介して「画面B」が表示される。また、第2ECU50は、自身が出力する「画面B」についてのカーソル設定情報を含む通知M31を第1ECU40に通知する。第2ECU50が第1ECU40に通知するカーソル設定情報は、第2の設定情報の一例である。
カーソル設定情報は、画面上の各位置においてカーソルがどのように表示されて、どのような機能を発現するかを設定する情報である。例えば、カーソル設定情報には、1.カーソル種別、2.カーソル表示状態、3.タッチパッド制御モード、4.画面内のSW情報、5.SWの上下左右方向の次のSW情報の5つの情報が含まれる。1.カーソル種別には、十字、矩形又は丸型等のカーソルの形状が設定される。2.カーソル表示状態には、非表示、表示等の表示状態が設定される。3.タッチパッド制御モードには、制御なし、十字移動制御、ポインタ引き込みあり、フリーカーソル又は手書き入力制御が設定される。4.画面内のSW情報は、画面におけるSWの相対座標とその領域、SWの識別符号であるSWのIDが設定される。5.SWの上下左右方向の次のSW情報には、十字移動制御で各方向への移動先になる他のSWのSW情報が設定される。なお、第1ECU40は、自身が出力する「画面A」についても、画面上の各位置においてカーソルがどのように表示されて、どのような機能を発現するかを設定する情報を記憶する。第1ECU50が記憶するこの情報は、第1の設定情報の一例である。
第1ECU40は、カーソル設定情報を含む通知M31を受けて、第2ECU50が表示する「画面B」が表示される領域に対するカーソル制御を上記通知M31に合わせて変更する(ステップ432)。
その後、遠隔操作装置30から操作情報M32が第1ECU40に入力されて、第1ECU40は、入力された操作情報からユーザ操作がカーソル移動であることを検出する(ステップ433)。第1ECU40は、検出されたカーソル移動の情報に基づいて、表示装置20に伝達するカーソル情報を変更し、それによってカーソル制御を行う(ステップ434)。そして、表示装置20に表示されるカーソルの位置が変更される。
続いて、遠隔操作装置30から操作情報M33が第1ECU40に入力されて、第1ECU40は、入力された操作情報M33からユーザ操作が「タップ」であることを検出する(ステップ435)。すなわち、操作の種類が「タップ」として検出される。第1ECU40は、タップされたときのカーソル座標から、第2ECU50の「画面B」上における座標をタップ操作決定時のカーソル座標として検知する(ステップ436)。このとき、第1ECU40は、カーソル座標を「画面B」の座標系で検知する。そして、第1ECU40は、第2ECU50に操作座標と操作の種類とを含む操作座標通知M34を通知する。
第2ECU50は、操作座標通知M34を受けて、操作座標と操作の種類とを取得する。これにより、第2ECU50は、SWがタップされたことを検出するとともに、タップされたことに対応するアニメーションを画面情報として第1ECU40に出力する(ステップ534)。これにより、表示装置20は、第2ECU50が出力している「画面B」に同じく第2ECU50が出力したタップに対応するアニメーションを表示する。
また、第2ECU50は、それが取得した操作座標と操作の種類とを、画面表示を管理しているプログラムに通知することで、操作に対応する動作である「画面遷移」又は「機能動作」を行う(ステップ535)。
これにより、第2ECU50が出力する画面に対して遠隔操作装置30で行われたユーザの操作を、第1ECU40で処理して第2ECU50に通知するとともに、この通知に対して、第2ECU50は適切な処理をすることができる。
なお、第1ECU40が画面の出力中であるとき、第1ECU40は、タップされたときのカーソル座標が第1ECU40の「画面A」上であることに基づき、タップされたことに対応するアニメーションを第1ECU40が出力している「画面A」に表示する。
図4、および、図5を参照して、表示装置20に各ECU40,50が画面を表示するとともに、表示される2つの画面の組み合わせが相違し、かつ、カーソル制御等が行われる場合の他の例を示す。
図4(a)は、ディスプレイDPの表示領域における左半分以上に第2ECU50による「画面A」が表示され、ディスプレイDPの表示領域における右半分未満に第1ECU40による「画面A」が表示されている状態を示す。図4(b)は、ディスプレイDPの表示領域における全体に第2ECU50による「地図画面」が表示されている状態を示す。すなわち、表示装置20のディスプレイDPに、各ECU40,50の出力した画面が表示されている場合と、第2ECU50の出力した画面のみが表示されている場合とを示す。
図5を参照して、図4(a)および(b)を例にしてカーソルの動作例について説明する。ここでは、表示装置20に表示される画面が図4の(a)から(b)に変化するとともに、変化後の表示である第2ECU50の表示する地図画面への操作が行われる場合について、その動作を説明する。
図5に示すように、まず、第1ECU40は、ディスプレイDPの表示領域における右部分に「画面A」を表示させる(ステップ451)。一方、第2ECU50は、ディスプレイDPの表示領域における左部分用に「画面A」を出力中である(ステップ551)。なお、第2ECU50の「画面A」は、第1ECU40を介して表示装置20に表示されている。そして、第2ECU50において、操作の対象となる「全地図」への遷移イベントが発生する(ステップ552)。このイベントの発生に応じて、第2ECU50は「全地図」を出力する(ステップ553)。表示装置20には、第1ECU40を介して「全地図」が表示される。なお、第1ECU40は、第2ECU50が「全地図」を表示させることに応じて自身の出力している「画面A」の出力を停止する。また、第2ECU50は、第1ECU40に、自身が出力する「全地図」についてのカーソル設定情報を含む通知M51を通知する。第2ECU50が第1ECU40に通知するカーソル設定情報は、第2の設定情報の一例である。
カーソル設定情報は、上述したカーソル設定情報と同様であって、画面上の各位置、要素においてカーソルがどのように表示されて、どのような機能を発現するかを設定する情報である。例えば、カーソル設定情報には、1.カーソル種別、2.カーソル表示状態、3.タッチパッド制御モード、4.画面内のSW情報、5.SWの上下左右方向の次のSW情報が含まれる。
第1ECU40は、カーソル設定情報を含む通知M51を受けて、第2ECU50が表示する「全地図」が表示される領域に対するカーソル制御を上記通知M51に合わせて変更する(ステップ452)。
その後、遠隔操作装置30から操作情報M52が第1ECU40に入力されて、第1ECU40は、入力された操作情報M52からユーザ操作がカーソル移動であることを検出する(ステップ453)。第1ECU40は、検出されたカーソル移動の情報に基づいて、表示装置20に伝達するカーソル情報を変更することでカーソル制御を行う(ステップ454)。これにより、表示装置20に表示されるカーソルの位置が変更される。
続いて、遠隔操作装置30から操作情報M53が第1ECU40に入力されて、第1ECU40は、入力された操作情報からユーザ操作が「フリック」であることを検出する(ステップ455)。すなわち、操作の種類が「フリック」として検出される。第1ECU40は、フリックされたときのカーソル座標から、第2ECU50の「全画面」上における座標上でフリック操作が行われたことを判定する(ステップ456)。このとき、第1ECU40は、カーソル座標を「全地図」の座標系で検知する。そして、第1ECU40は、第2ECU50に操作座標と操作の種類を含むジェスチャー通知M54を通知する。
第2ECU50は、ジェスチャー通知M54を受けて、操作座標と操作の種類とを取得する。これにより、第2ECU50は、地図がフリック操作されたことを検出する(ステップ554)。
また、第2ECU50は、取得した操作座標と、フリック操作とを画面表示を管理しているプログラムに通知することで、フリック操作に対応して地図画面をスクロールさせる動作を行う(ステップ555)。これにより、遠隔操作装置30で第2ECU50が表示させる画面に対して行われたユーザの操作を、第1ECU40で処理して第2ECU50に通知するとともに、この通知に対して第2ECU50が適切な処理をすることができるようになる。
以上、本実施形態に係る表示システムによれば、以下に示すような効果が得られる。
(1)第1ECU40が画面の出力中であるとき、および、第2ECU50が画面の出力中であるとき、これらの両方において、第1ECU40は、操作情報と設定情報とに基づきカーソルの表示を制御する。そのため、画面の出力元が遷移することに起因したカーソルの表示に対する違和感を抑えることが可能となる。
(2)第2ECU50が出力する画面と共にカーソル設定情報を第1ECU40に通知するため、変更後の画面に適したカーソルの制御態様によって、カーソルの表示を制御することが可能ともなる。
(3)表示装置20の表示する単一の画面が、第1ECU40の出力した画面と、第2ECU50が出力した画面とによって構成される。遷移に関わるこれらの画面が一度に表示される状況では、カーソルが瞬間的に表示されない事象や、カーソルが瞬間的に複数表示される事象などが視認されやすい。上記構成であれば、こうした状況による違和感が抑えられるため、上記(1)に準じた効果をより顕著に得られる。
(4)各画面のSWヘのカーソル引き込みの制御、画面間をまたぐカーソル移動の制御、各画面におけるジェスチャーの判定、これらを第1ECU40が一括して実行する。そのため、各画面におけるカーソルの引き込み、画面間をまたぐカーソルの表示、ジェスチャーに応じた画面の変更、これらに関しても、利用者が受ける違和感を抑えることが可能ともなる。
(5)カーソルに対するSWへのタップ等の操作の検知や、タップ等に応じたアニメーション等の描画は、操作されたSWを出力する各ECUが行う。そのため、タップ等の操作の検知やアニメーション等の描画に要する負荷を、各ECU40,50に分散することも可能である。
なお、上記実施形態は、以下の態様で実施することもできる。
[画面]
・上記実施形態では、第2ECU50について、第2ECU50で描画された画面を第1ECU40を介して表示装置20へ出力する構成について例示した。これに限らず、第1ECU40、および、第2ECU50は、自身で描画された画面を表示装置20へ直接出力することも可能である。すなわち、第2ECU50の出力する画面は、描画部51が描画した画面であって、第2ECU50が表示装置20へ出力する画面である。第1ECU40の出力する画面は、描画部41が描画した画面であって、第1ECU40が表示装置20へ送信する画面である。なお、この際、各描画部41,51の描画する画面は、それを含むECUに予め割り当てられた所定の領域である。
・第1ECU50は、ディスプレイDPの表示領域における全体に、描画部41が描画した画面を表示させることも可能である。そして、ディスプレイDPの表示領域の全体に表示される画面が、第1ECU40の出力した画面から第2ECU50の出力する画面に変化する動作も、上記表示システムにおいては可能である。
[操作装置]
・上記実施形態では、遠隔操作装置30について、タッチパッドの操作に基づく情報を入力する装置を例示した。これに限らず、操作装置を、タッチパネル、マウス、視線等による操作に基づく情報を入力する装置に変更することも可能である。
このとき、操作装置は、タッチパネル操作の種類として、タッチパッドと同様の操作の種類を検出することを可能とする。また、操作装置は、マウス操作の種類として、クリックやダブルクリック、ホイール操作を検出することを可能とする。また、操作装置は、視線操作の種類として、瞳の動きや、瞬きとその回数等を検出することを可能とする。
[その他]
・操作装置から第1ECU40に入力される操作情報は、操作が行われた位置である操作位置、および、その操作の種類のいずれか一方とすることも可能である。
・第2ECU50が出力する画面において、カーソルがどのように表示されて、どのような機能を発現するかが予め設定されている場合、第1ECU40は予めカーソル設定情報を記憶し、第2ECU50から第1ECU40へのカーソル設定情報の通知を割愛する構成とすることも可能である。
・上記実施形態では、第1ECU40について、通信用バス10を介して表示装置20に表示させる画面情報を送信する構成を例示した。これに限らず、第1ECU40や第2ECU50は、CANプロトコルを使用した通信用バス以外であって、画面情報の通信に適した通信線等を介して、表示装置20に画面情報を送信する構成とすることも可能である。
・上記実施形態では、表示装置20に表示させるカーソルの情報が画面情報に含められて送信される構成を例示した。これに限らず、カーソルの情報は、画面情報とは別に表示装置へ送信される構成に変更することも可能である。
・上記実施形態では、通信プロトコルがCANプロトコルである場合について例示した。これに限らず、通信メッセージの信頼性を確保するためにメッセージカウンタを用いるのであれば、通信プロトコルは、CANプロトコル以外のプロトコル、例えば、イーサーネット(登録商標)やフレックスレイ(登録商標)などの通信プロトコルであってもよい。
10…通信用バス、20…表示装置、30…遠隔操作装置、40…第1電子制御装置、41,51…描画部、42…操作アシスト付カーソル制御部、43…ジェスチャー判定部、44,52…SW操作判定部、50…第2電子制御装置、51…描画部、53…地図スクロール制御部、421…フリーカーソル制御部、422…十字移動制御部、423…ポインタ引き込み制御部、424…手書き入力制御部。

Claims (5)

  1. 画面を表示する表示装置と、
    カーソルの操作に関する情報である操作情報を出力する操作装置と、
    通信ネットワークに接続された複数の制御装置であって、第1の制御装置と第2の制御装置とを含み、前記表示装置に表示させる画面を前記各制御装置で別々に出力する前記複数の制御装置と、を備え、
    前記第1の制御装置は、
    前記第1の制御装置が出力する画面でのカーソルの制御態様が設定された第1の設定情報と、前記第2の制御装置が出力する画面でのカーソルの制御態様が設定された第2の設定情報とを用い、
    前記第1の制御装置が画面の出力中であるとき、前記操作装置が出力する操作情報と前記第1の設定情報とに基づき、カーソルの表示を制御し、
    前記第2の制御装置が画面の出力中であるとき、前記操作装置が出力する操作情報と前記第2の設定情報とに基づき、カーソルの表示を制御する
    表示システム。
  2. 前記第2の制御装置は、前記第2の制御装置が出力する画面の変更に応じて、前記第2の設定情報として、変更後の画面でのカーソルの制御態様が設定された情報を前記第1の制御装置へ送信し、
    前記第1の制御装置は、前記第2の制御装置から受信した前記第2の設定情報を用いて前記カーソルの表示を制御する
    請求項1に記載の表示システム。
  3. 前記表示装置が表示する単一の画面は、前記第1の制御装置が出力した画面および前記第2の制御装置が出力した画面の双方を含む
    請求項1または2に記載の表示システム。
  4. 前記第2の制御装置は、前記第1の制御装置を介して前記表示装置に画面を出力し、
    前記第1の制御装置は、前記第2の制御装置から入力される画面と、前記第1の制御装置が出力する画面とを組み合わせた画面を、前記表示装置が表示する単一の画面として前記表示装置へ送信し、
    前記第1の制御装置は、前記表示装置が表示する画面に対する前記カーソルの相対位置を、前記操作情報に基づき特定し、特定された前記相対位置へ前記カーソルを移動させることによって、前記カーソルの表示を制御する
    請求項3に記載の表示システム。
  5. 前記第1の制御装置は、前記操作情報に基づいて操作の種類を特定し、当該特定された前記操作の種類に対応する前記カーソルの表示を示す画面情報を、前記カーソルが表示されている画面を出力した前記制御装置に出力させる
    請求項4に記載の表示システム。
JP2016229531A 2016-11-25 2016-11-25 表示システム Active JP6565878B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016229531A JP6565878B2 (ja) 2016-11-25 2016-11-25 表示システム
US15/793,629 US10437413B2 (en) 2016-11-25 2017-10-25 Multi-screen cursor control display system
CN201711012817.0A CN108108107B (zh) 2016-11-25 2017-10-26 显示***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016229531A JP6565878B2 (ja) 2016-11-25 2016-11-25 表示システム

Publications (2)

Publication Number Publication Date
JP2018085071A JP2018085071A (ja) 2018-05-31
JP6565878B2 true JP6565878B2 (ja) 2019-08-28

Family

ID=62190830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016229531A Active JP6565878B2 (ja) 2016-11-25 2016-11-25 表示システム

Country Status (3)

Country Link
US (1) US10437413B2 (ja)
JP (1) JP6565878B2 (ja)
CN (1) CN108108107B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
TWI681319B (zh) * 2018-03-22 2020-01-01 大陸商東莞寶德電子有限公司 游標控制系統及其控制方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164010A (ja) * 1997-08-11 1999-03-05 Alpine Electron Inc ナビゲーション装置の地図表示方法
JP4541476B2 (ja) * 1999-02-19 2010-09-08 キヤノン株式会社 マルチ画像表示システムおよびマルチ画像表示方法
JP2007256541A (ja) * 2006-03-22 2007-10-04 Matsushita Electric Ind Co Ltd 表示装置
US8994700B2 (en) * 2006-03-23 2015-03-31 Mark J. Foster Artifact-free transitions between dual display controllers
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
JP4591567B2 (ja) * 2008-07-16 2010-12-01 セイコーエプソン株式会社 画像表示システム
JP5225820B2 (ja) * 2008-11-25 2013-07-03 アイシン精機株式会社 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム
CN101587424B (zh) * 2009-02-03 2011-07-27 刘二中 利用光标或触摸点移动显示屏画面的方法
JP2011059440A (ja) * 2009-09-10 2011-03-24 Toshiba Corp 画像表示装置及び画像表示方法
US20120287042A1 (en) * 2009-11-24 2012-11-15 Beijing Lenovo Software Ltd. Portable terminal and display output method thereof
JP5168322B2 (ja) * 2010-06-23 2013-03-21 株式会社デンソー 車両用表示装置
US9798436B2 (en) * 2010-07-08 2017-10-24 Red Hat Israel, Ltd. Remote computing with a low latency mouse mode
KR20120135799A (ko) * 2011-06-07 2012-12-17 삼성전자주식회사 디스플레이장치 및 그 제어방법과, 영상처리장치
US9176634B2 (en) * 2011-12-15 2015-11-03 Toyota Jidosha Kabushiki Kaisha Operation device
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US9497405B2 (en) * 2012-07-17 2016-11-15 Nec Display Solutions, Ltd. Display device for displaying videos side by side without overlapping each other and method for the same
GB2505406A (en) * 2012-08-16 2014-03-05 Realvnc Ltd A method and system of localising a pointer to the corner of a window when using virtual network computing (VNC) to control a client device.
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
JP2015138475A (ja) * 2014-01-23 2015-07-30 キヤノン株式会社 ウィンドウシステム及びカーソル制御方法
JP2015194515A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 表示装置および表示装置の製造方法
RU2665921C1 (ru) * 2014-12-17 2018-09-04 Мицубиси Электрик Корпорейшн Система удаленного управления и способ обработки информации
KR102364674B1 (ko) * 2015-04-27 2022-02-18 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
US20180150135A1 (en) 2018-05-31
JP2018085071A (ja) 2018-05-31
US10437413B2 (en) 2019-10-08
CN108108107A (zh) 2018-06-01
CN108108107B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US11307756B2 (en) System and method for presenting moving graphic animations in inactive and active states
US9052819B2 (en) Intelligent gesture-based user's instantaneous interaction and task requirements recognition system and method
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
JP6429886B2 (ja) 触感制御システムおよび触感制御方法
US9773329B2 (en) Interaction with a graph for device control
US10095277B2 (en) Electronic apparatus and display control method thereof
US20130097553A1 (en) Information display device and method for shifting operation of on-screen button
CN108108042B (zh) 车辆用显示装置及其控制方法
JP2011022851A (ja) ディスプレイ端末、画像処理システム、及び画像処理方法
JP6270495B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
CN104866079A (zh) 一种信息处理方法及电子设备
JP6565878B2 (ja) 表示システム
CN111045627B (zh) 用于显示对象的方法和设备
US9823890B1 (en) Modifiable bezel for media device
JP2018195134A (ja) 車載用情報処理システム
JP5882973B2 (ja) 情報処理装置、方法及びプログラム
WO2017018384A1 (ja) タッチパネル型情報端末装置とその情報入力処理方法およびプログラム
JP2019053196A (ja) 情報処理装置、画面制御方法
KR101260016B1 (ko) 스킨형 인터페이스를 이용한 포인터 인터페이스 구현 방법 및 이를 구현하는 터치스크린 기기
JP2012203497A (ja) 表示一体型座標入力装置及び仮想キーボード機能の起動方法
CN104484117A (zh) 人机交互方法及装置
JP2014211853A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2017183194A1 (ja) 表示制御装置
JP2019091380A (ja) 表示制御装置、入力装置、及びプログラム
EP4176330B1 (en) User device for displaying a user-interface object and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R151 Written notification of patent or utility model registration

Ref document number: 6565878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151