JP6240987B2 - 携帯電子機器連携システム、車載表示装置、および連携用プログラム - Google Patents

携帯電子機器連携システム、車載表示装置、および連携用プログラム Download PDF

Info

Publication number
JP6240987B2
JP6240987B2 JP2015551374A JP2015551374A JP6240987B2 JP 6240987 B2 JP6240987 B2 JP 6240987B2 JP 2015551374 A JP2015551374 A JP 2015551374A JP 2015551374 A JP2015551374 A JP 2015551374A JP 6240987 B2 JP6240987 B2 JP 6240987B2
Authority
JP
Japan
Prior art keywords
gui
electronic device
vehicle
portable electronic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015551374A
Other languages
English (en)
Other versions
JPWO2015083321A1 (ja
Inventor
信一 赤間
信一 赤間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2015083321A1 publication Critical patent/JPWO2015083321A1/ja
Application granted granted Critical
Publication of JP6240987B2 publication Critical patent/JP6240987B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Navigation (AREA)

Description

本発明は、携帯電子機器連携システム、車載表示装置、および連携用プログラムに関し、特に、車両で利用される携帯電子機器連携システム、車載表示装置、および連携用プログラムに関する。
車両内では、携帯機器を車載装置と連携して使用することが行われている。
従来、携帯機器と車載装置とを連携し、携帯機器を用いて車載装置を遠隔操作するナビゲーション装置が知られている(特許文献1参照)。
一方、携帯機器の機能が向上したことで、携帯機器が車外のサーバと通信して携帯機器の画面に表示することが実施されている。また、携帯機器の画面のサイズは小さいので、携帯機器の画面より大きな画面を有する車載装置に表示することも考えられている。
しかし、携帯機器のアプリケーションが多様化し、アプリケーションによっては、車載装置別に応じて作成し、頒布する必要が出てきた。
国際公開第2012/157014号
車外のサーバからの情報を、携帯機器のウエブ・ブラウザを介して利用するウエブ・アプリケーションを、車載装置で利用する場合に好適な携帯電子機器連携システムが望まれている。
本発明の携帯電子機器連携システムは、表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備える。
携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
本発明の一の態様によると、携帯電子機器連携システムは、間接操作において、疑似的GUIの操作部への操作の位置情報を、パラメータとして用いる。
本発明の他の態様によると、携帯電子機器連携システムは、直接操作と間接操作による画面表示態様が異なる場合、直接操作した場合の画面表示態様となるように表示部を制御する。
本発明の他の態様によると、携帯電子機器連携システムは、間接操作において、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、車載GUIを用いて疑似的GUIを構成し、車載GUIの出力を、パラメータとして用いる。
本発明の車載表示装置は、表示部と、操作部と、GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器との接続をする連携インターフェースと、を備える。
その連携インターフェースは、表示部にはウエブ・ブラウザのGUIを表示し、表示の内容に基づいて操作部上に疑似的GUIを構築し、疑似的GUIの操作が操作部から携帯電子機器へ出力することによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
本発明の連携用プログラムは、車載表示装置と携帯電子機器とを接続し、GUIを介した直接操作とプログラム言語による間接操作とが可能な連携インターフェースに使用される。
連携用プログラムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示するステップと、表示の内容に基づいて操作部上に疑似的GUIを構築するステップと、疑似的GUIの操作に基づいて、プログラム言語によるウエブ・ブラウザの間接操作を実行するステップと、を備える。
本発明の実施形態に係る携帯電子機器連携システムの全体構成を示すブロック図である。 携帯電子機器の概略構成を示すブロック図である。 携帯電子機器の連携プログラムの概念構成を示すブロック図である。 車載表示装置の概略構成を示すブロック図である。 タッチパネルの座標を示す図である。 本発明の実施形態に係る携帯電子機器連携システムの動作手順を示すフローチャートである。 車載表示装置で表示されるウエブ・アプリケーション画面を示す図である。
以下、図面を参照して、本発明の実施の形態を説明する。
図1は、本発明の実施形態に係る携帯電子機器連携システムの全体構成を示すブロック図である。
携帯電子機器連携システム1は、サーバ10と、携帯電子機器20と、車載表示装置30と、を備える。
サーバ10は、ウェブ・サービスを提供可能なウェブ・サーバとして機能する。ウェブ・サービスは、例えばソーシャル・ネットワーキング・サービス(SNS;social networking service)や、地図サービスである。またサーバ10は、車内で使用される各種アプリケーションやプログラムの配信も行う。
サーバ10は、単独であっても、複数であってもよい。複数の場合、サーバ10間の通信は、有線または無線で行われる。
携帯電子機器20は、持ち運び可能な電子機器であり、車外から車内に持ち込んで使用される。携帯電子機器20は、たとえば、スマートフォンと呼ばれる多機能携帯電話を用いることができる。
車載表示装置30は、車両内に備えられている。車載表示装置30は、表示部だけでなく、タッチパネルなど、ユーザからの入力手段である操作部も有する。
サーバ10と携帯電子機器20とは、無線を使用した各種通信で情報の伝達を行う。
携帯電子機器20と車載表示装置30とは、USB(Universal Serial Bus)などの有線通信、ブルートゥース(Bluetooth(登録商標))などの無線通信で情報の伝達を行う。携帯電子機器20から車載表示装置30へは、表示信号などの情報を伝送する。車載表示装置30から携帯電子機器20へは、操作信号などの情報を伝送する。
サーバ10と携帯電子機器20との、HTML((HyperText Markup Language)などで記述されたコンテンツの送受信は、たとえばHTTP(Hypertext Transfer Protocol)という通信プロトコルを用いて行われる。
一般に、ウエブ・ブラウザを介して利用するウエブ・アプリケーションが知られている。また、ウエブ・アプリケーション開発動作環境の充実にともない、リッチクライアント(rich client)と呼ばれる環境が提供されている。さらに車載表示装置30と連携させて、ウエブ・ベースのリッチクライアントを実現する場合、携帯電子機器20側のウエブ・ブラウザを利用することとなり、そのウエブ・ブラウザを車載表示装置30側から十分にコントロールできることが必要となる。
しかしながら、携帯電子機器20のオペレーティング・システム(OS)やハードウエアによっては、セキュリティや機能上の制約から、ウエブ・ブラウザを携帯電子機器20以外の装置から遠隔操作することができない又は制限されているものが存在する。
そこで本実施形態では、そのような制約のある環境の場合、携帯電子機器20の画面を車載表示装置30の表示部にミラーリングしつつ、携帯電子機器20のウエブ・ブラウザを内部的にプログラミングによって操作し、疑似的に車載表示装置30での操作を携帯電子機器20のウエブ・ブラウザの操作として適用できるようにする。
そのために、携帯電子機器20と車載表示装置30とは、以下に説明するように構成する。
まず、携帯電子機器20を説明する。
図2は、携帯電子機器の概略構成を示すブロック図である。
携帯電子機器20は、表示部100と、操作部110と、処理ユニット120と、サーバ通信部130と、車載表示装置通信部140と、記憶ユニット150と、を備える。
表示部100は、グラフィックスやテキストメッセージを表示する表示装置を含み、例えば液晶表示装置(LCD、Liquid Crystal Display)や有機EL(electroluminescence)ディスプレイを用いて構成することができる。
操作部110は、ユーザが携帯電子機器20に対して情報や指示を入力するための入力デバイスである。操作部110は、表示部100の表示画面上に設けられたタッチパネルとすることができる。以下、操作部110は、表示部100の表示画面上の全面に装着されたタッチパネルとして説明する。
サーバ通信部130は、車外に置かれたサーバ10と、例えば無線ネットワークを介した通信を行う。
車載表示装置通信部140は、車載表示装置30と、USBなどの有線通信、ブルートゥースなどの無線通信で情報の通信を行う。
処理ユニット120は、CPU(Central Processing Unit)等のプロセッサ、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)等のメモリを有するコンピュータであり、連携インターフェース部160を備える。連携インターフェース部160は、コンピュータである処理ユニット120がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
なお、連携インターフェース部160は、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウエアとして構成することもできる。
記憶ユニット150は、半導体メモリを含む、任意の不揮発性の記憶装置又は不揮発性の記憶装置と揮発性の記憶装置との組み合わせとすることができる。記憶ユニット150は、各種アプリケーション・プログラムや、処理ユニット120がその動作に伴って生成又は参照する作業データも記憶する。
次に、連携インターフェース部160で実行される連携プログラムについて説明する。
図3は、携帯電子機器の連携プログラムの概念構成を示すブロック図である。
連携プログラム200は、メインプログラム210と、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230と、ウエブ・コンテンツ240とを備える。
メインプログラム210は、連携プログラム200の最下層に位置する。メインプログラム210は、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230とを動作させるためのベースとなるプログラムである。
車載連携モジュール220は、メインプログラム210の上の階層に位置する。車載連携モジュール220は、車載表示装置30との連携処理を実行する。車載連携モジュール220は、車載表示装置30と通信する操作信号、表示信号を加工し、処理する。また車載連携モジュール220は、車載表示装置30との送信処理、受信処理を実行する。
携帯電子機器ウエブ・ブラウザ230は、メインプログラム210の上の階層に位置する。携帯電子機器ウエブ・ブラウザ230は、携帯電子機器20のOSからウエブ・ブラウザ機能を呼び出して利用できる。また携帯電子機器ウエブ・ブラウザ230は、サーバ10と通信し、ウエブ・コンテンツの受信処理やリクエスト送信を実行する。
ウエブ・コンテンツ240は、携帯電子機器ウエブ・ブラウザ230の上の階層に位置する。ウエブ・コンテンツ240は、たとえばHTML、JPEG(Joint Photographic Experts Group)などの形式によるコンテンツである。
メインプログラム210と、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230とは、携帯電子機器アプリケーション250を構成する。携帯電子機器アプリケーション250は、車載表示装置30で表示と操作が可能なウエブ・ブラウザとして機能する。
連携プログラム200は、サーバ10から配布することができる。
サーバ10においては、各車種で装着された車載表示装置のそれぞれに対して車載連携モジュールを格納している。ウエブ・アプリケーションは、車載表示装置の製造者により、サーバ10上で追加、修正、拡張がされる。これにより、ウエブ・アプリケーションは、バージョンアップが早くできるようになり、携帯電子機器20へ配布することにより、携帯電子機器20の進化への追従が容易にできる。
また、ユーザは、サーバ10にアクセスして、表示画面を自分の好みにカスタマイズすることもできる。
次に車載表示装置30を説明する。
図4は、車載表示装置の概略構成を示すブロック図である。
車載表示装置30は、表示部300と、操作部310と、処理ユニット320と、携帯電子機器通信部330と、記憶ユニット350と、を備える。
表示部300は、グラフィックスやテキストメッセージを表示する表示装置を含み、例えば液晶表示装置や有機ELディスプレイを用いて構成することができる。
操作部310は、ユーザが車載表示装置30に対して情報や指示を入力するための入力デバイスである。操作部310は、表示部300の表示画面上に設けられたタッチパネルとすることができる。以下、操作部310は、表示部300の表示画面上の全面に装着されたタッチパネルを主として説明する。
タッチパネルでは、縦横で示される座標により、ユーザに触れられた位置が検出される。
図5は、タッチパネルの座標を示す図である。
ユーザが、タッチパネル400で、図5のP点に触れると、x座標としてxP、y座標としてyPが検出され、座標(xP,yP)という位置が検出される。この座標は、タッチパネル400の絶対的な位置であってもよく、相対的な位置であってもよい。
携帯電子機器通信部330は、携帯電子機器20と、USBなどの有線通信、ブルートゥースなどの無線通信で情報の通信を行う。
処理ユニット320は、CPU等のプロセッサ、プログラムが書き込まれたROM、データの一時記憶のためのRAM等のメモリを有するコンピュータであり、連携インターフェース部360を備える。連携インターフェース部360は、コンピュータである処理ユニット320がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
連携インターフェース部360は、携帯電子機器20と連携するためのインターフェース部である。
連携インターフェース部360は、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウエアとして構成することもできる。
記憶ユニット350は、半導体メモリやハードディスク装置(HDD、Hard Disc Drive)を含む、任意の不揮発性の記憶装置又は不揮発性の記憶装置と揮発性の記憶装置との組み合わせとすることができる。
次に、携帯電子機器20と車載表示装置30との連携に関して説明する。
携帯電子機器20の連携インターフェース部160は、車載表示装置30で入力される情報の処理と、車載表示装置30で表示する情報の送信処理と、を行う。
車載表示装置30で表示する情報の送信処理として、連携インターフェース部160は、携帯電子機器20の表示画面に表示する画面を、車載表示装置30へ送信する。
車載表示装置30の表示部300は、携帯電子機器20の表示部100と異なるが、同じ内容を表示させるようにする。
車載表示装置30の連携インターフェース部360は、携帯電子機器20から送られたウエブ・ブラウザの画面を表示部300に表示する。
このように、車載表示装置30の表示部300への表示に関しては、携帯電子機器20の表示部100への表示と連動させて表示をさせる。
車載表示装置30で入力される情報の処理として、連携インターフェース部160は、車載表示装置30の操作部310から入力された情報を、携帯電子機器20の操作部110で入力された情報に変換する。
アプリケーションによっては、携帯電子機器20の操作部110からの操作しか受け付けないものがある。そのため、車載表示装置30の操作部310から入力された情報を変換することにより、携帯電子機器20が有するGUI(graphical User Interface)を部分的に模して、あたかも携帯電子機器20のGUIを疑似的に操作しているようにする。
このようなGUIを疑似的GUIと呼ぶものとする。疑似的GUIとは、携帯電子機器20が本来有するGUIを疑似的にエミュレートしたインターフェースとなる。
本実施形態では、車載表示装置30の操作部310を、携帯電子機器20の操作部110として利用するものである。
疑似的GUIを用いてウエブ・アプリケーションを操作する場合は、直接的に携帯電子機器20のGUIを用いて操作する場合とは処理が異なるので、情報の変換が必要となる。
また、携帯電子機器20のGUIを用いて操作する場合を直接操作とすると、車載表示装置30からの操作を間接操作ということができる。
連携インターフェース部160は、車載表示装置30の操作部310から入力された情報を用いて、プログラム言語により変換し、車載表示装置30からの間接操作を可能とする。
これにより、車載表示装置30で入力された情報が、あたかも携帯電子機器20の操作部110で入力された情報となる。
たとえば、車載表示装置30の操作部310でタッチ操作(タッチパネルにユーザが触れている状態)がされると、車載表示装置30の連携インターフェース部360でタッチ操作の現在のx座標位置、y座標位置、直前のx座標位置、y座標位置、タイムスタンプが取得され、それらが携帯電子機器20へ送信される。
連携インターフェース部160は、各座標位置情報をパラメータとして用い、たとえばJavaScript(登録商標)へ伝達できるタッチ操作情報に変換し、このような疑似GUIを間接操作としてウエブ・アプリケーションに反映する。
また、車載表示装置30の操作部310が専用スイッチやマウスなど、タッチパネル以外の入力手段を有する場合、表示部300に表示されない内部操作をすることがある。この場合でもユーザによる操作部310の操作を変換し、プログラム言語による間接操作を可能にする。
このような疑似的GUIを用いた間接操作により、アプリケーションによっては携帯電子機器20の操作部110からの操作しか受け付けない場合であっても、車載表示装置30の操作部310への操作入力の絶対的・相対的な位置を、携帯電子機器20の操作入力の位置入力として用いることができる。多くのGUIが、位置に基づいて操作しているため、多くのウエブ・アプリケーションを利用できるようになる。
一方、連携インターフェース部160は、携帯電子機器20の操作部110により、GUIを介した直接操作を可能とする。
ここで、直接操作と間接操作による画面表示態様が異なる場合、直接操作した場合の画面表示態様となるように表示部300を制御する。
直接操作した場合は、ユーザの選択箇所がハイライトしたり、入力したパスワードがマスクされたり、何らかの意味をもって表示態様が変化する場合がある。一方で間接操作の場合、そのような処理が行われずに直ちに入力結果が示されることもあり、ユーザはその操作が分かりにくい。
そこで、直接操作と間接操作の画面表示態様が異なる場合、直接操作した場合の画面表示態様と同じになるように表示部300を制御することで、車載表示装置30からの遠隔操作時の違和感を抑制することができる。
直接操作と間接操作による画面表示態様が異なるか否かの判定は、携帯電子機器20が車載表示装置20に問い合わせて判定する。またこの判定は、携帯電子機器20の内部に予め車載表示装置20毎に格納している情報に基づいて判定してもよい。
また、車載表示装置30に携帯電子機器20と同等の機能を発揮しうるGUIが存在する場合、そのGUIを利用した方が車載表示装置30で利用する際に操作性が高くなったり、描画や操作応答の反応が良くなる。
そこで、間接操作において、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、車載GUIを用いて疑似的GUIを構成し、車載GUIの出力を、パラメータとして用いる。また、車載表示装置30と携帯電子機器20のGUIを比較し、最適なGUIを提供することができる。例えば、文字入力時の車載側のソフトウエア・キーボードや、日時選択のリスト呼び出しがそれらの機能に相当する。
車載表示装置30では、車載表示装置30の製造者が設計した、使いやすい安全なHMI(Human Machine Interface)を提供することができる。
携帯電子機器20で使用されるウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在するかどうかは、携帯電子機器20が車載表示装置20に問い合わせて判定する。またこの判定は、携帯電子機器20の内部に予め車載表示装置20毎に格納している情報に基づいて判定してもよい。
携帯電子機器20では、ウエブ・アプリケーションで統一されたアプリケーションを用いて携帯電子機器ブラウザ上で動作する。そのため、車載表示装置30のソフトウエアの変更なしで、新しいコンテンツにいち早く対応することができる。
次に、携帯電子機器連携システムの動作手順について図6と図7を参照して説明する。
図6は、本発明の実施形態に係る携帯電子機器連携システムの動作手順を示すフローチャートである。
図7は、車載表示装置で表示されるウエブ・アプリケーション画面を示す図である。
まず初期状態であるステップS100で、車載表示装置30の表示部300に車載表示装置20の組み込みソフトウエアによるランチャー(Launcher)メニュー500が表示される。
ランチャーメニュー500とは、あらかじめ登録しておいたファイルやプログラムをアイコンで一覧表示したものである。ランチャーメニュー500には種々のアイコンが表示されている。
ユーザが1つのアイコン510を操作部310で触れられると、ステップS110へ移る。
ステップS110で、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが車載表示装置30に存在するかどうかを判定する。存在しなければ、ステップS120へ移行する。存在すればステップS130へ移行する。
ステップS120で、疑似的GUIを構築するように連携インターフェース360を設定する。ステップS140へ移行する。
ステップS130で、車載GUIを用いた疑似的GUIを構築するように連携インターフェース360を設定する。ステップS140へ移行する。
ステップS140で、触れられた操作部310の位置からアイコン510に対応したアプリケーションが特定され、起動される。表示部300には、携帯電子機器20から送られた、そのアプリケーションのウエブ・ブラウザの画面520を表示する。画面520には、アイコン521、522、523、524、525、526が表示されている。すなわち、表示部300には、ウエブ・ブラウザのGUIが表示される。
ここで、起動されたアプリケーションのウエブ・ブラウザが、携帯電子機器20の操作部110以外からの操作を受け付けないとすると、操作部310からの操作は疑似的GUIの入力となり、表示と操作を併せて疑似的GUIとなる。
ユーザが、アイコン521をクリックすると、アイコン521の位置情報を、パラメータとして用いて、携帯電子機器20へ出力する。ステップS150へ移行する。
ステップS150で、直接操作と間接操作による画面表示態様が異なるか否かを判定する。画面表示態様が異なる場合、ステップS160へ移行する。それ以外はステップS170へ移行する。
ステップS160で、直接操作した場合の画面表示態様となるように表示部300を制御する。その後終了する。
ステップS170で、画像表示を変更せずに表示する。その後終了する。
ステップS140において、たとえば、アイコン521をクリックすると、ステップ160、170において場所に関するウエブ・アプリコンテンツの画面530が表示される。同様にユーザが、アイコン522をクリックすると、ナビゲーションに関するウエブ・アプリコンテンツの画面540が表示され、アイコン523をクリックすると、メッセージに関するウエブ・アプリコンテンツの画面550が表示される。
画面530、540、550の上部には、元の画面520のウエブ・アプリケーションを示すアイコン560が上部に表示され、階層関係がわかるようになっている。
このように、パーソナル・コンピュータのウエブ・ブラウザで、天気予報を調べたり、グルメ検索したり、地図を見たりするような機能が、携帯電子機器20のブラウザを介して、あたかも車載表示装置30の機能のように実現できる。
以上、連携プログラム200は携帯電子機器20内にある例を説明したが、他の実施形態として、連携プログラム200の全部または一部が車載表示装置30内にあってもよい。
この場合、車載表示装置30の連携インターフェース部360が直接操作と間接操作の処理をし、車載表示装置30から直接携帯電子機器20のウエブ・ブラウザへ遠隔制御プログラムを発信する。
また、連携プログラム200は、サーバ10から携帯電子機器20を経由して、車載表示装置30へ配布されることができる。
本実施形態の携帯電子機器連携システムによれば、表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備える。
携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
これにより、サーバ型ウエブ・アプリケーションの汎用性を生かしつつ、異質なデバイスからのウエブ・ブラウザ経由でのGUIの操作が可能となる。ウエブ・ブラウザのセキュリティ上の問題で、遠隔操作を禁止されていたり、タッチセンサの精度の違い等により、異なるデバイス間で遠隔操作が難しい場合でも、表示と操作を切り分けることで、その遠隔操作が可能となる。
また、サーバ型ウエブ・アプリケーションなので配信内容によってGUIは都度変化するが、ウエブ・ブラウザを予め用意されている間接操作用プログラム言語のみで操作できるようにしたため、アプリケーション開発の工数も減る。
ここで予め用意されている、というのは、そのウエブ・ブラウザをプログラミングにより操作可能となっている、という意味である。例えば、一般的なウエブ・ブラウザは、間接操作用プログラム言語であるスクリプト言語等を実行可能なようになっており、動作可能なように設計されている。
本実施形態によると、携帯電子機器連携システムでウエブ・ベースのリッチクライアントを利用することが好適に実現できる。
なお本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
1・・・携帯電子機器連携システム、10・・・サーバ、20・・・携帯電子機器、30・・・車載表示装置、100、300・・・表示部、110、310・・・操作部、120、320・・・処理ユニット、130・・・サーバ通信部、140・・・車載表示装置通信部、150、350・・・記憶ユニット、160、360・・・連携インターフェース、200・・・連携プログラム、210・・・メインプログラム、220・・・車載連携モジュール、230・・・携帯電子機器ウエブ・ブラウザ、240・・・ウエブ・コンテンツ、250・・・携帯電子機器アプリケーション、330・・・携帯電子機器通信部、400・・・タッチパネル、500・・・ランチャーメニュー、510、521、522、523、524、525、526、560・・・アイコン、520、530、540、550・・・画面。

Claims (9)

  1. 表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、
    GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、
    前記ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備え、
    前記連携インターフェースを介して、
    前記表示部には前記ウエブ・ブラウザのGUIが表示され、
    前記表示の内容に基づいて前記操作部上に疑似的GUIが構築され、
    前記疑似的GUIの操作が前記操作部から前記携帯電子機器へ出力されることによって、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行
    前記携帯電子機器は、前記直接操作の画面表示態様と前記間接操作の画面表示態様とが異なるか否かを、前記車載表示装置に問い合わせて判定し、
    前記車載表示装置は、前記直接操作の画面表示態様と前記間接操作の画面表示態様とが異なると判定されたときは、前記直接操作の画面表示態様となるように前記表示部を制御する、
    携帯電子機器連携システム。
  2. 前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いる、
    請求項1に記載の携帯電子機器連携システム。
  3. 前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて前記疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いる、
    請求項1に記載の携帯電子機器連携システム。
  4. 表示部と、
    操作部と、
    GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器との接続をする連携インターフェースと、を備え、
    前記連携インターフェースは、
    前記表示部には前記ウエブ・ブラウザのGUIを表示し、
    前記表示の内容に基づいて前記操作部上に疑似的GUIを構築し、
    前記疑似的GUIの操作が前記操作部から前記携帯電子機器へ出力することによって、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行する、
    車載表示装置であって
    前記携帯電子機器が前記直接操作の画面表示態様と前記間接操作の画面表示態様とが異なると判定したときは、前記直接操作の画面表示態様となるように前記表示部を制御する、
    車載表示装置。
  5. 前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いる、
    請求項に記載の車載表示装置。
  6. 前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いる、
    請求項に記載の車載表示装置。
  7. 車載表示装置と携帯電子機器とを接続し、GUIを介した直接操作とプログラム言語による間接操作とが可能な連携インターフェースに使用される連携用プログラムであって、
    前記連携インターフェースを介して、
    表示部にウエブ・ブラウザのGUIが表示するステップと、
    前記表示の内容に基づいて操作部上に疑似的GUIを構築するステップと、
    前記疑似的GUIの操作に基づいて、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行するステップと、
    を備える連携用プログラムであって、
    更に、前記携帯電子機器が前記直接操作の画面表示態様と前記間接操作の画面表示態様とが異なると判定したときは、前記直接操作の画面表示態様となるように前記表示部を制御するステップを備える、
    連携用プログラム
  8. 前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いるステップと、
    をさらに備える、請求項に記載の連携用プログラム。
  9. 前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて前記疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いるステップと、
    をさらに備える、請求項に記載の連携用プログラム。
JP2015551374A 2013-12-03 2014-11-05 携帯電子機器連携システム、車載表示装置、および連携用プログラム Expired - Fee Related JP6240987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013249810 2013-12-03
JP2013249810 2013-12-03
PCT/JP2014/005569 WO2015083321A1 (ja) 2013-12-03 2014-11-05 携帯電子機器連携システム、車載表示装置、および連携用プログラム

Publications (2)

Publication Number Publication Date
JPWO2015083321A1 JPWO2015083321A1 (ja) 2017-03-16
JP6240987B2 true JP6240987B2 (ja) 2017-12-06

Family

ID=53273108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551374A Expired - Fee Related JP6240987B2 (ja) 2013-12-03 2014-11-05 携帯電子機器連携システム、車載表示装置、および連携用プログラム

Country Status (4)

Country Link
US (1) US20170024227A1 (ja)
JP (1) JP6240987B2 (ja)
CN (1) CN105917320B (ja)
WO (1) WO2015083321A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742421B (zh) * 2018-12-12 2021-10-11 富智捷股份有限公司 使用者介面整合方法和車載裝置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4382693B2 (ja) * 2005-03-30 2009-12-16 アルパイン株式会社 車載システム
US8635701B2 (en) * 2008-03-02 2014-01-21 Yahoo! Inc. Secure browser-based applications
US20090284476A1 (en) * 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
JP5192434B2 (ja) * 2009-04-10 2013-05-08 富士通テン株式会社 情報提供システム、車載装置、携帯端末、及び処理方法
CN102118688A (zh) * 2009-12-31 2011-07-06 上海博泰悦臻电子设备制造有限公司 汽车信息***
US20130241720A1 (en) * 2012-03-14 2013-09-19 Christopher P. Ricci Configurable vehicle console
US8688320B2 (en) * 2011-01-11 2014-04-01 Robert Bosch Gmbh Vehicle information system with customizable user interface
JP2012222403A (ja) * 2011-04-04 2012-11-12 Denso Corp 情報表示システム、当該システムを構成する車載装置及び携帯装置
CN103534691A (zh) * 2011-05-13 2014-01-22 三菱电机株式会社 远程操作通信装置以及导航装置
JP2013021632A (ja) * 2011-07-14 2013-01-31 Denso Corp 車両用通信システム、携帯通信端末、および、車両用機器
US8548532B1 (en) * 2011-09-27 2013-10-01 Sprint Communications Company L.P. Head unit to handset interface and integration
KR102032717B1 (ko) * 2011-09-29 2019-10-17 삼성전자주식회사 차량 내 통지 서비스 방법, 기계로 읽을 수 있는 저장 매체, 헤드 유닛 장치 및 모바일 장치
JP5581301B2 (ja) * 2011-11-30 2014-08-27 株式会社ホンダアクセス 車載装置と携帯情報端末が連携するシステム
JP2013172165A (ja) * 2012-02-17 2013-09-02 Honda Access Corp 車載装置と携帯情報端末が連携するシステム
JP5902514B2 (ja) * 2012-03-12 2016-04-13 パイオニア株式会社 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体
WO2013140646A1 (ja) * 2012-03-19 2013-09-26 株式会社コナミデジタルエンタテインメント 制御装置、制御方法、記録媒体およびシステム
KR101982243B1 (ko) * 2012-09-28 2019-05-24 삼성전자주식회사 사용자 단말 장치, 전자 장치 및 그 제어 방법
US8914012B2 (en) * 2012-10-16 2014-12-16 Excelfore Corporation System and method for monitoring apps in a vehicle to reduce driver distraction
US10251034B2 (en) * 2013-03-15 2019-04-02 Blackberry Limited Propagation of application context between a mobile device and a vehicle information system
US9891068B2 (en) * 2013-06-08 2018-02-13 Apple Inc. Mapping application search function

Also Published As

Publication number Publication date
WO2015083321A1 (ja) 2015-06-11
CN105917320A (zh) 2016-08-31
JPWO2015083321A1 (ja) 2017-03-16
US20170024227A1 (en) 2017-01-26
CN105917320B (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
JP6786403B2 (ja) 通信システム、通信機器、制御方法及びプログラム
EP2564286B1 (en) Method and apparatus for providing interoperability between devices
US9626198B2 (en) User interface for a vehicle system
JP6478181B2 (ja) 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置
CN108028960B (zh) 电子装置及其控制方法
KR20140073243A (ko) Http 메시지 처리 방법 및 장치
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
US20130246509A1 (en) Information processing system, user terminal, information processing device, and non-transitory computer readable recording medium
KR102004986B1 (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
EP2963935A1 (en) Multi screen display controlled by a plurality of remote controls
JP2011243146A (ja) 中継サーバ及びそのプログラム、webサイト閲覧システム、webサイト閲覧方法、並びにアプリケーションプログラム
JP2011176591A (ja) 携帯端末を用いた無線通信システム
US20150067669A1 (en) Method for managing application and electronic device thereof
JP2009276889A (ja) サーバ装置、クライアント装置、サーバベース・コンピューティング・システム、サーバ制御プログラム、クライアント制御プログラム
JP6358063B2 (ja) 要求送信方法、情報処理装置、及びプログラム
CN110708527A (zh) 图像显示装置、图像显示装置的图像显示方法及存储介质
JP2007251630A (ja) リモートデスクトップ表示方法
JP2020042573A (ja) デバイス診断ウェブシステムおよびデバイス診断方法
WO2014006758A1 (ja) 情報処理方法
KR20120017263A (ko) 단말기에서 실행되는 위젯 어플리케이션의 콘텐츠를 인쇄하는 화상형성시스템
US20150325254A1 (en) Method and apparatus for displaying speech recognition information
JP6240987B2 (ja) 携帯電子機器連携システム、車載表示装置、および連携用プログラム
EP2681664B1 (en) Browsing method, device, and computer-readable storage medium
JP4900955B2 (ja) 遠隔操作システム、制御方法及びプログラム
KR101491056B1 (ko) 터미널 환경의 서버 기반 컴퓨팅 시스템에서 마우스 ui 지원을 위한 터치 스크린 단말 장치 및 마우스 ui 지원 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170728

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171018

R150 Certificate of patent or registration of utility model

Ref document number: 6240987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees