JP6908169B2 - Terminal equipment - Google Patents
Terminal equipment Download PDFInfo
- Publication number
- JP6908169B2 JP6908169B2 JP2020115814A JP2020115814A JP6908169B2 JP 6908169 B2 JP6908169 B2 JP 6908169B2 JP 2020115814 A JP2020115814 A JP 2020115814A JP 2020115814 A JP2020115814 A JP 2020115814A JP 6908169 B2 JP6908169 B2 JP 6908169B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- mobile terminal
- application
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Telephone Function (AREA)
Description
本技術は、端末装置に関する。 The present technology relates to a terminal device.
近年、様々なサービス、機能を提供する多種多様なアプリケーションを有する携帯電話機、スマートフォンなどの携帯端末装置が普及している。そして、よりアプリケーションによる利便性を高めるために、それら携帯端末装置と他の装置との連携が望まれている。そこで、端末装置と車載装置とを連携させることにより、車載装置を音声作動させる音声作動システムが提案されている(特許文献1)。 In recent years, mobile terminal devices such as mobile phones and smartphones having a wide variety of applications that provide various services and functions have become widespread. Then, in order to further enhance the convenience of the application, cooperation between these mobile terminal devices and other devices is desired. Therefore, a voice operation system has been proposed in which the in-vehicle device is voice-operated by linking the terminal device and the in-vehicle device (Patent Document 1).
特許文献1に記載された技術は、音声の取得を端末装置に設けられたマイクロホンで行うものである。しかし、自動車内においては走行中に携帯電話機、スマートフォンなどの端末装置を操作することができないため、端末装置は必ずしも音声取得に適した装置であるとはいえない。
The technique described in
本技術は、このような点に鑑みてなされたものであり、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させる端末装置を提供することを目的とする。 This technology has been made in view of these points, and provides a terminal device that links a terminal device with another device and further operates the terminal device by voice input to a device other than the terminal device. The purpose.
上述した課題を解決するために、本技術は、車載装置において、音声情報を取得する音声情報取得部と、携帯端末装置と通信する通信部とを備え、通信部は、車載装置のみが有するアプリケーションのアイコンと携帯端末装置が有するアプリケーションのアイコンとを車載装置の表示部に共存して表示するための共有情報を携帯端末装置から受信し、音声情報取得部によって取得された音声情報を、車載装置のみが有するアプリケーションまたは携帯端末装置が有するアプリケーションを動作させるために携帯端末装置に送信し、共有情報によって表示部に共存して表示されるアプリケーションのアイコンは少なくとも電話アプリケーションのアイコンを含む車載装置である。 In order to solve the above-mentioned problems, the present technology includes a voice information acquisition unit for acquiring voice information and a communication unit for communicating with the mobile terminal device in the in-vehicle device, and the communication unit is an application possessed only by the in-vehicle device. The shared information for coexisting and displaying the icon of the above and the application icon of the mobile terminal device on the display unit of the in-vehicle device is received from the mobile terminal device, and the voice information acquired by the voice information acquisition unit is received by the in- vehicle device. The application icon transmitted to the mobile terminal device to operate the application possessed only by the mobile terminal device or the application possessed by the mobile terminal device and coexisted and displayed on the display unit by the shared information is an in-vehicle device including at least the telephone application icon. ..
本技術によれば、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させることができるため、端末装置を操作せずに端末装置を動作させることができる。 According to the present technology, the terminal device can be linked with another device, and the terminal device can be operated by voice input to a device other than the terminal device. Therefore, the terminal device can be operated without operating the terminal device. Can be done.
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
<1.実施の形態>
[1−1.端末装置の構成]
[1−2.コンテンツ再生装置の構成]
[1−3.端末装置とコンテンツ再生装置間における処理]
<2.変形例>
Hereinafter, embodiments of the present technology will be described with reference to the drawings. However, the present technology is not limited to the following embodiments. The explanation will be given in the following order.
<1. Embodiment>
[1-1. Terminal device configuration]
[1-2. Content playback device configuration]
[1-3. Processing between the terminal device and the content playback device]
<2. Modification example>
<1.第1の実施の形態>
[1−1.端末装置の構成]
図1は本実施の形態における端末装置100の構成を示すブロック図である。端末装置100は、特許請求の範囲における第2の装置の一例である。端末装置100は、データバス101を備え、このデータバス101には、制御部102、ネットワークインターフェース103、信号処理部104、入力部105、表示部106、通信部107、記憶部108、アプリケーションプロセッサ110が接続されている。
<1. First Embodiment>
[1-1. Terminal device configuration]
FIG. 1 is a block diagram showing a configuration of a
制御部102は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれて動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行することによって、端末装置100の各部および全体の制御を行う。
The
ネットワークインターフェース103は、例えば、所定のプロトコルに基づいて外部基地局などとの間でデータの送受信を行うものである。通信方式は無線LAN(Local Area Network)、Wi−Fi(Wireless Fidelity)、3G回線を用いた通信など、どのような方式でもよい。ネットワークインターフェース103による通信により、端末装置100はインターネット接続、他者との通話などを行うことが可能となる。
The
信号処理部104は、変復調器、AD/DA変換器、音声コーデック(図示せず。)などを備えている。信号処理部104の変復調器で、送信する音声信号を変調し、あるいは受信した信号を復調する。送信する信号は、AD/DA変換器でデジタル信号に変換され、受信した信号はAD/DA変換器でアナログ信号に変換される。そして信号処理部104には、音声を出力するスピーカ111と、音声を入力するマイクロホン112とが接続されている。
The
入力部105は、ユーザが端末装置100に対して各種入力を行うための入力手段である。例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部105は、表示部106と一体に構成されたタッチスクリーンとして構成してもよい。入力部105に対してユーザによる入力操作がなされると、その入力に対応した制御信号が生成されて制御部102に出力される。そして、制御部102によりその制御信号に対応した演算処理や制御が行われる。
The
表示部106は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示手段である。表示部106には、端末装置100の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報(アーティスト名、曲名など)、動画コンテンツ、画像コンテンツなどが表示される。
The
通信部107は、Bluetooth、USB接続などの方法により端末装置100との通信を行うための通信モジュールである。通信部107における通信方法としては、無線通信であるBluetooth、有線通信であるUSBによる通信などがある。Bluetooth通信を行うBluetoothモジュールは、Bluetooth方式の近距離無線通信によるデータの送受信が可能なモジュールである。Bluetoothモジュールによって、外部Bluetooth機器であるコンテンツ再生装置とのデータのやり取りが行われる。
The
Bluetoothモジュールは、アンテナ、信号処理部(図示せず。)などを備える。例えば外部のBluetooth機器であるコンテンツ再生装置200に音声データを送信する場合等、Bluetoothモジュールは、信号処理部によって送信する音声データに所定の信号処理を施し、その音声データを内蔵するアンテナを介してコンテンツ再生装置200に送信する。また、コンテンツ再生装置200に音声データを送信する場合等、Bluetoothモジュールは、コンテンツ再生装置から送信された音声データを内蔵するアンテナで受信し、内蔵する信号処理部104に供給する。そして、信号処理部において音声データに所定の信号処理を施すことによって音声信号を生成する。これにより、端末装置100で再生した音声データをコンテンツ再生装置200から出力すること、および、コンテンツ再生装置200で再生した音声データを端末装置100から出力することができる。
The Bluetooth module includes an antenna, a signal processing unit (not shown), and the like. For example, when transmitting audio data to a
通信部107における通信方式として有線通信であるUSBを用いる場合には、USBケーブルによってコンテンツ再生装置200と端末装置100とが接続される。音声データはUSBケーブルを介して端末装置100からコンテンツ再生装置200に供給される。
When USB, which is a wired communication, is used as the communication method in the
よって、本実施の形態においては、端末装置100とコンテンツ再生装置200とを接続し、端末装置100が保存する楽曲データを再生し、その楽曲が音声としてコンテンツ再生装置200から出力されるようにすることもできる。
Therefore, in the present embodiment, the
ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、USB以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。また、通信方式は、端末装置100の機種、OS(Operation System)の種類などに基づいて適宜選択するとよい。
However, the connection method may be any method. In addition to Bluetooth and USB, any connection method that enables arbitrary data communication may be adopted. Further, the communication method may be appropriately selected based on the model of the
記憶部108は、例えば、HDD、フラッシュメモリなどの大容量記憶媒体から構成されており、端末装置100によって再生される楽曲などのコンテンツデータなどを保存するものである。楽曲データは、WAV(RIFF waveform Audio Format)、またはMP3(MPEG Audio Layer-3)、AAC(Advanced Audio Coding)などの方式で音声圧縮された状態で記憶部108に記憶される。また、楽曲のアーティスト名、アルバム名、曲名、総再生時間、再生時間情報などを含む楽曲情報も楽曲データのメタデータとして記憶部108に保存されている。楽曲情報は例えば、CDDB(Compact Disc Data Base)を利用することにより取得することができる。また、ユーザが任意に設定できるようにしてもよい。
The
音声認識部109は、例えば、CPU、ROM、RAMなどから構成され、通信部107から供給された音声データに基づいて言語認識を行い、音声信号に含まれる言葉を単語単位で認識してキーワードを抽出する。なお、音声認識の手法は種々提案されているため、音声認識部109は、いずれかの手法を利用して音声認識処理を行うとよい。
The
音声認識の手法としては、例えば、学習用データから音声の特徴を蓄積し、その特徴と供給された音声とを比較してキーワードを抽出する手法、隠れマルコフモデル(HMM:Hidden Markov Model)を用いた手法などがある。音声認識部109は、抽出したキーワードを例えば、テキストデータなどの所定の形式のデータとしてアプリケーションプロセッサ110に供給する。
As a speech recognition method, for example, a method of accumulating speech features from training data, comparing the features with the supplied speech, and extracting keywords, a hidden Markov model (HMM) is used. There is a method that was used. The
アプリケーションプロセッサ110は、例えば、CPU、ROM、RAMなどから構成され、端末装置100にインストールされた各種アプリケーションを実行する処理部である。アプリケーションとしては、例えば、音楽再生、動画再生、地図、天気、ナビゲーション、ゲーム、インターネットブラウザ、動画共有サイト利用、計算機などの様々な種類がある。
The application processor 110 is, for example, a processing unit composed of a CPU, a ROM, a RAM, and the like, and executes various applications installed in the
本技術は、端末装置100にインストールされる情報処理アプリケーションがアプリケーションプロセッサ110に実行されることにより実現される。アプリケーションプロセッサ110は情報処理アプリケーションを実行することにより、情報取得部121、共有情報生成部122、送信制御部123、表示制御部124、アプリケーション実行部125として機能する。情報処理アプリケーションの実行により実現される各機能が特許請求の範囲における情報処理装置に相当する。
The present technology is realized by executing an information processing application installed in the
情報取得部121は、コンテンツ再生装置200が有するコンテンツソースからのコンテンツを出力するアプリケーション(特許請求の範囲における第1の装置が有するアプリケーションに相当する)を示す情報(第1のアプリケーション情報)を通信部107を介してコンテンツ再生装置200から取得する。コンテンツソースとしてはインターネットラジオ、USBなどにより接続された外部ストレージ、ディスク媒体を再生するディスク媒体モジュールなどがある。
The
また、情報取得部121は、端末装置100が有するアプリケーションの中から、ユーザがコンテンツ再生装置200と端末装置100とにおいて共有させるために選択したアプリケーションを示す情報(第2のアプリケーション情報)を取得する。
In addition, the
さらに、情報取得部121は、コンテンツ再生装置200において行われたアプリケーションの選択操作の内容を示す情報(操作情報)を通信部107を介して受信する。操作情報の詳細については後述する。
Further, the
共有情報生成部122は、情報取得部121により取得した第1のアプリケーション情報と第2のアプリケーション情報とを共存させることによって共有情報を生成する。共有情報は、端末装置100において用いられるとともに、通信制御部102による制御のもと通信部107を介してコンテンツ再生装置200に送信される。このように、共有情報は、コンテンツ再生装置200と端末装置100間で共有されるものである。
The shared
共有情報は例えば、図2に示されるように、第1のアプリケーション情報と第2のアプリケーション情報に示されるアプリケーションが順序付けられたリスト形式の情報である。この順序は、端末装置100およびコンテンツ再生装置の表示部106におけるアプリケーションを示すアイコンの表示順序に対応している。
The shared information is, for example, as shown in FIG. 2, information in the form of a list in which the applications shown in the first application information and the second application information are ordered. This order corresponds to the display order of the icons indicating the application on the
なお、本技術においては、Bluetoothを用いて通信を行う場合には、シリアルポートプロファイルを用いて端末装置100とコンテンツ再生装置200間で第1のアプリケーション情報、共有情報、操作情報などの送受信が行われる。また、コンテンツ再生装置200と端末装置100との接続にUSBを用いる場合には、iAPを用いて第1のアプリケーション情報、共有情報、操作情報などの送受信が行われる。
In this technology, when communicating using Bluetooth, the first application information, shared information, operation information, etc. are transmitted and received between the
シリアルポートプロファイル、iAPでは任意の情報の送受信が可能であるため、それらを利用することにより、本技術に用いられる上述した各種情報の送受信を行うことができる。ただし、上述した各種情報を送受信することが出来る方法であれば、他の方法を用いてもよい。また、Bluetooth、USB以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。 Since the serial port profile and iAP can send and receive arbitrary information, it is possible to send and receive the above-mentioned various information used in the present technology by using them. However, other methods may be used as long as the above-mentioned various information can be transmitted and received. In addition to Bluetooth and USB, any connection method that enables arbitrary data communication may be adopted.
表示制御部124は、共有情報に基づいて、コンテンツ再生装置200のコンテンツソース用アプリケーション(コンテンツソース内のコンテンツを再生するアプリケーション)と、ユーザが選択した端末装置100のアプリケーションとを示すアイコンを表示部106に表示する制御を行うものである。また、表示制御部124は、音声認識部109から供給されたキーワードに基づいてアプリケーション実行部125が起動/動作させたアプリケーションに対応した表示制御を行う。
Based on the shared information, the
アプリケーション実行部125は、音声認識部109から供給されたキーワードに基づいて端末装置100にインストールされたアプリケーションを起動し、さらにそのアプリケーションを動作させる。キーワードに基づきアプリケーションを起動、動作させる方法としては、例えば、予めアプリケーションの起動および動作と、それに対応したキーワードをテーブルとして保持しておく。そして、音声認識部109からキーワードが供給されると、アプリケーションプロセッサ110はそのテーブルを参照して、キーワードに対応するアプリケーションまたは動作を検索する。そして、キーワードに対応するアプリケーションまたは動作が存在する場合にはそのアプリケーションの起動または動作を実行する。
The
例えば、入力されたキーワードがアプリケーション名である場合にはアプリケーションを起動する。そして、例えば、ナビゲーションアプリケーションが起動している状態で、地名がキーワードで入力された場合には、その地名までのルートを検索してナビゲーション開始する。また、動画共有サイト利用アプリケーションが起動している状態で、キーワードが入力された場合には、アプリケーションにそのキーワードで動画検索行い、検索結果の提示、動画再生、動画停止、早送り、巻戻しなどを行う。アプリケーション実行部125は入力されたキーワードに基づいてこのような処理を行う。
For example, if the entered keyword is the application name, the application is started. Then, for example, when a place name is input by a keyword while the navigation application is running, the route to the place name is searched and navigation is started. In addition, if a keyword is entered while the application for using the video sharing site is running, the application will be searched for videos using that keyword, and search results will be presented, video playback, video stop, fast forward, rewind, etc. will be performed. conduct. The
なお、上述の方法以外にも、供給されたキーワードに基づいて、それに対応するアプリケーションの起動、動作を実行することが出来る方法であればどのような方法を採用してもよい。 In addition to the above-mentioned method, any method may be adopted as long as it is possible to start and operate the corresponding application based on the supplied keyword.
なお、情報処理アプリケーションは予め端末装置100にインストールした状態でユーザに提供するようにしてもよいし、ユーザが自ら端末装置100にインストールするようにしてもよい。情報処理アプリケーションは、例えば、インターネット上のアプリケーション販売サイト、アプリケーションダウンロードサービスを介して提供または販売される。また、情報処理アプリケーションが記録された光ディスクや半導体メモリなどの可搬型記録媒体によって提供または販売されてもよい。
The information processing application may be provided to the user in a state of being installed in the
スピーカ111は音声を出力するための音声出力手段であり、信号処理部104により所定の処理が施された音声信号などを音声として出力する。これによりユーザは通話音声、端末装置100に保存された音声データなどを聴取することができる。また、マイクロホン112は通話、音声による指示入力などのために音声を端末装置100に入力するためのものである。マイクロホン112から入力された音声は信号処理部104によって所定の処理が施される。
The
以上のようにして端末装置100が構成されている。端末装置100としては、携帯電話機、スマートフォン、携帯音楽プレーヤ、タブレット端末などがある。また、図示はしないが、端末装置100には撮像部と画像処理部などからなるカメラ機能、ラジオ機能などが設けられていてもよい。
The
図3は、端末装置100の外観構成の一例を示す図である。図3においては、端末装置100の表示部106および、入力部105としてのタッチスクリーンおよび入力部105としてのボタンが示されている。
FIG. 3 is a diagram showing an example of the appearance configuration of the
端末装置100の表示部106には共有情報で示されたアプリケーションを示す複数のアイコン131、131、・・が表示されている。本実施の形態では、コンテンツ再生装置のコンテンツソースと端末装置100においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。
A plurality of
ユーザは、表示部106に表示されたアイコン131に指を接触させる、または入力部105としてのボタンを押圧することにより、アプリケーションを選択する。アプリケーションが選択されると、例えば、図4Aの状態から図4Bの状態へと、選択されたアプリケーションを示す太枠状のカーソル132が移動する。その後、例えば、選択したアプリケーションのアイコン131に再度入力を行うなどによりアプリケーション決定入力を行うと、選択されたアプリケーションが起動する。
The user selects an application by touching the
ここで、端末装置100におけるページ送り操作について説明する。図4Aは、端末装置100の表示部106においてアプリケーションを示す複数のアイコン131が表示されている1ページ目を示すものである。1ページ目が表示されている図4Aの状態において、タッチスクリーンに対する入力などにより画面を横方向にスライドさせる。そうすると、図4Bに示されるように、1ページ目がスライド方向に流れて消えていくと同時に、2ページ目が表示部106の端からスライドして現れてくる遷移状態となる。そして、その遷移状態を経て、2ページ目のスライド動作が完了すると図4Cに示されるように2ページ目全体が表示部106に表示される。2ページ目に表示されるアイコン131は1ページ目に表示されたものとは異なっている。この一連の表示部106のおける表示の遷移を「ページ送り」と称し、それを行うための入力操作を「ページ送り操作」と称する。
Here, the page feed operation in the
なお、図4の説明は1ページ目から2ページ目への遷移を例にして説明したが、2ページ目から3ページ目、3ページ目から4ページ目、2ページ目から1ページ目なども同様にページ送りが可能である。端末装置100においてはインストールされるアプリケーションの数によってページ数が異なる。アプリケーションの数が多い場合にはそれに伴いページ数も増えていく。
Although the explanation of FIG. 4 has been described by taking the transition from the first page to the second page as an example, the second page to the third page, the third page to the fourth page, the second page to the first page, and the like are also described. Similarly, page turning is possible. In the
通常、携帯電話機、スマートフォン、タブレット端末などにおけるアプリケーションのアイコン表示は縦5×横4、縦4×横4などの配置で行われるのが通常である。しかし、本実施の形態において表示制御部124は、図4に示されるように例えば縦2×横2など、よりアイコンが大きく表示されるように表示制御を行うようにしてもよい。これにより、端末装置100における入力操作が容易となる。
Normally, the icon display of an application on a mobile phone, a smartphone, a tablet terminal, or the like is usually performed in an arrangement such as vertical 5 × horizontal 4 and vertical 4 × horizontal 4. However, in the present embodiment, the
なお、図4に示される端末装置100の外観構成、表示部106における表示態様、入力部105としてのボタンの配置はあくまで一例であり、それらは図4に示されるものに限られるものではない。
The appearance configuration of the
[1−2.コンテンツ再生装置の構成]
図5は、本技術の実施の形態におけるコンテンツ再生装置200の構成を示すブロック図である。コンテンツ再生装置200は特許請求の範囲における第1の装置の一例である。コンテンツ再生装置200はいわゆる据え置き型の装置であり、据え置き型の装置としては例えば、車両内でコンテンツを再生するカーオーディオ装置、主に家庭内で用いられるドックスピーカなどがある。
[1-2. Content playback device configuration]
FIG. 5 is a block diagram showing the configuration of the
コンテンツ再生装置200は、制御部201、ラジオ用アンテナ202、チューナ203、ディスク媒体モジュール204、電子ボリューム205、アンプ部206、スピーカ207、リモートコントローラ受光部208、入力部209、通信部210、表示部211、USB端子212、フラッシュROM213、マイクロホン214、サウンドDSP(Digital Signal Processing)215、アプリケーションプロセッサ216とから構成されている。
The
制御部201は例えば、CPU、RAMおよびROMなどから構成されている。ROMには、CPUにより読み込まれて動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行することによって、コンテンツ再生装置200の各部および全体の制御を行う。
The
ラジオ用アンテナ202は、ラジオ放送電波を受信するためのアンテナであり、チューナ203に接続されている。チューナ203は、ラジオ用アンテナ202により受信されたラジオ放送信号の復調やアナログ/デジタル変換、符号化されているデータの復号等の処理などを行い、ラジオ音声データを復元する。ラジオ音声データは制御部201の制御のもと電子ボリューム205、アンプ部206を介してスピーカ207へ送られ、スピーカ207により音声として出力される。
The
ディスク媒体モジュール204は、ディスク状記録媒体に書込まれているオーディオ信号を読出し、読出したオーディオ信号に対して所定の信号処理を施して音声信号を取得するディスク再生装置である。得られた音声信号は、制御部201の制御のもと電子ボリューム205、アンプ部206を介してスピーカ207へ送られ、スピーカ207により音声として出力される。なお、ディスク状記録媒体としてはCD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray Disc)などがある。
The
電子ボリューム205は、制御部201の制御に基づき、ラジオチューナ203、ディスク媒体モジュール204、通信部210、USB端子212などから供給された音声信号を増幅して音量を調整する。音量が調整された音声信号は、アンプ部206に供給される。アンプ部206は、電子ボリューム205から供給された音声信号を所定に増幅し、スピーカ207に供給する。スピーカ207は、アンプ部206から供給された音声信号を外部に音声として出力する音声出力手段である。
Based on the control of the
リモートコントローラ受光部208は、ユーザの操作によりコンテンツ再生装置200付属のリモートコントローラ300から送信されたコントロール信号を受信して制御部201に出力する。
The remote controller
入力部209は、ユーザがコンテンツ再生装置200への各種入力操作を行うための入力手段である。入力部209は例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部209は、表示部211と一体に構成されたタッチスクリーンとして構成してもよい。入力部209に対してユーザによる入力がなされると、その入力に対応した制御信号が生成されて制御部201に出力される。そして、制御部201によりその制御信号に対応した演算処理や制御が行われる。
The
本実施の形態においては、ユーザは、入力部209に対して、アプリケーション選択操作および、選択したアプリケーションを起動するための決定操作などを行うことが可能である。
In the present embodiment, the user can perform an application selection operation, a determination operation for invoking the selected application, and the like on the
表示部211は、例えば、LCD、PDP、有機ELパネルなどにより構成された表示手段である。表示部211には、コンテンツ再生装置200の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報(アーティスト名、曲名など)などが表示される。さらに、コンテンツ再生装置200が動画コンテンツ、画像コンテンツなどにも対応している場合にはそれらも表示される。
The
さらに、入力部209と表示部211によりタッチスクリーンが構成される場合には、表示部211には入力部209としてのソフトボタン、音量調整、コンテンツ選択などの個々の操作画面などのユーザインターフェース画像も表示される。
Further, when the touch screen is configured by the
通信部210は、端末装置100との通信を行うものである。通信部210の構成は端末装置におけるものと同様である。通信部210で受信した端末装置からの音声データはサウンドDSP215に供給される。
The
また、通信方式としてBluetoothを用いる場合、シリアルポートプロファイルを用いて、コンテンツ再生装置200と端末装置100間で、第1のアプリケーション情報、共有情報、操作情報などの送受信を行われる。また、コンテンツ再生装置200と端末装置100との接続にUSBを用いる場合には、iAPを用いて第1のアプリケーション情報、共有情報、操作情報などの任意の情報の送受信が可能となる。
When Bluetooth is used as the communication method, the first application information, shared information, operation information, and the like are transmitted and received between the
ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、USB以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。 However, the connection method may be any method. In addition to Bluetooth and USB, any connection method that enables arbitrary data communication may be adopted.
USB端子212は、コンテンツ再生装置200に外部装置、外部記録媒体などを接続するためのUSB規格に準拠した接続端子である。USB端子212には例えば、音声データは格納する外部HDD(Hard Disc Drive)、USBメモリなどの外部ストレージが接続される。外部ストレージに格納された音声データは制御部201による制御のもと電子ボリューム205、アンプ部206を介してスピーカ207へ送られ、スピーカ207により音声として出力される。
The
フラッシュROM213は不揮発性メモリであり、Bluetooth機器に関する情報である機器情報やラジオ放送の周波数情報といった各種のデータが格納される。そして、格納された機器情報や周波数情報が制御部201からの要求に応じて読出され、制御部201に供給される。
The
マイクロホン214は、ユーザが発した音声を取得するものであり、マイクロホン214に入力された声は音声信号に変換され、アプリケーションプロセッサ216に供給される。音声信号はアプリケーションプロセッサ216によりサウンドDSP215に供給される。
The
サウンドDSP215は、通信部210としてのBluetoothモジュールなどから供給された音声データに対して所定の音声信号処理を施して電子ボリューム205に供給する。音声信号は電子ボリューム205、アンプ部206を介して最終的に音声としてスピーカ207から出力される。
The
また、サウンドDSP215は、マイクロホン214からの音声信号に対して、ノイズキャンセリング処理を施す。ノイズキャンセリングの手法は種々提案されているため、任意の手法を利用してノイズキャンセリング処理を行うとよい。ノイズキャンセリングの手法としては、例えば、マイクロホン214で取得した騒音、環境音とは逆の位相の音波成分を発生させて互いを消し合うことにより、ユーザの声以外のノイズを低減させる方法などがある。
Further, the
アプリケーションプロセッサ216は、端末装置における情報処理アプリケーションの動作に対応してコンテンツ再生装置200側で所定の処理を行うものである。アプリケーションプロセッサ216は、所定のアプリケーションを実行することにより情報取得部217、および表示制御部218として機能する。
The
情報取得部217は、端末装置100から送信された共有情報を通信部210を介して取得する。また、情報取得部217は、端末装置100においてユーザにより行われたアプリケーションの選択操作を示す情報(操作情報)を通信部210を介して取得する。
The
表示制御部218は、情報取得部217により取得した共有情報に基づいて、表示部211における表示制御を行うものである。また、アプリケーションの選択を示すカーソルなどの表示制御も行う。さらに、操作情報に基づいた表示部211における表示の更新処理も行う。これら表示制御の詳細については後述する。
The
本実施の形態においては、コンテンツ再生装置200には、チューナ、USB接続されており音声データを蓄えた外部ストレージ、ディスク媒体モジュールの3つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。1つのコンテンツソースを備えていてもよいし、より多くのコンテンツソースを備えていてもよい。
In the present embodiment, the
図6は、コンテンツ再生装置200のフロントパネルの外観構成の一例を示す図である。図6においては、コンテンツ再生装置200のフロントパネルに設けられた入力部209および表示部211が示されている。
FIG. 6 is a diagram showing an example of the appearance configuration of the front panel of the
コンテンツ再生装置200の表示部211には共有情報で示されたアプリケーションを示す複数のアイコン231、231、・・が表示されている。本実施の形態では、コンテンツ再生装置200のコンテンツソースと端末装置100においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。
A plurality of
図6に示す例においては、ユーザにより選択されたアプリケーションは表示部211の略中央において表示されることとなる。図6においてはUSBが選択されている。そして、ユーザが異なるアプリケーションを選択すると、図6Aに示される状態からアイコンが横に移動し、図6Bに示す状態となる。図6Bにおいては、表示部211の略中央には次に選択されたMUSICのアイコンが表示される。なお、「USB」とは、USB端子212に接続された外部ストレージに保存された音声データを再生するアプリケーションを示すアイコンである。また、「MUSIC」はディスク媒体モジュールの音声データを再生するアプリケーションを示すアイコンである。
In the example shown in FIG. 6, the application selected by the user is displayed at substantially the center of the
なお、図6に示されるコンテンツ再生装置200の外観構成、表示部211における表示態様はあくまで一例であり、それらは図6に示されるものに限られるものではない。例えば、コンテンツ再生装置200における表示も端末装置における表示と同様に、アイコンを一列ではなく、複数列に並べて表示してもよい。
The appearance configuration of the
[1−3.端末装置とコンテンツ再生装置間における処理]
次に、上述した端末装置100とコンテンツ再生装置200間における処理について説明する。
[1-3. Processing between the terminal device and the content playback device]
Next, the processing between the
本技術においては、第1の装置であるコンテンツ再生装置200の表示部211と、第2の装置である端末装置100の表示部106に、共有するアプリケーションを示すアイコンが表示される。また、いずれか一方の装置においてアプリケーションの選択操作を行うと、それに連動して他方の装置において、同一のアプリケーションを選択する動作が行われる。
In the present technology, an icon indicating a shared application is displayed on the
よって、例えば、端末装置100におけるアプリケーションをコンテンツ再生装置200に対する入力で選択することが可能となる。そして、アプリケーション選択後、一方の装置においてアプリケーション決定操作を行うと、そのアプリケーションを備える他方の装置においてアプリケーション決定がなされてそのアプリケーションが起動することなる。よって、一方の装置に対する操作で、他方の装置におけるアプリケーションの選択および起動が可能となる。
Therefore, for example, the application in the
また、コンテンツ再生装置200のマイクロホン214に対して音声入力を行うと、その音声が端末装置100に送信され、端末装置100において音声認識およびその音声認識により抽出されたキーワードによりアプリケーションの起動/動作が行われる。よって、ユーザは、端末装置100に触れることなく端末装置100におけるアプリケーションを利用することができる。
Further, when voice input is performed to the
図7はコンテンツ再生装置200と端末装置100間の情報の受け渡しの説明するための概念図である。図8はコンテンツ再生装置200と端末装置100間における処理を示すシーケンス図である。図9は、コンテンツ再生装置200と端末装置100においてアプリケーションの選択が同期している状態を示す図である。
FIG. 7 is a conceptual diagram for explaining the transfer of information between the
まず、処理の前提として、図7に示されるように、端末装置100には例えば、ゲーム、天気、MAPなどの複数のアプリケーションがインストールされている。また、上述したように情報処理アプリケーションもインストールされているものとする。
First, as a premise of processing, as shown in FIG. 7, a plurality of applications such as games, weather, and MAP are installed in the
そして、事前に、図7中(1)に示されるように、ユーザは端末装置100にインストールされているアプリケーションの中からコンテンツ再生装置200と共有するアプリケーションを選択しており、情報取得部121は、その選択されたアプリケーションの情報(第2のアプリケーション情報)を取得しているものとする。
Then, as shown in FIG. 7 (1) in advance, the user has selected an application to be shared with the
また、コンテンツ再生装置200は、1または複数のコンテンツソースを備える。図5および図7に示されるように本実施の形態においては、コンテンツ再生装置200はラジオチューナ、USB接続され、音声データを蓄えた外部ストレージ、ディスク媒体モジュールの3つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。
In addition, the
まず、ステップS1で、コンテンツ再生装置200と端末装置100との接続が行われる。接続は上述したように双方の通信部においてBluetooth、USB接続などの方法により行われる。Bluetoothで接続された場合にはシリアルポートプロファイルを利用してコンテンツ再生装置200と端末装置100間の情報の送受信が行われる。USBにより接続された場合にはiAPを利用してコンテンツ再生装置200と端末装置100間の情報の送受信が行われる。
First, in step S1, the
コンテンツ再生装置200と端末装置100との接続が確立した場合、次にステップS2で、端末装置100からコンテンツ再生装置200に対して接続完了通知が送信される。なお、図8に示される処理とは逆に、端末装置100からコンテンツ再生装置200に対して接続がなされ、コンテンツ再生装置200から端末装置100へ接続完了通知がなされるようにしてもよい。
When the connection between the
次にステップS3で、図7中(2)に示されるように、コンテンツ再生装置200から端末装置100に対して、コンテンツ再生装置200が備えるコンテンツソース再生用アプリケーションの種類を示す情報(第1のアプリケーション情報)が送信される。図7においては、コンテンツ再生装置200がチューナ、USB接続された外部ストレージ、ディスク媒体モジュールの3つのコンテンツソースを有していることを示す情報がコンテンツ再生装置200に送信される。
Next, in step S3, as shown in FIG. 7 (2), information indicating the type of the content source playback application included in the
次にステップS4で、端末装置100の共有情報生成部122は、ユーザにより選択された第2のアプリケーション情報と、第1のアプリケーション情報とをまとめて、双方の装置のアプリケーション情報を共存させることにより共有情報を生成する。共有情報は、図4を参照して上述したように、アプリケーションの種別が順序付けられたリスト形式のものである。共有情報にはコンテンツ再生装置200のアプリケーションと端末装置100とアプリケーションの両方が含まれている。
Next, in step S4, the shared
次にステップS5で、図4中の(3)に示されるように、端末装置100の送信制御部123の制御のもと、端末装置100からコンテンツ再生装置200に対して共有情報が送信される。この共有情報によってコンテンツ再生装置200と端末装置100とは互いのアプリケーションの情報を共有する。そして、ステップS6で、端末装置100の表示制御部124は共有情報に基づいた表示処理を行う。これにより、図9A上段に示されるように、端末装置100の表示部106においてコンテンツ再生装置200におけるコンテンツソースと、端末装置100においてユーザが選択したアプリケーションとを示すアイコンが表示される。
Next, in step S5, as shown in (3) in FIG. 4, shared information is transmitted from the
また、ステップS7においても同様に、コンテンツ再生装置200の表示制御部218は、共有情報に基づいた表示処理を行う。これにより、図9B上段に示されるように、コンテンツ再生装置200の表示部211においてコンテンツ再生装置200におけるコンテンツソースと、端末装置100においてユーザが選択したアプリケーションとを示すアイコンが表示される。
Similarly, in step S7, the
なお、図8のシーケンス図においては端末装置100における表示制御の後にコンテンツ再生装置200における表示制御が行われるように記載されているが、順序はそれに限られず、双方の表示制御はほぼ同時に行われるのが望ましい。
In the sequence diagram of FIG. 8, it is described that the display control in the
次にステップS8で、コンテンツ再生装置200は共有情報に示されるアプリケーションの中の1番目のアプリケーションを選択状態にする。選択状態とは、例えば、カーソルの移動によってアプリケーションの選択を行う場合にはそのカーソルを一番目のアプリケーションに合わせることである。そして、ステップ9で端末装置100側の情報取得部121は、コンテンツ再生装置200の操作情報を取得する。なお、ステップS9で取得される操作情報は、共有情報で示されるアプリケーションの中の1番目に位置するアプリケーションが選択されたことを示す情報である。
Next, in step S8, the
次にステップS10で、端末装置100の表示制御部124は、操作情報に基づいて端末装置100の表示部106における表示を更新する。なお、この場合、表示制御部124は、共有情報において一番目に位置するアプリケーションが選択されたことを示す表示となるように表示制御を行う。例えば、アプリケーション選択用カーソルを1番目のアプリケーションに合わせるなどである。
Next, in step S10, the
以上、ステップS10までの処理により、コンテンツ再生装置200と端末装置100とが互いにコンテンツ再生装置200のソースと、端末装置100のアプリケーションを共有した同期状態となる。
As described above, by the processing up to step S10, the
次にステップS11で、コンテンツ再生装置200は、音声認識モードへの遷移を指示するユーザからの入力操作を受け付ける。この入力はコンテンツ再生装置200の入力部209に対して行われる。音声認識モードへの遷移を指示する入力操作を受け付けると、次にステップS12で、コンテンツ再生装置200から端末装置100に対して、音声認識モードへの遷移の要求が行われる。
Next, in step S11, the
次にステップS13で、端末装置100は、コンテンツ再生装置200からの要求に従い音声認識モードに遷移する。端末装置100が音声認識モードに遷移すると、音声認識部109がオンとなる。さらに、音声認識部109に対する音声入力のソースをマイクロホン112から通信部107に切り替える。これにより、マイクロホン112に入力される音声ではなく、通信部107を介してコンテンツ再生装置200から入力される音声によって端末装置100が操作可能となる。よって、コンテンツ再生装置200が端末装置100の音声入力源として機能することとなる。
Next, in step S13, the
次にステップS14で、端末装置100はコンテンツ再生装置200に対して音声認識モードに遷移したことの通知を行う。そして、ステップS15で、音声認識モードに遷移したことの通知を受けたコンテンツ再生装置200は、音声取得モードに遷移して、マイクロホン214をオンにして音声取得を開始する。この状態で、ユーザは、コンテンツ再生装置200のマイクロホン214に対して起動したいアプリケーション名、キーワードなどを声で入力する。
Next, in step S14, the
コンテンツ再生装置200のマイクロホン214でユーザからの音声を取得すると、サウンドDSP215により音声信号に対してノイズキャンセリング処理が施される。そして、ステップS16でコンテンツ再生装置200は、通信部210を介してその音声信号を端末装置100に送信する。
When the voice from the user is acquired by the
次にステップS17で、端末装置100の音声認識部109は音声信号に対して音声認識処理を行ってキーワードを抽出する。その抽出結果を示すキーワード情報は、アプリケーションプロセッサ110に供給される。そしてステップS18で、アプリケーションプロセッサ110のアプリケーション実行部125は、供給されたキーワードに対応するアプリケーションを起動する。
Next, in step S17, the
また、アプリケーション実行部125は、アプリケーションの起動後に音声認識部109からキーワードが供給されると、そのキーワードに対応したアプリケーションの動作を実行する。キーワードに基づきアプリケーション動作させる方法としては、上述したように、例えば、予め、アプリケーションの動作と対応したキーワードをテーブルとして保持しておき、そのテーブルを参照することにより、キーワードに対応する動作を実行する。
Further, when the keyword is supplied from the
例えば、ナビゲーション用アプリケーションの場合、「ナビゲーション」と音声入力してアプリケーションを起動させた後、「東京駅」と目的地を示すキーワードを音声入力する。そうすると、ナビゲーション用アプリケーションがユーザの現在地から東京駅までのナビゲーションを開始する。 For example, in the case of a navigation application, after voice inputting "navigation" to start the application, voice input of "Tokyo Station" and a keyword indicating the destination is performed. Then, the navigation application starts navigation from the user's current location to Tokyo Station.
なお、音声入力によりアプリケーションの起動とアプリケーションの動作を指示する場合、「ナビゲーション、東京駅」と、アプリケーションの起動を指示するキーワードと、アプリケーションの動作を指示するキーワードとを連続で入力できるようにしてもよい。 When instructing the start of the application and the operation of the application by voice input, "Navigation, Tokyo Station", the keyword instructing the start of the application, and the keyword instructing the operation of the application can be continuously input. May be good.
また、ユーザが使用するアプリケーションがすでに起動している場合には、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作のみを音声入力すればよい。 If the application used by the user has already been started, it is sufficient to input only the operation desired to be executed by the application without performing voice input for starting the application.
例えば、ラジオアプリケーションが既に起動している場合、「FM79.5」などのラジオ局を示すキーワードを音声入力すれば、ラジオアプリケーションが「FM79.5MHz」にチューニングする。 For example, if the radio application is already running, the radio application can be tuned to "FM79.5MHz" by inputting a keyword indicating a radio station such as "FM79.5" by voice.
また、動画共有サイト用アプリケーションが起動している場合には「ビートルズ」などの検索対象となるキーワードを音声入力すれば、動画共有サイト用アプリケーションが「ビートルズ」について検索を行い、検索結果を提示し、動画の再生を行う。 In addition, if the application for the video sharing site is running, if you enter a keyword to be searched such as "The Beatles" by voice, the application for the video sharing site will search for "The Beatles" and present the search results. , Play the video.
このように、本技術によれば、コンテンツ再生装置200に対して音声入力を行うことにより端末装置100のアプリケーションを起動、動作させることができる。例えば、例えばユーザが車両で運転中である場合、ユーザは、スマートフォンなどの端末装置100を操作することはできない。しかし、コンテンツ再生装置200がカーオーディオ装置である場合、本技術を用いることによって、ユーザが車両で運転中であっても、コンテンツ再生装置200に対する音声入力により端末装置100を操作することができる。
As described above, according to the present technology, the application of the
また、端末装置100に送信する音声信号に対してノイズキャンセリング処理を施すことにより、車内などの騒音環境下であっても、端末装置100の音声認識率を落とすことなく使用することが可能となる。
Further, by performing noise canceling processing on the voice signal transmitted to the
スマートフォンなどの端末装置を所有しているユーザにとっては、音声認識用モジュールを備える高価なオーディオ機器を購入することなく、比較的低価格なオーディオ機器で音声認識機能を利用することができる。 For a user who owns a terminal device such as a smartphone, the voice recognition function can be used with a relatively low-priced audio device without purchasing an expensive audio device equipped with a voice recognition module.
さらに、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作を示すキーワードのみを音声入力することにより、アプリケーションの起動とキーワードに基づく処理を行うようにしてもよい。詳しくは、キーワードが音声入力されると、そのキーワードに対応した動作を実行するのに最適なアプリケーションを端末装置が判断して、自動でアプリケーションを起動した後にキーワードに基づく動作を実行するようにする。 Further, the application may be started and the processing based on the keyword may be performed by inputting only the keyword indicating the operation desired to be executed by the application without performing the voice input for starting the application. Specifically, when a keyword is input by voice, the terminal device determines the most suitable application to execute the operation corresponding to the keyword, automatically starts the application, and then executes the operation based on the keyword. ..
なお、上述のように、端末装置100とコンテンツ再生装置200とは、互いの有するアプリケーションについての情報を共有している。そこで、ステップS10において、共有情報および選択情報に基づいて表示更新を行ったのと同様にして、端末装置100の表示制御部124は、キーワードにより起動されたアプリケーションを示す情報を表示部106に表示するようにするとよい。さらに、コンテンツ再生装置200の表示制御部218は、端末装置100において起動したアプリケーションを表示部211に表示するようにするとよい。これにより、ユーザは、端末装置100の表示部106を目視することにより、起動しているアプリケーションを確認することができる。
As described above, the
また、端末装置100とコンテンツ再生装置200は、互いの有するアプリケーションについての情報を共有している。したがって、端末装置100とコンテンツ再生装置200は互いが有するアプリケーションを把握しており、図9に示されるように、端末装置100とコンテンツ再生装置200の両方において互いのアプリケーションが表示される。よって、端末装置100の入力部105に対する入力操作に応じて、端末装置100からコンテンツ再生装置200に操作情報を送信することにより、端末装置100に対する操作でコンテンツ再生装置200のアプリケーションを起動、動作させるようにしてもよい。また、コンテンツ再生装置200に対して入力された音声を端末装置100に送信し、端末装置100のアプリケーションプロセッサ110が入力された音声に応じた処理を行い、コンテンツ再生装置200に対してアプリケーションの起動、動作の指示を行うようにしてもよい。これにより、端末装置100とコンテンツ再生装置200とでアプリケーションの起動および動作がシームレスなものとなり、ユーザは装置のいずれかの装置であるかを意識することなくアプリケーションを使用することが可能となる。
Further, the
車両の運転中は携帯電話機、スマートフォンなどの端末装置100を操作することは法律により禁止されている。そこで、コンテンツ再生装置200を車両におけるカーオーディオシステムとして利用し、コンテンツ再生装置200に対する音声入力で端末装置100のアプリケーションを起動/動作させるようにする。これにより、端末装置100、コンテンツ再生装置200を直接操作しなくても端末装置100におけるアプリケーションの起動/動作が可能となる。
It is prohibited by law to operate a
<6.変形例>
以上、本技術の一実施の形態について具体的に説明したが、本技術は、上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
<6. Modification example>
Although one embodiment of the present technology has been specifically described above, the present technology is not limited to the above-described embodiment, and various modifications based on the technical idea of the present technology are possible.
実施の形態では第1の装置をコンテンツ再生装置200とし、第2の装置を端末装置100としたが、具体的な装置はそれに限られるものではない。双方向通信を行うことができる装置であればどのようなものにも適用することができる。例えば、第1の装置、第2の装置共に携帯電話機、スマートフォン、タブレット端末などの端末装置100であってもよい。また、一方の装置がテレビジョン受像機であり、他方の装置が端末装置100であるという組み合わせでもよい。
In the embodiment, the first device is the
100・・・端末装置
105・・・入力部
106・・・表示部
107・・・通信部
109・・・音声認識部
110・・・アプリケーションプロセッサ
121・・・情報取得部
122・・・共有情報生成部
123・・・送信制御部
124・・・表示制御部
125・・・アプリケーション実行部
200・・・コンテンツ再生装置
209・・・入力部
210・・・通信部
211・・・表示部
214・・・マイクロホン
216・・・アプリケーションプロセッサ
217・・・情報取得部
218・・・表示制御部
100 ...
Claims (20)
音声情報を取得する音声情報取得部と、
携帯端末装置と通信する通信部と、
を備え、
前記通信部は、前記車載装置のみが有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、前記音声情報取得部によって取得された前記音声情報を、前記車載装置のみが有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信し、
前記共有情報によって前記表示部に共存して表示されるアプリケーションのアイコンは少なくとも電話アプリケーションのアイコンを含む
車載装置。 In in-vehicle equipment
The voice information acquisition unit that acquires voice information,
With the communication unit that communicates with the mobile terminal device,
With
The communication unit receives shared information from the mobile terminal device for displaying the application icon possessed only by the vehicle-mounted device and the application icon possessed by the mobile terminal device coexisting on the display unit of the vehicle-mounted device. , The voice information acquired by the voice information acquisition unit is transmitted to the mobile terminal device in order to operate an application possessed only by the vehicle-mounted device or an application possessed by the mobile terminal device.
The application icon coexistingly displayed on the display unit by the shared information is an in-vehicle device including at least a telephone application icon.
請求項1に記載の車載装置 The vehicle-mounted device according to claim 1, wherein the voice information acquisition unit starts acquiring the voice information in response to an instruction from the user.
請求項1に記載の車載装置。 The in-vehicle device according to claim 1, wherein the application of the mobile terminal device is operated in the mobile terminal device based on the voice information transmitted to the mobile terminal device and recognized by the mobile terminal device.
前記表示部は、受信した前記共有情報を表示する
請求項1に記載の車載装置。 With an additional display
The vehicle-mounted device according to claim 1, wherein the display unit displays the received shared information.
請求項4に記載の車載装置。 The fourth aspect of the present invention is based on the operated application, in which the display on the display unit of the in-vehicle device and the display on the screen of the mobile terminal device are synchronized with a state indicating that the application is in the activated state. In-vehicle device.
請求項4に記載の車載装置。 In response to the operation of the application included in the mobile terminal device in the mobile terminal device, the display on the display unit of the in-vehicle device indicates that the application possessed by the mobile terminal device is in the activated state. The vehicle-mounted device according to claim 4, which is modified.
請求項1に記載の車載装置 The vehicle-mounted device according to claim 1, wherein the communication unit transmits a transition request to the voice recognition mode to the mobile terminal device.
請求項1に記載の車載装置。 The vehicle-mounted device according to claim 1, wherein the operation includes at least one of start, play, stop, fast forward, rewind, and search.
車載装置と通信する通信部と、
音声認識部と、
共有情報生成部と、
を備え、
前記共有情報生成部は、前記通信部が前記車載装置から受信した前記車載装置が有するアプリケーションのアイコンに関する情報と、前記携帯端末装置が有するアプリケーションのアイコンに関する情報とに基づいて、前記車載装置が有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を生成し、
前記音声認識部は、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記通信部が前記車載装置から受信した音声情報を認識し、
前記通信部は、前記共有情報を前記車載装置へ送信する
携帯端末装置。 In mobile terminal devices
The communication unit that communicates with the in-vehicle device,
Voice recognition unit and
Shared information generator and
With
The shared information generation unit is included in the in-vehicle device based on information about an application icon of the in-vehicle device received by the communication unit from the in-vehicle device and information about an application icon of the mobile terminal device. A shared information for displaying the application icon and the application icon of the mobile terminal device coexisting on the display unit of the in-vehicle device is generated.
The voice recognition unit recognizes the voice information received from the vehicle-mounted device by the communication unit in order to operate the application of the vehicle-mounted device or the application of the mobile terminal device.
The communication unit is a mobile terminal device that transmits the shared information to the in-vehicle device.
請求項9に記載の携帯端末装置 The mobile terminal device according to claim 9 , wherein the application included in the in-vehicle device or the application included in the mobile terminal device is operated based on the voice recognition result of the voice recognition unit.
前記共有情報に含まれる前記携帯端末装置が有するアプリケーションのアイコンと前記車載装置が有するアプリケーションのアイコンとが共存した状態で前記表示部に表示される
請求項9に記載の携帯端末装置。 Equipped with a display
The mobile terminal device according to claim 9 , wherein the icon of the application included in the shared information and the icon of the application included in the in-vehicle device coexist and are displayed on the display unit.
前記表示制御部は、前記共有情報に含まれるアプリケーションを示す複数のアイコンを前記表示部に表示させる
請求項11に記載の携帯端末装置。 A display control unit for controlling the display of the display unit is provided.
The mobile terminal device according to claim 11 , wherein the display control unit displays a plurality of icons indicating an application included in the shared information on the display unit.
請求項11に記載の携帯端末装置。 The mobile terminal device according to claim 11 , wherein the display on the display unit of the mobile terminal device and the display unit on the vehicle-mounted device are synchronized based on the shared information.
請求項11に記載の携帯端末装置。 The mobile terminal device according to claim 11 , wherein when the display on the display unit of the mobile terminal device is changed, the display on the display unit of the in-vehicle device is changed synchronously.
請求項9に記載の携帯端末装置。 The mobile terminal device according to claim 9 , wherein the shared information is generated by the shared information generation unit after the mobile terminal device and the in-vehicle device are connected.
前記携帯端末装置は、
前記車載装置と通信する通信部と、
音声認識部と、
共有情報生成部と、
を備え、
前記共有情報生成部は、前記携帯端末装置の通信部が前記車載装置から受信した前記車載装置が有するアプリケーションのアイコンに関する情報と前記携帯端末装置が有するアプリケーションのアイコンに関する情報とに基づいて、前記車載装置が有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を生成し、
前記音声認識部は、前記通信部が前記車載装置から受信した音声情報を認識し、
前記携帯端末装置の通信部は、前記共有情報を前記車載装置へ送信し、
車載装置は、
音声情報を取得する音声情報取得部と、
携帯端末装置と通信する通信部と、
を備え、
前記車載装置の通信部は、前記車載装置が有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、前記音声情報取得部によって取得された前記音声情報を、前記車載装置が有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信し、
前記共有情報によって前記表示部に共存して表示されるアプリケーションのアイコンは少なくとも電話アプリケーションのアイコンを含む
情報処理システム。 It consists of a mobile terminal device and an in-vehicle device.
The mobile terminal device is
A communication unit that communicates with the in-vehicle device,
Voice recognition unit and
Shared information generator and
With
The shared information generation unit is based on the information about the application icon of the vehicle-mounted device and the information about the application icon of the mobile terminal device received by the communication unit of the mobile terminal device from the vehicle-mounted device. A shared information for displaying the application icon of the device and the application icon of the mobile terminal device coexisting on the display unit of the in-vehicle device is generated.
The voice recognition unit recognizes the voice information received from the vehicle-mounted device by the communication unit, and receives the voice information.
The communication unit of the mobile terminal device transmits the shared information to the in-vehicle device.
In-vehicle device
The voice information acquisition unit that acquires voice information,
With the communication unit that communicates with the mobile terminal device,
With
The communication unit of the in-vehicle device provides shared information from the mobile terminal device for displaying the application icon of the in-vehicle device and the application icon of the mobile terminal device coexisting on the display unit of the in-vehicle device. The voice information received and acquired by the voice information acquisition unit is transmitted to the mobile terminal device in order to operate the application of the vehicle-mounted device or the application of the mobile terminal device.
The application icon coexistingly displayed on the display unit by the shared information is an information processing system including at least the telephone application icon.
請求項16に記載の情報処理システム。 The information processing system according to claim 16 , wherein the voice recognition unit recognizes the voice information received from the vehicle-mounted device by the communication unit in order to operate an application included in the vehicle-mounted device or an application included in the mobile terminal device. ..
請求項16に記載の情報処理システム。 The information processing system according to the based on the speech recognition result of the speech recognition unit, <br/> claim 16 makes operating the application having the application or the mobile terminal device the vehicle apparatus.
音声情報を取得し、
携帯端末装置と通信し、
前記車載装置のみが有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、取得した前記音声情報を、前記車載装置のみが有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信し、
前記共有情報によって前記表示部に共存して表示されるアプリケーションのアイコンは少なくとも電話アプリケーションのアイコンを含む
車載装置の制御方法。 In in-vehicle equipment
Get voice information,
Communicate with mobile terminal devices,
The voice obtained by receiving shared information from the mobile terminal device for displaying the application icon possessed only by the vehicle-mounted device and the application icon possessed by the mobile terminal device coexisting on the display unit of the vehicle-mounted device. Information is transmitted to the mobile terminal device to operate an application possessed only by the in-vehicle device or an application possessed by the mobile terminal device.
The application icon coexistingly displayed on the display unit by the shared information is a control method of an in-vehicle device including at least an icon of a telephone application.
音声情報を取得し、
携帯端末装置と通信し、
前記車載装置のみが有するアプリケーションのアイコンと前記携帯端末装置が有するアプリケーションのアイコンとを前記車載装置の表示部に共存して表示するための共有情報を前記携帯端末装置から受信し、取得した前記音声情報を、前記車載装置のみが有するアプリケーションまたは前記携帯端末装置が有するアプリケーションを動作させるために前記携帯端末装置に送信し、
前記共有情報によって前記表示部に共存して表示されるアプリケーションのアイコンは少なくとも電話アプリケーションのアイコンを含む
車載装置の制御方法をコンピュータに実行させるプログラム。 In in-vehicle equipment
Get voice information,
Communicate with mobile terminal devices,
The voice obtained by receiving shared information from the mobile terminal device for displaying the application icon possessed only by the vehicle-mounted device and the application icon possessed by the mobile terminal device coexisting on the display unit of the vehicle-mounted device. Information is transmitted to the mobile terminal device to operate an application possessed only by the in-vehicle device or an application possessed by the mobile terminal device.
The application icon displayed coexistingly on the display unit by the shared information is a program that causes a computer to execute a control method of an in-vehicle device including at least an icon of a telephone application.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115814A JP6908169B2 (en) | 2019-02-07 | 2020-07-03 | Terminal equipment |
JP2021106265A JP7243764B2 (en) | 2020-07-03 | 2021-06-28 | In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019020258A JP6733751B2 (en) | 2019-02-07 | 2019-02-07 | In-vehicle device, control method for in-vehicle device, and control program |
JP2020115814A JP6908169B2 (en) | 2019-02-07 | 2020-07-03 | Terminal equipment |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019020258A Division JP6733751B2 (en) | 2019-02-07 | 2019-02-07 | In-vehicle device, control method for in-vehicle device, and control program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021106265A Division JP7243764B2 (en) | 2020-07-03 | 2021-06-28 | In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020191641A JP2020191641A (en) | 2020-11-26 |
JP6908169B2 true JP6908169B2 (en) | 2021-07-21 |
Family
ID=73454803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020115814A Active JP6908169B2 (en) | 2019-02-07 | 2020-07-03 | Terminal equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6908169B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4867942B2 (en) * | 2002-06-21 | 2012-02-01 | アイシン・エィ・ダブリュ株式会社 | Image display device |
JP4127566B2 (en) * | 2007-08-10 | 2008-07-30 | 株式会社リコー | Electronic conference system |
JP2010130223A (en) * | 2008-11-26 | 2010-06-10 | Fujitsu Ten Ltd | Voice activation system and voice activation method |
JP2010130552A (en) * | 2008-11-28 | 2010-06-10 | Fujitsu Ten Ltd | Remote control system and remote control method |
KR20110082881A (en) * | 2010-01-12 | 2011-07-20 | (주)아이디미디어 | Convergence method and apparatus for the vehicle on the basis of cellular phone connectivity |
JP5548541B2 (en) * | 2010-07-13 | 2014-07-16 | 富士通テン株式会社 | Information providing system and in-vehicle device |
-
2020
- 2020-07-03 JP JP2020115814A patent/JP6908169B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020191641A (en) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5928048B2 (en) | Information processing apparatus, information processing method, information processing program, and terminal apparatus | |
JP6915722B2 (en) | In-vehicle device, information processing device, mobile terminal device, information processing system, control method and program of in-vehicle device | |
JP6477822B2 (en) | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
KR101954794B1 (en) | Apparatus and method for multimedia content interface in visual display terminal | |
JP6226020B2 (en) | In-vehicle device, information processing method, and information processing system | |
JP6908169B2 (en) | Terminal equipment | |
JP7243764B2 (en) | In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device | |
JP6733751B2 (en) | In-vehicle device, control method for in-vehicle device, and control program | |
CN113132794A (en) | Live background sound processing method, device, equipment, medium and program product | |
US9414179B2 (en) | Operational control of an apparatus through a terminal device | |
JP2015216586A (en) | Electronic system, media output method and output program | |
KR200400330Y1 (en) | Apparatus of controlling a Multimedia Player using Cellular Phone | |
KR20050121457A (en) | Apparatus and method for link mobile phone with accompaniment device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210614 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6908169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |