JP6477822B2 - 端末装置、端末装置の制御方法および制御プログラム - Google Patents

Description

本技術は端末装置、端末装置の制御方法および制御プログラムに関する。

近年、様々なサービス、機能を提供する多種多様なアプリケーションを有する携帯電話機、スマートフォンなどの携帯端末装置が普及している。そして、よりアプリケーションによる利便性を高めるために、それら携帯端末装置と他の装置との連携が望まれている。そこで、端末装置と車載装置とを連携させることにより、車載装置を音声作動させる音声作動システムが提案されている（特許文献１）。

特開２００９−３００５３７号公報

特許文献１に記載された技術は、音声の取得を端末装置に設けられたマイクロホンで行うものである。しかし、自動車内においては走行中に携帯電話機、スマートフォンなどの端末装置を操作することができないため、端末装置は必ずしも音声取得に適した装置であるとはいえない。

本技術は、このような点に鑑みてなされたものであり、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させる端末装置を提供することを目的とする。

上述した課題を解決するために、第１の発明は、車載装置と通信する端末装置において、アプリケーションを実行する実行部と、車載装置からアプリケーション情報を取得する情報取得部と、取得した車載装置のアプリケーション情報と端末装置のアプリケーション情報を共存させた共有情報を生成する共有情報生成部と、車載装置に共有情報を送信する送信制御部と、ユーザからの入力操作によりオンになり、端末装置および車載装置のアプリケーションを動作させるために車載装置で取得された音声を認識する音声認識部とを備える端末装置である。

本技術によれば、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させることができるため、端末装置を操作せずに端末装置を動作させることができる。

図１は、本技術の係る第２の装置の一例である端末装置の構成を示すブロック図である。 図２は、共有情報の具体例を示す図である。 図３は、端末装置の外観構成の例を示す図である。 図４は、端末装置の表示部におけるページ送り操作について説明するための図である。 図５は、本技術に係る第１の装置の一例であるコンテンツ再生装置の構成を示すブロック図である。 図６は、コンテンツ再生装置の外観構成の例を示す図である。 図７は、端末装置とコンテンツ再生装置間の情報の受け渡しの説明するための概念図である。 図８は、端末装置とコンテンツ再生装置間で行われる処理の流れを示すシーケンス図である。 図９は、コンテンツ再生装置と端末装置におけるアプリケーション選択表示の連動を示す図である。

以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．端末装置の構成］
［１−２．コンテンツ再生装置の構成］
［１−３．端末装置とコンテンツ再生装置間における処理］
＜２．変形例＞

＜１．第１の実施の形態＞
［１−１．端末装置の構成］
図１は本実施の形態における端末装置１００の構成を示すブロック図である。端末装置１００は、特許請求の範囲における第２の装置の一例である。端末装置１００は、データバス１０１を備え、このデータバス１０１には、制御部１０２、ネットワークインターフェース１０３、信号処理部１０４、入力部１０５、表示部１０６、通信部１０７、記憶部１０８、アプリケーションプロセッサ１１０が接続されている。

制御部１０２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、端末装置１００の各部および全体の制御を行う。

ネットワークインターフェース１０３は、例えば、所定のプロトコルに基づいて外部基地局などとの間でデータの送受信を行うものである。通信方式は無線ＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（Wireless Fidelity）、３Ｇ回線を用いた通信など、どのような方式でもよい。ネットワークインターフェース１０３による通信により、端末装置１００はインターネット接続、他者との通話などを行うことが可能となる。

信号処理部１０４は、変復調器、ＡＤ／ＤＡ変換器、音声コーデック（図示せず。）などを備えている。信号処理部１０４の変復調器で、送信する音声信号を変調し、あるいは受信した信号を復調する。送信する信号は、ＡＤ／ＤＡ変換器でデジタル信号に変換され、受信した信号はＡＤ／ＤＡ変換器でアナログ信号に変換される。そして信号処理部１０４には、音声を出力するスピーカ１１１と、音声を入力するマイクロホン１１２とが接続されている。

入力部１０５は、ユーザが端末装置１００に対して各種入力を行うための入力手段である。例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部１０５は、表示部１０６と一体に構成されたタッチスクリーンとして構成してもよい。入力部１０５に対してユーザによる入力操作がなされると、その入力に対応した制御信号が生成されて制御部１０２に出力される。そして、制御部１０２によりその制御信号に対応した演算処理や制御が行われる。

表示部１０６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１０６には、端末装置１００の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報（アーティスト名、曲名など）、動画コンテンツ、画像コンテンツなどが表示される。

通信部１０７は、Bluetooth、ＵＳＢ接続などの方法により端末装置１００との通信を行うための通信モジュールである。通信部１０７における通信方法としては、無線通信であるBluetooth、有線通信であるＵＳＢによる通信などがある。Bluetooth通信を行うBluetoothモジュールは、Bluetooth方式の近距離無線通信によるデータの送受信が可能なモジュールである。Bluetoothモジュールによって、外部Bluetooth機器であるコンテンツ再生装置とのデータのやり取りが行われる。

Bluetoothモジュールは、アンテナ、信号処理部（図示せず。）などを備える。例えば外部のBluetooth機器であるコンテンツ再生装置２００に音声データを送信する場合等、Bluetoothモジュールは、信号処理部によって送信する音声データに所定の信号処理を施し、その音声データを内蔵するアンテナを介してコンテンツ再生装置２００に送信する。また、コンテンツ再生装置２００に音声データを送信する場合等、Bluetoothモジュールは、コンテンツ再生装置から送信された音声データを内蔵するアンテナで受信し、内蔵する信号処理部１０４に供給する。そして、信号処理部において音声データに所定の信号処理を施すことによって音声信号を生成する。これにより、端末装置１００で再生した音声データをコンテンツ再生装置２００から出力すること、および、コンテンツ再生装置２００で再生した音声データを端末装置１００から出力することができる。

通信部１０７における通信方式として有線通信であるＵＳＢを用いる場合には、ＵＳＢケーブルによってコンテンツ再生装置２００と端末装置１００とが接続される。音声データはＵＳＢケーブルを介して端末装置１００からコンテンツ再生装置２００に供給される。

よって、本実施の形態においては、端末装置１００とコンテンツ再生装置２００とを接続し、端末装置１００が保存する楽曲データを再生し、その楽曲が音声としてコンテンツ再生装置２００から出力されるようにすることもできる。

ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。また、通信方式は、端末装置１００の機種、ＯＳ（Operation System）の種類などに基づいて適宜選択するとよい。

記憶部１０８は、例えば、ＨＤＤ、フラッシュメモリなどの大容量記憶媒体から構成されており、端末装置１００によって再生される楽曲などのコンテンツデータなどを保存するものである。楽曲データは、ＷＡＶ（RIFF waveform Audio Format）、またはＭＰ３（MPEG Audio Layer-3）、ＡＡＣ（Advanced Audio Coding）などの方式で音声圧縮された状態で記憶部１０８に記憶される。また、楽曲のアーティスト名、アルバム名、曲名、総再生時間、再生時間情報などを含む楽曲情報も楽曲データのメタデータとして記憶部１０８に保存されている。楽曲情報は例えば、ＣＤＤＢ(Compact Disc Data Base)を利用することにより取得することができる。また、ユーザが任意に設定できるようにしてもよい。

音声認識部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、通信部１０７から供給された音声データに基づいて言語認識を行い、音声信号に含まれる言葉を単語単位で認識してキーワードを抽出する。なお、音声認識の手法は種々提案されているため、音声認識部１０９は、いずれかの手法を利用して音声認識処理を行うとよい。

音声認識の手法としては、例えば、学習用データから音声の特徴を蓄積し、その特徴と供給された音声とを比較してキーワードを抽出する手法、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いた手法などがある。音声認識部１０９は、抽出したキーワードを例えば、テキストデータなどの所定の形式のデータとしてアプリケーションプロセッサ１１０に供給する。

アプリケーションプロセッサ１１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、端末装置１００にインストールされた各種アプリケーションを実行する処理部である。アプリケーションとしては、例えば、音楽再生、動画再生、地図、天気、ナビゲーション、ゲーム、インターネットブラウザ、動画共有サイト利用、計算機などの様々な種類がある。

本技術は、端末装置１００にインストールされる情報処理アプリケーションがアプリケーションプロセッサ１１０に実行されることにより実現される。アプリケーションプロセッサ１１０は情報処理アプリケーションを実行することにより、情報取得部１２１、共有情報生成部１２２、送信制御部１２３、表示制御部１２４、アプリケーション実行部１２５として機能する。情報処理アプリケーションの実行により実現される各機能が特許請求の範囲における情報処理装置に相当する。

情報取得部１２１は、コンテンツ再生装置２００が有するコンテンツソースからのコンテンツを出力するアプリケーション（特許請求の範囲における第１の装置が有するアプリケーションに相当する）を示す情報（第１のアプリケーション情報）を通信部１０７を介してコンテンツ再生装置２００から取得する。コンテンツソースとしてはインターネットラジオ、ＵＳＢなどにより接続された外部ストレージ、ディスク媒体を再生するディスク媒体モジュールなどがある。

また、情報取得部１２１は、端末装置１００が有するアプリケーションの中から、ユーザがコンテンツ再生装置２００と端末装置１００とにおいて共有させるために選択したアプリケーションを示す情報（第２のアプリケーション情報）を取得する。

さらに、情報取得部１２１は、コンテンツ再生装置２００において行われたアプリケーションの選択操作の内容を示す情報（操作情報）を通信部１０７を介して受信する。操作情報の詳細については後述する。

共有情報生成部１２２は、情報取得部１２１により取得した第１のアプリケーション情報と第２のアプリケーション情報とを共存させることによって共有情報を生成する。共有情報は、端末装置１００において用いられるとともに、通信制御部１０２による制御のもと通信部１０７を介してコンテンツ再生装置２００に送信される。このように、共有情報は、コンテンツ再生装置２００と端末装置１００間で共有されるものである。

共有情報は例えば、図２に示されるように、第１のアプリケーション情報と第２のアプリケーション情報に示されるアプリケーションが順序付けられたリスト形式の情報である。この順序は、端末装置１００およびコンテンツ再生装置の表示部１０６におけるアプリケーションを示すアイコンの表示順序に対応している。

なお、本技術においては、Bluetoothを用いて通信を行う場合には、シリアルポートプロファイルを用いて端末装置１００とコンテンツ再生装置２００間で第１のアプリケーション情報、共有情報、操作情報などの送受信が行われる。また、コンテンツ再生装置２００と端末装置１００との接続にＵＳＢを用いる場合には、ｉＡＰを用いて第１のアプリケーション情報、共有情報、操作情報などの送受信が行われる。

シリアルポートプロファイル、ｉＡＰでは任意の情報の送受信が可能であるため、それらを利用することにより、本技術に用いられる上述した各種情報の送受信を行うことができる。ただし、上述した各種情報を送受信することが出来る方法であれば、他の方法を用いてもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。

表示制御部１２４は、共有情報に基づいて、コンテンツ再生装置２００のコンテンツソース用アプリケーション（コンテンツソース内のコンテンツを再生するアプリケーション）と、ユーザが選択した端末装置１００のアプリケーションとを示すアイコンを表示部１０６に表示する制御を行うものである。また、表示制御部１２４は、音声認識部１０９から供給されたキーワードに基づいてアプリケーション実行部１２５が起動／動作させたアプリケーションに対応した表示制御を行う。

アプリケーション実行部１２５は、音声認識部１０９から供給されたキーワードに基づいて端末装置１００にインストールされたアプリケーションを起動し、さらにそのアプリケーションを動作させる。キーワードに基づきアプリケーションを起動、動作させる方法としては、例えば、予めアプリケーションの起動および動作と、それに対応したキーワードをテーブルとして保持しておく。そして、音声認識部１０９からキーワードが供給されると、アプリケーションプロセッサ１１０はそのテーブルを参照して、キーワードに対応するアプリケーションまたは動作を検索する。そして、キーワードに対応するアプリケーションまたは動作が存在する場合にはそのアプリケーションの起動または動作を実行する。

例えば、入力されたキーワードがアプリケーション名である場合にはアプリケーションを起動する。そして、例えば、ナビゲーションアプリケーションが起動している状態で、地名がキーワードで入力された場合には、その地名までのルートを検索してナビゲーション開始する。また、動画共有サイト利用アプリケーションが起動している状態で、キーワードが入力された場合には、アプリケーションにそのキーワードで動画検索行い、検索結果の提示、動画再生、動画停止、早送り、巻戻しなどを行う。アプリケーション実行部１２５は入力されたキーワードに基づいてこのような処理を行う。

なお、上述の方法以外にも、供給されたキーワードに基づいて、それに対応するアプリケーションの起動、動作を実行することが出来る方法であればどのような方法を採用してもよい。

なお、情報処理アプリケーションは予め端末装置１００にインストールした状態でユーザに提供するようにしてもよいし、ユーザが自ら端末装置１００にインストールするようにしてもよい。情報処理アプリケーションは、例えば、インターネット上のアプリケーション販売サイト、アプリケーションダウンロードサービスを介して提供または販売される。また、情報処理アプリケーションが記録された光ディスクや半導体メモリなどの可搬型記録媒体によって提供または販売されてもよい。

スピーカ１１１は音声を出力するための音声出力手段であり、信号処理部１０４により所定の処理が施された音声信号などを音声として出力する。これによりユーザは通話音声、端末装置１００に保存された音声データなどを聴取することができる。また、マイクロホン１１２は通話、音声による指示入力などのために音声を端末装置１００に入力するためのものである。マイクロホン１１２から入力された音声は信号処理部１０４によって所定の処理が施される。

以上のようにして端末装置１００が構成されている。端末装置１００としては、携帯電話機、スマートフォン、携帯音楽プレーヤ、タブレット端末などがある。また、図示はしないが、端末装置１００には撮像部と画像処理部などからなるカメラ機能、ラジオ機能などが設けられていてもよい。

図３は、端末装置１００の外観構成の一例を示す図である。図３においては、端末装置１００の表示部１０６および、入力部１０５としてのタッチスクリーンおよび入力部１０５としてのボタンが示されている。

端末装置１００の表示部１０６には共有情報で示されたアプリケーションを示す複数のアイコン１３１、１３１、・・が表示されている。本実施の形態では、コンテンツ再生装置のコンテンツソースと端末装置１００においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。

ユーザは、表示部１０６に表示されたアイコン１３１に指を接触させる、または入力部１０５としてのボタンを押圧することにより、アプリケーションを選択する。アプリケーションが選択されると、例えば、図４Ａの状態から図４Ｂの状態へと、選択されたアプリケーションを示す太枠状のカーソル１３２が移動する。その後、例えば、選択したアプリケーションのアイコン１３１に再度入力を行うなどによりアプリケーション決定入力を行うと、選択されたアプリケーションが起動する。

ここで、端末装置１００におけるページ送り操作について説明する。図４Ａは、端末装置１００の表示部１０６においてアプリケーションを示す複数のアイコン１３１が表示されている１ページ目を示すものである。１ページ目が表示されている図４Ａの状態において、タッチスクリーンに対する入力などにより画面を横方向にスライドさせる。そうすると、図４Ｂに示されるように、１ページ目がスライド方向に流れて消えていくと同時に、２ページ目が表示部１０６の端からスライドして現れてくる遷移状態となる。そして、その遷移状態を経て、２ページ目のスライド動作が完了すると図４Ｃに示されるように２ページ目全体が表示部１０６に表示される。２ページ目に表示されるアイコン１３１は１ページ目に表示されたものとは異なっている。この一連の表示部１０６のおける表示の遷移を「ページ送り」と称し、それを行うための入力操作を「ページ送り操作」と称する。

なお、図４の説明は１ページ目から２ページ目への遷移を例にして説明したが、２ページ目から３ページ目、３ページ目から４ページ目、２ページ目から１ページ目なども同様にページ送りが可能である。端末装置１００においてはインストールされるアプリケーションの数によってページ数が異なる。アプリケーションの数が多い場合にはそれに伴いページ数も増えていく。

通常、携帯電話機、スマートフォン、タブレット端末などにおけるアプリケーションのアイコン表示は縦５×横４、縦４×横４などの配置で行われるのが通常である。しかし、本実施の形態において表示制御部１２４は、図４に示されるように例えば縦２×横２など、よりアイコンが大きく表示されるように表示制御を行うようにしてもよい。これにより、端末装置１００における入力操作が容易となる。

なお、図４に示される端末装置１００の外観構成、表示部１０６における表示態様、入力部１０５としてのボタンの配置はあくまで一例であり、それらは図４に示されるものに限られるものではない。

［１−２．コンテンツ再生装置の構成］
図５は、本技術の実施の形態におけるコンテンツ再生装置２００の構成を示すブロック図である。コンテンツ再生装置２００は特許請求の範囲における第１の装置の一例である。コンテンツ再生装置２００はいわゆる据え置き型の装置であり、据え置き型の装置としては例えば、車両内でコンテンツを再生するカーオーディオ装置、主に家庭内で用いられるドックスピーカなどがある。

コンテンツ再生装置２００は、制御部２０１、ラジオ用アンテナ２０２、チューナ２０３、ディスク媒体モジュール２０４、電子ボリューム２０５、アンプ部２０６、スピーカ２０７、リモートコントローラ受光部２０８、入力部２０９、通信部２１０、表示部２１１、ＵＳＢ端子２１２、フラッシュＲＯＭ２１３、マイクロホン２１４、サウンドＤＳＰ（Digital Signal Processing）２１５、アプリケーションプロセッサ２１６とから構成されている。

制御部２０１は例えば、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、コンテンツ再生装置２００の各部および全体の制御を行う。

ラジオ用アンテナ２０２は、ラジオ放送電波を受信するためのアンテナであり、チューナ２０３に接続されている。チューナ２０３は、ラジオ用アンテナ２０２により受信されたラジオ放送信号の復調やアナログ／デジタル変換、符号化されているデータの復号等の処理などを行い、ラジオ音声データを復元する。ラジオ音声データは制御部２０１の制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。

ディスク媒体モジュール２０４は、ディスク状記録媒体に書込まれているオーディオ信号を読出し、読出したオーディオ信号に対して所定の信号処理を施して音声信号を取得するディスク再生装置である。得られた音声信号は、制御部２０１の制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。なお、ディスク状記録媒体としてはＣＤ(Compact Disc)、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）などがある。

電子ボリューム２０５は、制御部２０１の制御に基づき、ラジオチューナ２０３、ディスク媒体モジュール２０４、通信部２１０、ＵＳＢ端子２１２などから供給された音声信号を増幅して音量を調整する。音量が調整された音声信号は、アンプ部２０６に供給される。アンプ部２０６は、電子ボリューム２０５から供給された音声信号を所定に増幅し、スピーカ２０７に供給する。スピーカ２０７は、アンプ部２０６から供給された音声信号を外部に音声として出力する音声出力手段である。

リモートコントローラ受光部２０８は、ユーザの操作によりコンテンツ再生装置２００付属のリモートコントローラ３００から送信されたコントロール信号を受信して制御部２０１に出力する。

入力部２０９は、ユーザがコンテンツ再生装置２００への各種入力操作を行うための入力手段である。入力部２０９は例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部２０９は、表示部２１１と一体に構成されたタッチスクリーンとして構成してもよい。入力部２０９に対してユーザによる入力がなされると、その入力に対応した制御信号が生成されて制御部２０１に出力される。そして、制御部２０１によりその制御信号に対応した演算処理や制御が行われる。

本実施の形態においては、ユーザは、入力部２０９に対して、アプリケーション選択操作および、選択したアプリケーションを起動するための決定操作などを行うことが可能である。

表示部２１１は、例えば、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどにより構成された表示手段である。表示部２１１には、コンテンツ再生装置２００の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報（アーティスト名、曲名など）などが表示される。さらに、コンテンツ再生装置２００が動画コンテンツ、画像コンテンツなどにも対応している場合にはそれらも表示される。

さらに、入力部２０９と表示部２１１によりタッチスクリーンが構成される場合には、表示部２１１には入力部２０９としてのソフトボタン、音量調整、コンテンツ選択などの個々の操作画面などのユーザインターフェース画像も表示される。

通信部２１０は、端末装置１００との通信を行うものである。通信部２１０の構成は端末装置におけるものと同様である。通信部２１０で受信した端末装置からの音声データはサウンドＤＳＰ２１５に供給される。

また、通信方式としてBluetoothを用いる場合、シリアルポートプロファイルを用いて、コンテンツ再生装置２００と端末装置１００間で、第１のアプリケーション情報、共有情報、操作情報などの送受信を行われる。また、コンテンツ再生装置２００と端末装置１００との接続にＵＳＢを用いる場合には、ｉＡＰを用いて第１のアプリケーション情報、共有情報、操作情報などの任意の情報の送受信が可能となる。

ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。

ＵＳＢ端子２１２は、コンテンツ再生装置２００に外部装置、外部記録媒体などを接続するためのＵＳＢ規格に準拠した接続端子である。ＵＳＢ端子２１２には例えば、音声データは格納する外部ＨＤＤ（Hard Disc Drive）、ＵＳＢメモリなどの外部ストレージが接続される。外部ストレージに格納された音声データは制御部２０１による制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。

フラッシュＲＯＭ２１３は不揮発性メモリであり、Bluetooth機器に関する情報である機器情報やラジオ放送の周波数情報といった各種のデータが格納される。そして、格納された機器情報や周波数情報が制御部２０１からの要求に応じて読出され、制御部２０１に供給される。

マイクロホン２１４は、ユーザが発した音声を取得するものであり、マイクロホン２１４に入力された声は音声信号に変換され、アプリケーションプロセッサ２１６に供給される。音声信号はアプリケーションプロセッサ２１６によりサウンドＤＳＰ２１５に供給される。

サウンドＤＳＰ２１５は、通信部２１０としてのBluetoothモジュールなどから供給された音声データに対して所定の音声信号処理を施して電子ボリューム２０５に供給する。音声信号は電子ボリューム２０５、アンプ部２０６を介して最終的に音声としてスピーカ２０７から出力される。

また、サウンドＤＳＰ２１５は、マイクロホン２１４からの音声信号に対して、ノイズキャンセリング処理を施す。ノイズキャンセリングの手法は種々提案されているため、任意の手法を利用してノイズキャンセリング処理を行うとよい。ノイズキャンセリングの手法としては、例えば、マイクロホン２１４で取得した騒音、環境音とは逆の位相の音波成分を発生させて互いを消し合うことにより、ユーザの声以外のノイズを低減させる方法などがある。

アプリケーションプロセッサ２１６は、端末装置における情報処理アプリケーションの動作に対応してコンテンツ再生装置２００側で所定の処理を行うものである。アプリケーションプロセッサ２１６は、所定のアプリケーションを実行することにより情報取得部２１７、および表示制御部２１８として機能する。

情報取得部２１７は、端末装置１００から送信された共有情報を通信部２１０を介して取得する。また、情報取得部２１７は、端末装置１００においてユーザにより行われたアプリケーションの選択操作を示す情報（操作情報）を通信部２１０を介して取得する。

表示制御部２１８は、情報取得部２１７により取得した共有情報に基づいて、表示部２１１における表示制御を行うものである。また、アプリケーションの選択を示すカーソルなどの表示制御も行う。さらに、操作情報に基づいた表示部２１１における表示の更新処理も行う。これら表示制御の詳細については後述する。

本実施の形態においては、コンテンツ再生装置２００には、チューナ、ＵＳＢ接続されており音声データを蓄えた外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。１つのコンテンツソースを備えていてもよいし、より多くのコンテンツソースを備えていてもよい。

図６は、コンテンツ再生装置２００のフロントパネルの外観構成の一例を示す図である。図６においては、コンテンツ再生装置２００のフロントパネルに設けられた入力部２０９および表示部２１１が示されている。

コンテンツ再生装置２００の表示部２１１には共有情報で示されたアプリケーションを示す複数のアイコン２３１、２３１、・・が表示されている。本実施の形態では、コンテンツ再生装置２００のコンテンツソースと端末装置１００においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。

図６に示す例においては、ユーザにより選択されたアプリケーションは表示部２１１の略中央において表示されることとなる。図６においてはＵＳＢが選択されている。そして、ユーザが異なるアプリケーションを選択すると、図６Ａに示される状態からアイコンが横に移動し、図６Ｂに示す状態となる。図６Ｂにおいては、表示部２１１の略中央には次に選択されたＭＵＳＩＣのアイコンが表示される。なお、「ＵＳＢ」とは、ＵＳＢ端子２１２に接続された外部ストレージに保存された音声データを再生するアプリケーションを示すアイコンである。また、「ＭＵＳＩＣ」はディスク媒体モジュールの音声データを再生するアプリケーションを示すアイコンである。

なお、図６に示されるコンテンツ再生装置２００の外観構成、表示部２１１における表示態様はあくまで一例であり、それらは図６に示されるものに限られるものではない。例えば、コンテンツ再生装置２００における表示も端末装置における表示と同様に、アイコンを一列ではなく、複数列に並べて表示してもよい。

［１−３．端末装置とコンテンツ再生装置間における処理］
次に、上述した端末装置１００とコンテンツ再生装置２００間における処理について説明する。

本技術においては、第１の装置であるコンテンツ再生装置２００の表示部２１１と、第２の装置である端末装置１００の表示部１０６に、共有するアプリケーションを示すアイコンが表示される。また、いずれか一方の装置においてアプリケーションの選択操作を行うと、それに連動して他方の装置において、同一のアプリケーションを選択する動作が行われる。

よって、例えば、端末装置１００におけるアプリケーションをコンテンツ再生装置２００に対する入力で選択することが可能となる。そして、アプリケーション選択後、一方の装置においてアプリケーション決定操作を行うと、そのアプリケーションを備える他方の装置においてアプリケーション決定がなされてそのアプリケーションが起動することなる。よって、一方の装置に対する操作で、他方の装置におけるアプリケーションの選択および起動が可能となる。

また、コンテンツ再生装置２００のマイクロホン２１４に対して音声入力を行うと、その音声が端末装置１００に送信され、端末装置１００において音声認識およびその音声認識により抽出されたキーワードによりアプリケーションの起動／動作が行われる。よって、ユーザは、端末装置１００に触れることなく端末装置１００におけるアプリケーションを利用することができる。

図７はコンテンツ再生装置２００と端末装置１００間の情報の受け渡しの説明するための概念図である。図８はコンテンツ再生装置２００と端末装置１００間における処理を示すシーケンス図である。図９は、コンテンツ再生装置２００と端末装置１００においてアプリケーションの選択が同期している状態を示す図である。

まず、処理の前提として、図７に示されるように、端末装置１００には例えば、ゲーム、天気、ＭＡＰなどの複数のアプリケーションがインストールされている。また、上述したように情報処理アプリケーションもインストールされているものとする。

そして、事前に、図７中（１）に示されるように、ユーザは端末装置１００にインストールされているアプリケーションの中からコンテンツ再生装置２００と共有するアプリケーションを選択しており、情報取得部１２１は、その選択されたアプリケーションの情報（第２のアプリケーション情報）を取得しているものとする。

また、コンテンツ再生装置２００は、１または複数のコンテンツソースを備える。図５および図７に示されるように本実施の形態においては、コンテンツ再生装置２００はラジオチューナ、ＵＳＢ接続され、音声データを蓄えた外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。

まず、ステップＳ１で、コンテンツ再生装置２００と端末装置１００との接続が行われる。接続は上述したように双方の通信部においてBluetooth、ＵＳＢ接続などの方法により行われる。Bluetoothで接続された場合にはシリアルポートプロファイルを利用してコンテンツ再生装置２００と端末装置１００間の情報の送受信が行われる。ＵＳＢにより接続された場合にはｉＡＰを利用してコンテンツ再生装置２００と端末装置１００間の情報の送受信が行われる。

コンテンツ再生装置２００と端末装置１００との接続が確立した場合、次にステップＳ２で、端末装置１００からコンテンツ再生装置２００に対して接続完了通知が送信される。なお、図８に示される処理とは逆に、端末装置１００からコンテンツ再生装置２００に対して接続がなされ、コンテンツ再生装置２００から端末装置１００へ接続完了通知がなされるようにしてもよい。

次にステップＳ３で、図７中（２）に示されるように、コンテンツ再生装置２００から端末装置１００に対して、コンテンツ再生装置２００が備えるコンテンツソース再生用アプリケーションの種類を示す情報（第１のアプリケーション情報）が送信される。図７においては、コンテンツ再生装置２００がチューナ、ＵＳＢ接続された外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有していることを示す情報がコンテンツ再生装置２００に送信される。

次にステップＳ４で、端末装置１００の共有情報生成部１２２は、ユーザにより選択された第２のアプリケーション情報と、第１のアプリケーション情報とをまとめて、双方の装置のアプリケーション情報を共存させることにより共有情報を生成する。共有情報は、図４を参照して上述したように、アプリケーションの種別が順序付けられたリスト形式のものである。共有情報にはコンテンツ再生装置２００のアプリケーションと端末装置１００とアプリケーションの両方が含まれている。

次にステップＳ５で、図４中の（３）に示されるように、端末装置１００の送信制御部１２３の制御のもと、端末装置１００からコンテンツ再生装置２００に対して共有情報が送信される。この共有情報によってコンテンツ再生装置２００と端末装置１００とは互いのアプリケーションの情報を共有する。そして、ステップＳ６で、端末装置１００の表示制御部１２４は共有情報に基づいた表示処理を行う。これにより、図９Ａ上段に示されるように、端末装置１００の表示部１０６においてコンテンツ再生装置２００におけるコンテンツソースと、端末装置１００においてユーザが選択したアプリケーションとを示すアイコンが表示される。

また、ステップＳ７においても同様に、コンテンツ再生装置２００の表示制御部２１８は、共有情報に基づいた表示処理を行う。これにより、図９Ｂ上段に示されるように、コンテンツ再生装置２００の表示部２１１においてコンテンツ再生装置２００におけるコンテンツソースと、端末装置１００においてユーザが選択したアプリケーションとを示すアイコンが表示される。

なお、図８のシーケンス図においては端末装置１００における表示制御の後にコンテンツ再生装置２００における表示制御が行われるように記載されているが、順序はそれに限られず、双方の表示制御はほぼ同時に行われるのが望ましい。

次にステップＳ８で、コンテンツ再生装置２００は共有情報に示されるアプリケーションの中の１番目のアプリケーションを選択状態にする。選択状態とは、例えば、カーソルの移動によってアプリケーションの選択を行う場合にはそのカーソルを一番目のアプリケーションに合わせることである。そして、ステップ９で端末装置１００側の情報取得部１２１は、コンテンツ再生装置２００の操作情報を取得する。なお、ステップＳ９で取得される操作情報は、共有情報で示されるアプリケーションの中の１番目に位置するアプリケーションが選択されたことを示す情報である。

次にステップＳ１０で、端末装置１００の表示制御部１２４は、操作情報に基づいて端末装置１００の表示部１０６における表示を更新する。なお、この場合、表示制御部１２４は、共有情報において一番目に位置するアプリケーションが選択されたことを示す表示となるように表示制御を行う。例えば、アプリケーション選択用カーソルを１番目のアプリケーションに合わせるなどである。

以上、ステップＳ１０までの処理により、コンテンツ再生装置２００と端末装置１００とが互いにコンテンツ再生装置２００のソースと、端末装置１００のアプリケーションを共有した同期状態となる。

次にステップＳ１１で、コンテンツ再生装置２００は、音声認識モードへの遷移を指示するユーザからの入力操作を受け付ける。この入力はコンテンツ再生装置２００の入力部２０９に対して行われる。音声認識モードへの遷移を指示する入力操作を受け付けると、次にステップＳ１２で、コンテンツ再生装置２００から端末装置１００に対して、音声認識モードへの遷移の要求が行われる。

次にステップＳ１３で、端末装置１００は、コンテンツ再生装置２００からの要求に従い音声認識モードに遷移する。端末装置１００が音声認識モードに遷移すると、音声認識部１０９がオンとなる。さらに、音声認識部１０９に対する音声入力のソースをマイクロホン１１２から通信部１０７に切り替える。これにより、マイクロホン１１２に入力される音声ではなく、通信部１０７を介してコンテンツ再生装置２００から入力される音声によって端末装置１００が操作可能となる。よって、コンテンツ再生装置２００が端末装置１００の音声入力源として機能することとなる。

次にステップＳ１４で、端末装置１００はコンテンツ再生装置２００に対して音声認識モードに遷移したことの通知を行う。そして、ステップＳ１５で、音声認識モードに遷移したことの通知を受けたコンテンツ再生装置２００は、音声取得モードに遷移して、マイクロホン２１４をオンにして音声取得を開始する。この状態で、ユーザは、コンテンツ再生装置２００のマイクロホン２１４に対して起動したいアプリケーション名、キーワードなどを声で入力する。

コンテンツ再生装置２００のマイクロホン２１４でユーザからの音声を取得すると、サウンドＤＳＰ２１５により音声信号に対してノイズキャンセリング処理が施される。そして、ステップＳ１６でコンテンツ再生装置２００は、通信部２１０を介してその音声信号を端末装置１００に送信する。

次にステップＳ１７で、端末装置１００の音声認識部１０９は音声信号に対して音声認識処理を行ってキーワードを抽出する。その抽出結果を示すキーワード情報は、アプリケーションプロセッサ１１０に供給される。そしてステップＳ１８で、アプリケーションプロセッサ１１０のアプリケーション実行部１２５は、供給されたキーワードに対応するアプリケーションを起動する。

また、アプリケーション実行部１２５は、アプリケーションの起動後に音声認識部１０９からキーワードが供給されると、そのキーワードに対応したアプリケーションの動作を実行する。キーワードに基づきアプリケーション動作させる方法としては、上述したように、例えば、予め、アプリケーションの動作と対応したキーワードをテーブルとして保持しておき、そのテーブルを参照することにより、キーワードに対応する動作を実行する。

例えば、ナビゲーション用アプリケーションの場合、「ナビゲーション」と音声入力してアプリケーションを起動させた後、「東京駅」と目的地を示すキーワードを音声入力する。そうすると、ナビゲーション用アプリケーションがユーザの現在地から東京駅までのナビゲーションを開始する。

なお、音声入力によりアプリケーションの起動とアプリケーションの動作を指示する場合、「ナビゲーション、東京駅」と、アプリケーションの起動を指示するキーワードと、アプリケーションの動作を指示するキーワードとを連続で入力できるようにしてもよい。

また、ユーザが使用するアプリケーションがすでに起動している場合には、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作のみを音声入力すればよい。

例えば、ラジオアプリケーションが既に起動している場合、「ＦＭ７９．５」などのラジオ局を示すキーワードを音声入力すれば、ラジオアプリケーションが「ＦＭ７９．５ＭＨｚ」にチューニングする。

また、動画共有サイト用アプリケーションが起動している場合には「ビートルズ」などの検索対象となるキーワードを音声入力すれば、動画共有サイト用アプリケーションが「ビートルズ」について検索を行い、検索結果を提示し、動画の再生を行う。

このように、本技術によれば、コンテンツ再生装置２００に対して音声入力を行うことにより端末装置１００のアプリケーションを起動、動作させることができる。例えば、例えばユーザが車両で運転中である場合、ユーザは、スマートフォンなどの端末装置１００を操作することはできない。しかし、コンテンツ再生装置２００がカーオーディオ装置である場合、本技術を用いることによって、ユーザが車両で運転中であっても、コンテンツ再生装置２００に対する音声入力により端末装置１００を操作することができる。

また、端末装置１００に送信する音声信号に対してノイズキャンセリング処理を施すことにより、車内などの騒音環境下であっても、端末装置１００の音声認識率を落とすことなく使用することが可能となる。

スマートフォンなどの端末装置を所有しているユーザにとっては、音声認識用モジュールを備える高価なオーディオ機器を購入することなく、比較的低価格なオーディオ機器で音声認識機能を利用することができる。

さらに、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作を示すキーワードのみを音声入力することにより、アプリケーションの起動とキーワードに基づく処理を行うようにしてもよい。詳しくは、キーワードが音声入力されると、そのキーワードに対応した動作を実行するのに最適なアプリケーションを端末装置が判断して、自動でアプリケーションを起動した後にキーワードに基づく動作を実行するようにする。

なお、上述のように、端末装置１００とコンテンツ再生装置２００とは、互いの有するアプリケーションについての情報を共有している。そこで、ステップＳ１０において、共有情報および選択情報に基づいて表示更新を行ったのと同様にして、端末装置１００の表示制御部１２４は、キーワードにより起動されたアプリケーションを示す情報を表示部１０６に表示するようにするとよい。さらに、コンテンツ再生装置２００の表示制御部２１８は、端末装置１００において起動したアプリケーションを表示部２１１に表示するようにするとよい。これにより、ユーザは、端末装置１００の表示部１０６を目視することにより、起動しているアプリケーションを確認することができる。

また、端末装置１００とコンテンツ再生装置２００は、互いの有するアプリケーションについての情報を共有している。したがって、端末装置１００とコンテンツ再生装置２００は互いが有するアプリケーションを把握しており、図９に示されるように、端末装置１００とコンテンツ再生装置２００の両方において互いのアプリケーションが表示される。よって、端末装置１００の入力部１０５に対する入力操作に応じて、端末装置１００からコンテンツ再生装置２００に操作情報を送信することにより、端末装置１００に対する操作でコンテンツ再生装置２００のアプリケーションを起動、動作させるようにしてもよい。また、コンテンツ再生装置２００に対して入力された音声を端末装置１００に送信し、端末装置１００のアプリケーションプロセッサ１１０が入力された音声に応じた処理を行い、コンテンツ再生装置２００に対してアプリケーションの起動、動作の指示を行うようにしてもよい。これにより、端末装置１００とコンテンツ再生装置２００とでアプリケーションの起動および動作がシームレスなものとなり、ユーザは装置のいずれかの装置であるかを意識することなくアプリケーションを使用することが可能となる。

車両の運転中は携帯電話機、スマートフォンなどの端末装置１００を操作することは法律により禁止されている。そこで、コンテンツ再生装置２００を車両におけるカーオーディオシステムとして利用し、コンテンツ再生装置２００に対する音声入力で端末装置１００のアプリケーションを起動／動作させるようにする。これにより、端末装置１００、コンテンツ再生装置２００を直接操作しなくても端末装置１００におけるアプリケーションの起動／動作が可能となる。

＜６．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は、上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

実施の形態では第１の装置をコンテンツ再生装置２００とし、第２の装置を端末装置１００としたが、具体的な装置はそれに限られるものではない。双方向通信を行うことができる装置であればどのようなものにも適用することができる。例えば、第１の装置、第２の装置共に携帯電話機、スマートフォン、タブレット端末などの端末装置１００であってもよい。また、一方の装置がテレビジョン受像機であり、他方の装置が端末装置１００であるという組み合わせでもよい。

１００・・・端末装置
１０５・・・入力部
１０６・・・表示部
１０７・・・通信部
１０９・・・音声認識部
１１０・・・アプリケーションプロセッサ
１２１・・・情報取得部
１２２・・・共有情報生成部
１２３・・・送信制御部
１２４・・・表示制御部
１２５・・・アプリケーション実行部
２００・・・コンテンツ再生装置
２０９・・・入力部
２１０・・・通信部
２１１・・・表示部
２１４・・・マイクロホン
２１６・・・アプリケーションプロセッサ
２１７・・・情報取得部
２１８・・・表示制御部

Claims (7)

1. 車載装置と通信する端末装置において、
   アプリケーションを実行する実行部と、
   前記車載装置からアプリケーション情報を取得する情報取得部と、
   取得した前記車載装置のアプリケーション情報と前記端末装置のアプリケーション情報を共存させた共有情報を生成する共有情報生成部と、
   前記車載装置に前記共有情報を送信する送信制御部と、
   ユーザからの入力操作によりオンになり、前記端末装置および前記車載装置のアプリケーションを動作させるために前記車載装置で取得された音声を認識する音声認識部と
   を備える端末装置。
2. 動作する前記アプリケーションが前記車載装置が備える表示部に表示される
   請求項１に記載の端末装置。
3. 前記アプリケーションで前記端末装置が有するコンテンツを再生し、前記コンテンツが前記車載装置から出力される
   請求項１に記載の端末装置。
4. 前記送信制御部は、Bluetoothにより通信する
   請求項１に記載の端末装置。
5. 前記送信制御部は、ＵＳＢ接続により通信する
   請求項１に記載の端末装置。
6. 車載装置と通信する端末装置において、
   アプリケーションを実行し、
   前記車載装置からアプリケーション情報を取得し、
   取得した前記車載装置のアプリケーション情報と前記端末装置のアプリケーション情報を共存させた共有情報を生成し、
   前記車載装置に前記共有情報を送信し、
   ユーザからの入力操作によりオンになる音声認識部により、前記端末装置および前記車載装置のアプリケーションを動作させるために前記車載装置で取得された音声を認識する
   端末装置の制御方法。
7. 車載装置と通信する端末装置において、
   アプリケーションを実行し、
   前記車載装置からアプリケーション情報を取得し、
   取得した前記車載装置のアプリケーション情報と前記端末装置のアプリケーション情報を共存させた共有情報を生成し、
   前記車載装置に前記共有情報を送信し、
   ユーザからの入力操作によりオンになる音声認識部により、前記端末装置および前記車載装置のアプリケーションを動作させるために前記車載装置で取得された音声を認識する
   端末装置の制御方法をコンピュータに実行させる制御プログラム。

Images