本出願に係るウェアラブル装置及び出力システムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
(実施形態1)
図1乃至図3を参照しながら、出力システム1の構成について説明する。図1は、出力システム1の全体的な構成を示す図である。出力システム1は、ウェアラブル装置20と、出力機器30とを備える。ウェアラブル装置20と出力機器30とは、近距離無線通信を介して、データ通信を行うことができるように構成されている。
ウェアラブル装置20は、前面部20aと、側面部20bと、側面部20cとを有する。前面部20aは、装着時に、ユーザの両目を覆うようにユーザの正面に配置される。前面部20aは、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部(リム)とが一体となって構成されている。側面部20bは、前面部20aの一方の端部に接続され、側面部20cは、前面部20aの他方の端部に接続される。側面部20b及び側面部20cは、装着時に、眼鏡の蔓のようにユーザの耳によって支持され、ウェアラブル装置20を安定させる。側面部20b及び側面部20cは、装着時に、ユーザの頭部の背面で接続されるように構成されてもよい。
前面部20aは、装着時にユーザの目と対向する面に表示部2a及び表示部2bを備える。表示部2aは、装着時にユーザの右目と対向する位置に配設される。表示部2bは、装着時にユーザの左目と対向する位置に配設される。表示部2aは、右目用の画像を表示する。表示部2bは、左目用の画像を表示する。このように、装着時にユーザのそれぞれの目に対応した画像を表示する表示部2a及び表示部2bを備えることにより、ウェアラブル装置20は、両眼の視差を利用した3次元表示を実現することができる。
表示部2a及び表示部2bは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部2a及び表示部2bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部2a及び表示部2bを設けてもよい。表示部2a及び表示部2bは、ユーザの右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてもよい。
前面部20aは、ウェアラブル装置20の装着時に、ユーザの顔に対向する面とは反対側の面に撮像部7を備える。撮像部7は、ユーザの前方を撮像する。例えば、撮像部7は、ユーザの前方の視界に相当する範囲の画像を取得する。視界とは、例えば、ユーザが正面を見ているときの視界を含む。
ウェアラブル装置20は、ユーザが視認している前景に各種情報を視認させる機能を有する。前景とは、ユーザの前方の風景である。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っていない場合、表示部2a及び表示部2bを透して前景をユーザに視認させる。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っている場合、表示部2a及び表示部2bを透した前景と、表示部2a及び表示部2bの表示内容とをユーザに視認させる。ウェアラブル装置20は、3次元的な情報を表示部2a及び表示部2bに表示させてもよい。
図1では、ウェアラブル装置20が、眼鏡のような形状を有する例を示したが、ウェアラブル装置20の形状はこれに限定されない。例えば、ウェアラブル装置20は、ゴーグルの形状を有してもよい。ウェアラブル装置20は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。
図2を参照しながら、ウェアラブル装置20の機能的な構成について説明する。図2は、ウェアラブル装置20のブロック図である。図2に示すように、ウェアラブル装置20は、表示部2a及び表示部2bと、操作部3と、通信部6と、撮像部7と、集音部8と、記憶部9と、制御部10と、出力部11と、検出部16とを備える。本実施形態のウェアラブル装置20は、撮像部7、集音部8及び検出部16の少なくとも1つと、制御部10とを連動させて、外部の出力機器30とユーザとの相対変化を検出することができる。
表示部2a及び2bは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の半透過または透過の表示デバイスを備える。表示部2a及び2bは、制御部10から入力される制御信号に従って各種の情報を表示できる。表示部2a及び2bは、レーザー光線等の光源を用いてユーザの網膜に画像を投影する投影装置であってもよい。
操作部3は、ユーザの操作を受け付けることができる。操作部3は、操作を受け付けるために、ボタン、キー、タッチスクリーン等の入力デバイスを用いることができる。図1に示す例では、操作部3は、前面部20aと側面部20bと側面部20cとの各々に設けられて、接触を検出するタッチセンサを含む。タッチセンサは、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサを用いることができる。なお、操作部3は、前面部20aと側面部20bと側面部20cの何れか一方に設ける構成であってもよい。例えば、操作部3は、ウェアラブル装置20の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
通信部6は、無線により通信できる。通信部6は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部6は、複数の通信方式をサポートしてもよい。通信部6は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
通信部6は、放送電波を受信する。通信部6が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。通信部6は、受信した電波を信号へ変換して制御部10へ入力する。本実施形態では、通信部6は、テレビ、ラジオ等のチューナーを兼ねる場合について説明するが、これに限定されない。ウェアラブル装置20は、通信部6とは別にチューナー部を備えてもよい。
撮像部7は、ユーザの前方における撮像範囲を撮像できる。撮像部7は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部7は、撮像した画像を信号に変換して制御部10へ出力できる。
集音部8は、ウェアラブル装置20の周囲の音を集音できる。集音部8は、例えば、マイクを含む。集音部8は、集音結果を音信号へ変換して制御部10へ入力できる。出力部11は、例えば、制御部10から入力される音信号を音として出力できる。出力部11は、例えば、スピーカ、イヤホンジャックを含む。
記憶部9は、プログラム及びデータを記憶できる。記憶部9は、制御部10の処理結果を一時的に記憶する作業領域としても利用される。記憶部9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部9は、複数の種類の記憶媒体を含んでよい。記憶部9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部9は、例えば、制御プログラム9a、設定データ9b、撮像データ9c及び音データ9dを記憶できる。制御プログラム9aは、ウェアラブル装置20を稼動させるための各種制御に関する機能を提供できる。制御プログラム9aは、例えば、通信部6を制御することによって、外部の通信装置との通信を実現させる。制御プログラム9aが提供する機能は、表示部2a及び2bを制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム9aが提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含む。第1状態は、外部の出力機器をユーザが視聴している状態である。第2状態は、当該出力機器30をユーザが視聴していない状態である。記憶部9は、外部の出力機器等から受信した画像データを記憶できる。
設定データ9bは、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含む。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ9cは、撮像部7によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ9cは、例えば、静止画データと動画データとが含まれる。撮像データ9cには、撮像部7の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ9dは、集音部8によって集音された音を示すデータである。音データ9dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ9dには、集音部8の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部10は、ウェアラブル装置20の動作を統括的に制御できる。制御部10の各種機能は、制御部10の制御に基づいて実現される。
具体的には、制御部10は、記憶部9に記憶されているプログラムに含まれる命令を実行できる。制御部10は、記憶部9に記憶されているデータを必要に応じて参照できる。制御部10は、データ及び命令に応じて機能部を制御する。制御部10は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部2a及び2b、通信部6、集音部8、及び出力部11を含むが、これらに限定されない。制御部10は、判定部10aと動作制御部10bとを含む。制御部10は、制御プログラム9aを実行することによって、判定部10aを実現する。判定部10aは、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する機能を提供できる。外部音声は、例えば、ウェアラブル装置20を装着しているユーザが聞いている音声、音等を含む。動作制御部10bは、表示部2a及び2bの表示動作や、出力部11からの音声出力動作を制御する。動作制御部10bは、判定部10aや検出部16の検出結果に応じて、制御を変更することがある。
検出部16は、撮像部7の周囲近傍に存在する物体を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、撮像範囲に存在する現実の物体を検出するセンサである。検出部16は、検出した撮像範囲に存在する現実の物体の変化に基づいて、現実の物体とウェアラブル装置20との相対移動を検出する。検出部16は、可視光、赤外線、紫外線、電波、音波、磁気、静電容量のうち、複数の値を検出し、複数の検出結果に基づいて、撮像範囲内から撮像範囲外への物体の移動を検出してもよい。検出部16は、加速度センサをさらに有してもよい。加速度センサは、ウェアラブル装置20に働く加速度を検出できる。加速度センサの検出結果は、ウェアラブル装置20を携帯するユーザの移動、停止を検出するために用いることができる。
次に、出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。なお、図1に示す例では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、オーディオ機器、パーソナルコンピュータ等の他の電子機器としてもよい。
図3を参照しながら、出力機器30の構成について説明する。図3は、出力機器30のブロック図である。出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。なお、本実施形態では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、オーディオ機器、パーソナルコンピュータ等の他の電子機器としてもよい。
図3に示すように、出力機器30は、表示部32と、操作部33と、チューナー部34と、通信部36と、撮像部37と、集音部38と、記憶部39と、制御部40と、出力部41とを備える。
表示部32は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の表示デバイスを備える。表示部32は、制御部40から入力される制御信号に従って各種の情報を表示できる。
操作部33は、ユーザの操作を受け付けることができる。操作部33は、操作を受け付けるために、ボタン、キー、リモートコントローラ等の入力デバイスを用いることができる。
チューナー部34は、放送電波を受信する。チューナー部34が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。放送業者は、割り当てられた物理チャンネルを用いて放送区域内に放送電波を送信する。チューナー部34は、受信した電波を信号へ変換して制御部40へ入力する。出力機器30は、上記のウェアラブル装置20と同様に、通信部36をチューナー部34として機能させてもよい。
通信部36は、無線により通信できる。通信部36は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部36は、複数の通信方式をサポートしてもよい。通信部36は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
撮像部37は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部37は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部37は、撮像した画像を信号に変換して制御部40へ出力できる。
集音部38は、出力機器30の周囲の音を集音できる。集音部38は、例えば、マイクを含む。集音部38は、集音結果を音信号へ変換して制御部40へ入力できる。出力部41は、例えば、制御部40から入力される音信号を音として出力できる。出力部41は、例えば、スピーカ、イヤホンジャックを含む。
本実施形態では、出力システム1は、出力機器30が撮像部37及び集音部38を備える場合について説明するが、これに限定されない。例えば、出力機器30は、撮像部37及び集音部38の少なくとも一方を備えなくてもよい。
記憶部39は、プログラム及びデータを記憶できる。記憶部39は、制御部40の処理結果を一時的に記憶する作業領域としても利用される。記憶部39は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部39は、複数の種類の記憶媒体を含んでよい。記憶部39は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部39は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部39は、例えば、制御プログラム91、設定データ92、撮像データ93及び音データ94を記憶できる。制御プログラム91は、出力機器30を稼動させるための各種制御に関する機能を提供できる。制御プログラム91は、チューナー部34によって受信された放送電波を再生する機能を提供できる。放送電波がテレビの電波の場合、画像及び音が再生される。放送電波がラジオの電波の場合、音が再生される。制御プログラム91は、視聴可能なチャンネルを設定する機能と、設定したチャンネルの中から再生するチャンネルを利用者に選択させる機能とを提供できる。
制御プログラム91は、例えば、通信部36を制御することによって、外部の通信装置との通信を実現させる。制御プログラム91が提供する機能は、表示部32を制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム91が提供する機能は、通信部36を制御することによって、画像データを外部の電子機器に配信する機能を含んでもよい。制御プログラム91が提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含んでもよい。記憶部39は、受信した画像データを記憶できる。
設定データ92は、出力機器30の動作に関する各種の設定に関する情報を含む。設定データ92は、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ93は、撮像部37によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ93は、例えば、静止画データと動画データとが含まれる。撮像データ93には、撮像部37の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ94は、集音部38によって集音された音を示すデータである。音データ94は、例えば、音量、音の波形、周波数等を示すデータを含む。音データ94には、集音部38の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部40は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部40は、出力機器30の動作を統括的に制御できる。制御部40の各種機能は、制御部40の制御に基づいて実現される。
具体的には、制御部40は、記憶部39に記憶されているプログラムに含まれる命令を実行できる。制御部40は、記憶部39に記憶されているデータを必要に応じて参照できる。制御部40は、データ及び命令に応じて機能部を制御する。制御部40は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部32、通信部36、集音部38、及び出力部41を含むが、これらに限定されない。
図3に示す例では、出力機器30は、撮像部37と集音部38とを備える場合について説明したが、これに限定されない。例えば、出力機器30は、撮像部37と集音部38を備えなくてもよい。
図4を参照しながら、出力システム1の動作の例について説明する。図4は、出力システム1における動作の例を示す図である。
図4に示すステップS11では、部屋100において、出力機器30は、表示画像を表示部32に表示している。出力機器30は、当該表示画像に対応した音声を出力部41から出力している。ユーザは、ウェアラブル装置20を装着した状態で、方向D1を向いて停止している。ユーザは、ウェアラブル装置20を起動させ、出力機器30を視聴している。
ステップS11として、ウェアラブル装置20は、集音部8によって集音し、集音結果から音特性として音量を検出する。ウェアラブル装置20は、検出した音量を基準の音量として記憶部9に記憶する。ウェアラブル装置20は、集音部8による集音を継続する。ウェアラブル装置20は、音量を検出すると、当該音量と基準の音量を比較し、音量の所定の変化の有無を判定する。音量の所定の変化は、例えば、ウェアラブル装置20と出力機器30との距離の変化に対応した音量の変化、ユーザの向き及び移動の変化に対応した音量の変化等を含む。
例えば、ステップS11に示すように、ユーザが移動していない場合、ウェアラブル装置20は、所定の変化よりも小さい音量の変化を検出する。その結果、ステップS11の状態である場合、ウェアラブル装置20は、音量の所定の変化がないと判定する。
ステップS12では、部屋100において、出力機器30は、表示画像を表示部32に表示している。出力機器30は、当該表示画像に対応した音声を出力部41から出力している。ユーザは、ウェアラブル装置20を装着した状態で、方向D1から方向D2へ向きを変えて移動し、部屋100から退室している。この場合、ユーザは、部屋100の出力機器30の出力音を、部屋100の中よりも聞こえ難くなっている。
ステップS12として、ウェアラブル装置20は、外部音声の集音結果から音量を検出し、当該音量と基準の音量を比較すると、音量の所定の変化があると判定する。ウェアラブル装置20は、通信部6を介して、出力機器30から画像データ及び音声データを受信する。
ステップS13として、ウェアラブル装置20は、受信した音声データを出力部11から出力させる音声出力動作を実行する。ウェアラブル装置20は、受信した画像データを表示部2a及び2bに表示させる表示動作を実行する。その結果、部屋100の外において、ウェアラブル装置20は、表示画像を表示部2a及び2bに表示し、当該表示画像に対応した音声を出力部11から出力することができる。
ステップS13では、部屋100の外において、ユーザは、出力機器30からの音声が聞こえ難い場合に、ウェアラブル装置20の出力部11から出力機器30の音声を聞くことができる。さらに、ユーザは、ウェアラブル装置20の表示部2a及び2bによって出力機器30の表示画像を視認することができる。
このように、ウェアラブル装置20は、出力機器30の外部音声の集音中に、音特性の所定の変化が有ると判定したことを契機に、当該外部音声に対応する音声データを有効利用することができる。その結果、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所等に移動した場合に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを出力部11から利用者に聞かせることができる。
図5を参照しながら、ユーザが出力機器30を視聴している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図5は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図5に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図5に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図5に示すように、出力機器30の制御部40は、ステップS101として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理と、音声を出力部41から出力する処理とを実行する。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力機器30を視聴していることを前提とする。
ウェアラブル装置20の制御部10は、ステップS102として、出力機器30との接続要求があるか否かを判定する。例えば、当該制御部10は、操作部3を介して所定の接続操作があったことを検出した場合に、接続要求があったと判定する。接続要求がないと判定した場合(ステップS102,No)、当該制御部10は、ステップS102の処理を繰り返す。接続要求があると判定した場合(ステップS102,Yes)、処理をステップS103に進める。
ウェアラブル装置20の制御部10は、ステップS103として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。
ウェアラブル装置20の制御部10は、ステップS104として、集音部8の集音結果を示す音データ9dから外部音量を検出する。当該制御部10は、ステップS105として、検出した外部音量を基準の音量として記憶部9に記憶する。本実施形態では、当該制御部10は、検出した音量を基準の音量とする場合について説明するが、これに限定されない。例えば、当該制御部10は、出力機器30から出力している音量設定を示す音量データを取得し、取得した音量データが示す音量を基準の音量としてもよい。
ウェアラブル装置20の制御部10は、ステップS106として、集音部8の集音結果を示す音データ9dから外部音量を検出する。当該制御部10は、ステップS107として、外部音量が基準の音量から所定値以上の低下であるか否かを判定する。例えば、当該制御部10は、基準の音量が外部音量を差し引いた値が所定値以上である場合に、所定値以上の低下であると判定する。
ウェアラブル装置20の制御部10は、所定値以上の低下でないと判定した場合(ステップS108,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS106に戻す。本実施形態では、ウェアラブル装置20は、外部音量を検出する処理を実行している間、集音部8による集音中となっている。
ウェアラブル装置20の制御部10は、所定値以上の低下であると判定した場合(ステップS108,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS109に進める。当該制御部10は、ステップS109として、ユーザが視聴できていない状態であると判定したことを記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS110として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS111として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS112として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS111からステップS112の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該画像データ及び音声データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データ及び音声データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データ及び音声データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信すると、ステップS113として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS113を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの送信終了を出力機器30に要求し、表示画像の表示及び音声の出力を終了してもよい。
図5に示すシーケンスにおいて、ウェアラブル装置20の制御部10は、ステップS105で基準の音量を記憶する場合に、検出した外部の音量を基準の音量として記憶部9に記憶してもよい。当該制御部10は、外部音量が所定値以上の低下と判定した場合に、出力機器30から受信した音声データを、当該基準の音量で出力部11から出力させてもよい。
上記の出力システム1のウェアラブル装置20は、所定の接続操作を検出した場合に、出力機器30とコネクションを確立する場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、集音部8によって所定の音量を検出した場合に、出力機器30とコネクションを確立してもよい。
上記の出力システム1において、例えば、出力機器30が楽曲を再生して音声データを出力部41から出力している場合、ウェアラブル装置20の制御部10は、出力機器30から音声データを受信し、当該音声データを出力部11から出力することができる。この場合、ウェアラブル装置20の制御部10は、音声の出力中であることを示すアイコン、画面等を表示部2a及び2bに表示させてもよい。
以上の実施形態においては、出力機器30がテレビである場合について説明したが、これに限定されず、上述したように、出力機器30は、オーディオ機器であってもよい。そして、オーディオ機器が表示機能を備えず、音声の出力機能のみを備える場合においては、ウェアラブル装置20の判定部10aは、出力機器30としてのオーディオ機器が出力する音声の集音中に、当該音声の音特性の所定の変化の有無として、当該音声の音量の所定値以上の低下の有無を判定し、音量の所定値以上の低下があると判定した場合に、ユーザがオーディオ機器の音声を聴くことができていない状態であると判定し、オーディオ機器から音声データのみを受信して、当該音声データを出力部11から出力させるようにすればよい。即ち、ウェアラブル装置20は、通信部6と、音声に関する情報を出力する出力部11と、外部の出力機器が出力する外部音声を集音する集音部8と、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部10aと、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、外部音声に対応する音声データを外部から受信するように通信部6を制御し、当該受信された音声データに基づき出力部11から音声を出力させる音声出力動作を実行する動作制御部10bと、を備えるものと特徴付けられてよい。これにより、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所等に移動したことに基づく音特性の所定の変化が有ると判定したことを契機に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを出力部11から利用者に聞かせることができる。
なお、上記の実施形態において、判定部10aは、外部音声の集音中に、音特性の所定の変化の有無として、音量の所定値以上の低下の有無を判定し、音量の所定値以上の低下があると判定した場合に、ユーザが出力機器30を視聴できていない状態であると判定し、出力機器30から少なくとも音声データを受信して(画像データも受信してよい)、音声データを出力部11から出力させる(画像データも受信した場合には、画像データに基づいた表示画像を表示部2a及び2bに表示させてもよい)構成を説明したがこれに限定されない。判定部10aは、外部音声の集音中に、音量の所定値以上の低下を検出すると、当該音量の所定値以上の低下が非連続的な低下であるか否かを判定し、非連続的な音量の低下である場合には、音特性の所定の変化が無いと判定し、一方で、非連続的な音量の低下でない場合には、音特性の所定の変化が有ると判定し、当該判定に基づいて出力機器30から少なくとも音声データを受信して、音声データを出力部11から出力させるようにしてもよい。このような構成によれば、例えば、出力機器30がパーソナルコンピュータであって、当該パーソナルコンピュータが音量変更の操作のためのスライドバーを表示し、ユーザがスライドバーを操作することによって所望とする音量値を指定することで、音量を段階的に変化することなく、当該指定された音量に変更する場合、即ち、音量の所定値以上の低下が非連続的な低下となる場合には、ウェアラブル装置20は、ユーザは出力機器30を視聴している状態(即ち、ユーザが出力機器30を視聴できない状態とはなっていない)と判定し、出力機器30から音声データを受信する動作を実行させずに済む。
(変形例)
上記の出力システム1は、出力機器30が画像データ及び音声データを取得してウェアラブル装置20に送信する場合について説明したが、これに限定されない。例えば、出力システム1は、出力機器30が画像データ及び音声データを送信する代わりに、例えば、選局中のチャンネル、画像データ及び音声データの取得先等をウェアラブル装置20に通知し、ウェアラブル装置20が当該通知に基づいて画像データ及び音声データを取得してもよい。
図6を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図6は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図6に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図6に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図6に示す変形例では、ステップS101からステップS109の処理は、図5に示すステップS101からステップS109の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図6が示すように、ウェアラブル装置20の制御部10は、既に説明したステップS103の処理が終了すると、ステップS121として、通信部6を介して、出力情報の送信を出力機器30に要求する。出力情報は、例えば、選局中のチャンネル、画像データ及び音声データの取得先等の情報を含む。
出力機器30の制御部40は、ウェアラブル装置20から出力情報の送信要求を受信すると、ステップS122として、通信部36を介して、出力情報をウェアラブル装置20に送信する。例えば、当該制御部40は、チューナー部34で選局しているチャンネルを識別可能な出力情報を作成し、当該出力情報をウェアラブル装置20に送信してもよい。例えば、当該制御部40は、出力機器30が出力している映像、楽曲等を識別可能な出力情報を作成し、当該出力情報をウェアラブル装置20に送信してもよい。
ウェアラブル装置20の制御部10は、出力機器30から出力情報を受信すると、ステップS123として、受信した出力情報を記憶部9に記憶する。当該制御部10は、既に説明したステップS104からステップS109の処理を実行する。
ウェアラブル装置20の制御部10は、ユーザが視聴できていない状態であると判定すると、ステップS131として、記憶部9に記憶している出力情報に対応した画像データ及び音声データを取得する。例えば、出力情報が選局中のチャンネルを示している場合、当該制御部10は、通信部6をチューナーとして機能させ、通信部6で受信した画像データ及び音声データを取得する。例えば、出力情報が映像を示している場合、当該制御部10は、記憶部9又は外部の記憶装置から、映像に対応した画像データ及び音声データを取得する。例えば、出力情報が楽曲を示している場合、当該制御部10は、記憶部9又は外部の記憶装置から、楽曲に対応した音声データを取得する。
ウェアラブル装置20の制御部10は、画像データ及び音声データを取得すると、ステップS132として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、画像データ及び音声データを取得するごとに、ステップS132を実行して、取得した画像データに基づいた表示画像を表示部2a及び2bに表示させ、取得した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの取得を終了し、表示画像の表示及び音声の出力を終了してもよい。
上記の出力システム1において、例えば、出力機器30が楽曲を再生して音声データを出力部41から出力している場合、ウェアラブル装置20の制御部10は、音声データと楽曲データを取得することができる。楽曲データは、例えば、楽曲のタイトル、アーティスト、アルバム等の情報を含む。この場合、ウェアラブル装置20の制御部10は、音声データを出力部11から出力させるとともに、楽曲データを表示部2a及び2bに表示させてもよい。
(変形例)
上記の出力システム1において、ウェアラブル装置20は、外部音量の所定値以上の低下と判定した場合に、ユーザが移動中であるかを判定してもよい。例えば、ウェアラブル装置20は、外部音量の所定値以上の低下と判定し、かつ、ユーザが移動中であると判定した場合に、ユーザが視聴できない状態であると判定してもよい。
このように、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。
図7を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図7は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図7に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図7に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図7に示す変形例では、ステップS101からステップS113の処理は、図5に示すステップS101からステップS113の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図7が示すように、ウェアラブル装置20の制御部10は、所定値以上の低下であると判定した場合(ステップS108,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS141に進める。当該制御部10は、ステップS141として、検出部16の検出結果に基づいて、ユーザが移動したか否かを判定する。
例えば、制御部10は、ステップS141において、撮像部7に撮像させ、撮像データ9cが示す複数の撮像画像から、撮像範囲における所定範囲における画像の変化を検出した場合に、ユーザが移動したと判定してもよい。具体的には、制御部10は、相異のある撮像画像(フレーム)を比較し、比較結果がユーザの移動に対応した判定条件を満たす場合に、ユーザが移動したと判定できる。判定条件は、例えば、ユーザの移動に対応した物体の位置、大きさ等の変化量を示す条件を含む。制御部10は、ステップS142において、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を、既に説明したステップS109に進める。
また、制御部10は、ステップS141において、上記とは異なり、撮像部7が撮像する撮像画像から、ユーザが部屋100(第1空間)から部屋100の外の空間(第2空間)へ移動したか否かを判定し、移動したと判定してもよい。制御部10は、ステップS142において、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を、既に説明したステップS109に進める。即ち、ウェアラブル装置20において、判定部10aは、外部音声の集音中に、音量の所定値以上の低下を検出すると、撮像部7が撮像する撮像画像から、ユーザが第1空間から第2空間へ移動したか否かを判定し、移動していないと判定した場合には、音特性の所定の変化が無いと判定し、移動したと判定した場合には、音特性の所定の変化が有ると判定する構成を有する。なお、ウェアラブル装置20は、ステップS141よりも前の処理の段階においては撮像部7を起動させてなくてもよい。言い換えると、ウェアラブル装置20の判定部10aは、音量の所定値以上の低下を検出すると(ステップS108,Yes)、撮像部7による撮像を開始するようにしてもよい。
また、制御部10は、ステップS141において、上記とは異なり、検出部16の加速度センサの検出結果と予め定められたユーザの移動中の加速度パターンとが一致している場合に、ユーザが移動したと判定してもよい。なお、パターンの一致とは、完全に一致している場合、所定の割合で一致している場合を含む。制御部10は、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を既に説明したステップS109に進める。
ウェアラブル装置20の制御部10は、移動していないと判定した場合(ステップS142,No)、処理を既に説明したステップS106に戻す。
以上のように、ウェアラブル装置20は、ユーザの動作を検出する動作検出部(撮像部7または加速度センサ)をさらに備え、判定部10aは、外部音声の集音中に、音特性の所定の変化の有無として、ユーザの所定の移動動作に起因する、音量の所定値以上の低下の有無を判定する構成を有する。当該構成によれば、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。なお、以上に説明した構成では、外部音声の集音中に、音量の所定値以上の低下を検出すると、動作検出部の検出結果に基づきユーザの移動が検出されたか否かを判定するものとしたが、このような構成に限定されず、処理を逆にしてもよい。即ち、ウェアラブル装置20は、移動検出部の検出結果に基づいてユーザの移動が検出されたと判定すると、音量の所定値以上の低下の有無を判定するものとしてもよい。
上記のウェアラブル装置20は、検出部16がジャイロセンサを有する場合、ジャイロセンサによって自機の向きを検出することができる。ウェアラブル装置20は、音特性の所定の変化の有無として、自機の向きの所定角度以上の変化を伴う、音量の所定値以上の低下の有無を判定してもよい。
このように構成しても、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。
例えば、図7に示すシーケンスは、以下のように変更すればよい。ウェアラブル装置20の制御部10は、ステップS105として、外部音量を基準の音量とするとともに、そのときにジャイロセンサによって検出した方向を基準の方向として記憶部9に記憶するように変更する。当該制御部10は、ステップS141の処理に変えて、自機の向きの所定角度以上の変化を判定する。具体的には、当該制御部10は、検出した向きが基準の向きから所定角度以上の変化であるか否かを判定すればよい。当該制御部10は、所定角度以上の変化ではないと判定した場合、処理を既に説明したステップS106に戻す。当該制御部10は、所定角度以上の変化であると判定した場合、処理をステップS109に進めればよい。以降、図7に示すステップS109からステップS113の処理は、説明を省略する。
(実施形態2)
上記の出力システム1の他の例について説明する。実施形態2に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図2に示したウェアラブル装置20と同様の構成を有する。実施形態2に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図3に示した出力機器30と同様の構成を有する。以下では、ウェアラブル装置20及び出力機器30を例として用いて、実施形態2について説明する。なお、ウェアラブル装置20の集音部8は、少なくとも2つのマイクを備えることを前提とする。
図8を参照しながら、ユーザが出力機器30を視聴している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図8は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図8に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図8に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図8に示すように、出力機器30の制御部40は、ステップS201として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力機器30がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理と、音声を出力部41から出力する処理とを実行する。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力処理を実行している出力機器30を視聴していることを前提とする。
ウェアラブル装置20の制御部10は、ステップS202として、出力機器30との接続要求があるか否かを判定する。例えば、当該制御部10は、操作部3を介して所定の接続操作があったことを検出した場合に、接続要求があったと判定する。接続要求がないと判定した場合(ステップS202,No)、当該制御部10は、ステップS202の処理を繰り返す。接続要求があると判定した場合(ステップS202,Yes)、処理をステップS203に進める。
ウェアラブル装置20の制御部10は、ステップS203として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。
ウェアラブル装置20の制御部10は、ステップS204として、集音部8の集音結果を示す音データ9dから音源方向を推定し、推定結果を記憶部9に記憶する。例えば、当該制御部10は、2つのマイクを用いて、受音した信号の時間差から音源の方向を推定する推定方法を用いることができる。例えば、ウェアラブル装置20の正面の音源から到来した音波を2つのマイクで受音した場合、2つのマイクが検出する信号の時間差はない。これに対し、当該正面から所定の方向へずれた音源から到来した音波を2つのマイクで受音した場合、2つのマイクが検出する信号には時間差が生じる。信号の時間差と音源の方向とは、所定の算出式等によって関連付けられることが知られている。よって、当該制御部10は、2つのマイクを用いて、受音した信号の時間差を検出すれば、当該時間差と所定の算出式によって音源の方向を推定することができる。
ウェアラブル装置20の制御部10は、ステップS205として、推定した音源方向を基準の方向として記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS206として、集音部8の集音結果を示す音データ9dから音源方向を推定する。当該制御部10は、ステップS207として、推定した音源方向が基準の方向から所定角度以上の変化であるか否かを判定する。例えば、当該制御部10は、基準の方向の角度が音源方向の角度を差し引いた値が所定角度以上である場合に、所定角度以上の変化であると判定する。
ウェアラブル装置20の制御部10は、所定角度以上の変化でないと判定した場合(ステップS208,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS206に戻す。
ウェアラブル装置20の制御部10は、所定角度以上の変化であると判定した場合(ステップS208,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS209に進める。当該制御部10は、ステップS209として、ユーザが視聴できていない状態であると判定したことを記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS210として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS211として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS212として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS211からステップS212の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該画像データ及び音声データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データ及び音声データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データ及び音声データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信すると、ステップS213として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS213を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの送信終了を出力機器30に要求し、表示画像の表示及び音声の出力を終了してもよい。
このように、出力システム1のウェアラブル装置20は、出力機器30の外部音声の集音中に、音源方向の所定角度以上の変化があると判定したことを契機に、当該外部音声に対応する音声データを有効利用することができる。その結果、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所に移動した場合に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを利用者に聞かせることができる。ウェアラブル装置20は、音源方向に基づいて判定することで、音量ではユーザの状態変化を判定するのが困難な場合でも、出力機器30が出力している音声データを利用者に聞かせることができる。
実施形態2に係る出力システム1のウェアラブル装置20は、音量の所定の変化と音源方向の所定角度以上の変化と組み合わせて判定してもよい。例えば、ウェアラブル装置20は、音量の所定の変化及び音源方向の所定角度以上の変化を検出した場合に、音特性の所定の変化があると判定してもよい。さらに、実施形態2に係る出力システム1は、実施形態1に係る出力システム1の変形例を適用してもよい。
(実施形態3)
図9を参照しながら、上記のウェアラブル装置20及び出力機器30を備える出力システム1Aについて説明する。図9は、出力システム1Aの全体的な構成を示す図である。出力システム1Aは、ウェアラブル装置20と、出力機器30と、中継器50とを備える。ウェアラブル装置20及び出力機器30は、近距離無線通信または有線による通信を介して、中継器50とデータ通信を行うことができるように構成されている。中継器50は、ウェアラブル装置20と出力機器30との位置関係を検出できるように配置されている。中継器50は、例えば、ルーター、監視装置、警報器、照明器具等を用いることができる。
実施形態3に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図2に示したウェアラブル装置20と同様の構成を有する。以下では、ウェアラブル装置20を例として用いて、実施形態3について説明する。
実施形態3に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図3に示した出力機器30と同様の構成を有する。以下では、出力機器30を例として用いて、実施形態3について説明する。
図10を参照しながら、中継器50の構成について説明する。図10は、中継器50のブロック図である。図10に示すように、中継器50は、通信部51と、撮像部52と、集音部53と、記憶部54と、制御部55とを備える。
通信部51は、無線により通信できる。通信部51は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部51は、複数の通信方式をサポートしてもよい。通信部51は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
撮像部52は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部52は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部52は、撮像した画像を信号に変換して制御部55へ出力できる。
集音部53は、出力機器30の前方の音を集音できる。集音部53は、例えば、マイクを含む。集音部53は、集音結果を音信号へ変換して制御部55へ入力できる。
記憶部54は、プログラム及びデータを記憶できる。記憶部54は、制御部55の処理結果を一時的に記憶する作業領域としても利用される。記憶部54は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部54は、複数の種類の記憶媒体を含んでよい。記憶部54は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部54は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部54は、例えば、制御プログラム54a、設定データ54b、撮像データ54c及び音データ54dを記憶できる。制御プログラム54aは、中継器50を稼動させるための各種制御に関する機能を提供できる。制御プログラム54aは、例えば、通信部51を制御することによって、外部の電子機器との通信を実現させる。制御プログラム54aは、画像データ及び音声データを外部の電子機器に配信する機能を提供できる。制御プログラム54aは、ユーザが第1状態であるか、第2状態であるかを判定する機能を提供できる。
設定データ54bは、中継器50の動作に関する各種の設定に関する情報を含む。設定データ54bは、ユーザが出力機器30を視聴している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ54cは、撮像部52によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ54cは、例えば、静止画データと動画データとが含まれる。撮像データ54cには、撮像部52の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ54dは、集音部53によって集音された音を示すデータである。音データ54dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ54dには、集音部53の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部55は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部55は、中継器50の動作を統括的に制御できる。制御部55の各種機能は、制御部55の制御に基づいて実現される。
具体的には、制御部55は、記憶部54に記憶されているプログラムに含まれる命令を実行できる。制御部55は、記憶部54に記憶されているデータを必要に応じて参照できる。制御部55は、データ及び命令に応じて機能部を制御する。制御部55は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、通信部51、撮像部52、及び集音部53を含むが、これらに限定されない。
制御部55は、上記のウェアラブル装置20の判定部10aを含む。制御部55は、制御プログラム54aを実行することによって、判定部10aを実現する。判定部10aは、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する機能を提供できる。
図11を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20、出力機器30及び中継器50の動作について説明する。図11は、出力機器30の利用時における出力システム1Aの動作を示すシーケンス図である。図11に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図11に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。図11に示す中継器50の動作は、中継器50の制御部55が制御プログラム54aを実行することによって実現される。図11に示す例では、ウェアラブル装置20と中継器50は、コネクションが確立されていることを前提とする。図11に示す例では、出力機器30と中継器50とは、コネクションが確立されていることを前提とする。
図11に示すように、出力機器30の制御部40は、ステップS311として、通信部36を介して、映像データの送信を中継器50に要求する。
中継器50の制御部55は、出力機器30から映像データの送信要求を受信すると、ステップS312として、出力機器30への映像データ(画像データ及び音声データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データを出力機器30へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データの出力機器30への配信を開始する。
出力機器30の制御部40は、中継器50から映像データを受信すると、ステップS313として、受信した画像データを表示部32に表示させ、受信した音声データを出力部41から出力させる。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。なお、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力中の出力機器30を視聴していることを前提とする。
中継器50の制御部55は、ステップS314として、ウェアラブル装置20近傍の外部音量を取得する。例えば、当該制御部55は、通信部51を介して、ウェアラブル装置20に集音させた外部音声を受信し、当該外部音声から外部音量を取得してもよい。例えば、当該制御部55は、ウェアラブル装置20に外部音声を集音させるとともに、当該外部音声の音量を検出させ、検出した音量をウェアラブル装置20から通信部51を介して取得してもよい。例えば、当該制御部55は、ウェアラブル装置20の位置を特定し、当該特定した位置近傍の外部音声の音量を他の電子機器から取得してもよい。
中継器50の制御部55は、ステップS315として、取得した外部音量を基準の音量として記憶部54に記憶する。本実施形態では、当該制御部55は、取得した音量を基準の音量とする場合について説明するが、これに限定されない。例えば、当該制御部55は、出力機器30から出力している音量設定を示す音量データを取得し、取得した音量データが示す音量を基準の音量としてもよい。
中継器50の制御部55は、ステップS316として、ウェアラブル装置20近傍の外部音量を取得する。当該制御部55は、ステップS317として、外部音量が基準の音量から所定値以上の低下であるか否かを判定する。例えば、当該制御部55は、基準の音量が外部音量を差し引いた値が所定値以上である場合に、所定値以上の低下であると判定する。
中継器50の制御部55は、所定値以上の低下でないと判定した場合(ステップS318,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS316に戻す。
中継器50の制御部55は、所定値以上の低下であると判定した場合(ステップS318,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS319に進める。当該制御部55は、ステップS319として、ユーザが視聴できていない状態であると判定したことを記憶部54に記憶する。
中継器50の制御部55は、ステップS320として、出力機器30への映像の送信を停止する。当該制御部55は、ステップS321として、ウェアラブル装置20への映像データ(音声データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データをウェアラブル装置20へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データのウェアラブル装置20への配信を開始する。
ウェアラブル装置20の制御部10は、中継器50から映像データを受信すると、ステップS322として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。その結果、ウェアラブル装置20は、表示部2a及び2bに表示画像を表示し、出力部11から音を出力する。
上記の実施形態2の出力システム1Aでは、中継器50は、音特性の所定の変化があると判定した場合に、ウェアラブル装置20から外部音声に対応する音声データを出力させる場合について説明したが、これに限定されない。例えば、出力システム1Aは、出力機器30が音特性の所定の変化の有無を判定するように構成されてもよい。この場合、出力機器30は、ウェアラブル装置20の集音結果を取得し、当該集音結果に基づいて音特性の所定の変化の有無を判定すればよい。
上記の実施形態では、ウェアラブル装置20は、ユーザの左右の目の前に設けられる一対の表示部2a、2bを有している構成を例示してきたが、これに限定されない。例えば、ウェアラブル装置20は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
上記の実施形態では、ウェアラブル装置20は、制御部10を判定部10aとして機能させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、制御部10とは別の構成として判定部10aを追加してもよい。例えば、ウェアラブル装置20は、撮像部7、集音部8及び検出部16の何れか1つを含む判定部10aとして、制御部10とは別に設けてもよい。なお、判定部10aは、中継器50にも同様に設けることができる。
また、上記の実施形態では、ウェアラブル装置20が、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、外部音声に対応する音声データを外部から受信するように通信部6を制御し、受信された音声データに基づき出力部11から音声を出力させる音声出力動作を実行する構成を説明してきた。当該構成において、ウェアラブル装置20における、動作制御部10bは、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、当該所定の変化が生じる前の時点における外部音声の音量(例えば、図5のステップS105を参照し説明した、基準の音量)と同量の出力音量にて、音声出力動作を実行するようにしてもよい。このようにすることで、出力機器30が出力する音声を聴いていた時と同程度の音量の音声をウェアラブル装置20からも聴くことができ、ウェアラブル装置20の音声出力動作に移行するに際してユーザが煩わしい思いをしなくて済む。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。