JP6475592B2 - ウェアラブル装置及び出力システム - Google Patents

ウェアラブル装置及び出力システム Download PDF

Info

Publication number
JP6475592B2
JP6475592B2 JP2015159055A JP2015159055A JP6475592B2 JP 6475592 B2 JP6475592 B2 JP 6475592B2 JP 2015159055 A JP2015159055 A JP 2015159055A JP 2015159055 A JP2015159055 A JP 2015159055A JP 6475592 B2 JP6475592 B2 JP 6475592B2
Authority
JP
Japan
Prior art keywords
sound
unit
output
external
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015159055A
Other languages
English (en)
Other versions
JP2017037526A (ja
Inventor
須藤 智浩
智浩 須藤
渡邊 晃子
晃子 渡邊
長究 橋本
長究 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2015159055A priority Critical patent/JP6475592B2/ja
Publication of JP2017037526A publication Critical patent/JP2017037526A/ja
Application granted granted Critical
Publication of JP6475592B2 publication Critical patent/JP6475592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、ユーザに装着可能なウェアラブル装置及び出力システムに関する。
上記のウェアラブル装置として、近年、テレビ、ディジタルオーディオプレイヤー等の複数の外部装置を相互に識別するための複数の識別画像を一覧表示する第1の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第2の表示領域と、を含む統合画像を生成する生成部と、前記統合画像を画像表示装置の使用者に視認させる画像表示部と、を備える、頭部装着型表示装置が開示されている(特許文献1参照)。
特開2015−64476号公報
上記特許文献1においては、外部装置が出力する音声を有効利用することについては何ら考慮されていない。
本発明の目的は、外部装置が出力する音声を有効利用することができるウェアラブル装置及び出力システムを提供することにある。
1つの態様に係るウェアラブル装置は、ユーザの頭部に装着可能なウェアラブル装置であって、通信部と、出力部と、外部の出力機器が出力する外部音声を集音する集音部と、前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、を備える。
1つの態様に係る出力システムは、頭部に装着可能なウェアラブル装置と、前記ウェアラブル装置の外部の出力機器と、を備える出力システムであって、前記ウェアラブル装置は、前記外部の出力機器が出力する外部音声を集音する集音部と、出力部と、を備え、前記ウェアラブル装置は、前記集音された前記外部音声の所定の音特性を検出し、当該音特性の所定の変化を検出すると、当該外部音声に対応する音声データの要求を前記外部の出力機器へ送信し、前記外部の出力機器は、前記音声データの要求に応じて、当該音声データを前記ウェアラブル装置へ送信し、前記ウェアラブル装置は、受信された前記音声データに基づき前記出力部から音声を出力させる。
図1は、出力システムの全体的な構成を示す図である。 図2は、ウェアラブル装置のブロック図である。 図3は、出力機器のブロック図である。 図4は、出力システムにおける動作の例を示す図である。 図5は、出力機器の利用時における出力システムの動作を示すシーケンス図である。 図6は、出力機器の利用時における出力システムの動作の変形例を示すシーケンス図である。 図7は、出力機器の利用時における出力システムの動作の変形例を示すシーケンス図である。 図8は、出力機器の利用時における出力システムの動作を示すシーケンス図である。 図9は、出力システムの全体的な構成を示す図である。 図10は、中継器のブロック図である。 図11は、出力機器の利用時における出力システムの動作を示すシーケンス図である。
本出願に係るウェアラブル装置及び出力システムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
(実施形態1)
図1乃至図3を参照しながら、出力システム1の構成について説明する。図1は、出力システム1の全体的な構成を示す図である。出力システム1は、ウェアラブル装置20と、出力機器30とを備える。ウェアラブル装置20と出力機器30とは、近距離無線通信を介して、データ通信を行うことができるように構成されている。
ウェアラブル装置20は、前面部20aと、側面部20bと、側面部20cとを有する。前面部20aは、装着時に、ユーザの両目を覆うようにユーザの正面に配置される。前面部20aは、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部(リム)とが一体となって構成されている。側面部20bは、前面部20aの一方の端部に接続され、側面部20cは、前面部20aの他方の端部に接続される。側面部20b及び側面部20cは、装着時に、眼鏡の蔓のようにユーザの耳によって支持され、ウェアラブル装置20を安定させる。側面部20b及び側面部20cは、装着時に、ユーザの頭部の背面で接続されるように構成されてもよい。
前面部20aは、装着時にユーザの目と対向する面に表示部2a及び表示部2bを備える。表示部2aは、装着時にユーザの右目と対向する位置に配設される。表示部2bは、装着時にユーザの左目と対向する位置に配設される。表示部2aは、右目用の画像を表示する。表示部2bは、左目用の画像を表示する。このように、装着時にユーザのそれぞれの目に対応した画像を表示する表示部2a及び表示部2bを備えることにより、ウェアラブル装置20は、両眼の視差を利用した3次元表示を実現することができる。
表示部2a及び表示部2bは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部2a及び表示部2bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部2a及び表示部2bを設けてもよい。表示部2a及び表示部2bは、ユーザの右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてもよい。
前面部20aは、ウェアラブル装置20の装着時に、ユーザの顔に対向する面とは反対側の面に撮像部7を備える。撮像部7は、ユーザの前方を撮像する。例えば、撮像部7は、ユーザの前方の視界に相当する範囲の画像を取得する。視界とは、例えば、ユーザが正面を見ているときの視界を含む。
ウェアラブル装置20は、ユーザが視認している前景に各種情報を視認させる機能を有する。前景とは、ユーザの前方の風景である。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っていない場合、表示部2a及び表示部2bを透して前景をユーザに視認させる。ウェアラブル装置20は、表示部2a及び表示部2bが表示を行っている場合、表示部2a及び表示部2bを透した前景と、表示部2a及び表示部2bの表示内容とをユーザに視認させる。ウェアラブル装置20は、3次元的な情報を表示部2a及び表示部2bに表示させてもよい。
図1では、ウェアラブル装置20が、眼鏡のような形状を有する例を示したが、ウェアラブル装置20の形状はこれに限定されない。例えば、ウェアラブル装置20は、ゴーグルの形状を有してもよい。ウェアラブル装置20は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。
図2を参照しながら、ウェアラブル装置20の機能的な構成について説明する。図2は、ウェアラブル装置20のブロック図である。図2に示すように、ウェアラブル装置20は、表示部2a及び表示部2bと、操作部3と、通信部6と、撮像部7と、集音部8と、記憶部9と、制御部10と、出力部11と、検出部16とを備える。本実施形態のウェアラブル装置20は、撮像部7、集音部8及び検出部16の少なくとも1つと、制御部10とを連動させて、外部の出力機器30とユーザとの相対変化を検出することができる。
表示部2a及び2bは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の半透過または透過の表示デバイスを備える。表示部2a及び2bは、制御部10から入力される制御信号に従って各種の情報を表示できる。表示部2a及び2bは、レーザー光線等の光源を用いてユーザの網膜に画像を投影する投影装置であってもよい。
操作部3は、ユーザの操作を受け付けることができる。操作部3は、操作を受け付けるために、ボタン、キー、タッチスクリーン等の入力デバイスを用いることができる。図1に示す例では、操作部3は、前面部20aと側面部20bと側面部20cとの各々に設けられて、接触を検出するタッチセンサを含む。タッチセンサは、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサを用いることができる。なお、操作部3は、前面部20aと側面部20bと側面部20cの何れか一方に設ける構成であってもよい。例えば、操作部3は、ウェアラブル装置20の起動、停止、動作モードの変更等の基本的な操作を受け付ける。
通信部6は、無線により通信できる。通信部6は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部6は、複数の通信方式をサポートしてもよい。通信部6は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
通信部6は、放送電波を受信する。通信部6が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。通信部6は、受信した電波を信号へ変換して制御部10へ入力する。本実施形態では、通信部6は、テレビ、ラジオ等のチューナーを兼ねる場合について説明するが、これに限定されない。ウェアラブル装置20は、通信部6とは別にチューナー部を備えてもよい。
撮像部7は、ユーザの前方における撮像範囲を撮像できる。撮像部7は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部7は、撮像した画像を信号に変換して制御部10へ出力できる。
集音部8は、ウェアラブル装置20の周囲の音を集音できる。集音部8は、例えば、マイクを含む。集音部8は、集音結果を音信号へ変換して制御部10へ入力できる。出力部11は、例えば、制御部10から入力される音信号を音として出力できる。出力部11は、例えば、スピーカ、イヤホンジャックを含む。
記憶部9は、プログラム及びデータを記憶できる。記憶部9は、制御部10の処理結果を一時的に記憶する作業領域としても利用される。記憶部9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部9は、複数の種類の記憶媒体を含んでよい。記憶部9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部9は、例えば、制御プログラム9a、設定データ9b、撮像データ9c及び音データ9dを記憶できる。制御プログラム9aは、ウェアラブル装置20を稼動させるための各種制御に関する機能を提供できる。制御プログラム9aは、例えば、通信部6を制御することによって、外部の通信装置との通信を実現させる。制御プログラム9aが提供する機能は、表示部2a及び2bを制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム9aが提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含む。第1状態は、外部の出力機器をユーザが視聴している状態である。第2状態は、当該出力機器30をユーザが視聴していない状態である。記憶部9は、外部の出力機器等から受信した画像データを記憶できる。
設定データ9bは、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含む。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ9cは、撮像部7によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ9cは、例えば、静止画データと動画データとが含まれる。撮像データ9cには、撮像部7の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ9dは、集音部8によって集音された音を示すデータである。音データ9dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ9dには、集音部8の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部10は、ウェアラブル装置20の動作を統括的に制御できる。制御部10の各種機能は、制御部10の制御に基づいて実現される。
具体的には、制御部10は、記憶部9に記憶されているプログラムに含まれる命令を実行できる。制御部10は、記憶部9に記憶されているデータを必要に応じて参照できる。制御部10は、データ及び命令に応じて機能部を制御する。制御部10は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部2a及び2b、通信部6、集音部8、及び出力部11を含むが、これらに限定されない。制御部10は、判定部10aと動作制御部10bとを含む。制御部10は、制御プログラム9aを実行することによって、判定部10aを実現する。判定部10aは、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する機能を提供できる。外部音声は、例えば、ウェアラブル装置20を装着しているユーザが聞いている音声、音等を含む。動作制御部10bは、表示部2a及び2bの表示動作や、出力部11からの音声出力動作を制御する。動作制御部10bは、判定部10aや検出部16の検出結果に応じて、制御を変更することがある。
検出部16は、撮像部7の周囲近傍に存在する物体を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、撮像範囲に存在する現実の物体を検出するセンサである。検出部16は、検出した撮像範囲に存在する現実の物体の変化に基づいて、現実の物体とウェアラブル装置20との相対移動を検出する。検出部16は、可視光、赤外線、紫外線、電波、音波、磁気、静電容量のうち、複数の値を検出し、複数の検出結果に基づいて、撮像範囲内から撮像範囲外への物体の移動を検出してもよい。検出部16は、加速度センサをさらに有してもよい。加速度センサは、ウェアラブル装置20に働く加速度を検出できる。加速度センサの検出結果は、ウェアラブル装置20を携帯するユーザの移動、停止を検出するために用いることができる。
次に、出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。なお、図1に示す例では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、オーディオ機器、パーソナルコンピュータ等の他の電子機器としてもよい。
図3を参照しながら、出力機器30の構成について説明する。図3は、出力機器30のブロック図である。出力機器30は、例えば、テレビである。出力機器30は、表示画像を表示する。出力機器30は、表示画像に対応した音声を出力する。なお、本実施形態では、出力機器30は、テレビである場合について説明するが、これに限定されない。出力機器30は、例えば、オーディオ機器、パーソナルコンピュータ等の他の電子機器としてもよい。
図3に示すように、出力機器30は、表示部32と、操作部33と、チューナー部34と、通信部36と、撮像部37と、集音部38と、記憶部39と、制御部40と、出力部41とを備える。
表示部32は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)等の表示デバイスを備える。表示部32は、制御部40から入力される制御信号に従って各種の情報を表示できる。
操作部33は、ユーザの操作を受け付けることができる。操作部33は、操作を受け付けるために、ボタン、キー、リモートコントローラ等の入力デバイスを用いることができる。
チューナー部34は、放送電波を受信する。チューナー部34が受信する電波は、テレビの電波であってもよいし、ラジオの電波であってもよい。放送に用いられる電波の周波数帯は、複数の物理チャンネルに分割されている。放送業者は、割り当てられた物理チャンネルを用いて放送区域内に放送電波を送信する。チューナー部34は、受信した電波を信号へ変換して制御部40へ入力する。出力機器30は、上記のウェアラブル装置20と同様に、通信部36をチューナー部34として機能させてもよい。
通信部36は、無線により通信できる。通信部36は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部36は、複数の通信方式をサポートしてもよい。通信部36は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
撮像部37は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部37は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部37は、撮像した画像を信号に変換して制御部40へ出力できる。
集音部38は、出力機器30の周囲の音を集音できる。集音部38は、例えば、マイクを含む。集音部38は、集音結果を音信号へ変換して制御部40へ入力できる。出力部41は、例えば、制御部40から入力される音信号を音として出力できる。出力部41は、例えば、スピーカ、イヤホンジャックを含む。
本実施形態では、出力システム1は、出力機器30が撮像部37及び集音部38を備える場合について説明するが、これに限定されない。例えば、出力機器30は、撮像部37及び集音部38の少なくとも一方を備えなくてもよい。
記憶部39は、プログラム及びデータを記憶できる。記憶部39は、制御部40の処理結果を一時的に記憶する作業領域としても利用される。記憶部39は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部39は、複数の種類の記憶媒体を含んでよい。記憶部39は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部39は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部39は、例えば、制御プログラム91、設定データ92、撮像データ93及び音データ94を記憶できる。制御プログラム91は、出力機器30を稼動させるための各種制御に関する機能を提供できる。制御プログラム91は、チューナー部34によって受信された放送電波を再生する機能を提供できる。放送電波がテレビの電波の場合、画像及び音が再生される。放送電波がラジオの電波の場合、音が再生される。制御プログラム91は、視聴可能なチャンネルを設定する機能と、設定したチャンネルの中から再生するチャンネルを利用者に選択させる機能とを提供できる。
制御プログラム91は、例えば、通信部36を制御することによって、外部の通信装置との通信を実現させる。制御プログラム91が提供する機能は、表示部32を制御することによって、画像データの表示を実現させる。画像データは、例えば、静止画、動画等のデータを含む。制御プログラム91が提供する機能は、通信部36を制御することによって、画像データを外部の電子機器に配信する機能を含んでもよい。制御プログラム91が提供する機能は、ユーザが第1状態であるか、第2状態であるかを判定する機能を含んでもよい。記憶部39は、受信した画像データを記憶できる。
設定データ92は、出力機器30の動作に関する各種の設定に関する情報を含む。設定データ92は、ユーザが外部表示画像を視認している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ93は、撮像部37によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ93は、例えば、静止画データと動画データとが含まれる。撮像データ93には、撮像部37の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ94は、集音部38によって集音された音を示すデータである。音データ94は、例えば、音量、音の波形、周波数等を示すデータを含む。音データ94には、集音部38の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部40は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部40は、出力機器30の動作を統括的に制御できる。制御部40の各種機能は、制御部40の制御に基づいて実現される。
具体的には、制御部40は、記憶部39に記憶されているプログラムに含まれる命令を実行できる。制御部40は、記憶部39に記憶されているデータを必要に応じて参照できる。制御部40は、データ及び命令に応じて機能部を制御する。制御部40は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、表示部32、通信部36、集音部38、及び出力部41を含むが、これらに限定されない。
図3に示す例では、出力機器30は、撮像部37と集音部38とを備える場合について説明したが、これに限定されない。例えば、出力機器30は、撮像部37と集音部38を備えなくてもよい。
図4を参照しながら、出力システム1の動作の例について説明する。図4は、出力システム1における動作の例を示す図である。
図4に示すステップS11では、部屋100において、出力機器30は、表示画像を表示部32に表示している。出力機器30は、当該表示画像に対応した音声を出力部41から出力している。ユーザは、ウェアラブル装置20を装着した状態で、方向D1を向いて停止している。ユーザは、ウェアラブル装置20を起動させ、出力機器30を視聴している。
ステップS11として、ウェアラブル装置20は、集音部8によって集音し、集音結果から音特性として音量を検出する。ウェアラブル装置20は、検出した音量を基準の音量として記憶部9に記憶する。ウェアラブル装置20は、集音部8による集音を継続する。ウェアラブル装置20は、音量を検出すると、当該音量と基準の音量を比較し、音量の所定の変化の有無を判定する。音量の所定の変化は、例えば、ウェアラブル装置20と出力機器30との距離の変化に対応した音量の変化、ユーザの向き及び移動の変化に対応した音量の変化等を含む。
例えば、ステップS11に示すように、ユーザが移動していない場合、ウェアラブル装置20は、所定の変化よりも小さい音量の変化を検出する。その結果、ステップS11の状態である場合、ウェアラブル装置20は、音量の所定の変化がないと判定する。
ステップS12では、部屋100において、出力機器30は、表示画像を表示部32に表示している。出力機器30は、当該表示画像に対応した音声を出力部41から出力している。ユーザは、ウェアラブル装置20を装着した状態で、方向D1から方向D2へ向きを変えて移動し、部屋100から退室している。この場合、ユーザは、部屋100の出力機器30の出力音を、部屋100の中よりも聞こえ難くなっている。
ステップS12として、ウェアラブル装置20は、外部音声の集音結果から音量を検出し、当該音量と基準の音量を比較すると、音量の所定の変化があると判定する。ウェアラブル装置20は、通信部6を介して、出力機器30から画像データ及び音声データを受信する。
ステップS13として、ウェアラブル装置20は、受信した音声データを出力部11から出力させる音声出力動作を実行する。ウェアラブル装置20は、受信した画像データを表示部2a及び2bに表示させる表示動作を実行する。その結果、部屋100の外において、ウェアラブル装置20は、表示画像を表示部2a及び2bに表示し、当該表示画像に対応した音声を出力部11から出力することができる。
ステップS13では、部屋100の外において、ユーザは、出力機器30からの音声が聞こえ難い場合に、ウェアラブル装置20の出力部11から出力機器30の音声を聞くことができる。さらに、ユーザは、ウェアラブル装置20の表示部2a及び2bによって出力機器30の表示画像を視認することができる。
このように、ウェアラブル装置20は、出力機器30の外部音声の集音中に、音特性の所定の変化が有ると判定したことを契機に、当該外部音声に対応する音声データを有効利用することができる。その結果、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所等に移動した場合に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを出力部11から利用者に聞かせることができる。
図5を参照しながら、ユーザが出力機器30を視聴している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図5は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図5に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図5に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図5に示すように、出力機器30の制御部40は、ステップS101として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理と、音声を出力部41から出力する処理とを実行する。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力機器30を視聴していることを前提とする。
ウェアラブル装置20の制御部10は、ステップS102として、出力機器30との接続要求があるか否かを判定する。例えば、当該制御部10は、操作部3を介して所定の接続操作があったことを検出した場合に、接続要求があったと判定する。接続要求がないと判定した場合(ステップS102,No)、当該制御部10は、ステップS102の処理を繰り返す。接続要求があると判定した場合(ステップS102,Yes)、処理をステップS103に進める。
ウェアラブル装置20の制御部10は、ステップS103として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。
ウェアラブル装置20の制御部10は、ステップS104として、集音部8の集音結果を示す音データ9dから外部音量を検出する。当該制御部10は、ステップS105として、検出した外部音量を基準の音量として記憶部9に記憶する。本実施形態では、当該制御部10は、検出した音量を基準の音量とする場合について説明するが、これに限定されない。例えば、当該制御部10は、出力機器30から出力している音量設定を示す音量データを取得し、取得した音量データが示す音量を基準の音量としてもよい。
ウェアラブル装置20の制御部10は、ステップS106として、集音部8の集音結果を示す音データ9dから外部音量を検出する。当該制御部10は、ステップS107として、外部音量が基準の音量から所定値以上の低下であるか否かを判定する。例えば、当該制御部10は、基準の音量が外部音量を差し引いた値が所定値以上である場合に、所定値以上の低下であると判定する。
ウェアラブル装置20の制御部10は、所定値以上の低下でないと判定した場合(ステップS108,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS106に戻す。本実施形態では、ウェアラブル装置20は、外部音量を検出する処理を実行している間、集音部8による集音中となっている。
ウェアラブル装置20の制御部10は、所定値以上の低下であると判定した場合(ステップS108,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS109に進める。当該制御部10は、ステップS109として、ユーザが視聴できていない状態であると判定したことを記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS110として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS111として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS112として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS111からステップS112の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該画像データ及び音声データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データ及び音声データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データ及び音声データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信すると、ステップS113として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS113を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの送信終了を出力機器30に要求し、表示画像の表示及び音声の出力を終了してもよい。
図5に示すシーケンスにおいて、ウェアラブル装置20の制御部10は、ステップS105で基準の音量を記憶する場合に、検出した外部の音量を基準の音量として記憶部9に記憶してもよい。当該制御部10は、外部音量が所定値以上の低下と判定した場合に、出力機器30から受信した音声データを、当該基準の音量で出力部11から出力させてもよい。
上記の出力システム1のウェアラブル装置20は、所定の接続操作を検出した場合に、出力機器30とコネクションを確立する場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、集音部8によって所定の音量を検出した場合に、出力機器30とコネクションを確立してもよい。
上記の出力システム1において、例えば、出力機器30が楽曲を再生して音声データを出力部41から出力している場合、ウェアラブル装置20の制御部10は、出力機器30から音声データを受信し、当該音声データを出力部11から出力することができる。この場合、ウェアラブル装置20の制御部10は、音声の出力中であることを示すアイコン、画面等を表示部2a及び2bに表示させてもよい。
以上の実施形態においては、出力機器30がテレビである場合について説明したが、これに限定されず、上述したように、出力機器30は、オーディオ機器であってもよい。そして、オーディオ機器が表示機能を備えず、音声の出力機能のみを備える場合においては、ウェアラブル装置20の判定部10aは、出力機器30としてのオーディオ機器が出力する音声の集音中に、当該音声の音特性の所定の変化の有無として、当該音声の音量の所定値以上の低下の有無を判定し、音量の所定値以上の低下があると判定した場合に、ユーザがオーディオ機器の音声を聴くことができていない状態であると判定し、オーディオ機器から音声データのみを受信して、当該音声データを出力部11から出力させるようにすればよい。即ち、ウェアラブル装置20は、通信部6と、音声に関する情報を出力する出力部11と、外部の出力機器が出力する外部音声を集音する集音部8と、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部10aと、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、外部音声に対応する音声データを外部から受信するように通信部6を制御し、当該受信された音声データに基づき出力部11から音声を出力させる音声出力動作を実行する動作制御部10bと、を備えるものと特徴付けられてよい。これにより、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所等に移動したことに基づく音特性の所定の変化が有ると判定したことを契機に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを出力部11から利用者に聞かせることができる。
なお、上記の実施形態において、判定部10aは、外部音声の集音中に、音特性の所定の変化の有無として、音量の所定値以上の低下の有無を判定し、音量の所定値以上の低下があると判定した場合に、ユーザが出力機器30を視聴できていない状態であると判定し、出力機器30から少なくとも音声データを受信して(画像データも受信してよい)、音声データを出力部11から出力させる(画像データも受信した場合には、画像データに基づいた表示画像を表示部2a及び2bに表示させてもよい)構成を説明したがこれに限定されない。判定部10aは、外部音声の集音中に、音量の所定値以上の低下を検出すると、当該音量の所定値以上の低下が非連続的な低下であるか否かを判定し、非連続的な音量の低下である場合には、音特性の所定の変化が無いと判定し、一方で、非連続的な音量の低下でない場合には、音特性の所定の変化が有ると判定し、当該判定に基づいて出力機器30から少なくとも音声データを受信して、音声データを出力部11から出力させるようにしてもよい。このような構成によれば、例えば、出力機器30がパーソナルコンピュータであって、当該パーソナルコンピュータが音量変更の操作のためのスライドバーを表示し、ユーザがスライドバーを操作することによって所望とする音量値を指定することで、音量を段階的に変化することなく、当該指定された音量に変更する場合、即ち、音量の所定値以上の低下が非連続的な低下となる場合には、ウェアラブル装置20は、ユーザは出力機器30を視聴している状態(即ち、ユーザが出力機器30を視聴できない状態とはなっていない)と判定し、出力機器30から音声データを受信する動作を実行させずに済む。
(変形例)
上記の出力システム1は、出力機器30が画像データ及び音声データを取得してウェアラブル装置20に送信する場合について説明したが、これに限定されない。例えば、出力システム1は、出力機器30が画像データ及び音声データを送信する代わりに、例えば、選局中のチャンネル、画像データ及び音声データの取得先等をウェアラブル装置20に通知し、ウェアラブル装置20が当該通知に基づいて画像データ及び音声データを取得してもよい。
図6を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図6は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図6に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図6に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図6に示す変形例では、ステップS101からステップS109の処理は、図5に示すステップS101からステップS109の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図6が示すように、ウェアラブル装置20の制御部10は、既に説明したステップS103の処理が終了すると、ステップS121として、通信部6を介して、出力情報の送信を出力機器30に要求する。出力情報は、例えば、選局中のチャンネル、画像データ及び音声データの取得先等の情報を含む。
出力機器30の制御部40は、ウェアラブル装置20から出力情報の送信要求を受信すると、ステップS122として、通信部36を介して、出力情報をウェアラブル装置20に送信する。例えば、当該制御部40は、チューナー部34で選局しているチャンネルを識別可能な出力情報を作成し、当該出力情報をウェアラブル装置20に送信してもよい。例えば、当該制御部40は、出力機器30が出力している映像、楽曲等を識別可能な出力情報を作成し、当該出力情報をウェアラブル装置20に送信してもよい。
ウェアラブル装置20の制御部10は、出力機器30から出力情報を受信すると、ステップS123として、受信した出力情報を記憶部9に記憶する。当該制御部10は、既に説明したステップS104からステップS109の処理を実行する。
ウェアラブル装置20の制御部10は、ユーザが視聴できていない状態であると判定すると、ステップS131として、記憶部9に記憶している出力情報に対応した画像データ及び音声データを取得する。例えば、出力情報が選局中のチャンネルを示している場合、当該制御部10は、通信部6をチューナーとして機能させ、通信部6で受信した画像データ及び音声データを取得する。例えば、出力情報が映像を示している場合、当該制御部10は、記憶部9又は外部の記憶装置から、映像に対応した画像データ及び音声データを取得する。例えば、出力情報が楽曲を示している場合、当該制御部10は、記憶部9又は外部の記憶装置から、楽曲に対応した音声データを取得する。
ウェアラブル装置20の制御部10は、画像データ及び音声データを取得すると、ステップS132として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、画像データ及び音声データを取得するごとに、ステップS132を実行して、取得した画像データに基づいた表示画像を表示部2a及び2bに表示させ、取得した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの取得を終了し、表示画像の表示及び音声の出力を終了してもよい。
上記の出力システム1において、例えば、出力機器30が楽曲を再生して音声データを出力部41から出力している場合、ウェアラブル装置20の制御部10は、音声データと楽曲データを取得することができる。楽曲データは、例えば、楽曲のタイトル、アーティスト、アルバム等の情報を含む。この場合、ウェアラブル装置20の制御部10は、音声データを出力部11から出力させるとともに、楽曲データを表示部2a及び2bに表示させてもよい。
(変形例)
上記の出力システム1において、ウェアラブル装置20は、外部音量の所定値以上の低下と判定した場合に、ユーザが移動中であるかを判定してもよい。例えば、ウェアラブル装置20は、外部音量の所定値以上の低下と判定し、かつ、ユーザが移動中であると判定した場合に、ユーザが視聴できない状態であると判定してもよい。
このように、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。
図7を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20及び出力機器30の動作の変形例について説明する。図7は、出力機器30の利用時における出力システム1の動作の変形例を示すシーケンス図である。図7に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図7に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図7に示す変形例では、ステップS101からステップS113の処理は、図5に示すステップS101からステップS113の処理と同一であるため、異なる部分のみを説明し、同一部分の説明は省略する。
図7が示すように、ウェアラブル装置20の制御部10は、所定値以上の低下であると判定した場合(ステップS108,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS141に進める。当該制御部10は、ステップS141として、検出部16の検出結果に基づいて、ユーザが移動したか否かを判定する。
例えば、制御部10は、ステップS141において、撮像部7に撮像させ、撮像データ9cが示す複数の撮像画像から、撮像範囲における所定範囲における画像の変化を検出した場合に、ユーザが移動したと判定してもよい。具体的には、制御部10は、相異のある撮像画像(フレーム)を比較し、比較結果がユーザの移動に対応した判定条件を満たす場合に、ユーザが移動したと判定できる。判定条件は、例えば、ユーザの移動に対応した物体の位置、大きさ等の変化量を示す条件を含む。制御部10は、ステップS142において、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を、既に説明したステップS109に進める。
また、制御部10は、ステップS141において、上記とは異なり、撮像部7が撮像する撮像画像から、ユーザが部屋100(第1空間)から部屋100の外の空間(第2空間)へ移動したか否かを判定し、移動したと判定してもよい。制御部10は、ステップS142において、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を、既に説明したステップS109に進める。即ち、ウェアラブル装置20において、判定部10aは、外部音声の集音中に、音量の所定値以上の低下を検出すると、撮像部7が撮像する撮像画像から、ユーザが第1空間から第2空間へ移動したか否かを判定し、移動していないと判定した場合には、音特性の所定の変化が無いと判定し、移動したと判定した場合には、音特性の所定の変化が有ると判定する構成を有する。なお、ウェアラブル装置20は、ステップS141よりも前の処理の段階においては撮像部7を起動させてなくてもよい。言い換えると、ウェアラブル装置20の判定部10aは、音量の所定値以上の低下を検出すると(ステップS108,Yes)、撮像部7による撮像を開始するようにしてもよい。
また、制御部10は、ステップS141において、上記とは異なり、検出部16の加速度センサの検出結果と予め定められたユーザの移動中の加速度パターンとが一致している場合に、ユーザが移動したと判定してもよい。なお、パターンの一致とは、完全に一致している場合、所定の割合で一致している場合を含む。制御部10は、ユーザが移動したと判定した場合(ステップS142,Yes)、ユーザが出力機器30の出力音声を視聴できていない状態であると判定し、処理を既に説明したステップS109に進める。
ウェアラブル装置20の制御部10は、移動していないと判定した場合(ステップS142,No)、処理を既に説明したステップS106に戻す。
以上のように、ウェアラブル装置20は、ユーザの動作を検出する動作検出部(撮像部7または加速度センサ)をさらに備え、判定部10aは、外部音声の集音中に、音特性の所定の変化の有無として、ユーザの所定の移動動作に起因する、音量の所定値以上の低下の有無を判定する構成を有する。当該構成によれば、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。なお、以上に説明した構成では、外部音声の集音中に、音量の所定値以上の低下を検出すると、動作検出部の検出結果に基づきユーザの移動が検出されたか否かを判定するものとしたが、このような構成に限定されず、処理を逆にしてもよい。即ち、ウェアラブル装置20は、移動検出部の検出結果に基づいてユーザの移動が検出されたと判定すると、音量の所定値以上の低下の有無を判定するものとしてもよい。
上記のウェアラブル装置20は、検出部16がジャイロセンサを有する場合、ジャイロセンサによって自機の向きを検出することができる。ウェアラブル装置20は、音特性の所定の変化の有無として、自機の向きの所定角度以上の変化を伴う、音量の所定値以上の低下の有無を判定してもよい。
このように構成しても、ウェアラブル装置20は、出力機器30の音量が一時的に低下したことと、ユーザの移動によって音量が低下したことを区別することができる。その結果、ウェアラブル装置20は、ユーザが移動したタイミングで、受信した音声データに基づく音声を出力部11から出力させることができる。
例えば、図7に示すシーケンスは、以下のように変更すればよい。ウェアラブル装置20の制御部10は、ステップS105として、外部音量を基準の音量とするとともに、そのときにジャイロセンサによって検出した方向を基準の方向として記憶部9に記憶するように変更する。当該制御部10は、ステップS141の処理に変えて、自機の向きの所定角度以上の変化を判定する。具体的には、当該制御部10は、検出した向きが基準の向きから所定角度以上の変化であるか否かを判定すればよい。当該制御部10は、所定角度以上の変化ではないと判定した場合、処理を既に説明したステップS106に戻す。当該制御部10は、所定角度以上の変化であると判定した場合、処理をステップS109に進めればよい。以降、図7に示すステップS109からステップS113の処理は、説明を省略する。
(実施形態2)
上記の出力システム1の他の例について説明する。実施形態2に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図2に示したウェアラブル装置20と同様の構成を有する。実施形態2に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図3に示した出力機器30と同様の構成を有する。以下では、ウェアラブル装置20及び出力機器30を例として用いて、実施形態2について説明する。なお、ウェアラブル装置20の集音部8は、少なくとも2つのマイクを備えることを前提とする。
図8を参照しながら、ユーザが出力機器30を視聴している時におけるウェアラブル装置20及び出力機器30の動作について説明する。図8は、出力機器30の利用時における出力システム1の動作を示すシーケンス図である。図8に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図8に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。
図8に示すように、出力機器30の制御部40は、ステップS201として、出力処理を開始する。出力処理は、表示部32に表示画像を表示させたり、出力部41から音を出力させたりする処理を含む。例えば、出力機器30がテレビの表示である場合、制御部40は、チューナー部34によって受信された放送電波に基づく表示画像を表示部32に表示する処理と、音声を出力部41から出力する処理とを実行する。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。
例えば、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力処理を実行している出力機器30を視聴していることを前提とする。
ウェアラブル装置20の制御部10は、ステップS202として、出力機器30との接続要求があるか否かを判定する。例えば、当該制御部10は、操作部3を介して所定の接続操作があったことを検出した場合に、接続要求があったと判定する。接続要求がないと判定した場合(ステップS202,No)、当該制御部10は、ステップS202の処理を繰り返す。接続要求があると判定した場合(ステップS202,Yes)、処理をステップS203に進める。
ウェアラブル装置20の制御部10は、ステップS203として、接続処理を実行する。本実施形態では、接続処理は、出力機器30の制御部40と連動する処理である。具体的には、ウェアラブル装置20の制御部10は、通信部6による近距離無線通信を介して、予め定められた出力機器30とコネクションの確立を行う。コネクションの確立は、ユーザにコネクションを確立する出力機器30を選択させてもよい。
ウェアラブル装置20の制御部10は、ステップS204として、集音部8の集音結果を示す音データ9dから音源方向を推定し、推定結果を記憶部9に記憶する。例えば、当該制御部10は、2つのマイクを用いて、受音した信号の時間差から音源の方向を推定する推定方法を用いることができる。例えば、ウェアラブル装置20の正面の音源から到来した音波を2つのマイクで受音した場合、2つのマイクが検出する信号の時間差はない。これに対し、当該正面から所定の方向へずれた音源から到来した音波を2つのマイクで受音した場合、2つのマイクが検出する信号には時間差が生じる。信号の時間差と音源の方向とは、所定の算出式等によって関連付けられることが知られている。よって、当該制御部10は、2つのマイクを用いて、受音した信号の時間差を検出すれば、当該時間差と所定の算出式によって音源の方向を推定することができる。
ウェアラブル装置20の制御部10は、ステップS205として、推定した音源方向を基準の方向として記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS206として、集音部8の集音結果を示す音データ9dから音源方向を推定する。当該制御部10は、ステップS207として、推定した音源方向が基準の方向から所定角度以上の変化であるか否かを判定する。例えば、当該制御部10は、基準の方向の角度が音源方向の角度を差し引いた値が所定角度以上である場合に、所定角度以上の変化であると判定する。
ウェアラブル装置20の制御部10は、所定角度以上の変化でないと判定した場合(ステップS208,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS206に戻す。
ウェアラブル装置20の制御部10は、所定角度以上の変化であると判定した場合(ステップS208,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS209に進める。当該制御部10は、ステップS209として、ユーザが視聴できていない状態であると判定したことを記憶部9に記憶する。
ウェアラブル装置20の制御部10は、ステップS210として、通信部6を介して、画像データ及び音声データの送信を出力機器30に要求する。
出力機器30の制御部40は、ウェアラブル装置20から画像データ及び音声データの送信要求を受信すると、ステップS211として、チューナー部34から画像データ及び音声データを取得する。出力機器30の制御部40は、ステップS212として、通信部36を介して、画像データ及び音声データをウェアラブル装置20に送信する。
以降、出力機器30の制御部40は、ステップS211からステップS212の処理を繰り返すことで、チューナー部34から画像データ及び音声データを取得するごとに、当該画像データ及び音声データをウェアラブル装置20に送信する。例えば、当該制御部40は、出力機器30の出力操作を検出した場合に、画像データ及び音声データの送信を終了してもよい。例えば、当該制御部40は、ウェアラブル装置20から送信の停止要求を受けた場合等に、画像データ及び音声データの送信を終了してもよい。
ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信すると、ステップS213として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、音声データを出力部11から出力させる。
以降、ウェアラブル装置20の制御部10は、出力機器30から画像データ及び音声データを受信するごとに、ステップS213を実行して、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。例えば、当該制御部10は、操作部3を介して終了操作を検出すると、画像データ及び音声データの送信終了を出力機器30に要求し、表示画像の表示及び音声の出力を終了してもよい。
このように、出力システム1のウェアラブル装置20は、出力機器30の外部音声の集音中に、音源方向の所定角度以上の変化があると判定したことを契機に、当該外部音声に対応する音声データを有効利用することができる。その結果、ウェアラブル装置20は、ユーザが出力機器30の出力音が聞き難い場所に移動した場合に、ウェアラブル装置20を操作することなく、出力機器30が出力している音声データを利用者に聞かせることができる。ウェアラブル装置20は、音源方向に基づいて判定することで、音量ではユーザの状態変化を判定するのが困難な場合でも、出力機器30が出力している音声データを利用者に聞かせることができる。
実施形態2に係る出力システム1のウェアラブル装置20は、音量の所定の変化と音源方向の所定角度以上の変化と組み合わせて判定してもよい。例えば、ウェアラブル装置20は、音量の所定の変化及び音源方向の所定角度以上の変化を検出した場合に、音特性の所定の変化があると判定してもよい。さらに、実施形態2に係る出力システム1は、実施形態1に係る出力システム1の変形例を適用してもよい。
(実施形態3)
図9を参照しながら、上記のウェアラブル装置20及び出力機器30を備える出力システム1Aについて説明する。図9は、出力システム1Aの全体的な構成を示す図である。出力システム1Aは、ウェアラブル装置20と、出力機器30と、中継器50とを備える。ウェアラブル装置20及び出力機器30は、近距離無線通信または有線による通信を介して、中継器50とデータ通信を行うことができるように構成されている。中継器50は、ウェアラブル装置20と出力機器30との位置関係を検出できるように配置されている。中継器50は、例えば、ルーター、監視装置、警報器、照明器具等を用いることができる。
実施形態3に係るウェアラブル装置20は、制御プログラム9aの機能が異なる点を除いて、図2に示したウェアラブル装置20と同様の構成を有する。以下では、ウェアラブル装置20を例として用いて、実施形態3について説明する。
実施形態3に係る出力機器30は、制御プログラム91の機能が異なる点を除いて、図3に示した出力機器30と同様の構成を有する。以下では、出力機器30を例として用いて、実施形態3について説明する。
図10を参照しながら、中継器50の構成について説明する。図10は、中継器50のブロック図である。図10に示すように、中継器50は、通信部51と、撮像部52と、集音部53と、記憶部54と、制御部55とを備える。
通信部51は、無線により通信できる。通信部51は、近距離無線通信方式をサポートできる。近距離無線通信方式には、Bluetooth(登録商標)、無線LAN(IEEE802.11)、ZigBee(登録商標)、赤外線通信、可視光通信、NFC(Near Field Communication)等を含む。通信部51は、複数の通信方式をサポートしてもよい。通信部51は、例えば、2G、3G、4G等のセルラーフォンの通信規格をサポートしてもよい。
撮像部52は、出力機器30の前方における撮像範囲を撮像できる。撮像範囲は、ユーザが出力機器30を視聴する位置を含む。撮像部52は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。撮像部52は、撮像した画像を信号に変換して制御部55へ出力できる。
集音部53は、出力機器30の前方の音を集音できる。集音部53は、例えば、マイクを含む。集音部53は、集音結果を音信号へ変換して制御部55へ入力できる。
記憶部54は、プログラム及びデータを記憶できる。記憶部54は、制御部55の処理結果を一時的に記憶する作業領域としても利用される。記憶部54は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。記憶部54は、複数の種類の記憶媒体を含んでよい。記憶部54は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部54は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部54は、例えば、制御プログラム54a、設定データ54b、撮像データ54c及び音データ54dを記憶できる。制御プログラム54aは、中継器50を稼動させるための各種制御に関する機能を提供できる。制御プログラム54aは、例えば、通信部51を制御することによって、外部の電子機器との通信を実現させる。制御プログラム54aは、画像データ及び音声データを外部の電子機器に配信する機能を提供できる。制御プログラム54aは、ユーザが第1状態であるか、第2状態であるかを判定する機能を提供できる。
設定データ54bは、中継器50の動作に関する各種の設定に関する情報を含む。設定データ54bは、ユーザが出力機器30を視聴している第1状態であるか否かを判定するための条件データを含んでもよい。条件データは、例えば、撮像画像から判定するための条件を示すデータを含む。条件データは、例えば、ユーザの状態を判定するための条件を示すデータを含む。
撮像データ54cは、撮像部52によって撮像範囲を撮像した撮像画像を示すデータである。撮像データ54cは、例えば、静止画データと動画データとが含まれる。撮像データ54cには、撮像部52の撮像結果として送信されてくる撮像画像を時系列的に記憶できる。
音データ54dは、集音部53によって集音された音を示すデータである。音データ54dは、例えば、音量、音の波形、周波数等を示すデータを含む。音データ54dには、集音部53の集音結果として送信されてくる音データを時系列的に記憶できる。
制御部55は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部55は、中継器50の動作を統括的に制御できる。制御部55の各種機能は、制御部55の制御に基づいて実現される。
具体的には、制御部55は、記憶部54に記憶されているプログラムに含まれる命令を実行できる。制御部55は、記憶部54に記憶されているデータを必要に応じて参照できる。制御部55は、データ及び命令に応じて機能部を制御する。制御部55は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、通信部51、撮像部52、及び集音部53を含むが、これらに限定されない。
制御部55は、上記のウェアラブル装置20の判定部10aを含む。制御部55は、制御プログラム54aを実行することによって、判定部10aを実現する。判定部10aは、集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する機能を提供できる。
図11を参照しながら、ユーザが出力機器30を利用している時におけるウェアラブル装置20、出力機器30及び中継器50の動作について説明する。図11は、出力機器30の利用時における出力システム1Aの動作を示すシーケンス図である。図11に示すウェアラブル装置20の動作は、ウェアラブル装置20の制御部10が制御プログラム9aを実行することによって実現される。図11に示す出力機器30の動作は、出力機器30の制御部40が制御プログラム91を実行することによって実現される。図11に示す中継器50の動作は、中継器50の制御部55が制御プログラム54aを実行することによって実現される。図11に示す例では、ウェアラブル装置20と中継器50は、コネクションが確立されていることを前提とする。図11に示す例では、出力機器30と中継器50とは、コネクションが確立されていることを前提とする。
図11に示すように、出力機器30の制御部40は、ステップS311として、通信部36を介して、映像データの送信を中継器50に要求する。
中継器50の制御部55は、出力機器30から映像データの送信要求を受信すると、ステップS312として、出力機器30への映像データ(画像データ及び音声データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データを出力機器30へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データの出力機器30への配信を開始する。
出力機器30の制御部40は、中継器50から映像データを受信すると、ステップS313として、受信した画像データを表示部32に表示させ、受信した音声データを出力部41から出力させる。その結果、出力機器30は、表示部32に表示画像を表示し、出力部41から音を出力する。なお、ユーザは、ウェアラブル装置20を頭部に装着した状態で、出力中の出力機器30を視聴していることを前提とする。
中継器50の制御部55は、ステップS314として、ウェアラブル装置20近傍の外部音量を取得する。例えば、当該制御部55は、通信部51を介して、ウェアラブル装置20に集音させた外部音声を受信し、当該外部音声から外部音量を取得してもよい。例えば、当該制御部55は、ウェアラブル装置20に外部音声を集音させるとともに、当該外部音声の音量を検出させ、検出した音量をウェアラブル装置20から通信部51を介して取得してもよい。例えば、当該制御部55は、ウェアラブル装置20の位置を特定し、当該特定した位置近傍の外部音声の音量を他の電子機器から取得してもよい。
中継器50の制御部55は、ステップS315として、取得した外部音量を基準の音量として記憶部54に記憶する。本実施形態では、当該制御部55は、取得した音量を基準の音量とする場合について説明するが、これに限定されない。例えば、当該制御部55は、出力機器30から出力している音量設定を示す音量データを取得し、取得した音量データが示す音量を基準の音量としてもよい。
中継器50の制御部55は、ステップS316として、ウェアラブル装置20近傍の外部音量を取得する。当該制御部55は、ステップS317として、外部音量が基準の音量から所定値以上の低下であるか否かを判定する。例えば、当該制御部55は、基準の音量が外部音量を差し引いた値が所定値以上である場合に、所定値以上の低下であると判定する。
中継器50の制御部55は、所定値以上の低下でないと判定した場合(ステップS318,No)、すなわち、ユーザの状態に変化がない可能性が高い場合、処理を既に説明したステップS316に戻す。
中継器50の制御部55は、所定値以上の低下であると判定した場合(ステップS318,Yes)、すなわち、ユーザの状態に変化がある可能性が高い場合、処理をステップS319に進める。当該制御部55は、ステップS319として、ユーザが視聴できていない状態であると判定したことを記憶部54に記憶する。
中継器50の制御部55は、ステップS320として、出力機器30への映像の送信を停止する。当該制御部55は、ステップS321として、ウェアラブル装置20への映像データ(音声データ)の送信処理を実行する。本実施形態では、送信処理は、例えば、外部の電子機器から画像データ及び音声データを含む映像データを受信し、当該受信した画像データ及び音声データをウェアラブル装置20へ送信する処理を含む。その結果、中継器50は、画像データ及び音声データのウェアラブル装置20への配信を開始する。
ウェアラブル装置20の制御部10は、中継器50から映像データを受信すると、ステップS322として、受信した画像データに基づいた表示画像を表示部2a及び2bに表示させ、受信した音声データを出力部11から出力させる。その結果、ウェアラブル装置20は、表示部2a及び2bに表示画像を表示し、出力部11から音を出力する。
上記の実施形態2の出力システム1Aでは、中継器50は、音特性の所定の変化があると判定した場合に、ウェアラブル装置20から外部音声に対応する音声データを出力させる場合について説明したが、これに限定されない。例えば、出力システム1Aは、出力機器30が音特性の所定の変化の有無を判定するように構成されてもよい。この場合、出力機器30は、ウェアラブル装置20の集音結果を取得し、当該集音結果に基づいて音特性の所定の変化の有無を判定すればよい。
上記の実施形態では、ウェアラブル装置20は、ユーザの左右の目の前に設けられる一対の表示部2a、2bを有している構成を例示してきたが、これに限定されない。例えば、ウェアラブル装置20は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
上記の実施形態では、ウェアラブル装置20は、制御部10を判定部10aとして機能させる場合について説明したが、これに限定されない。例えば、ウェアラブル装置20は、制御部10とは別の構成として判定部10aを追加してもよい。例えば、ウェアラブル装置20は、撮像部7、集音部8及び検出部16の何れか1つを含む判定部10aとして、制御部10とは別に設けてもよい。なお、判定部10aは、中継器50にも同様に設けることができる。
また、上記の実施形態では、ウェアラブル装置20が、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、外部音声に対応する音声データを外部から受信するように通信部6を制御し、受信された音声データに基づき出力部11から音声を出力させる音声出力動作を実行する構成を説明してきた。当該構成において、ウェアラブル装置20における、動作制御部10bは、外部音声の集音中に、音特性の所定の変化が有ると判定部10aにより判定された場合、当該所定の変化が生じる前の時点における外部音声の音量(例えば、図5のステップS105を参照し説明した、基準の音量)と同量の出力音量にて、音声出力動作を実行するようにしてもよい。このようにすることで、出力機器30が出力する音声を聴いていた時と同程度の音量の音声をウェアラブル装置20からも聴くことができ、ウェアラブル装置20の音声出力動作に移行するに際してユーザが煩わしい思いをしなくて済む。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
1、1A 出力システム
2a、2b 表示部
3 操作部
6 通信部
7 撮像部
8 集音部
9 記憶部
10 制御部
10a 判定部
10b 動作制御部
11 出力部
16 検出部
20 ウェアラブル装置
20a 前面部
20b 側面部
20c 側面部
30 出力機器
32 表示部
33 操作部
34 チューナー部
36 通信部
37 撮像部
38 集音部
39 記憶部
40 制御部
41 出力部
50 中継器

Claims (10)

  1. ユーザの頭部に装着可能なウェアラブル装置であって、
    通信部と、
    音声に関する情報を出力する出力部と、
    外部の出力機器が出力する外部音声を集音する集音部と、
    前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
    前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、
    を備え
    前記判定部は、
    前記所定の音特性として、前記外部音声の音量を検出し、
    前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記音量の所定値以上の低下の有無を判定するウェアラブル装置。
  2. 前記動作制御部は、前記外部音声の集音中に、前記音特性の所定の変化を検出すると、前記音声データを前記外部の出力機器から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる
    請求項1に記載のウェアラブル装置。
  3. 前記判定部は、前記外部音声の集音中に、前記音量の所定値以上の低下を検出すると、当該音量の所定値以上の低下が非連続的な低下であるか否かを判定し、非連続的な音量の低下である場合には、前記音特性の所定の変化が無いと判定し、非連続的な音量の低下でない場合には、前記音特性の所定の変化が有ると判定する
    請求項に記載のウェアラブル装置。
  4. 前記ユーザの前方の風景を撮像する撮像部をさらに備え、
    前記判定部は、前記外部音声の集音中に、前記音量の所定値以上の低下を検出すると、前記撮像部が撮像する撮像画像から、前記ユーザが第1空間から第2空間へ移動したか否かを判定し、移動していないと判定した場合には、前記音特性の所定の変化が無いと判定し、移動したと判定した場合には、前記音特性の所定の変化が有ると判定する
    請求項に記載のウェアラブル装置。
  5. 前記判定部は、前記音量の所定値以上の低下を検出すると、前記撮像部による撮像を開始する
    請求項に記載のウェアラブル装置。
  6. ユーザの頭部に装着可能なウェアラブル装置であって、
    通信部と、
    音声に関する情報を出力する出力部と、
    外部の出力機器が出力する外部音声を集音する集音部と、
    前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
    前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、
    自機の向きを検出する方向検出部と、を備え、
    前記判定部は、
    前記所定の音特性として、前記外部音声の音量を検出し、
    記外部音声の集音中に、前記音特性の所定の変化の有無として、前記ウェアラブル装置の向きの所定角度以上の変化を伴う、前記音量の所定値以上の低下の有無を判定す
    ェアラブル装置。
  7. ユーザの頭部に装着可能なウェアラブル装置であって、
    通信部と、
    音声に関する情報を出力する出力部と、
    外部の出力機器が出力する外部音声を集音する集音部と、
    前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
    前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、
    前記ユーザの動作を検出する動作検出部と、を備え、
    前記判定部は、
    前記所定の音特性として、前記外部音声の音量を検出し、
    前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記ユーザの所定の移動動作に起因する、前記音量の所定値以上の低下の有無を判定す
    ェアラブル装置。
  8. ユーザの頭部に装着可能なウェアラブル装置であって、
    通信部と、
    音声に関する情報を出力する出力部と、
    外部の出力機器が出力する外部音声を集音する集音部と、
    前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
    前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、を備え、
    前記判定部は、
    前記所定の音特性として、前記外部音声の音量と音源方向とを検出し、
    前記外部音声の集音中に、前記音特性の所定の変化の有無として、前記音源方向の所定角度以上の変化を伴う、前記音量の所定値以上の低下の有無を判定す
    ェアラブル装置。
  9. ユーザの頭部に装着可能なウェアラブル装置であって、
    通信部と、
    音声に関する情報を出力する出力部と、
    外部の出力機器が出力する外部音声を集音する集音部と、
    前記集音した外部音声の所定の音特性を検出し、当該音特性の所定の変化の有無を判定する判定部と、
    前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、前記外部音声に対応する音声データを外部から受信するように前記通信部を制御し、当該受信された音声データに基づき前記出力部から音声を出力させる音声出力動作を実行する動作制御部と、を備え、
    前記判定部は、前記所定の音特性として、前記外部音声の音量を検出し、
    前記動作制御部は、前記外部音声の集音中に、前記音特性の所定の変化が有ると前記判定部により判定された場合、当該所定の変化が生じる前の時点における前記外部音声の音量と同量の出力音量にて、前記音声出力動作を実行す
    ェアラブル装置。
  10. 頭部に装着可能なウェアラブル装置と、
    前記ウェアラブル装置の外部の出力機器と、
    を備える出力システムであって、
    前記ウェアラブル装置は、前記外部の出力機器が出力する外部音声を集音する集音部と、出力部と、を備え、
    前記ウェアラブル装置は、前記集音された前記外部音声の所定の音特性として前記外部音声の音量を検出し、前記外部音声の集音中に、前記音量の所定値以上の低下が有ると、当該外部音声に対応する音声データの要求を前記外部の出力機器へ送信し、
    前記外部の出力機器は、前記音声データの要求に応じて、当該音声データを前記ウェアラブル装置へ送信し、
    前記ウェアラブル装置は、受信された前記音声データに基づき前記出力部から音声を出力させる
    出力システム。
JP2015159055A 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム Active JP6475592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015159055A JP6475592B2 (ja) 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015159055A JP6475592B2 (ja) 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム

Publications (2)

Publication Number Publication Date
JP2017037526A JP2017037526A (ja) 2017-02-16
JP6475592B2 true JP6475592B2 (ja) 2019-02-27

Family

ID=58049362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015159055A Active JP6475592B2 (ja) 2015-08-11 2015-08-11 ウェアラブル装置及び出力システム

Country Status (1)

Country Link
JP (1) JP6475592B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01265625A (ja) * 1988-04-18 1989-10-23 Keiko Matsumoto テレビ音声信号受信装置
JPH09140000A (ja) * 1995-11-15 1997-05-27 Nippon Telegr & Teleph Corp <Ntt> 会議用拡聴器
JP4202640B2 (ja) * 2001-12-25 2008-12-24 株式会社東芝 短距離無線通信用ヘッドセット、これを用いたコミュニケーションシステム、および短距離無線通信における音響処理方法
DE10236167B3 (de) * 2002-08-07 2004-02-12 Siemens Audiologische Technik Gmbh Hörhilfegerät mit automatischer Situtaionserkennung
JP2007334968A (ja) * 2006-06-13 2007-12-27 Pioneer Electronic Corp 音声切換装置
JP2009109927A (ja) * 2007-10-31 2009-05-21 Rarugo:Kk 音響システム及びそのシステムに使用する装置
WO2011158506A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 補聴器、信号処理方法及びプログラム
JP3173995U (ja) * 2011-12-19 2012-03-01 株式会社アルファ デジタルワイヤレス送受信機

Also Published As

Publication number Publication date
JP2017037526A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
US20200099780A1 (en) Mobile terminal and method of operating the same
RU2678481C2 (ru) Устройство обработки информации, способ обработки информации и программа
US10924877B2 (en) Audio signal processing method, terminal and storage medium thereof
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
CN111723602B (zh) 驾驶员的行为识别方法、装置、设备及存储介质
CN110708630B (zh) 控制耳机的方法、装置、设备及存储介质
US10636167B2 (en) Method and device for determining distance
KR20120033723A (ko) 3d 안경 및 그의 제어 방법
CN110933468A (zh) 播放方法、装置、电子设备及介质
EP3381180B1 (en) Photographing device and method of controlling the same
WO2015186686A1 (ja) 位置特定装置、オーディオ装置、位置特定方法およびプログラム
US20180150722A1 (en) Photo synthesizing method, device, and medium
WO2018000764A1 (zh) 一种声道自动匹配的方法、装置以及耳机
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN112084811A (zh) 身份信息的确定方法、装置及存储介质
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN110717926B (zh) 一种获取行人流量信息的方法及装置
CN110853124A (zh) 生成gif动态图的方法、装置、电子设备及介质
KR20160020860A (ko) 이동 단말기 및 그 제어 방법
KR20150066352A (ko) 청각 기기와 페어링하는 단말기 및 단말기의 페어링 방법
JP6475592B2 (ja) ウェアラブル装置及び出力システム
US20200193707A1 (en) Systems and methods for displaying video from a remote beacon device
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
CN111669611B (zh) 图像处理方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190201

R150 Certificate of patent or registration of utility model

Ref document number: 6475592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150