JP2019004221A - Control device and program - Google Patents
Control device and program Download PDFInfo
- Publication number
- JP2019004221A JP2019004221A JP2017115170A JP2017115170A JP2019004221A JP 2019004221 A JP2019004221 A JP 2019004221A JP 2017115170 A JP2017115170 A JP 2017115170A JP 2017115170 A JP2017115170 A JP 2017115170A JP 2019004221 A JP2019004221 A JP 2019004221A
- Authority
- JP
- Japan
- Prior art keywords
- user
- sleep
- control
- source device
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、ソース機器からシンク機器へのディスプレイミラーリングを実行するシステム(以下「ミラーリングシステム」という。)に関するものであり、特にシンク機器用の制御装置及びプログラムに関する。 The present invention relates to a system for executing display mirroring from a source device to a sink device (hereinafter referred to as “mirroring system”), and more particularly to a control device and a program for a sink device.
従来、ソース機器にて表示されている画面などをシンク機器にミラーリングする技術、いわゆるディスプレイミラーリングが開発されている。具体的には、例えば、ソース機器とシンク機器間のWi−Fi Direct(登録商標。以下「Wi−Fiダイレクト」と記載する。)規格に基づく無線通信によるディスプレイミラーリング、いわゆるMiracast(登録商標。以下「ミラキャスト」と記載する。)が開発されている。 Conventionally, a technique for mirroring a screen displayed on a source device to a sink device, so-called display mirroring, has been developed. Specifically, for example, display mirroring by wireless communication based on Wi-Fi Direct (registered trademark; hereinafter referred to as “Wi-Fi Direct”) standard between a source device and a sink device, so-called Miracast (registered trademark, hereinafter). "Miracast" is described.) Has been developed.
ミラキャストのソース機器には、例えば、スマートフォンなどの携帯情報端末が用いられている。ミラキャストのシンク機器には、例えば、テレビジョン受信機、PC(Personal Computer)又は車載情報機器などが用いられている。これにより、ユーザは、携帯情報端末にて再生中の動画コンテンツを携帯情報端末のディスプレイよりも大型のディスプレイにて視聴することができる。特許文献1には、ソース機器に携帯情報端末を用いるとともに、シンク機器に車載情報機器を用いたミラーリングシステムが開示されている。 For example, a portable information terminal such as a smartphone is used as a source device for Miracast. As the Miracast sink device, for example, a television receiver, a PC (Personal Computer), an in-vehicle information device, or the like is used. Thereby, the user can view the moving image content being reproduced on the portable information terminal on a display larger than the display of the portable information terminal. Patent Document 1 discloses a mirroring system in which a portable information terminal is used as a source device and an in-vehicle information device is used as a sink device.
ミラキャストの実行中、ソース機器は、ソース機器にて表示されている画面などをエンコードする処理と、当該エンコードされたデータをシンク機器に送信する処理とを継続して実行する。これらの処理により、ソース機器にて大量の電力が消費される。このため、ミラキャストの実行中にユーザが眠ってしまった場合、ソース機器にて大量の電力が無駄に消費される問題があった。また、ソース機器にスマートフォンなどの携帯情報端末を用いた場合、バッテリの残量が大幅に減少して、バッテリを充電不能な環境においては携帯情報端末の使用が不可能となる問題があった。 During the execution of Miracast, the source device continuously executes a process for encoding a screen displayed on the source device and a process for transmitting the encoded data to the sink device. These processes consume a large amount of power in the source device. For this reason, when the user falls asleep during the execution of Miracast, there is a problem that a large amount of power is consumed in the source device. Further, when a portable information terminal such as a smartphone is used as the source device, there is a problem that the remaining amount of the battery is significantly reduced, and the portable information terminal cannot be used in an environment where the battery cannot be charged.
本発明は、上記のような課題を解決するためになされたものであり、ディスプレイミラーリングの実行中にユーザが眠ってしまった場合、ソース機器にて消費される電力をシンク機器側の制御により低減することを目的とする。 The present invention has been made to solve the above-described problems. When a user sleeps during display mirroring, the power consumed by the source device is reduced by the control on the sink device side. The purpose is to do.
本発明の制御装置は、ソース機器とシンク機器間の無線通信によりソース機器からシンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおけるシンク機器用の制御装置であって、カメラによる撮影画像を取得する撮影画像取得部と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、ユーザが入眠したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する入眠時制御部とを備えるものである。 The control device of the present invention is a control device for a sink device in a mirroring system that performs display mirroring from a source device to a sink device by wireless communication between the source device and the sink device, and acquires a photographed image by a camera An image acquisition unit, an image recognition process for the captured image, and a sleep onset determination unit that determines whether or not the user captured in the captured image has fallen asleep; display mirroring when it is determined that the user has fallen asleep And a sleep control unit that executes control for terminating the control.
または、本発明の制御装置は、ソース機器とシンク機器間の無線通信によりソース機器からシンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおけるシンク機器用の制御装置であって、カメラによる撮影画像を取得する撮影画像取得部と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、ユーザが入眠したと判定された後、ユーザの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部と、ユーザの睡眠状態が基準時間以上継続したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部とを備えるものである。 Alternatively, the control device of the present invention is a control device for a sink device in a mirroring system that performs display mirroring from the source device to the sink device by wireless communication between the source device and the sink device, and acquires a photographed image by the camera A captured image acquisition unit that performs image recognition processing on the captured image to determine whether or not the user imaged in the captured image has fallen asleep, and after determining that the user has fallen asleep, A sleep continuation determination unit that determines whether or not the user's sleep state has continued for a reference time or more, and a sleep continuation time that executes control to end display mirroring when it is determined that the user's sleep state has continued for a reference time or more And a control unit.
本発明によれば、上記のように構成したので、ディスプレイミラーリングの実行中にユーザが眠ってしまった場合、ソース機器にて消費される電力をシンク機器側の制御により低減することができる。 According to the present invention, since it is configured as described above, when a user falls asleep during execution of display mirroring, the power consumed in the source device can be reduced by the control on the sink device side.
実施の形態1.
図1は、本発明の実施の形態1に係るミラーリングシステムのシステム構成を示すブロック図である。図2Aは、本発明の実施の形態1に係るシンク機器における表示画面の一例を示す説明図である。図2Bは、本発明の実施の形態1に係るソース機器における表示画面の一例を示す説明図である。図3は、本発明の実施の形態1に係る制御装置の要部を示すブロック図である。図4Aは、本発明の実施の形態1に係る制御装置のハードウェア構成を示すブロック図である。図4Bは、本発明の実施の形態1に係る制御装置の他のハードウェア構成を示すブロック図である。図1〜図4を参照して、実施の形態1のミラーリングシステム100について説明する。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a system configuration of a mirroring system according to Embodiment 1 of the present invention. FIG. 2A is an explanatory diagram showing an example of a display screen in the sink device according to Embodiment 1 of the present invention. FIG. 2B is an explanatory diagram showing an example of a display screen in the source device according to Embodiment 1 of the present invention. FIG. 3 is a block diagram showing a main part of the control device according to Embodiment 1 of the present invention. FIG. 4A is a block diagram showing a hardware configuration of the control device according to Embodiment 1 of the present invention. FIG. 4B is a block diagram showing another hardware configuration of the control apparatus according to Embodiment 1 of the present invention. The
ミラーリングシステム100は、ソース機器1とシンク機器2間の一対一型の無線通信により、ソース機器1からシンク機器2へのディスプレイミラーリングを実行するものである。ソース機器1は、例えば、スマートフォンなどの携帯情報端末により構成されている。シンク機器2は、制御装置3、無線通信装置4、表示装置5、音声出力装置6、記憶装置7及び操作入力装置8を含むものである。
The
ソース機器1とシンク機器2間の無線通信はWi−Fiダイレクト規格に基づくものであり、ソース機器1からシンク機器2へのディスプレイミラーリングはミラキャストによるものである。このミラキャストは、ソース機器1の制御部(不図示)とシンク機器2の制御装置3とが連携することにより制御される。
Wireless communication between the source device 1 and the
すなわち、制御装置3は、無線通信装置4を制御することにより、ミラキャストのセッション開始要求をソース機器1に送信して、ミラキャストのセッションを開始させる機能を有している。また、制御装置3は、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させる機能を有している。
In other words, the control device 3 has a function of starting a Miracast session by transmitting a Miracast session start request to the source device 1 by controlling the
ソース機器1は、ソース機器1の表示部(不図示)に表示されている画面をエンコードして、当該エンコードされたデータをシンク機器2に送信するものである。また、ソース機器1は、ソース機器1にて動画コンテンツを再生中である場合、この動画コンテンツの音声をエンコードして、当該エンコードされたデータをシンク機器2に送信するものである。
The source device 1 encodes a screen displayed on a display unit (not shown) of the source device 1 and transmits the encoded data to the
無線通信装置4は、ソース機器1により送信されたデータを受信するものである。無線通信装置4は、当該データを制御装置3に出力するものである。無線通信装置4は、例えば、Wi−Fiダイレクト用の受信機、送信機及びアンテナなどにより構成されている。
The
制御装置3は、無線通信装置4から入力されたデータをデコードして、ソース機器1の表示部(不図示)に表示されている画面と同一の画面を表示装置5に表示させる機能を有している。表示装置5は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイなどのディスプレイにより構成されている。
The control device 3 has a function of decoding data input from the
以下、ソース機器1の表示部(不図示)又はシンク機器2の表示装置5に表示されている画面を「表示画面」という。ここで、図2Aはシンク機器2における表示画面の一例を示しており、図2Bはソース機器1における表示画面の一例を示している。図2に示す如く、ソース機器1はスマートフォンにより構成されており、ソース機器1の表示部にはスマートフォン用のメニュー画面が表示されている。表示装置5には、当該メニュー画面と同一の画面が表示されている。
Hereinafter, a screen displayed on the display unit (not shown) of the source device 1 or the
また、制御装置3は、無線通信装置4から入力されたデータをデコードして、ソース機器1にて再生中の動画コンテンツの音声を音声出力装置6に出力させる機能を有している。音声出力装置6は、例えば、スピーカ又はヘッドホンなどにより構成されている。
Further, the control device 3 has a function of decoding data input from the
また、制御装置3は、表示装置5における表示画面をキャプチャして、キャプチャデータを記憶装置7に記憶させる機能を有している。記憶装置7は、例えば、HDD(Hard Disk Drive)又はSSD(Solid State Drive)などの補助記憶装置により構成されている。
The control device 3 has a function of capturing a display screen on the
また、制御装置3は、操作入力装置8に入力された操作に応じて、記憶装置7に記憶されたキャプチャデータを取得して、当該キャプチャデータが示す画像を表示装置5に表示させる機能を有している。操作入力装置8は、例えば、表示装置5のディスプレイと一体型のタッチパネル、又はリモートコントローラーなどにより構成されている。
In addition, the control device 3 has a function of acquiring capture data stored in the
以下、制御装置3の要部について説明する。 Hereinafter, main parts of the control device 3 will be described.
撮影画像取得部11は、カメラ9により撮影された画像(以下「撮影画像」という。)を取得するものである。カメラ9は、シンク機器2のユーザUを撮影するものである。具体的には、例えば、カメラ9は表示装置5のディスプレイに隣接して設けられており、ユーザUの顔を含む範囲をユーザUに対する前方から撮影するものである。
The captured
入眠判定部21は、撮影画像取得部11により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、撮影画像にユーザUが写されている場合、ユーザUが覚醒状態から睡眠状態に移行(以下「入眠」という。)したか否かを判定するものである。
The sleep
具体的には、例えば、入眠判定部21は、画像認識処理によりユーザUが顔を伏せているか顔を上げているかを判定する。ユーザUが顔を上げている場合、入眠判定部21は、画像認識処理によりユーザUの目が閉じているか開いているかを判定する。入眠判定部21は、ユーザUが顔を伏せている場合又はユーザUの目が閉じている場合、ユーザUが入眠したと判定する。他方、ユーザUが顔を上げており、かつ、ユーザUの目が開いている場合、入眠判定部21はユーザUが入眠していないと判定する。
Specifically, for example, the sleep
入眠時制御部22は、入眠判定部21によりユーザUが入眠したと判定されたとき、表示装置5における表示画面をキャプチャして、キャプチャデータを記憶装置7に記憶させるものである。また、入眠時制御部22は、当該キャプチャデータ(以下「入眠時キャプチャデータ」という。)を記憶装置7に記憶させた後、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させるものである。
The sleep on-
入眠判定部21及び入眠時制御部22により、省電力制御部23が構成されている。撮影画像取得部11及び省電力制御部23により、制御装置3の要部が構成されている。
The power
図4に、制御装置3の要部のハードウェア構成を示す。図4Aに示す如く、制御装置3はコンピュータにより構成されており、プロセッサ51及びメモリ52を有している。メモリ52には、当該コンピュータを図3に示す撮影画像取得部11、入眠判定部21及び入眠時制御部22として機能させるためのプログラムが記憶されている。メモリ52に記憶されたプログラムをプロセッサ51が読み出して実行することにより、撮影画像取得部11、入眠判定部21及び入眠時制御部22の機能が実現される。
FIG. 4 shows a hardware configuration of a main part of the control device 3. As shown in FIG. 4A, the control device 3 is configured by a computer, and includes a
プロセッサ51は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)などにより構成されている。メモリ52は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)又はEEPROM(Electrically Erasable Programmable Read−Only Memory)などの半導体メモリにより構成されている。
The
または、図4Bに示す如く、撮影画像取得部11、入眠判定部21及び入眠時制御部22の機能が専用の処理回路53により実現されるものであっても良い。処理回路53は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、SoC(System−on−a−Chip)若しくはシステムLSI(Large−Scale Integration)又はこれらを組み合わせたものである。
Alternatively, as shown in FIG. 4B, the functions of the captured
なお、撮影画像取得部11、入眠判定部21及び入眠時制御部22の各部の機能それぞれを処理回路53で実現しても良いし、各部の機能をまとめて処理回路53で実現しても良い。また、撮影画像取得部11、入眠判定部21及び入眠時制御部22のうちの一部の機能を図4Aに示すプロセッサ51及びメモリ52により実現し、残余の機能を図4Bに示す処理回路53により実現しても良い。
It should be noted that the functions of each unit of the captured
次に、図5のフローチャートを参照して、制御装置3の動作について説明する。 Next, the operation of the control device 3 will be described with reference to the flowchart of FIG.
初期状態において、ミラーリングシステム100はミラキャストによるディスプレイミラーリングを実行中である。制御装置3は、ディスプレイミラーリングのバックグラウンドにて、以下のステップST1〜ST4の処理を実行する。
In the initial state, the
まず、ステップST1にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
First, in step ST1, the captured
次いで、ステップST2にて、入眠判定部21は、ステップST1で取得された撮影画像に対する画像認識処理を実行して、ユーザUが入眠したか否かを判定する。ユーザUが入眠していない場合(ステップST2“NO”)、制御装置3の処理はステップST1に戻る。他方、ユーザUが入眠したとき(ステップST2“YES”)、制御装置3の処理はステップST3に進む。
Next, in step ST2, the
次いで、ステップST3にて、入眠時制御部22は、表示装置5における表示画面をキャプチャして、入眠時キャプチャデータを記憶装置7に記憶させる。
Next, in step ST <b> 3, the
次いで、ステップST4にて、入眠時制御部22は、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させる。
Next, in step ST <b> 4, the
ミラキャストのセッションが終了することにより、ソース機器1におけるエンコード処理及び送信処理も終了する。このため、ソース機器1にて消費される電力を低減することができる。 When the Miracast session is ended, the encoding process and the transmission process in the source device 1 are also ended. For this reason, the power consumed in the source device 1 can be reduced.
また、制御装置3は、ステップST4に次いで、表示装置5の表示をオフする処理又はシンク機器2の電源をオフする処理を実行するものであっても良い。これにより、シンク機器2にて消費される電力を低減することができる。
Moreover, the control apparatus 3 may perform the process which turns off the display of the
また、ステップST4の後、ユーザUが睡眠状態から覚醒状態に移行(以下「覚醒」という。)したとき、制御装置3は、操作入力装置8に入力された操作に応じて、記憶装置7に記憶された入眠時キャプチャデータを取得して、入眠時キャプチャデータが示す画像を表示装置5に表示させる。これにより、ユーザUは、ミラキャストが終了する直前の表示画面、すなわち自身が入眠した直後の表示画面を確認することができる。
Further, after step ST4, when the user U shifts from the sleep state to the awake state (hereinafter referred to as “wake up”), the control device 3 stores the information in the
当該表示画面を確認することにより、ユーザUの入眠時にソース機器1が動画コンテンツを再生していた場合、ユーザUの覚醒後において入眠時の再生箇所を検索するのが容易となる。この結果、動画コンテンツの再生を当該箇所から再開するのが容易となる。 By checking the display screen, when the source device 1 is reproducing the moving image content when the user U falls asleep, it becomes easy to search for a reproduction portion at the time of falling asleep after the user U wakes up. As a result, it becomes easy to resume the reproduction of the moving image content from the relevant part.
なお、制御装置3は、操作入力装置8に入力された操作により、省電力制御部23による上記制御の実行要否(すなわち図5に示すステップST1〜ST4の処理の実行要否)を設定自在なものであっても良い。当該制御の実行要否は、例えば、シンク機器2の設定画面が表示装置5に表示された状態にて、当該設定画面に対する操作入力装置8の操作により設定される。当該制御の実行をオフに設定することにより、ユーザUにとって不要な制御が実行されるのを防ぐことができる。
Note that the control device 3 can freely set whether or not to execute the control by the power saving control unit 23 (that is, whether or not the processing of steps ST1 to ST4 shown in FIG. 5 is executed) by an operation input to the
また、ソース機器1とシンク機器2間の無線通信はWi−Fiダイレクトに限定されるものではなく、ソース機器1からシンク機器2へのディスプレイミラーリングはミラキャストに限定されるものではない。ミラーリングシステム100は、Wi−Fiダイレクトと異なる他の規格、例えばBLUETOOTH(登録商標)規格又はZIGBEE(登録商標)規格に基づく一対一型の無線通信によるディスプレイミラーリングを実行するものであっても良い。
Further, wireless communication between the source device 1 and the
以上のように、実施の形態1の制御装置3は、ソース機器1とシンク機器2間の無線通信によりソース機器1からシンク機器2へのディスプレイミラーリングを実行するミラーリングシステム100におけるシンク機器2用の制御装置3であって、カメラ9による撮影画像を取得する撮影画像取得部11と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザUが入眠したか否かを判定する入眠判定部21と、ユーザUが入眠したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する入眠時制御部22とを備える。これにより、ディスプレイミラーリングの実行中にユーザUが眠ってしまった場合、ソース機器1にて消費される電力をシンク機器2側の制御により低減することができる。
As described above, the control device 3 according to the first embodiment is for the
また、入眠時制御部22は、シンク機器2における表示画面をキャプチャしてからディスプレイミラーリングを終了させる。これにより、ユーザUは、ディスプレイミラーリングが終了する直前の表示画面、すなわち自身が入眠した直後の表示画面を確認することができる。
The
実施の形態2.
図6は、本発明の実施の形態2に係るミラーリングシステムのシステム構成を示すブロック図である。図7は、本発明の実施の形態2に係る制御装置の要部を示すブロック図である。図6及び図7を参照して、実施の形態2のミラーリングシステム100について、制御装置3aの要部を中心に説明する。
FIG. 6 is a block diagram showing a system configuration of the mirroring system according to
なお、図6において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。図7において、図3に示すブロックと同様のブロックには同一符号を付して説明を省略する。制御装置3aのハードウェア構成は、実施の形態1にて図4を参照して説明したものと同様であるため、図示及び説明を省略する。 In FIG. 6, the same blocks as those shown in FIG. In FIG. 7, the same blocks as those shown in FIG. Since the hardware configuration of the control device 3a is the same as that described with reference to FIG. 4 in the first embodiment, illustration and description thereof are omitted.
入眠判定部31は、撮影画像取得部11により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザUが入眠したか否かを判定するものである。入眠判定部31による画像認識処理の具体例は、図1に示す入眠判定部21による画像認識処理の具体例と同様であるため、説明を省略する。
The sleep
覚醒判定部32は、入眠判定部31によりユーザUが入眠したと判定された後、撮影画像取得部11により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザUが覚醒したか否かを判定するものである。
The
具体的には、例えば、覚醒判定部32は、画像認識処理によりユーザUが顔を伏せているか顔を上げているかを判定する。ユーザUが顔を上げている場合、覚醒判定部32は、画像認識処理によりユーザUの目が閉じているか開いているかを判定する。覚醒判定部32は、ユーザUが顔を上げており、かつ、ユーザUの目が開いている場合、ユーザUが覚醒したと判定する。他方、ユーザUが顔を伏せている場合又はユーザUの目が閉じている場合、覚醒判定部32はユーザUが覚醒していないと判定する。
Specifically, for example, the
睡眠継続判定部33は、入眠判定部31によりユーザUが入眠したと判定された後、睡眠状態の継続時間をカウントするものである。睡眠継続判定部33は、覚醒判定部32によりユーザUが覚醒していないと判定されたとき、当該継続時間を所定の時間(以下「基準時間」という。)と比較することにより、ユーザUの睡眠状態が基準時間以上継続したか否かを判定するものである。
The sleep
基準時間は、人間が入眠してから入眠直後よりも深い睡眠状態(以下「熟睡状態」という。)に移行するまでの時間に対応する値に設定されている。具体的には、例えば、基準時間は数分程度の値に設定されている。 The reference time is set to a value corresponding to the time from when a person goes to sleep until it shifts to a deeper sleep state (hereinafter referred to as “deep sleep state”) than immediately after going to sleep. Specifically, for example, the reference time is set to a value of about several minutes.
睡眠継続時制御部34は、睡眠継続判定部33によりユーザUの睡眠状態が基準時間以上継続したと判定されたとき、表示装置5における表示画面をキャプチャして、キャプチャデータを記憶装置7に記憶させるものである。また、睡眠継続時制御部34は、当該キャプチャデータ(以下「睡眠継続時キャプチャデータ」という。)を記憶装置7に記憶させた後、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させるものである。
When the sleep
入眠判定部31、覚醒判定部32、睡眠継続判定部33及び睡眠継続時制御部34により、省電力制御部35が構成されている。撮影画像取得部11及び省電力制御部35により、制御装置3aの要部が構成されている。
The power
次に、図8のフローチャートを参照して、制御装置3aの動作について説明する。 Next, the operation of the control device 3a will be described with reference to the flowchart of FIG.
初期状態において、ミラーリングシステム100はミラキャストによるディスプレイミラーリングを実行中である。制御装置3aは、ディスプレイミラーリングのバックグラウンドにて、以下のステップST11〜ST19の処理を実行する。
In the initial state, the
まず、ステップST11にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
First, in step ST11, the captured
次いで、ステップST12にて、入眠判定部31は、ステップST11で取得された撮影画像に対する画像認識処理を実行して、ユーザUが入眠したか否かを判定する。ユーザUが入眠していない場合(ステップST12“NO”)、制御装置3aの処理はステップST11に戻る。他方、ユーザUが入眠がしたとき(ステップST12“YES”)、制御装置3aの処理はステップST13に進む。
Next, in step ST12, the
次いで、ステップST13にて、睡眠継続判定部33は、睡眠状態の継続時間のカウントを開始する。
Subsequently, in step ST13, the sleep
次いで、ステップST14にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
Next, in step ST <b> 14, the captured
次いで、ステップST15にて、覚醒判定部32は、ステップST14で取得された撮影画像に対する画像認識処理を実行して、ユーザUが覚醒したか否かを判定する。ユーザUが覚醒していない場合(ステップST15“NO”)、ステップST16にて、睡眠継続判定部33は、ユーザUの睡眠状態が基準時間以上継続したか否かを判定する。睡眠状態の継続時間が基準時間未満である場合(ステップST16“NO”)、制御装置3aの処理はステップST14に戻る。
Next, in step ST15, the
ユーザUが入眠した後、基準時間が経過する前にユーザUが覚醒した場合(ステップST15“YES”)、制御装置3aの処理はステップST17に進む。ステップST17にて、睡眠継続判定部33は、睡眠状態の継続時間のカウントをリセットする。次いで、制御装置3aの処理はステップST11に戻る。
If the user U wakes up after the user U falls asleep before the reference time has elapsed (step ST15 “YES”), the process of the control device 3a proceeds to step ST17. In step ST17, the sleep
他方、ユーザUが入眠した後、ユーザUが覚醒することなく基準時間が経過した場合(ステップST16“YES”)、制御装置3aの処理はステップST18に進む。ステップST18にて、睡眠継続時制御部34は、表示装置5における表示画面をキャプチャして、睡眠継続時キャプチャデータを記憶装置7に記憶させる。
On the other hand, after the user U falls asleep, if the reference time has passed without the user U waking up (step ST16 “YES”), the process of the control device 3a proceeds to step ST18. In step ST <b> 18, the sleep continuation
次いで、ステップST19にて、睡眠継続時制御部34は、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させる。
Next, in step ST <b> 19, the sleep
ミラキャストのセッションが終了することにより、ソース機器1におけるエンコード処理及び送信処理も終了する。このため、ソース機器1にて消費される電力を低減することができる。 When the Miracast session is ended, the encoding process and the transmission process in the source device 1 are also ended. For this reason, the power consumed in the source device 1 can be reduced.
また、制御装置3aは、ステップST19に次いで、表示装置5の表示をオフする処理又はシンク機器2の電源をオフする処理を実行するものであっても良い。これにより、シンク機器2にて消費される電力を低減することができる。
Moreover, the control apparatus 3a may perform the process which turns off the display of the
また、ステップST19の後、ユーザUが覚醒したとき、制御装置3aは、操作入力装置8に入力された操作に応じて、記憶装置7に記憶された睡眠継続時キャプチャデータを取得して、睡眠継続時キャプチャデータが示す画像を表示装置5に表示させる。これにより、ユーザUは、ミラキャストが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
Moreover, when the user U wakes up after step ST19, the control device 3a acquires the sleep continuation capture data stored in the
なお、制御装置3aは、操作入力装置8に入力された操作により、省電力制御部35による上記制御の実行要否(すなわち図8に示すステップST11〜ST19の処理の実行要否)を設定自在なものであっても良い。当該制御の実行をオフに設定することにより、ユーザUにとって不要な制御が実行されるのを防ぐことができる。
The control device 3a can freely set whether or not to execute the control by the power saving control unit 35 (that is, whether or not the processing of steps ST11 to ST19 shown in FIG. 8 is executed) by an operation input to the
また、ソース機器1とシンク機器2間の無線通信はWi−Fiダイレクトに限定されるものではなく、ソース機器1からシンク機器2へのディスプレイミラーリングはミラキャストに限定されるものではない。ミラーリングシステム100は、Wi−Fiダイレクトと異なる他の規格に基づく一対一型の無線通信によるディスプレイミラーリングを実行するものであっても良い。
Further, wireless communication between the source device 1 and the
以上のように、実施の形態2の制御装置3aは、ソース機器1とシンク機器2間の無線通信によりソース機器1からシンク機器2へのディスプレイミラーリングを実行するミラーリングシステム100におけるシンク機器2用の制御装置3aであって、カメラ9による撮影画像を取得する撮影画像取得部11と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザUが入眠したか否かを判定する入眠判定部31と、ユーザUが入眠したと判定された後、ユーザUの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部33と、ユーザUの睡眠状態が基準時間以上継続したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部34とを備える。これにより、ディスプレイミラーリングの実行中にユーザUが眠ってしまった場合、ソース機器1にて消費される電力をシンク機器2側の制御により低減することができる。
As described above, the control device 3a according to the second embodiment is for the
また、睡眠継続時制御部34は、シンク機器2における表示画面をキャプチャしてからディスプレイミラーリングを終了させる。これにより、ユーザUは、ディスプレイミラーリングが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
Further, the sleep continuation
実施の形態3.
図9は、本発明の実施の形態3に係るミラーリングシステムのシステム構成を示すブロック図である。図10は、本発明の実施の形態3に係る制御装置の要部を示すブロック図である。図9及び図10を参照して、実施の形態3のミラーリングシステム100について説明する。
Embodiment 3 FIG.
FIG. 9 is a block diagram showing a system configuration of the mirroring system according to the third embodiment of the present invention. FIG. 10 is a block diagram showing a main part of a control device according to Embodiment 3 of the present invention. A
なお、図9において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。図10において、図3に示すブロックと同様のブロックには同一符号を付して説明を省略する。制御装置3bのハードウェア構成は、実施の形態1にて図4を参照して説明したものと同様であるため、図示及び説明を省略する。
In FIG. 9, the same blocks as those shown in FIG. In FIG. 10, the same blocks as those shown in FIG. Since the hardware configuration of the
実施の形態3において、ソース機器1及びシンク機器2は、ミラキャストのオプション機能であるUIBC(User Interface Back Channel)に対応している。
In the third embodiment, the source device 1 and the
すなわち、制御装置3bは、表示装置5の表示画面に対する操作が操作入力装置8に入力されたとき、当該操作がソース機器1の表示画面に対するものであるとみなして、無線通信装置4を制御することにより当該操作に対応するイベントをソース機器1に送信する機能を有している。ソース機器1の制御部(不図示)は、当該イベントに対応する操作がソース機器1のGUI(Graphical User Interface)に入力されたものとみなして、ソース機器1における各種制御を実行する機能を有している。これにより、ユーザUは、操作入力装置8を用いてソース機器1を操作することができる。
That is, when an operation on the display screen of the
また、制御装置3bは、ミラキャストの実行中、表示装置5における表示画面を所定の時間間隔にてキャプチャして、キャプチャデータを記憶装置7に蓄積して記憶させる機能を有している。以下、当該機能により記憶装置7に記憶されたキャプチャデータを「蓄積キャプチャデータ」という。蓄積キャプチャデータは、後述する動画有無判定部12、第1GUI検出部13及び第2GUI検出部14の処理に用いられる。
In addition, the
以下、制御装置3bの要部について説明する。
Hereinafter, the main part of the
動画有無判定部12は、記憶装置7に記憶された蓄積キャプチャデータを取得するものである。動画有無判定部12は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器1の表示画面に動画コンテンツが含まれているか否かを判定するとともに、ソース機器1の表示画面に動画コンテンツが含まれている場合はソース機器1が動画コンテンツを再生中であるか否かを判定するものである。
The moving image presence /
例えば、ソース機器1にてメディアプレーヤーが起動しており、当該メディアプレーヤーが表示画面の全体を用いて動画コンテンツを再生している場合、画像認識処理により当該動画コンテンツが検出される。また、例えば、ソース機器1にてウェブブラウザが起動しており、当該ウェブブラウザが動画共有サービスにアクセスして表示画面のうちの一部の領域を用いて動画コンテンツを再生している場合、画像認識処理により当該動画コンテンツが検出される。このような場合、動画有無判定部12は、ソース機器1の表示画面に動画コンテンツが含まれており、かつ、ソース機器1が動画コンテンツを再生中であると判定する。
For example, when the media player is activated in the source device 1 and the media player plays the moving image content using the entire display screen, the moving image content is detected by the image recognition process. In addition, for example, when a web browser is activated on the source device 1 and the web browser accesses the video sharing service and reproduces video content using a part of the display screen, The moving image content is detected by the recognition process. In such a case, the moving image presence /
また、画像認識処理により上記のような動画コンテンツが検出されたものの、検出時点において動画コンテンツが静止している場合、動画有無判定部12は、ソース機器1の表示画面に動画コンテンツが含まれており、かつ、ソース機器1が動画コンテンツを再生中でないと判定する。
Further, when the moving image content as described above is detected by the image recognition processing, but the moving image content is still at the time of detection, the moving image presence /
他方、例えば、ソース機器1が表示画面の全体を用いてメニュー画面を表示している場合、画像認識処理により動画コンテンツが検出されない。また、例えば、ソース機器1にてフォトビューアーが起動しており、当該フォトビューアーが表示画面の全体を用いて写真などの静止画を表示している場合、画像認識処理により動画コンテンツが検出されない。このような場合、動画有無判定部12は、ソース機器1の表示画面に動画コンテンツが含まれていないと判定する。
On the other hand, for example, when the source device 1 displays the menu screen using the entire display screen, the moving image content is not detected by the image recognition process. For example, when the photo viewer is activated in the source device 1 and the photo viewer displays a still image such as a photograph using the entire display screen, the moving image content is not detected by the image recognition processing. In such a case, the moving image presence /
第1GUI検出部13は、記憶装置7に記憶された蓄積キャプチャデータを取得するものである。第1GUI検出部13は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器1における動画コンテンツの再生を一時停止させる操作に対応するGUI(以下「第1GUI」という。)を検出するものである。
The first
例えば、ソース機器1においてメディアプレーヤー又はウェブブラウザなどが動画コンテンツを再生している場合、蓄積キャプチャデータが示す過去の各タイミングの画像のうちの少なくとも一部のタイミングにおける画像には、動画コンテンツの再生を一時停止するためのソフトウェアボタンが含まれている蓋然性が高い。第1GUI検出部13は、画像認識処理により、ソース機器1の表示画面における当該ソフトウェアボタンの位置などを検出する。
For example, when a media player or a web browser is playing back video content in the source device 1, playback of video content is included in at least some of the past timing images indicated by the stored capture data. There is a high probability that a software button for pausing is included. The first
第2GUI検出部14は、記憶装置7に記憶された蓄積キャプチャデータを取得するものである。第2GUI検出部14は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器1における動画コンテンツの再生を再開させる操作に対応するGUI(以下「第2GUI」という。)を検出するものである。
The second
例えば、ソース機器1においてメディアプレーヤー又はウェブブラウザなどが動画コンテンツを再生している場合、蓄積キャプチャデータが示す過去の各タイミングの画像のうちの少なくとも一部のタイミングにおける画像には、一時停止された動画コンテンツの再生を再開するためのソフトウェアボタンが含まれている蓋然性が高い。第2GUI検出部14は、画像認識処理により、ソース機器1の表示画面における当該ソフトウェアボタンの位置などを検出する。
For example, when a media player or a web browser is playing a video content in the source device 1, the image at at least some of the past timing images indicated by the stored capture data is paused. There is a high probability that a software button for resuming the playback of video content is included. The second
入眠判定部41は、撮影画像取得部11により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザUが入眠したか否かを判定するものである。入眠判定部41による画像認識処理の具体例は、図1に示す入眠判定部21又は図7に示す入眠判定部31による画像認識処理の具体例と同様であるため、説明を省略する。
The sleep
覚醒判定部42は、入眠判定部41によりユーザUが入眠したと判定された後、撮影画像取得部11により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザUが覚醒したか否かを判定するものである。覚醒判定部42による画像認識処理の具体例は、図7に示す覚醒判定部32による画像認識処理の具体例と同様であるため、説明を省略する。
The
睡眠継続判定部43は、入眠判定部41によりユーザUが入眠したと判定された後、睡眠状態の継続時間をカウントするものである。睡眠継続判定部43は、覚醒判定部42によりユーザUが覚醒していないと判定されたとき、当該継続時間を基準時間と比較することにより、ユーザUの睡眠状態が基準時間以上継続したか否かを判定するものである。睡眠継続判定部43における基準時間の具体例は、図7に示す睡眠継続判定部33における基準時間の具体例と同様であるため、説明を省略する。
The sleep
入眠時制御部44は、動画有無判定部12によりソース機器1の表示画面に動画コンテンツが含まれていると判定された場合、入眠判定部41によりユーザUが入眠したと判定されたとき、UIBCを用いてソース機器1における動画コンテンツの再生を一時停止させるものである。すなわち、入眠時制御部44は、無線通信装置4を制御することにより、第1GUIの操作に対応するイベントをソース機器1に送信する。これにより、ソース機器1における動画コンテンツの再生が一時停止される。
When the moving image presence /
覚醒時制御部45は、動画有無判定部12によりソース機器1の表示画面に動画コンテンツが含まれていると判定された場合、覚醒判定部42によりユーザUが覚醒したと判定されたとき、UIBCを用いてソース機器1における動画コンテンツの再生を再開させるものである。すなわち、覚醒時制御部45は、無線通信装置4を制御することにより、第2GUIの操作に対応するイベントをソース機器1に送信する。これにより、ソース機器1における動画コンテンツの再生が再開される。
When the
睡眠継続時制御部46は、睡眠継続判定部43によりユーザUの睡眠状態が基準時間以上継続したと判定されたとき、表示装置5における表示画面をキャプチャして、キャプチャデータを記憶装置7に記憶させるものである。また、睡眠継続時制御部46は、当該キャプチャデータ(以下「睡眠継続時キャプチャデータ」という。)を記憶装置7に記憶させた後、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させるものである。
When the sleep
入眠判定部41、覚醒判定部42、睡眠継続判定部43、入眠時制御部44、覚醒時制御部45及び睡眠継続時制御部46により、省電力制御部47が構成されている。撮影画像取得部11、動画有無判定部12、第1GUI検出部13、第2GUI検出部14及び省電力制御部47により、制御装置3bの要部が構成されている。
The power
次に、図11のフローチャートを参照して、制御装置3bの動作について説明する。
Next, the operation of the
初期状態において、ミラーリングシステム100はミラキャストによるディスプレイミラーリングを実行中である。また、記憶装置7には蓄積キャプチャデータが記憶されている。制御装置3bは、ディスプレイミラーリングのバックグラウンドにて、以下のステップST21〜ST22,ST31〜ST43,ST51〜ST59の処理を実行する。
In the initial state, the
まず、動画有無判定部12は、記憶装置7に記憶された蓄積キャプチャデータを取得する。動画有無判定部12は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器1の表示画面に動画コンテンツが含まれているか否かを判定するとともに(ステップST21)、ソース機器1の表示画面に動画コンテンツが含まれている場合はソース機器1が動画コンテンツを再生中であるか否かを判定する(ステップST22)。
First, the moving image presence /
ソース機器1の表示画面に動画コンテンツが含まれており、かつ、ソース機器1が動画コンテンツを再生中である場合(ステップST21“YES”かつステップST22“YES”)、制御装置3bの処理はステップST31に進む。
When the moving image content is included in the display screen of the source device 1 and the source device 1 is reproducing the moving image content (“YES” in step ST21 and “YES” in step ST22), the processing of the
次いで、ステップST31にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
Next, in step ST31, the captured
次いで、ステップST32にて、入眠判定部41は、ステップST31で取得された撮影画像に対する画像認識処理を実行して、ユーザUが入眠したか否かを判定する。ユーザUが入眠していない場合(ステップST32“NO”)、制御装置3bの処理はステップST21に戻る。他方、ユーザUが入眠がしたとき(ステップST32“YES”)、制御装置3bの処理はステップST33に進む。
Next, in step ST32, the
次いで、ステップST33にて、睡眠継続判定部43は、睡眠状態の継続時間のカウントを開始する。
Next, in step ST33, the sleep
次いで、ステップST34にて、第1GUI検出部13は、記憶装置7に記憶された蓄積キャプチャデータを取得する。第1GUI検出部13は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器1における第1GUIを検出する。
Next, in step ST <b> 34, the first
次いで、ステップST35にて、入眠時制御部44は、UIBCを用いてソース機器1における動画コンテンツの再生を一時停止させる。すなわち、入眠時制御部44は、無線通信装置4を制御することにより、ステップST34で検出された第1GUIの操作に対応するイベントをソース機器1に送信する。
Next, in step ST <b> 35, the
ステップST35の処理により、ソース機器1における動画コンテンツの再生が一時停止される。この結果、動画コンテンツの再生処理に用いられる電力が不要となるため、ソース機器1にて消費される電力を低減することができる。ただし、ミラキャストのセッションが継続しているため、エンコード処理及び送信処理についてはソース機器1にて継続して実行される。 Through the process of step ST35, the reproduction of the moving image content in the source device 1 is paused. As a result, the power used for the reproduction processing of the moving image content becomes unnecessary, so that the power consumed by the source device 1 can be reduced. However, since the Miracast session is continued, the encoding process and the transmission process are continuously executed by the source device 1.
次いで、ステップST36にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
Next, in step ST36, the captured
次いで、ステップST37にて、覚醒判定部42は、ステップST36で取得された撮影画像に対する画像認識処理を実行して、ユーザUが覚醒したか否かを判定する。ユーザUが覚醒していない場合(ステップST37“NO”)、ステップST38にて、睡眠継続判定部43は、ユーザUの睡眠状態が基準時間以上継続したか否かを判定する。睡眠状態の継続時間が基準時間未満である場合(ステップST38“NO”)、制御装置3bの処理はステップST36に戻る。
Next, in step ST37, the
ユーザUが入眠した後、基準時間が経過する前にユーザUが覚醒した場合(ステップST37“YES”)、制御装置3bの処理はステップST39に進む。ステップST39にて、睡眠継続判定部43は、睡眠状態の継続時間のカウントをリセットする。
If the user U wakes up after the user U falls asleep before the reference time has elapsed (step ST37 “YES”), the process of the
次いで、ステップST40にて、第2GUI検出部14は、記憶装置7に記憶された蓄積キャプチャデータを取得する。第2GUI検出部14は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器1における第2GUIを検出する。
Next, in step ST <b> 40, the second
次いで、ステップST41にて、覚醒時制御部45は、UIBCを用いてソース機器1における動画コンテンツの再生を再開させる。すなわち、覚醒時制御部45は、無線通信装置4を制御することにより、ステップST40で検出された第2GUIの操作に対応するイベントをソース機器1に送信する。
Next, in step ST41, the
ステップST41の処理により、ソース機器1における動画コンテンツの再生が再開される。この結果、動画コンテンツの再生をステップST35にて一時停止された箇所から自動的に再開することができる。ステップST41に次いで、制御装置3bの処理はステップST21に戻る。
Through the process in step ST41, the reproduction of the moving image content in the source device 1 is resumed. As a result, the reproduction of the moving image content can be automatically restarted from the place where it was temporarily stopped in step ST35. Following step ST41, the process of the
他方、ユーザUが入眠した後、ユーザUが覚醒することなく基準時間が経過した場合(ステップST38“YES”)、制御装置3bの処理はステップST42に進む。ステップST42にて、睡眠継続時制御部46は、表示装置5における表示画面をキャプチャして、睡眠継続時キャプチャデータを記憶装置7に記憶させる。
On the other hand, after the user U falls asleep, if the reference time has passed without the user U waking up (step ST38 “YES”), the process of the
次いで、ステップST43にて、睡眠継続時制御部46は、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させる。
Next, in step ST43, the sleep continuation
ミラキャストのセッションが終了することにより、ソース機器1におけるエンコード処理及び送信処理も終了する。このため、ソース機器1にて消費される電力を更に低減することができる。 When the Miracast session is ended, the encoding process and the transmission process in the source device 1 are also ended. For this reason, the power consumed in the source device 1 can be further reduced.
また、制御装置3bは、ステップST43に次いで、表示装置5の表示をオフする処理又はシンク機器2の電源をオフする処理を実行するものであっても良い。これにより、シンク機器2にて消費される電力を低減することができる。
Moreover, the
また、ステップST43の後、ユーザUが覚醒したとき、制御装置3bは、操作入力装置8に入力された操作に応じて、記憶装置7に記憶された睡眠継続時キャプチャデータを取得して、睡眠継続時キャプチャデータが示す画像を表示装置5に表示させる。これにより、ユーザUは、ミラキャストが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
Moreover, when the user U wakes up after step ST43, the
ここで、ユーザUの入眠時に動画コンテンツの再生を一時停止したため(ステップST35)、ユーザUが熟睡状態に移行したときの表示画面には入眠時と同じ状態の動画コンテンツが含まれている。当該表示画面を確認することにより、ユーザUの覚醒後において入眠時の再生箇所を検索するのが容易となる。この結果、動画コンテンツの再生を当該箇所から再開するのが容易となる。 Here, since the reproduction of the moving image content is paused when the user U falls asleep (step ST35), the display screen when the user U enters the deep sleep state includes the moving image content in the same state as when the user U fell asleep. By confirming the display screen, it becomes easy to search for a reproduction part at the time of falling asleep after the user U wakes up. As a result, it becomes easy to resume the reproduction of the moving image content from the relevant part.
他方、ソース機器1の表示画面に動画コンテンツが含まれていない場合(ステップST21“NO”)、又は、ソース機器1の表示画面に動画コンテンツが含まれており、かつ、ソース機器1が動画コンテンツを再生中でない場合(ステップST21“YES”かつステップST22“NO”)、制御装置3bの処理はステップST51に進む。
On the other hand, when the video content is not included in the display screen of the source device 1 (step ST21 “NO”), or the video content is included in the display screen of the source device 1 and the source device 1 is the video content. Is not being reproduced (step ST21 “YES” and step ST22 “NO”), the process of the
次いで、ステップST51にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
Next, in step ST51, the captured
次いで、ステップST52にて、入眠判定部41は、ステップST51で取得された撮影画像に対する画像認識処理を実行して、ユーザUが入眠したか否かを判定する。ユーザUが入眠していない場合(ステップST52“NO”)、制御装置3bの処理はステップST21に戻る。他方、ユーザUが入眠がしたとき(ステップST52“YES”)、制御装置3bの処理はステップST53に進む。
Next, in step ST52, the
次いで、ステップST53にて、睡眠継続判定部43は、睡眠状態の継続時間のカウントを開始する。
Next, in step ST <b> 53, the sleep
次いで、ステップST54にて、撮影画像取得部11がカメラ9による撮影画像を取得する。
Next, in step ST54, the captured
次いで、ステップST55にて、覚醒判定部42は、ステップST54で取得された撮影画像に対する画像認識処理を実行して、ユーザUが覚醒したか否かを判定する。ユーザUが覚醒していない場合(ステップST55“NO”)、ステップST56にて、睡眠継続判定部43は、ユーザUの睡眠状態が基準時間以上継続したか否かを判定する。睡眠状態の継続時間が基準時間未満である場合(ステップST56“NO”)、制御装置3bの処理はステップST54に戻る。
Next, in step ST55, the
ユーザUが入眠した後、基準時間が経過する前にユーザUが覚醒した場合(ステップST55“YES”)、制御装置3bの処理はステップST57に進む。ステップST57にて、睡眠継続判定部43は、睡眠状態の継続時間のカウントをリセットする。次いで、制御装置3bの処理はステップST21に戻る。
If the user U wakes up after the user U falls asleep before the reference time has elapsed (step ST55 “YES”), the process of the
他方、ユーザUが入眠した後、ユーザUが覚醒することなく基準時間が経過した場合(ステップST56“YES”)、制御装置3bの処理はステップST58に進む。ステップST58にて、睡眠継続時制御部46は、表示装置5における表示画面をキャプチャして、睡眠継続時キャプチャデータを記憶装置7に記憶させる。
On the other hand, after the user U falls asleep, when the reference time has passed without the user U waking up (step ST56 “YES”), the process of the
次いで、ステップST59にて、睡眠継続時制御部46は、無線通信装置4を制御することにより、ミラキャストのセッション終了要求をソース機器1に送信して、ミラキャストのセッションを終了させる。
Next, in step ST <b> 59, the sleep continuation
ミラキャストのセッションが終了することにより、ソース機器1におけるエンコード処理及び送信処理も終了する。このため、ソース機器1にて消費される電力を低減することができる。 When the Miracast session is ended, the encoding process and the transmission process in the source device 1 are also ended. For this reason, the power consumed in the source device 1 can be reduced.
また、制御装置3bは、ステップST59に次いで、表示装置5の表示をオフする処理又はシンク機器2の電源をオフする処理を実行するものであっても良い。これにより、シンク機器2にて消費される電力を低減することができる。
Moreover, the
また、ステップST59の後、ユーザUが覚醒したとき、制御装置3bは、操作入力装置8に入力された操作に応じて、記憶装置7に記憶された睡眠継続時キャプチャデータを取得して、睡眠継続時キャプチャデータが示す画像を表示装置5に表示させる。これにより、ユーザUは、ミラキャストが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
Moreover, when the user U wakes up after step ST59, the
なお、制御装置3bは、操作入力装置8に入力された操作により、省電力制御部47による上記制御の実行要否(すなわち図11に示すステップST21〜ST22,ST31〜ST43,ST51〜ST59の処理の実行要否)を設定自在なものであっても良い。当該制御の実行をオフに設定することにより、ユーザUにとって不要な制御が実行されるのを防ぐことができる。
Note that the
また、ソース機器1とシンク機器2間の無線通信はWi−Fiダイレクトに限定されるものではなく、ソース機器1からシンク機器2へのディスプレイミラーリングはミラキャストに限定されるものではない。ミラーリングシステム100は、Wi−Fiダイレクトと異なる他の規格に基づく一対一型の無線通信によるディスプレイミラーリングを実行するものであっても良い。
Further, wireless communication between the source device 1 and the
以上のように、実施の形態3の制御装置3bは、ソース機器1とシンク機器2間の無線通信によりソース機器1からシンク機器2へのディスプレイミラーリングを実行するミラーリングシステム100におけるシンク機器2用の制御装置3bであって、カメラ9による撮影画像を取得する撮影画像取得部11と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザUが入眠したか否かを判定する入眠判定部41と、ユーザUが入眠したと判定された後、ユーザUの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部43と、ユーザUの睡眠状態が基準時間以上継続したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部46とを備える。これにより、ディスプレイミラーリングの実行中にユーザUが眠ってしまった場合、ソース機器1にて消費される電力をシンク機器2側の制御により低減することができる。
As described above, the
また、睡眠継続時制御部46は、シンク機器2における表示画面をキャプチャしてからディスプレイミラーリングを終了させる。これにより、ユーザUは、ディスプレイミラーリングが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
In addition, the sleep continuation
また、制御装置3bは、シンク機器2における表示画面のキャプチャデータを用いて、ソース機器1の表示画面に動画コンテンツが含まれているか否かを判定する動画有無判定部12と、シンク機器2における表示画面のキャプチャデータを用いて、ソース機器1における動画コンテンツの再生を一時停止させる操作に対応する第1GUIを検出する第1GUI検出部13と、ソース機器1の表示画面に動画コンテンツが含まれていると判定された場合、ユーザUが入眠したと判定されたとき、第1GUIによりソース機器1における動画コンテンツの再生を一時停止させる制御を実行する入眠時制御部44とを備える。これにより、ソース機器1にて消費される電力を更に低減することができる。
In addition, the
また、制御装置3bは、シンク機器2における表示画面のキャプチャデータを用いて、ソース機器1における動画コンテンツの再生を再開させる操作に対応する第2GUIを検出する第2GUI検出部14と、ユーザUが入眠したと判定された後、撮影画像に対する画像認識処理を実行することによりユーザUが覚醒したか否かを判定する覚醒判定部42と、ソース機器1の表示画面に動画コンテンツが含まれていると判定された場合、ユーザUが覚醒したと判定されたとき、第2GUIによりソース機器1における動画コンテンツの再生を再開させる制御を実行する覚醒時制御部45とを備える。これにより、ユーザUが入眠した後、熟睡状態に移行することなく覚醒した場合、動画コンテンツの再生を一時停止された箇所から自動的に再開することができる。
In addition, the
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1 ソース機器、2 シンク機器、3,3a,3b 制御装置、4 無線通信装置、5 表示装置、6 音声出力装置、7 記憶装置、8 操作入力装置、9 カメラ、11 撮影画像取得部、12 動画有無判定部、13 第1GUI検出部、14 第2GUI検出部、21 入眠判定部、22 入眠時制御部、23 省電力制御部、31 入眠判定部、32 覚醒判定部、33 睡眠継続判定部、34 睡眠継続時制御部、35 省電力制御部、41 入眠判定部、42 覚醒判定部、43 睡眠継続判定部、44 入眠時制御部、45 覚醒時制御部、46 睡眠継続時制御部、47 省電力制御部、51 プロセッサ、52 メモリ、53 処理回路、100 ミラーリングシステム。 1 Source device, 2 Sink device, 3, 3a, 3b Control device, 4 Wireless communication device, 5 Display device, 6 Audio output device, 7 Storage device, 8 Operation input device, 9 Camera, 11 Captured image acquisition unit, 12 Movie Presence / absence determination unit, 13 1st GUI detection unit, 14 2nd GUI detection unit, 21 sleep onset determination unit, 22 sleep onset control unit, 23 power saving control unit, 31 sleep onset determination unit, 32 awakening determination unit, 33 sleep continuation determination unit, 34 Sleep continuation control unit, 35 Power saving control unit, 41 Sleep onset determination unit, 42 Awakening determination unit, 43 Sleep continuation determination unit, 44 Sleep onset control unit, 45 Awakening control unit, 46 Sleep continuation control unit, 47 Power saving Control unit, 51 processor, 52 memory, 53 processing circuit, 100 mirroring system.
Claims (10)
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する入眠時制御部と、
を備えることを特徴とする制御装置。 A control device for the sink device in a mirroring system that performs display mirroring from the source device to the sink device by wireless communication between the source device and the sink device,
A captured image acquisition unit for acquiring a captured image by the camera;
A sleep determination unit that determines whether or not the user imaged in the captured image has fallen asleep by executing image recognition processing on the captured image;
When it is determined that the user has fallen asleep, a sleep control unit that executes control to end the display mirroring;
A control device comprising:
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定された後、前記ユーザの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部と、
前記ユーザの睡眠状態が基準時間以上継続したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部と、
を備えることを特徴とする制御装置。 A control device for the sink device in a mirroring system that performs display mirroring from the source device to the sink device by wireless communication between the source device and the sink device,
A captured image acquisition unit for acquiring a captured image by the camera;
A sleep determination unit that determines whether or not the user imaged in the captured image has fallen asleep by executing image recognition processing on the captured image;
After determining that the user has fallen asleep, the sleep continuation determining unit that determines whether the user's sleep state has continued for a reference time or longer,
When it is determined that the sleep state of the user has continued for a reference time or longer, a sleep duration control unit that executes control to end the display mirroring;
A control device comprising:
前記シンク機器における表示画面のキャプチャデータを用いて、前記ソース機器における動画コンテンツの再生を一時停止させる操作に対応する第1GUIを検出する第1GUI検出部と、
前記ソース機器の表示画面に動画コンテンツが含まれていると判定された場合、前記ユーザが入眠したと判定されたとき、前記第1GUIにより前記ソース機器における動画コンテンツの再生を一時停止させる制御を実行する入眠時制御部と、
を備えることを特徴とする請求項4から請求項6のうちのいずれか1項記載の制御装置。 A moving image presence / absence determining unit that determines whether moving image content is included in the display screen of the source device using capture data of the display screen in the sink device;
A first GUI detection unit for detecting a first GUI corresponding to an operation for temporarily stopping reproduction of moving image content in the source device, using capture data of a display screen in the sink device;
When it is determined that moving image content is included in the display screen of the source device, when the user is determined to fall asleep, control is performed to pause the reproduction of the moving image content on the source device using the first GUI. A sleep control unit,
The control device according to any one of claims 4 to 6, further comprising:
前記ユーザが入眠したと判定された後、前記撮影画像に対する画像認識処理を実行することにより前記ユーザが覚醒したか否かを判定する覚醒判定部と、
前記ソース機器の表示画面に動画コンテンツが含まれていると判定された場合、前記ユーザが覚醒したと判定されたとき、前記第2GUIにより前記ソース機器における動画コンテンツの再生を再開させる制御を実行する覚醒時制御部と、
を備えることを特徴とする請求項7記載の制御装置。 A second GUI detection unit that detects a second GUI corresponding to an operation of resuming reproduction of moving image content in the source device, using capture data of a display screen in the sink device;
An awakening determination unit that determines whether or not the user has awakened by executing an image recognition process on the captured image after it is determined that the user has fallen asleep;
When it is determined that the display screen of the source device includes moving image content, the second GUI executes control to resume playback of the moving image content on the source device when it is determined that the user has awakened An awakening control unit;
The control device according to claim 7, further comprising:
前記シンク機器用のコンピュータを、
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する入眠時制御部と、
として機能させるためのプログラム。 A program for the sink device in a mirroring system that performs display mirroring from the source device to the sink device by wireless communication between the source device and the sink device,
A computer for the sink device;
A captured image acquisition unit for acquiring a captured image by the camera;
A sleep determination unit that determines whether or not the user imaged in the captured image has fallen asleep by executing image recognition processing on the captured image;
When it is determined that the user has fallen asleep, a sleep control unit that executes control to end the display mirroring;
Program to function as.
前記シンク機器用のコンピュータを、
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定された後、前記ユーザの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部と、
前記ユーザの睡眠状態が基準時間以上継続したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部と、
として機能させるためのプログラム。 A program for the sink device in a mirroring system that performs display mirroring from the source device to the sink device by wireless communication between the source device and the sink device,
A computer for the sink device;
A captured image acquisition unit for acquiring a captured image by the camera;
A sleep determination unit that determines whether or not the user imaged in the captured image has fallen asleep by executing image recognition processing on the captured image;
After determining that the user has fallen asleep, the sleep continuation determining unit that determines whether the user's sleep state has continued for a reference time or longer,
When it is determined that the sleep state of the user has continued for a reference time or longer, a sleep duration control unit that executes control to end the display mirroring;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017115170A JP2019004221A (en) | 2017-06-12 | 2017-06-12 | Control device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017115170A JP2019004221A (en) | 2017-06-12 | 2017-06-12 | Control device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019004221A true JP2019004221A (en) | 2019-01-10 |
Family
ID=65006330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017115170A Pending JP2019004221A (en) | 2017-06-12 | 2017-06-12 | Control device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019004221A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021015476A (en) * | 2019-07-12 | 2021-02-12 | 日本ノーベル株式会社 | Screen transition information generation device, screen transition information generation method, screen transition information generation program, and screen transition information generation system |
WO2023141857A1 (en) * | 2022-01-27 | 2023-08-03 | 京东方科技集团股份有限公司 | Screen projection method and apparatus, electronic device and computer readable medium |
-
2017
- 2017-06-12 JP JP2017115170A patent/JP2019004221A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021015476A (en) * | 2019-07-12 | 2021-02-12 | 日本ノーベル株式会社 | Screen transition information generation device, screen transition information generation method, screen transition information generation program, and screen transition information generation system |
JP7202571B2 (en) | 2019-07-12 | 2023-01-12 | 日本ノーベル株式会社 | Screen transition information generation device, screen transition information generation method, screen transition information generation program, screen transition information generation system |
US12049015B2 (en) | 2019-07-12 | 2024-07-30 | Japan Novel Corporation | Screen image transition information generation device, screen image transition information generation method, screen image transition information generation program, and screen image transition information generation system |
WO2023141857A1 (en) * | 2022-01-27 | 2023-08-03 | 京东方科技集团股份有限公司 | Screen projection method and apparatus, electronic device and computer readable medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9860440B2 (en) | Power saving control method and electronic device supporting the same | |
US20220343919A1 (en) | Voice-Controlled Split-Screen Display Method and Electronic Device | |
JP5047261B2 (en) | Recording / reproducing apparatus, recording / reproducing method, and program | |
US9891592B2 (en) | Information processing to improve sleep efficiency | |
TWI502977B (en) | Audio/video playing device, audio/video processing device, systems, and method thereof | |
WO2006038419A1 (en) | Environment adjustment system, environment adjustment method, air conditioner, and remote controller | |
US20110129196A1 (en) | Display control apparatus, display control system, and remote control apparatus | |
JP2006211061A (en) | Broadcast signal receiving system | |
KR102148001B1 (en) | Display apparatus and method for controlling of display apparatus | |
WO2022242213A1 (en) | Refresh rate adjustment method and electronic device | |
CN112932225B (en) | Intelligent awakening pillow and awakening method based on intelligent awakening pillow | |
JP2019004221A (en) | Control device and program | |
WO2021164229A1 (en) | Data processing method and apparatus | |
JP2009015770A (en) | Start-up processing control device | |
JP2023541636A (en) | How to switch scenes, terminals and storage media | |
JP2010232762A (en) | Device, system, and method capable of high-speed image output for video reproduction | |
JP2011239029A (en) | Image display unit, power saving control unit and power saving method | |
US20120198286A1 (en) | Communication apparatus, control method, and recording medium | |
CN109727611B (en) | Method and device for automatically controlling playing | |
TW201739490A (en) | Automatic video editing method and electric device | |
JP5302876B2 (en) | Video display device, detection state presentation method, program, and recording medium | |
JP2014072585A (en) | Program reproducing device, program reproducing method, and recording medium | |
WO2018216669A1 (en) | Alertness induction control device and alertness induction system | |
JP2010286653A (en) | Image display device, image display method and program | |
JP6239847B2 (en) | Television receiver |