JP2018536222A - スマートデバイス制御方法および装置 - Google Patents

Abstract

本開示の実施例は、スマートデバイス制御方法および装置に関し、スマートホーム分野に属する。前記方法は、スマートマットレスが中継デバイスを介して送信した画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定し、前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスを送信する。
【選択図】図２

Description

本願は、出願番号２０１５１０７９２２３１．５、出願日２０１５年１１月１７日の中国特許出願に基づいて提出され、当該中国特許出願の優先権を出張し、当該中国特許出願のすべての内容が本願に援用される。
本開示の実施例は、スマートホーム分野に関し、特に、スマートデバイス制御方法および装置に関する。

スマートホーム技術の発展に伴い、ますます多くのスマートデバイスは、ユーザーの生活に入って、同時にユーザーの生活に影響を与える。ユーザーがスマートデバイスに対する煩雑な操作から逃し、ユーザーがスマートデバイスをを使用しやすいように、スマートデバイス制御方法が必要となる。現在、関連技術において、ユーザーは、基本的にスマートデバイスのリモコンによりスマートデバイスを制御し、例えば、当該スマートデバイスがスマートエアコンである場合、ユーザーは、スマートエアコンのリモコンにより、スマートエアコンを制御して、オンにしたり、オフにしたり、温度を上げたり、温度下げたりするなどの操作を行うこことができる。

関連技術の問題を克服するために、本開示の実施例は、スマートデバイス制御方法および装置を提供する。

本開示の実施例の第一の態様によるスマートデバイス制御方法は、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得することと、
前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定することと、
前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信することとを含む。

第一の態様と組み合わせて、前記第一の態様の第一のの可能な実現形態において、前記第一の画像に基づいてデバイス識別子情報を確定することは
前記第一の画像から前記ユーザーの視線方向を確定することと、
前記視線方向に基づいて前記デバイス識別子情報を確定することとを含む。

第一の態様の第一の可能な実現形態と組み合わせて、前記第一の態様の第二の可能な実現形態において、前記第一の画像から前記ユーザーの視線方向を確定することは、
前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得することと、
前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することとを含む。

第一の態様の第二の可能な実現形態と組み合わせて、前記第一の態様の第三の可能な実現形態において、前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することは、
前記ユーザーの目の位置に基づいて、前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
前記瞳オフセット角度に基づいて、前記ユーザーの視線方向を確定することとを含む。

第一の態様の第一の可能な実現形態と組み合わせて、前記第一の態様の第四の可能な実現形態において、前記視線方向に基づいて前記デバイス識別子情報を確定することは、
前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を前記デバイス識別子情報として確定すること、または、
前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定し、前記第一の夾角と前記第二の夾角を前記デバイス識別子情報として確定することとを含む。

本開示の実施例の第二の態様によるスマートデバイス制御方法は、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得することと、
前記ユーザーの眼球情報を確定することと、
前記中継デバイスが前記第一の画像および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記第一の画像および前記眼球情報を前記中継デバイスに送信することとを含む。

第二の態様と組み合わせて、前記第二の態様の第一の可能な実現形態において、前記第一の画像および前記眼球情報を前記中継デバイスに送信した後、さらに、
中継デバイスから送信された、前記第一の画像を分析して取得した視線方向を受信した場合、前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得することと、
前記第二の画像を前記中継デバイスに送信することとを含む。

本開示の実施例の第三の態様によるスマートデバイス制御方法は、
スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信することと、
前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信することと、
前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む。

第三の態様と組み合わせて、前記第三の態様の第一の可能な実現形態において、前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することと、
前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む。

第三の態様の第一の可能な実現形態と組み合わせて、前記第三の態様の第二の可能な実現形態において、前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することは、
前記デバイス識別子情報が、前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行って取得した第二の画像である場合、記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択することと、
前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

第三の態様の第一の可能な実現形態と組み合わせて、前記第三の態様の第三の可能な実現形態において、前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することは、
前記デバイス識別子情報が第二の画像である場合、前記第二の画像から前記第二の画像におけるスマートデバイスのデバイスマークを識別することと、
前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

第三の態様の第一の可能な実現形態と組み合わせて、前記第三の態様の第四の可能な実現形態において、前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することは、
前記デバイス識別子情報が前記ユーザーの視線方向と水平方向の間の夾角である第一の夾角および前記視線方向と指定された方向の間の夾角である第二の夾角である場合、前記第一の夾角と前記第二の夾角に基づいて、記憶された前記第一の夾角、前記第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

第三の態様の第一の可能な実現形態と組み合わせて、前記第三態様の第五の可能な実現形態において、前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
取得された制御操作に基づいて前記ターゲットスマートデバイスを制御することとを含む。

本開示の実施例の第四の態様によるスマートデバイス制御方法は、
スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信することと、
前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信することと、
前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む。

第四の態様と組み合わせて、前記第四の態様の第一の可能な実現形態において、前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
前記第一の画像から前記ユーザーの視線方向を確定することと、
前記視線方向に基づいて前記ターゲットスマートデバイスを確定することと、
前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む。

第四の態様の第一の可能な実現形態と組み合わせて、前記第四の態様の第二の可能な実現形態において、前記第一の画像から前記ユーザーの視線方向を確定することは、
前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得することと、
前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することとを含む。

第四の態様の第二の可能な実現形態と組み合わせて、前記第四の態様の第三の可能な実現形態において、前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することは、
前記ユーザーの目の位置に基づいて前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
前記瞳オフセット角度に基づいて前記ユーザーの視線方向を確定することとを含む。

第四の態様の第一の可能な実現形態と組み合わせて、前記第四の態様の第四の可能な実現形態において、前記視線方向に基づいて前記ターゲットスマートデバイスを確定することは、
前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定することと、
前記第一の夾角と前記第二の夾角に基づいて記憶された前記第一の夾角、前記第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

第四の態様の第一の可能な実現形態と組み合わせて、前記第四の態様の第五の可能な実現形態において、前記視線方向に基づいて前記ターゲットスマートデバイスを確定することは、
前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を返すように、前記視線方向を前記スマート撮影デバイスへ送信することと、
前記スマート撮影デバイスから返された第二の画像を受信した場合、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することとを含む。

第四の態様の第五の可能な実現形態と組み合わせて、前記第四の態様の第六の可能な実現形態において、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することは、
記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択することと、
前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

第四の態様の第五の可能な実現形態と組み合わせて、前記第四の態様の第七の可能な実現形態において、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することは、
前記第二の画像から前記第二の画像におけるスマートデバイスのデバイスマークを識別することと、
前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

第四の態様の第一の可能な実現形態と組み合わせて、前記第四の態様の第八種の可能な実現形態において、前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
取得された制御操作に基づいて前記ターゲットスマートデバイスを制御することとを含む。

本開示の実施例の第五の態様によるスマートデバイス制御装置は、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得するように構成される画像収集モジュールと、
前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定するように構成される確定モジュールと、
前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信するように構成される送信モジュールとを含む。

第五の態様と組み合わせて、前記第五の態様の第一の可能な実現形態において、前記確定モジュールは、
前記第一の画像から前記ユーザーの視線方向を確定するように構成される第一の確定ユニットと、
前記視線方向に基づいて前記デバイス識別子情報を確定するように構成される第二の確定ユニットとを含む。

第五の態様の第一の可能な実現形態と組み合わせて、前記第五の態様の第二の可能な実現形態において、前記第一の確定ユニットは、
前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得するように構成される第一の識別サブユニットと、
前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得するように構成される第二の識別サブユニットとを含む。

第五の態様の第二の可能な実現形態と組み合わせて、前記第五の態様の第三の可能な実現形態において、前記第二の識別サブユニットは、具体的に、
前記ユーザーの目の位置に基づいて、前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し
前記瞳オフセット角度に基づいて、前記ユーザーの視線方向を確定するように構成される。

第五の態様の第一の可能な実現形態と組み合わせて、前記第五の態様の第四の可能な実現形態において、前記第二の確定ユニットは、
前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を前記デバイス識別子情報として確定するように構成される画像収集サブユニット、または、
前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定し、前記第一の夾角と前記第二の夾角を前記デバイス識別子情報として確定するように構成される確定サブユニットとを含む。

本開示の実施例の第六の態様によるスマートデバイス制御装置は、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得するように構成される第一の画像収集モジュールと、
前記ユーザーの眼球情報を確定するように構成される確定モジュールと、
前記中継デバイスが前記第一の画像および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記第一の画像および前記眼球情報を前記中継デバイスに送信するように構成される第一の送信モジュールとを含む。

第六の態様と組み合わせて、前記第六の態様の第一の可能な実現形態において、前記スマートデバイス制御装置は、
中継デバイスが送信した、前記第一の画像を分析して取得した視線方向を受信した場合、前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得するように構成される第二の画像収集モジュールと、
前記第二の画像を前記中継デバイスに送信するように構成される第二の送信モジュールとをさらに含む。

本開示の実施例の第七の態様によるスマートデバイス制御装置は、
前記スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信するように構成される受信モジュールと、
前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信するように構成される送信モジュールと、
前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御モジュールとを含む。

第七の態様と組み合わせて、前記第七の態様の第一の可能な実現形態において、前記制御モジュールは、
前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定するように構成される確定ユニットと、
前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御ユニットとを含む。

第七の態様の第一の可能な実現形態と組み合わせて、前記第七の態様の第二の可能な実現形態において、前記確定ユニットは、
前記デバイス識別子情報が、前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行って取得した第二の画像である場合、記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択するように構成される選択サブユニットと、
前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第一の確定サブユニットとを含む。

第七の態様の第一の可能な実現形態と組み合わせて、前記第七の態様の第三の可能な実現形態において、前記確定ユニットは、
前記デバイス識別子情報が第二の画像である場合、前記第二の画像からスマートデバイスのデバイスマークを識別するように構成される識別サブユニットと、
前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第一の取得サブユニットと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第二の確定サブユニットとを含む。

第七の態様の第一の可能な実現形態と組み合わせて、前記第七の態様の第四の可能な実現形態において、前記確定ユニットは、
前記デバイス識別子情報が前記視線方向と水平方向の間の夾角である第一の夾角および前記視線方向と指定された方向の間の夾角である第二の夾角である場合、前記第一の夾角と前記第二の夾角に基づいて、記憶された前記第一の夾角、前記第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第二の取得サブユニットと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第三の確定サブユニットとを含む。

第七の態様の第一の可能な実現形態と組み合わせて、前記第七の態様の第五の可能な実現形態において、前記制御ユニットは、
前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得するように構成される第三の取得サブユニットと、
取得された制御操作に基づいて前記ターゲットスマートデバイスを制御するように構成される制御サブユニットとを含む。

本開示の実施例の第八の態様によるスマートデバイス制御装置は、
前記スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信するように構成される受信モジュールと、
前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信するように構成される送信モジュールと、
前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御モジュールとを含む。

第八の態様と組み合わせて、前記第八の態様の第一の可能な実現形態において、前記制御モジュールは、
前記第一の画像から前記ユーザーの視線方向を確定するように構成される第一の確定ユニットと、
前記視線方向に基づいて前記ターゲットスマートデバイスを確定するように構成される第二の確定ユニットと
前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御ユニットとを含む。

第八の態様の第一の可能な実現形態と組み合わせて、前記第八の態様の第二の可能な実現形態において、前記第一の確定ユニットは、
前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得するように構成される第一の識別サブユニットと、
前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得するように構成される第二の識別サブユニットとを含む。

第八の態様の第二の可能な実現形態と組み合わせて、前記第八の態様の第三の可能な実現形態において、前記第二の識別サブユニットは、具体的に、
前記ユーザーの目の位置に基づいて前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、
前記瞳オフセット角度に基づいて前記ユーザーの視線方向を確定するように構成される。

第八の態様の第一の可能な実現形態と組み合わせて、前記第八の態様の第四の可能な実現形態において、前記第二の確定ユニットは、
前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定するように構成される第一の確定サブユニットと、
前記第一の夾角と前記第二の夾角に基づいて記憶された前記第一の夾角、前記第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第一の取得サブユニットと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第二の確定サブユニットとを含む。

第八の態様の第一の可能な実現形態と組み合わせて、前記第八の態様の第五の可能な実現形態において、前記第二の確定ユニットは、
前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を返すように、前記視線方向を前記スマート撮影デバイスへ送信するように構成される送信サブユニットと、
前記スマート撮影デバイスから返された第二の画像を受信した場合、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定するように構成される第三の確定サブユニットとを含む。

第八の態様の第五の可能な実現形態と組み合わせて、前記第八の態様の第六の可能な実現形態において、前記第三の確定サブユニットは、具体的に、
記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択し、
前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される。

第八の態様の第五の可能な実現形態と組み合わせて、前記第八の態様の第七種の可能な実現形態において、前記第三の確定サブユニットは、具体的に、
前記第二の画像から前記第二の画像におけるスマートデバイスのデバイスマークを識別し、
前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得し、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される。

第八の態様の第一の可能な実現形態と組み合わせて、前記第八の態様の第八の可能な実現形態において、前記制御ユニットは、
前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得するように構成される第二の取得サブユニットと、
取得された制御操作に基づいて前記ターゲットスマートデバイスを制御するように構成される制御サブユニットとを含む。

本開示の実施例の第九の態様によるスマートデバイス制御装置は、
プロセッサと、
プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
ここで、前記プロセッサは、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、
前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定し、
前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信するように構成される。

本開示の実施例の第十の態様によるスマートデバイス制御装置は、
プロセッサと、
プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
ここで、プロセッサは、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用するという画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、
前記ユーザーの眼球情報を確定し、
前記中継デバイスが前記第一の画像および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記第一の画像および前記眼球情報を前記中継デバイスに送信するように構成される。

本開示の実施例の第十一の態様によるスマートデバイス制御装置は、
プロセッサと、
プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
ここで、前記プロセッサは、
スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信し、
前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信し、
前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される。

本開示の実施例の第十二の態様によるスマートデバイス制御装置は、
プロセッサと、
プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
ここで、前記プロセッサは、
スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信し、
前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信し、
前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される。

本開示の実施例による技術的解決手段は、本開示の実施例において中継デバイスによりスマートマットレス、スマート撮影デバイスとターゲットスマートデバイスの間のインタラクションを実現し、ターゲットスマートデバイスが画像を収集し、収集された画像からデバイス識別子情報と眼球情報を取得し、それによってデバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスに対する制御を実現し、ユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高めるという有益な効果を含むことができる。

以上の一般的な説明と後の詳しい説明は、例示的なものと解釈的なものだけであるが、本開示を限定できないと理解すべきである。

一つの例示的な実施例によるスマートデバイス制御システムの構造図である。 一つの例示的な実施例による第一のスマートデバイス制御方法のフロチャートである。 一つの例示的な実施例による第二のスマートデバイス制御方法のフロチャートである。 一つの例示的な実施例による第三のスマートデバイス制御方法のフロチャートである。 一つの例示的な実施例による第四のスマートデバイス制御方法のフロチャートである。 一つの例示的な実施例による第五のスマートデバイス制御方法のフロチャートである。 一つの例示的な実施例による瞳オフセット角度の模式図。 一つの例示的な実施例による水平方向と指定された方向の模式図である。 一つの例示的な実施例による第六のスマートデバイス制御方法のフロチャートである。 一つの例示的な実施例による第一のスマート制御装置のブロック図である。 一つの例示的な実施例による確定モジュールのブロック図。 一つの例示的な実施例による第一の確定ユニットのブロック図である。 一つの例示的な実施例による第二の確定ユニットのブロック図である。 一つの例示的な実施例による第二のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による第三のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による第四のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による制御モジュールのブロック図である。 一つの例示的な実施例による第一の確定ユニットのブロック図である。 一つの例示的な実施例による第二の確定ユニットのブロック図である。 一つの例示的な実施例による第三の確定ユニットのブロック図である。 一つの例示的な実施例による制御ユニットのブロック図である。 一つの例示的な実施例による第五のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による制御モジュールのブロック図である。 一つの例示的な実施例による第一の確定ユニットのブロック図である。 一つの例示的な実施例による第一の第二の確定ユニットのブロック図である。 一つの例示的な実施例による第二の確定ユニットのブロック図である。 一つの例示的な実施例による制御ユニットのブロック図である。 一つの例示的な実施例による第六のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による第七のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による第八のスマートデバイス制御装置のブロック図である。 一つの例示的な実施例による第九のスマートデバイス制御装置のブロック図である。

ここの図面は、明細書に組み込まれて本明細書の一部を構成し、本開示に合う実施例を示し、明細書とともに本発明の原理を解釈することに用いられる。

ここで、例示的な実施例を詳しく説明し、その例が図面に示される。以下の説明が図面に関する場合、他に示されない限り、異なる図面の同一の数字は、同一のまたは類似の要素を表す。以下の例示的な実施例において説明された実施形態は、本発明と一致するすべての実施形態を代表しない。逆に、それらは、添付の特許請求の範囲に詳しく説明されたものような本発明のいくつかの態様と一致する装置および方法の例だけである。

本開示の実施例を詳しく解釈して説明する前に、先に本開示の実施例のシステムアーキテクチャを紹介する。図１は、本開示の実施例によるスマートデバイス制御システムアーキテクチャである。図１を参照し、当該スマートデバイス制御システムは、スマートマットレス、中継デバイス、スマート撮影デバイスとターゲットスマートデバイスを含み、スマートマットレス、スマート撮影デバイスおよびターゲットスマートデバイスは、中継デバイスとそれぞれネットワークまたはブルートゥース（登録商標）を介して接続し、かつスマートマットレス、スマート撮影デバイスとターゲットスマートデバイスの間のメッセージ交換が中継デバイスにより完了されることができる。その中、当該スマートマットレスは、スマートマットレス、スマート撮影デバイスとターゲットスマートデバイスの間のメッセージ交換メカニズムをトリガするように構成され、当該スマート撮影デバイスは、眼球情報とデバイス識別子情報を取得するように構成され、当該中継デバイスは、眼球情報に基づいてターゲットスマートデバイスを制御できる。

図２は、一つの例示的な実施例による第一のスマートデバイス制御方法のフロチャートである。図２に示すように、当該方法は、スマート撮影デバイスに用いられ、以下のステップを含む。

ステップ２０１において、スマートマットレスが中継デバイスを介して送信した画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得する。当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

ステップ２０２において、当該第一の画像に基づいて、制御すべきターゲットスマートデバイスを制御するためのデバイス識別子情報および当該ユーザーの眼球情報を確定する。

ステップ２０３において、当該中継デバイスが当該デバイス識別子情報と当該眼球情報に基づいて当該ターゲットスマートデバイスを制御するように、当該デバイス識別子情報と当該眼球情報を当該中継デバイスへ送信する。

本開示の実施例において、スマート撮影デバイスは、中継デバイスを介してスマートマットレスによって送信された画像収集要求を受信して画像収集を行い、収集された画像によりデバイス識別子情報と眼球情報を確定することができ、それによって中継デバイスがデバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御し、このようにしてユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合の、ユーザーのユーザー体験を高める。

本開示の別の実施例において、当該第一の画像に基づいてデバイス識別子情報を確定することは、
当該第一の画像から当該ユーザーの視線方向を確定することと、
当該視線方向に基づいて当該デバイス識別子情報を確定することとを含む。

本開示の別の実施例において、当該第一の画像から当該ユーザーの視線方向を確定することは、
当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得することと、
当該ユーザーの目の位置に基づいて、当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得することとを含む。

本開示の別の実施例において、当該ユーザーの目の位置に基づいて、当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得することは
当該ユーザーの目の位置に基づいて、当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
当該瞳オフセット角度に基づいて当該ユーザーの視線方向を確定することとを含む。

本開示の別の実施例において、当該視線方向基づいて当該デバイス識別子情報を確定することは、
当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を当該デバイス識別子情報として確定すること、または、
当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定し、当該第一の夾角と当該第二の夾角を当該デバイス識別子情報として確定することを含む。

前記のすべての選択的な技術的解決手段がいずれも任意の組み合わせに従って本開示の選択的な実施例を形成することができるので、本開示の実施例において、これを詳しく説明しない。

図３は、一つの例示的な実施例による第二のスマートデバイス制御方法のフロチャートである。図３に示すように、当該方法は、スマート撮影デバイスに用いられ、以下のステップを含む。

ステップ３０１において、スマートマットレスが中継デバイスを介して送信した画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得する。当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

ステップ３０２において、当該ユーザーの眼球情報を確定する。

ステップ３０３において、当該中継デバイスが当該第一の画像と当該眼球情報に基づいてターゲットスマートデバイスを制御するように、当該第一の画像と当該眼球情報を当該中継デバイスへ送信する。

本開示の実施例において、スマート撮影デバイスは、中継デバイスを介してスマートマットレスによって送信された画像収集要求を受信して画像収集を行い、収集された画像により眼球情報を確定することができ、それによって中継デバイスが収集された画像と眼球情報に基づいてターゲットスマートデバイスを制御し、このようにしてユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

本開示の別の実施例において、当該第一の画像と当該眼球情報を当該中継デバイスを送信した後、
当該中継デバイスから送信された、当該第一の画像を分析して取得した視線方向を受信した場合、当該中継デバイスが当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得することと、
当該第二の画像を当該中継デバイスに送信することとをさらに含む。

前記のすべての選択的な技術的解決手段がいずれも任意の組み合わせに従って本開示の選択的な実施例を形成できるので、本開示の実施例においてこれを詳しく説明しない。

図４は、一つの例示的な実施例による第三のスマートデバイス制御方法のフロチャートである。図４に示すように、当該方法は、中継デバイスに用いられ、以下のステップを含む。

ステップ４０１において、スマートマットレスから送信された、スマートマットレス識別子が含まれている画像収集要求を受信する。当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

ステップ４０２において、当該スマート撮影デバイスが当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ当該第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と当該ユーザーの眼球情報を返すように、当該スマートマットレス識別子に基づいて、当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信する。

ステップ４０３において、当該デバイス識別子情報と当該眼球情報に基づいて、当該ターゲットスマートデバイスを制御する。

本開示の実施例において、中継デバイスは、スマートマットレスから送信された画像収集要求を受信し、当該請求をスマート撮影デバイスへ送信し、スマート撮影デバイスが収集された画像に基づいて返したデバイス識別子情報と眼球情報を受信し、当該デバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御することができ、このようにしてユーザーはリモコンを使わずにターゲットスマートデバイスを制御でき、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

本開示の別の実施例において、当該デバイス識別子情報と当該眼球情報に基づいて、当該ターゲットスマートデバイスを制御することは、
当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することと、
当該眼球情報に基づいて当該ターゲットスマートデバイスを制御することとを含む。

本開示の別の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、
当該デバイス識別子情報が第二の画像である場合、記憶された画像ライブラリから、当該スマート撮影デバイスが当該視線方向によって指される位置に対して画像収集を行って取得した第二の画像とマッチングするターゲット画像を選択することと、
当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、
当該デバイス識別子情報が第二の画像である場合、当該第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別することと、
当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、
当該デバイス識別子情報が当該ユーザーの視線方向と水平方向の間の夾角である第一の夾角と当該視線方向と指定された方向の間の夾角である第二の夾角である場合、当該第一の夾角と当該第二の夾角に基づいて、記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該眼球情報基づいて当該ターゲットスマートデバイスを制御することは、
当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
取得された制御操作に基づいて当該ターゲットスマートデバイスを制御することとを含む。

前記のすべての選択的な技術的解決手段がいずれも任意の組み合わせに従って本開示の選択的な実施例を構成できるので、本開示の実施例においてこれを詳しく説明しない。

図５は、一つの例示的な実施例による第四のスマートデバイス制御方法のフロチャートである。図５に示すように、当該方法は、中継デバイスに用いられ、以下のステップを含む。

ステップ５０１において、スマートマットレスから送信された、スマートマットレス識別子が含まれている画像収集要求を受信する。当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

ステップ５０２において、当該スマート撮影デバイスが当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、当該第一の画像と当該ユーザーの眼球情報を返すように、当該スマートマットレス識別子に基づいて、当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信する。

ステップ５０３において、当該第一の画像と当該眼球情報に基づいて、ターゲットスマートデバイスを制御する。

本開示の実施例において、中継デバイスは、スマートマットレスから送信された画像収集要求を受信し、当該請求をスマート撮影デバイスへ送信し、スマート撮影デバイスから返された、収集された画像と眼球情報を受信し、当該画像と眼球情報に基づいてターゲットスマートデバイスを制御することができ、このようにしてユーザーは、リモコンを使わずにターゲットスマートデバイスを制御でき、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

本開示の別の実施例において、当該第一の画像と当該眼球情報に基づいてターゲットスマートデバイスを制御することは、
当該第一の画像から当該ユーザーの視線方向を確定することと、
当該視線方向に基づいて当該ターゲットスマートデバイスを確定することと、
当該眼球情報基づいて当該ターゲットスマートデバイスを制御することとを含む。

本開示の別の実施例において、当該第一の画像から当該ユーザーの視線方向を確定することは、
当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得することと、
当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得することとを含む。

本開示の別の実施例において、当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得することは、
当該ユーザーの目の位置に基づいて当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
当該瞳オフセット角度に基づいて当該ユーザーの視線方向を確定することとを含む。

本開示の別の実施例において、当該視線方向に基づいて当該ターゲットスマートデバイスを確定することは、
当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定することと、
当該第一の夾角と当該第二の夾角に基づいて記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該視線方向に基づいて当該ターゲットスマートデバイスを確定することは、
当該スマート撮影デバイスが当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を返すように、当該視線方向を当該スマート撮影デバイスへ送信することと、
当該スマート撮影デバイスから返された第二の画像を受信した場合、当該第二の画像に基づいて当該ターゲットスマートデバイスを確定することとを含む。

本開示の別の実施例において、当該第二の画像に基づいて当該ターゲットスマートデバイスを確定することは、
記憶された画像ライブラリから当該第二の画像とマッチングするターゲット画像を選択することと、
当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該第二の画像に基づいて当該ターゲットスマートデバイスを確定することは、
当該第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別することと、
当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該眼球情報に基づいて当該ターゲットスマートデバイスを制御することは、
当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
取得された制御操作に基づいて当該ターゲットスマートデバイスを制御することとを含む。

前記のすべての選択的な技術的解決手段がいずれも任意の組み合わせに従って本開示の選択的な実施例を構成できるので、本開示の実施例においてこれを詳しく説明しない。

図６は、一つの例示的な実施例によるスマートデバイス制御方法のフロチャートである。図６に示すように、当該方法は、以下のステップを含む。

ステップ６０１において、スマートマットレスは、当該スマートマットレスに作用する圧力を検出し、圧力データを取得し、当該圧力データが圧力閾値以上である場合、中継デバイスへスマートマットレス識別子が含まれている当該画像収集要求を送信する。

ここで、スマートマットレスに圧力検出装置が取り付けられることができ、当該スマートマットレスは、当該圧力検出装置によりスマートマットレスに作用する圧力を検出し、さらに圧力データを取得することができ、例えば、当該圧力検出装置は、圧力センサなどであってもよく、当該圧力センサにより取得された圧力データは、３０キログラム、５０キログラムなどであってもよく、これに対して、本開示の実施例において具体的に限定しない。

ユーザーがスマートマットレスを使用する場合に、スマートマットレスに対して大きい圧力を生じるため、スマートマットレスは、検出された圧力データにより、ユーザーが当該スマートマットレスを使用するか否かを判断することができる。検出された圧力データが圧力閾値以上である場合、当該スマートマットレスに作用する圧力が大きいと確定でき、さらにこの時にユーザーが当該スマートマットレスを使用し、かつ当該ユーザーが当該スマートマットレスに仰向けに寝そべる可能性があると確定できる。なお、ユーザーが当該スマートマットレスに仰向けに寝そべる場合、ユーザーは、一般的にスマートテレビを消したり、スマートエアコンの温度を下げたりするなどの必要があるため、当該スマートマットレスは、中継デバイスへ当該画像収集要求を送信してもよい。

圧力閾値は、予め設定されることができ、例えば、圧力閾値が３０キログラム、４０キログラム、５０キログラムなどであってよく、本開示の実施例においてこれを具体的に限定しないと説明すべきである。

例えば、圧力閾値が３０キログラムであり、ユーザーがスマートマットレスを使用しかつユーザーの体重が５０キログラムであり、当該スマートマットレスが圧力検出装置により検出した圧力データが５０キログラムであり、圧力データが圧力閾値より大きい場合、ユーザーが当該スマートマットレスを使用していることを示す。そのため、当該スマートマットレスは、中継デバイスへ画像収集要求を送信してもよい。

スマートマットレス識別子は、スマートマットレスを唯一的に識別することに用いられ、即ち、スマートマットレス識別子は当該スマートマットレスの識別子であり、かつ当該スマートマットレス識別子は当該スマートマットレスのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ：媒体アクセス制御）アドレス、工場シリアル番号等であってもよく、本開示の実施例において具体的に限定されないと説明すべきである。

なお、本開示の実施例において、中継デバイスは、スマートマットレス、スマート撮影デバイスとターゲットスマートデバイスの間の通信を実現するように構成され、当該中継デバイスはスマートマットレス、スマート撮影デバイスおよびターゲットスマートデバイスと同一のＬＡＮに位置してもよく、かつ、当該中継デバイスは家庭用ルータ、家庭用サーバー等であってもよく、本開示の実施例において具体的に限定されない。

また、スマートマットレス、スマート撮影デバイスおよびターゲットスマートデバイスには、いずれもｗｉｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：無線ネットワーク）、ブルートゥースまたは他の無線通信チップが設置されることができ、それによって自身に内蔵されたｗｉｆｉ、ブルートゥースまたは他の無線通信チップを介してサーバーと通信することができ、即ち、スマートマットレス、スマート撮影デバイスおよびターゲットスマートデバイスのそれぞれと中継デバイスとの間のメッセジー伝送は、ｗｉｆｉを介して実現されてよく、ブルートゥースを介して実現されてもよく、他の形態で実現されてもよく、本開示の実施例において具体的に限定されない。

ステップ６０２において、中継デバイスが当該画像収集要求を受信した場合、当該スマートマットレス識別子に基づいて、当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信する。

本開示の実施例において、中継デバイスがユーザーの眼球情報によりターゲットスマートデバイスを制御でき、一般的にユーザーがスマートマットレスを使用する時にターゲットスマートデバイスを制御する可能性があるため、ユーザーの眼球情報を取得するために、スマート撮影デバイスにより画像を収集する必要があり、即ち、当該中継デバイスがスマートマットレスから送信された画像収集要求を受信した場合、当該中継デバイスは、当該画像収集要求に含まれているスマートマットレス識別子に基づいて、記憶されたスマートマットレス識別子とスマート撮影デバイス識別子の間の対応関係から、対応するスマート撮影デバイス識別子を取得し、かつ取得されたスマート撮影デバイス識別子に対応するスマート撮影デバイスを当該スマートマットレスにバインドされたスマート撮影デバイスとして確定し、このようにして当該画像収集要求を当該スマート撮影デバイスへ送信する。

ここで、スマートマットレスがスマート撮影デバイスにバインドされた場合、中継デバイスにはスマートマットレス識別子とスマート撮影デバイス識別子の間の対応関係が記憶されてもよい。即ち、中継デバイスは、当該スマートマットレス識別子基づいて当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信する前に、スマートマットレス識別子とスマート撮影デバイス識別子を含むことができるデバイスバインド請求を受信でき、その後、当該中継デバイスは、当該スマートマットレス識別子と当該スマート撮影デバイス識別子の間の対応関係を記憶できる。

当該デバイスバインド請求の送信元はスマートマットレス、スマート撮影デバイスなどであってよく、当然、スマート端末であってもよく、本開示の実施例において具体的に限定されないと説明すべきである。なお、一つのスマートマットレスは一つのスマート撮影デバイスにバインドされてよく、同時に複数のスマート撮影デバイスにバインドされてもよく、本開示の実施例において具体的に限定されない。

なお、当該スマート撮影デバイス識別子は、当該スマート撮影デバイスを唯一的に識別することに用いられ、即ち、当該スマート撮影デバイス識別子は、当該スマート撮影デバイスの識別子であり、かつ当該スマート撮影デバイス識別子は当該スマート撮影デバイスのＭＡＣアドレス、工場シリアル番号などであってよく、本開示の実施例において具体的に限定されない。

例えば、スマートマットレス識別子がスマートマットレスの工場シリアル番号であり、スマート撮影デバイス識別子が当該スマート撮影デバイスの工場シリアル番号であり、当該画像収集要求に含まれているスマートマットレス識別子が０００１である場合、当該中継デバイスは、当該スマートマットレス識別子０００１に基づいて、表１に示すスマートマットレス識別子とスマート撮影デバイス識別子の間の対応関係から対応するスマート撮影デバイス識別子０００Ａおよび０００Ｂを取得し、当該画像収集要求をスマート撮影デバイス識別子が０００Ａと０００Ｂであるスマート撮影デバイスへ送信することができる。

本開示の実施例において、前記表１に示すスマートマットレス識別子とスマート撮影デバイス識別子の間の対応関係だけを例として説明し、前記表１は本開示の実施例に対して限定を構成しないと説明すべきである。

ステップ６０３において、スマート撮影デバイスが中継デバイスから送信された画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得する。

デバイス識別子情報がターゲットスマートデバイスを確定することに用いられ、かつデバイス識別子情報が第一の画像に基づいて取得されることができるため、スマート撮影デバイスは、中継デバイスから送信された画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行って、第一の画像を取得する必要がある。

なお、ユーザーは、当該スマートマットレスを使用する時に、スマートマットレスの異なる位置にいる可能性があり、同様に異なる姿勢がある可能性があり、かつ第一の画像についてユーザーの顔部正面画像を収集する必要があるため、ユーザーの顔部正面画像を収集できるために、一般的にスマートマットレスの周辺に複数の当該スマートマットレスにバインドされたスマート撮影デバイスを設置することができ、当該複数のスマート撮影デバイスが同時に画像収集を行うようにし、それによって複数のスマート撮影デバイスで収集する場合、ユーザーの顔部正面画像を取得する信頼性を高めることができる。言い換えれば、第一の画像に対する収集について、一つのスマート撮影デバイスにより収集してよく、複数のスマート撮影デバイスにより収集してもよく、ユーザーの顔部正面画像を収集するだけでよく、本開示の実施例において具体的に限定されない。

スマートマットレスにバインドされたスマート撮影デバイスは、当該スマートマットレスの周辺のいずれかの位置に取り付けられることができ、例えば、当該スマート撮影デバイスは、当該スマートマットレスのベッドの頭部、ベッドの足元部などの位置に取り付けられてよく、本開示の実施例において具体的に限定されないと説明すべきである。

ステップ６０４において、スマート撮影デバイスは当該第一の画像に基づいて、制御すべきターゲットスマートデバイスを制御するためのデバイス識別子情報および当該ユーザーの眼球情報を確定する。

デバイス識別子情報が制御すべきターゲットスマートデバイスを制御することに用いられるため、ターゲットスマートデバイスを制御するために、スマート撮影デバイスは当該第一の画像に基づいてデバイス識別子情報を確定することができる。スマート撮影デバイスが第一の画像に基づいてデバイス識別子情報を確定する操作は、スマート撮影デバイスが当該第一の画像から当該ユーザーの視線方向を確定し、当該視線方向に基づいてデバイス識別子情報を確定することであってよい。

ここで、スマート撮影デバイスが当該第一の画像から当該ユーザーの視線方向を確定する操作は、当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得し、当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得することであってよい。

スマート撮影デバイスが当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得する操作は、当該第一の画像に対して人体識別を行い、かつ識別された人体に対して顔識別を行って当該ユーザーの目の位置を取得することであってよい。

ここで、当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得する操作は、スマート撮影デバイスが当該ユーザーの目の位置に基づいて当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、当該瞳オフセット角度に基づいて当該ユーザーの視線方向を確定することであってよい。

スマート撮影デバイスは、当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定する時に、当該ユーザーの目の位置に基づいて瞳の正常な注視方向と現在の瞳の眼窩における位置を確定し、それによって当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、図７に示すように、図７において、瞳の正常な注視方向とユーザーの瞳の正常な注視方向に対する瞳オフセット角度がマーキングされた。なお、スマート撮影デバイスは、ユーザーの左目の瞳の左目の正常な注視方向に対する瞳オフセット角度を確定してよく、ユーザーの右目の瞳の右目の正常な注視方向に対する瞳オフセット角度を確定してもよく、同様に、ユーザーの両目の瞳の正常な注視方向に対する瞳オフセット角度を同時に確定してもよく、本開示の実施例において具体的に限定されない。

なお、正常な注視方向は、ユーザーの瞳が眼窩の真中位置に位置する時にユーザーが注視する方向であり、即ち、ユーザーの目が正面前方を注視する方向である。

また、本開示の実施例において、顔識別、人体識別、視線識別の具体的な操作過程に関して従来技術を参照でき、本開示の実施例において具体的に説明しない。

本開示の実施例は、ユーザーの眼球情報によりターゲットスマートデバイスを制御し、ユーザーの眼球情報が一般的にユーザーの視線方向と関連関係があり、かつターゲットスマートデバイスがデバイス識別子情報に基づいて確定されるため、ターゲットスマートデバイスを確定するために、当該スマート撮影デバイスは、当該視線方向に基づいて当該デバイス識別子情報を確定する必要がある。当該スマート撮影デバイスが当該視線方向に基づいて当該デバイス識別子情報を確定する操作は、当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を当該デバイス識別子情報として確定し、または、当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定し、当該第一の夾角と当該第二の夾角を当該デバイス識別子情報として確定することであってよい。

水平方向は、視線方向が水平面に垂直的にマッピングする方向であり、指定された方向は予め設定する方向であり、例えば、指定された方向はスマートマットレスのベッドの頭部に並行する方向などであり、本開示の実施例において具体的に限定されないと説明すべきである。例えば、水平方向と指定された方向は、図８に示すようなものであってよく、且つ図８の夾角Ａは第一の夾角であり、夾角Ｂは第二の夾角である。

なお、ターゲットスマートデバイスに対する制御操作は、ユーザー眼球情報に基づいて確定されることができるため、ターゲットスマートデバイスに対する制御操作を確定するために、スマート撮影デバイスは当該ユーザーの眼球情報を確定する必要がある。スマート撮影デバイスが当該ユーザーの眼球情報を確定する操作は、ユーザーがターゲットスマートデバイスを注視する注視持続時間を確定し、当該注視持続時間を当該ユーザーの眼球情報として確定することであってよい。

眼球情報は、ターゲットスマートデバイスに対する制御操作を確定することに用いられ、当該眼球情報は、ユーザーの視線がターゲットスマートデバイスを注視する注視持続時間であってよく、当該注視持続時間は３秒、５秒、１０秒などであってよく、かつ各注視持続時間は、一つの制御操作に対応し、これに対して、本開示の実施例において具体的に限定しないと説明すべきである。

なお、本開示の実施例において、当該眼球情報は、ユーザーがターゲットスマートデバイスを注視する注視持続時間だけではなく、当然、実際の適用においてユーザーの眼球の移動方向または回転方向であってよく、当該移動方向は左へ移動する方向であってよく、右へ移動する方向などであってよく、当該回転方向は、右へ回転する方向であってよく、左へ回転する方向などであってよく、かつ各方向は、一つの制御操作に対応し、これに対して、本開示の実施例において同様に限定しない。

ステップ６０５において、スマート撮影デバイスは、デバイス識別子情報と眼球情報を当該中継デバイスへ送信する。

ターゲットスマートデバイスが中継デバイスにより制御されるため、当該中継デバイスがデバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御するように、当該スマート撮影デバイスは、デバイス識別子情報と眼球情報を当該中継デバイスへ送信することができる。

ステップ６０６において、中継デバイスは、スマート撮影デバイスから送信されたデバイス識別子情報と眼球情報を受信した場合、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定する。

デバイス識別子情報の内容が差異があるため、中継デバイスが当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、以下の三つの形態がある。

第一の形態において、当該デバイス識別子情報が第二の画像である場合、中継デバイスは、記憶された画像ライブラリから、当該スマート撮影デバイスが当該視線方向によって指される位置に対して画像収集を行って取得した当該第二の画像とマッチングするターゲット画像を選択し、当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定する。

ここで、当該デバイス識別子情報が第二の画像である場合、記憶された画像ライブラリから当該第二の画像とマッチングするターゲット画像を選択する操作は、当該第二の画像に対して画像識別を行い、第二の画像におけるスマートデバイスが存在する画像区域を取得し、記憶された画像ライブラリから第二の画像のスマートデバイスが存在する画像区域と同じ画像を選択し、当該画像をターゲット画像として確定し、または、第二の画像と記憶された画像ライブラリにおける画像の間の類似度を確定し、確定された類似度に基づいて当該画像ライブラリから第二の画像との類似度が類似度閾値より大きい画像を選択し、選択された画像をターゲット画像として確定することであってよい。

類似度閾値は、予め設定されてよく、例えば、類似度閾値は９５％、９０％などであってよく、本開示の実施例において具体的に限定されない。

第二の形態において、当該デバイス識別子情報が第二の画像である場合、中継デバイスは、当該第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別し、当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得し、取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定する。

例えば、中継デバイスが当該第二の画像から識別したスマートデバイスのデバイスマークはマーク１である場合、中継デバイスは、当該マーク１に基づいて下記の表２に示すデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子ＩＤ１を取得する。そのため、中継デバイスは、ＩＤ１に対応するスマートデバイスをターゲットスマートデバイスとして確定する。

本開示の実施例において、前記表２に示すデバイスマークとスマートデバイス識別子の間の対応関係のみを例として説明するので、前記表２は、本開示の実施例に対して限定を構成しないと説明すべきである。

ここで、当該第二の画像におけるスマートデバイスのデバイスマークの識別形態は、画像識別形態であってよく、他の識別形態であってもよく、本開示の実施例において具体的に限定されない。

デバイスマークは、対応するスマートデバイスを唯一的にマーキングすることに用いられ、当該デバイスマークは予め設定されることができ、例えば、当該デバイスマークは、二次元コード、バーコードまたは他の識別可能なマークであってよく、本開示の実施例において具体的に限定されないと説明すべきである。

なお、スマートデバイス識別子がスマートデバイスを唯一的に識別することに用いられ、当該スマートデバイス識別子は、予め設定されることができ、例えば、当該スマートデバイス識別子は、ＭＡＣアドレス、工場シリアル番号などであってよく、本開示の実施例において具体的に限定されない。

また、デバイスマークとスマートデバイス識別子の間の対応関係は、同様に予め設定されることができ、即ち、中継デバイスは、当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得する前に、マーク設定要求を受信でき、当該識別子設定要求に当該デバイスマークと当該スマートデバイス識別子が含まれていることができ、その後、当該中継デバイスは、当該デバイスマークとスマートデバイス識別子の間の対応関係を記憶できる。

第三の形態において、当該デバイス識別子情報が第一の夾角と第二の夾角である場合、当該第一の夾角と当該第二の夾角に基づいて記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得し、当該第一の夾角が当該ユーザーの視線方向と水平方向の間の夾角であり、当該第二の夾角が当該視線方向と指定された方向の間の夾角であり、取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定する。

例えば、第一の夾角が１０度であり、第二の夾角が３０度である場合、第一の夾角１０度と第二の夾角３０度に基づいて下記表３に示す第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子ＩＤ１を取得し、当該スマートデバイス識別子ＩＤ１に対応するスマートデバイスを取得してターゲットスマートデバイスとして確定する。

本開示の実施例において、前記表３に示す第一の夾角、第二の夾角とスマート撮影デバイス識別子の間の対応関係だけを例として説明するので、前記表３は、本開示の実施例に対して限定を構成しないと説明すべきである。

なお、本開示の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定する操作は、中継デバイスによって完成されてよく、スマート撮影デバイスによって完成されてもよく、本開示の実施例において中継デバイスによって完成されることを例として説明し、これに対して、本開示の実施例において具体的に限定しない。

ステップ６０７において、中継デバイスは、当該眼球情報に基づいて当該ターゲットスマートデバイスを制御する。

眼球情報とターゲットスマートデバイスの制御操作の間に対応関係があるため、中継デバイスは、当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得し、当該ターゲットスマートデバイスが当該制御操作を実行するように、取得された制御操作に基づいて当該ターゲットスマートデバイスを制御する。

眼球情報と制御操作の間の対応関係は、予め設定されることができ、即ち、中継デバイスは、眼球情報に基づいて当該ターゲットスマートデバイスを制御する前に、当該眼球情報と当該制御操作を含むことができる眼球制御関連請求を受信でき、その後、当該中継デバイスは当該眼球情報と制御操作の間の対応関係を記憶できると説明すべきである。例えば、眼球情報が３秒である場合、対応する制御操作は、スマートデバイスをオフにすることであってよく、眼球情報が５秒である場合、対応する制御操作は、スマートデバイスをオンにすることであってよく、スマートデバイスがスマートエアコンである場合、眼球情報が１０秒であることに対応する制御操作は、温度を下げることなどであってよく、本開示の実施例において具体的に限定されないと説明すべきである。

なお、当該眼球制御関連請求の送信元は、スマートマットレス、スマート撮影デバイスなどであってよく、当然としてスマート端末であってもよく、本開示の実施例において具体的に限定されない。

また、制御操作がターゲットスマートデバイスのみに対してオンオフ制御を行う操作である場合、中継デバイスは、眼球情報に基づいてターゲットスマートデバイスに対してオンオフ制御を行う操作は、さらに、ターゲットスマートデバイスが現在オン状態にある場合、ターゲットスマートデバイスをオフにするように、当該中継デバイスは、当該眼球情報に基づいてターゲットスマートデバイスへオフメッセジーを送信することができ、ターゲットスマートデバイスが現在オフ状態にある場合、ターゲットスマートデバイスをオンにするように、当該中継デバイスは、当該眼球情報に基づいてターゲットスマートデバイスへオンメッセジーを送信することができる。

ここで、ターゲットスマートデバイスの現在の状態は中継デバイスによって記憶されことができ、かつ中継デバイスはターゲットスマートデバイスの状態を切り替える後、次回ターゲットスマートデバイスを制御するように、さらに記憶されたターゲットスマートデバイスの現在の状態を更新することができる。

例えば、眼球情報が３秒であり、ターゲットスマートデバイスの現在の状態がオン状態にある場合、ターゲットスマートデバイスをオフにするように、当該中継デバイスは、当該眼球情報に基づいてターゲットスマートデバイスへオフメッセジーを送信することができる。

本開示の実施例において、スマートマットレスは、圧力閾値以上の圧力データを検出した場合、中継デバイスによりスマート撮影デバイスをトリガし、スマート撮影デバイスに画像を収集させ、スマート撮影デバイスにより収集された画像に対して画像識別と視線識別を行い、それによって中継デバイスにターゲットスマートデバイスを確定させ、ターゲットスマートデバイスを制御し、このようにしてユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、これにより、スマートデバイスに対する制御がより便利にかつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図９は、一つの例示的な実施例による別のスマートデバイス制御方法のフロチャートである。図９に示すように、当該方法は、以下のステップを含む。

ステップ９０１において、スマートマットレスは、当該スマートマットレスに作用する圧力を検出し、圧力データを取得し、当該圧力データが圧力閾値以上である場合、中継デバイスへスマートマットレス識別子が含まれている画像収集要求を送信する。

当該ステップの詳細な過程は、前記実施例のステップ６０１を参照でき、本開示の実施例において詳しく説明されない。

ステップ９０２において、中継デバイスが当該画像収集要求を受信した場合、当該スマートマットレス識別子に基づいて当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信する。

当該ステップの詳細な過程は、前記実施例におけるステップ６０２を参照でき、本開示の実施例において詳しく説明されない。

ステップ９０３において、スマート撮影デバイスは、中継デバイスから送信された画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得する。

当該ステップの詳細な過程は、前記実施例におけるステップ６０３を参照でき、本開示の実施例において詳しく説明されない。

ステップ９０４において、スマート撮影デバイスは、当該ユーザーの眼球情報を確定する。

眼球情報とターゲットスマートデバイスの制御操作の間に対応関係があるため、ターゲットスマートデバイスに対する制御操作を確定するために、スマート撮影デバイスは、当該ユーザーの眼球情報を確定する必要がある。本開示の実施例において、スマート撮影デバイスが当該ユーザーの眼球情報を確定する操作は、前記実施例のステップ６０４における眼球情報を確定する操作を参照でき、本開示の実施例において詳しく説明されない。

ステップ９０５において、スマート撮影デバイスは、当該第一の画像と当該眼球情報を当該中継デバイスへ送信する。

ターゲットスマートデバイスが中継デバイスにより制御されるため、当該中継デバイスが当該第一の画像と当該眼球情報に基づいてターゲットスマートデバイスを制御するように、当該スマート撮影デバイスは、当該第一の画像と当該眼球情報を当該中継デバイスへ送信する。

ステップ９０６において、中継デバイスは、当該第一の画像から当該ユーザーの視線方向を確定する。

中継デバイスが第一の画像から当該ユーザーの視線方向を確定する操作は、中継デバイスが当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得し、当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得することであってよい。

ここで、中継デバイスが当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、当該ユーザーの視線方向を取得する操作は、当該ユーザーの目の位置に基づいて当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、当該瞳オフセット角度に基づいて当該ユーザーの視線方向を確定することであってよい。

本発明の実施例において、画像識別と視線識別の詳細な過程は前記実施例におけるステップ６０３を参照でき、本開示の実施例において詳しく説明されない。

ステップ９０７において、中継デバイスは、当該視線方向に基づいて当該ターゲットスマートデバイスを確定する。

中継デバイスが当該視線方向に基づいて当該ターゲットスマートデバイスを確定する操作は、下記の二つの形態がある。

第一の形態において、当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定し、当該第一の夾角と当該第二の夾角に基づいて記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得し、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定する。

第二の形態において、中継デバイスは、当該視線方向を当該スマート撮影デバイスへ送信し、当該スマート撮影デバイスが当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を返するようにし、当該スマート撮影デバイスから返された第二の画像を受信した場合、当該第二の画像に基づいて当該ターゲットスマートデバイスを確定する。

ここで、中継デバイスが当該視線方向を当該スマート撮影デバイスへ送信し、当該スマート撮影デバイスが当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を返すようにする操作は、中継デバイスが当該視線方向を当該スマート撮影デバイスへ送信し、スマート撮影デバイスが当該中継デバイスから送信された視線方向を受信した場合、当該視線方向に指される位置に対して画像収集を行い、第二の画像を取得することであってよく、当該視線方向は、当該中継デバイスが当該第一の画像を分析して取得したものであり、スマート撮影デバイスは、当該第二の画像を当該中継デバイスへ送信する。

中継デバイスが当該スマート撮影デバイスから返された第二の画像を受信した場合、当該第二の画像に基づいて当該ターゲットスマートデバイスを確定する操作は、下記の二つの形態がある。

１）、記憶された画像ライブラリから当該第二の画像とマッチングするターゲット画像を選択し、当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定する。

２）、当該第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別し、当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得し、取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定する。

当該ステップの詳細な過程は前記実施例のステップ６０６を参照でき、本開示の実施例において詳しく説明されない。

ステップ９０８において、中継デバイスは、当該眼球情報に基づいて当該ターゲットスマートデバイスを制御する。

中継デバイスが当該眼球情報に基づいて当該ターゲットスマートデバイスを制御する操作は、当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得し、取得された制御操作に基づいて当該ターゲットスマートデバイスを制御することであってよい。

当該ステップの詳細な過程は前記実施例のステップ６０７を参照でき、本開示の実施例において詳しく説明されない。

本開示の実施例において、スマートマットレスは、圧力閾値以上の圧力データを受信した場合、中継デバイスによりスマート撮影デバイスをトリガし、スマート撮影デバイスが画像を収集し、収集された画像を中継デバイスへ送信するようにし、中継デバイスにより収集された画像に対して画像識別と視線識別を行い、このようにしてターゲットスマートデバイスを確定し、ターゲットスマートデバイスを制御し、これにより、ユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図１０は、一つの例示的な実施例によるスマートデバイス制御装置のブロック図である。図１０に示すように、当該装置は、画像収集モジュール１００１、確定モジュール１００２および送信モジュール１００３を含む。

画像収集モジュール１００１は、スマートマットレスが中継デバイスを介して送信した画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得するように構成され、当該画像収集要求はユーザーが当該スマートマットレスを使用する時にトリガすることである。

確定モジュール１００２は、当該第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および当該ユーザーの眼球情報を確定するように構成される。

送信モジュール１００３は、当該中継デバイスがデバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御するように、当該デバイス識別子情報と当該眼球情報を当該中継デバイスへ送信するように構成される。

本開示の別の実施例において、図１１に示すように、当該確定モジュール１００２は、
当該第一の画像から当該ユーザーの視線方向を確定するように構成される第一の確定ユニット１００２１と、
当該視線方向に基づいて当該デバイス識別子情報を確定するように構成される第二の確定ユニット１００２２を含む。

本開示の別の実施例において、図１２に示すように、当該第一の確定ユニット１００２１は、
当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得するように構成される第一の識別サブユニット１００２１１と、
当該ユーザーの目の位置に基づいて当該ユーザーの眼に対して視線識別を行い、当該ユーザーの視線方向を取得するように構成される第二の識別サブユニット１００２１２とを含む。

本開示の別の実施例において、当該第二の識別サブユニット１００２１２は、具体的に、
当該ユーザーの目の位置に基づいて当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、
当該瞳オフセット角度に基づいて当該ユーザーの視線方向を確定するように構成される。

本開示の別の実施例において、図１３に示すように、当該第二の確定ユニット１００２２は、当該視線方向に指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を当該デバイス識別子情報として確定するように構成される画像収集サブユニット１００２２１、または、
当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定し、当該第一の夾角と当該第二の夾角を当該デバイス識別子情報として確定するように構成される確定サブユニット１００２２２を含む。

本開示の実施例において、スマート撮影デバイスは、中継デバイスによりスマートマットレスから送信された画像収集要求を受信し、画像収集を行い、収集された画像によりデバイス識別子情報と眼球情報を確定することができ、中継デバイスがデバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御するようにし、これにより、ユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図１４は、一つの例示的な実施例による別のスマートデバイス制御装置のブロック図である。図１４を参照して、当該装置は、第一の画像収集モジュール１４０１、確定モジュール１４０２と第一の送信モジュール１４０３を含む。

第一の画像収集モジュール１４０１は、スマートマットレスが中継デバイスを介して送信した画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得するように構成され、当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

確定モジュール１４０２は、当該ユーザーの眼球情報を確定するように構成される。

第一の送信モジュール１４０３は、当該中継デバイスが当該第一の画像と当該眼球情報に基づいてターゲットスマートデバイスを制御するように、当該第一の画像と当該眼球情報を当該中継デバイスへ送信するように構成される。

本開示の別の実施例において、図１５に示すように、当該装置は、さらに、
当該中継デバイスから送信された、当該第一の画像を分析して取得した視線方向を受信した場合、当該視線方向に指される位置に対して画像収集を行い、第二の画像を取得するように構成される第二の画像収集モジュール１４０４、
当該第二の画像を当該中継デバイスへ送信するように構成される第二の送信モジュール１４０５を含む。

本開示の実施例において、スマート撮影デバイスは、中継デバイスによりスマートマットレスから送信された画像収集要求を受信し、画像収集を行い、収集され画像により眼球情報を確定することができ、中継デバイスが収集された画像と眼球情報に基づいてターゲットスマートデバイスを制御するようにし、これにより、ユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図１６は、一つの例示的な実施例による別のスマートデバイス制御装置のブロック図である。図１６に示すように、当該装置は、受信モジュール１６０１、送信モジュール１６０２と制御モジュール１６０３を含む。

受信モジュール１６０１は、スマートマットレスから送信されたスマートマットレス識別子が含まれている画像収集要求を受信するように構成され、当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

送信モジュール１６０２は、当該スマート撮影デバイスが当該スマートマットレス位置に対して画像収集を行い、第一の画像を取得し、当該第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と当該ユーザーの眼球情報を返すように、当該スマートマットレス識別子に基づいて当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信するように構成される。

制御モジュール１６０３は、当該デバイス識別子情報と当該眼球情報に基づいて当該ターゲットスマートデバイスを制御するように構成される。

本開示の別の実施例において、図１７に示すように、当該制御モジュール１６０３は、
当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定するように構成される確定ユニット１６０３１と、
当該眼球情報に基づいて当該ターゲットスマートデバイスを制御するように構成される制御ユニット１６０３２を含む。

本開示の別の実施例において、図１８に示すように、当該確定ユニット１６０３１は、
当該デバイス識別子情報が、当該スマート撮影デバイスが当該視線方向によって指される位置に対して画像収集を行って取得した第二の画像である場合、記憶された画像ライブラリから当該第二の画像とマッチングするターゲット画像を選択するように構成される選択サブユニット１６０３１１と、
当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定するように構成される第一の確定サブユニット１６０３１２とを含む。

本開示の別の実施例において、図１９に示すように、当該確定ユニット１６０３１は、
当該デバイス識別子情報が第二の画像である場合、当該第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別するように構成される識別サブユニット１６０３１３と、
当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第一の取得サブユニット１６０３１４と、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定するように構成される第二の確定サブユニット１６０３１５とを含む。

本開示の別の実施例において、図２０に示すように、当該確定ユニット１６０３１は、
当該デバイス識別子情報が当該ユーザーの視線方向と水平方向の間の夾角である第一の夾角および当該視線方向と指定された方向の間の夾角である第二の夾角である場合、当該第一の夾角と当該第二の夾角に基づいて記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から、対応するスマートデバイス識別子を取得するように構成される第二の取得サブユニット１６０３１６と、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定するように構成される第三の確定サブユニット１６０３１７とを含む。

本開示の別の実施例において、図２１に示すように、当該制御ユニット１６０３２は、
当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得するように構成される第三の取得サブユニット１６０３２１と、
取得された制御操作に基づいて当該ターゲットスマートデバイスを制御するように構成される制御サブユニット１６０３２２とを含む。

本開示の実施例において、中継デバイスは、スマートマットレスから送信された画像収集要求を受信し、当該請求をスマート撮影デバイスへ送信し、スマート撮影デバイスが収集された画像に基づいて返したデバイス識別子情報と眼球情報を受信し、当該デバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御することができ、ユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、これにより、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図２２は、一つの例示的な実施例による別のスマートデバイス制御装置のブロック図である。図２２に示すように、当該装置は、受信モジュール２２０１、送信モジュール２２０２と制御モジュール２２０３を含む。

受信モジュール２２０１は、スマートマットレスから送信されたスマートマットレス識別子が含まれている画像収集要求を受信するように構成される。当該画像収集要求は、ユーザーが当該スマートマットレスを使用する時にトリガすることである。

送信モジュール２２０２は、当該スマート撮影デバイスが当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、当該第一の画像と当該ユーザーの眼球情報を返すように、当該スマートマットレス識別子に基づいて当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信するように構成される。

制御モジュール２２０３は、当該第一の画像と当該眼球情報に基づいてターゲットスマートデバイスを制御するように構成される。

本開示の別の実施例において、図２３に示すように、当該制御モジュール２２０３は、
当該第一の画像から当該ユーザーの視線方向を確定するように構成される第一の確定ユニット２２０３１と、
当該視線方向に基づいて当該ターゲットスマートデバイスを確定するように構成される第二の確定ユニット２２０３２と、
当該眼球情報に基づいて当該ターゲットスマートデバイスを制御するように構成される制御ユニット２２０３３とを含む。

本開示の別の実施例において、図２４に示すように、当該第一の確定ユニット２２０３１は、
当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得するように構成される第一の識別サブユニット２２０３１１と、
当該ユーザーの目の位置に基づいて当該ユーザーの眼に対して視線識別を行い、当該ユーザーの視線方向を取得するように構成される第二の識別サブユニット２２０３１２とを含む。

本開示の別の実施例において、当該第二の識別サブユニット２２０３１２は、具体的に、
当該ユーザーの目の位置に基づいて当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、
当該瞳オフセット角度に基づいて当該ユーザーの視線方向を確定するように構成される。

本開示の別の実施例において、図２５に示すように、当該第二の確定ユニット２２０３２は、
当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定するように構成される第一の確定サブユニット２２０３２１と、
当該第一の夾角と当該第二の夾角に基づいて記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第一の取得サブユニット２２０３２２と、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定するように構成される第二の確定サブユニット２２０３２３とを含む。

本開示の別の実施例において、図２６に示すように、当該第二の確定ユニット２２０３２は、
当該スマート撮影デバイスが当該視線方向によって指向される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を返すように、当該視線方向を当該スマート撮影デバイスへ送信するように構成される送信サブユニット２２０３２４と、
当該スマート撮影デバイスから返された第二の画像を受信した場合、当該第二の画像に基づいて当該ターゲットスマートデバイスを確定するように構成される第三の確定サブユニット２２０３２５とを含む。

本開示の別の実施例において、当該第三の確定サブユニット２２０３２５は、具体的に、
記憶された画像ライブラリから当該第二の画像とマッチングするターゲット画像を選択し、
当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定するように構成される。

本開示の別の実施例には、当該第三の確定サブユニット２２０３２５は、具体的に、
当該第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別し、
当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得し、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定するように構成される。

本開示の別の実施例において、図２７に示すように、当該制御ユニット２２０３３は、
当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得するように構成される第二の取得サブユニット２２０３３１と、
取得された制御操作に基づいて当該ターゲットスマートデバイスを制御するように構成される制御サブユニット２２０３３２とを含む。

本開示の実施例において、中継デバイスは、スマートマットレスから送信された画像収集要求を受信し、当該請求をスマート撮影デバイスへ送信し、スマート撮影デバイスから返された、収集された画像と眼球情報を受信し、当該画像と眼球情報に基づいてターゲットスマートデバイスを制御することができる。このようにしてユーザーはリモコンを使わずにターゲットスマートデバイスを制御でき、これにより、スマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

前記実施例における装置に関して、その中の各モジュールが操作を実行する具体的な形態は、当該方法に関する実施例において詳しく説明されたが、ここで詳しく説明しない。

図２８は、一つの例示的な実施例によるスマートデバイス制御のための装置２８００のブロック図である。例えば、装置２８００は、携帯電話、コンピューター、ディジタルブロードキャスト端末、メッセージ送受信デバイス、ゲームコンソール、タブレットデバイス、医療デバイス、フィットネスデバイス、パーソナルディジタルアシスタント、スマートカメラなどであってよい。

図２８を参照し、装置２８００は、処理コンポーネント２８０２、メモリー２８０４、電源コンポーネント２８０６、マルチメディアコンポーネント２８０８、オーディオコンポーネント２８１０、入力／出力（Ｉ／Ｏ）インタフェース２８１２、センサーコンポーネント２８１４、および通信コンポーネント２８１６の一つまたは複数のコンポーネントを含むことができる。

処理コンポーネント２８０２は、一般的に、制御装置２８００の全体操作、例えば表示、電話コール、データ通信、カメラ操作および記録操作に関する操作を制御する。処理コンポーネント２８０２は、前記の方法の全部または一部のステップを完了するように、一つまたは複数のプロセッサ２８２０を含んでコマンドを実行することができる。また、処理コンポーネント２８０２は、ほかのコンポーネントとのインタラクションを容易にするように、一つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント２８０２は、マルチメディア２８０８とのインタラクションを容易にするように、マルチメディアモジュールを含むことができる。

メモリー２８０４は、装置２８００での操作をサポートするように、様々なタイプのデータを記憶するように構成される。これらのデータの例は、装置２８００で操作されるいかなるアプリケーションプログラムまたは方法のためのコマンド、メッセージ、ピクチャ、ビデオなどを含む。メモリー２８０４は、いかなるタイプの揮発性または不揮発性記憶デバイス、例えば、スタティックランダムアクセスメモリー（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリー（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリー（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリー（ＰＲＯＭ）、読み取り専用メモリー（ＲＯＭ）、磁気メモリー、フラッシュメモリー、磁気ディスク、または光ディスク、またはこれらの組み合わせによって実現されることができる。

電源コンポーネント２８０６は、装置２８００の様々なコンポーネントに電力を供給する。電源コンポーネント２８０６は、電源管理システム、一つまたは複数の電源、および装置２８００のために電力を生成、管理および配布することに関するほかのコンポーネントを含むことができる。

マルチメディアコンポーネント２８０８は、前記装置２８００とユーザーの間の一つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレー（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザーからの入力信号を受信するように、タッチスクリーンとして実現されることがえきる。タッチパネルは、タッチ、スライドおよびタッチパネルー上のジェスチャーをセンシングするように、一つまたは複数のタッチセンサーを含む。前記タッチセンサーは、タッチまたはスライド動作の限界をセンシングするだけでなく、前記タッチまたはスライド操作に関する持続時間および圧力を検出することができる。いくつかの実施例において、マルチメディアコンポーネント２８０８は、フロントカメラおよび／またはリアカメラを含む。装置２８００が操作モード、例えば、撮影モードまたはビデオモードにある場合、フロントカメラおよび／またはリアカメラは、外部からのマルチメディアデータを受信できる。各フロントカメラおよびリアカメラは、固定された光学レンズシステムであり、または焦点距離と光学ズーム機能を備える。

オーディオコンポーネント２８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント２８１０は、マイク（ＭＩＣ）を含み、装置２８００が操作モード、例えば記録モードおよび音声識別モードにある場合、マイクは、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリー２８０４に記憶され、または、通信コンポーネント２８１６を介して送信されることができる。いくつかの実施例において、オーディオコンポーネント２８１０は、さらに、オーディオ信号を出力するように構成されるスピーカーを含む。

Ｉ／Ｏインタフェース２８１２は、処理コンポーネント２８０２と周辺インタフェースモジュールの間にインタフェースを提供する。前記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってよい。これらのボタンは、ホームページボタン、音量ボタン、スタートボタンとロックボタンを含むがこれらに限定されない。

センサーコンポーネント２８１４は、装置２８００に各方面の状態評価を提供するように構成される一つまたは複数のセンサーを含む。例えば、センサーコンポーネント２８１４は、装置２８００のオン／オフ状態、コンポーネントの相対的な位置決め、例えば前記コンポーネントが装置２８００のディスプレイとキークッションであることを検出することができ、また、センサーコンポーネント２８１４は、装置２８００または装置２８００の一つのコンポーネントの位置変化、ユーザーと装置２８００の接触が存在する否か、装置２８００の方位または加速／減速と装置２８００の温度変化を検出できる。センサーコンポーネント２８１４は、如何なる物理的な接触がない場合に付近物体の存在を検出するように構成される近接センサーを含むことができる。センサーコンポーネント２８１４は、さらに、イメージングアプリケーションに用いられるように構成されるＣＭＯＳまたはＣＣＤ画像センサーのような光センサーを含むことができる。いくつかの実施例において、当該センサーコンポーネント２８１４は、さらに、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサーまたは温度センサーを含むことができる。

通信コンポーネント２８１６は、装置２８００とほかのデバイスとの有線または無線形態の通信を容易にするように構成される。装置２８００は、通信基準に基づく無線ネットワーク、例えばＷｉＦｉ（登録商標）にアクセスできる。一つの例示的な実施例において、通信コンポーネント２８１６は、ブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャストに関する情報を受信する。一つの例示的な実施例において、前記通信コンポーネント２８１６は、さらに、近距離通信を促進するように、近距離通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、ウルトラワイドバンド（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術とほかの技術に基づいて実現されることができる。

例示的な実施例において、装置２８００は、一つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号処理機（ＤＳＰ）、ディジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブル ゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたはほかの電子部品によって実現されることができ、前記方法を実行するように構成される。

例示的な実施例において、さらに、コマンドを含むメモリー２８０４のようなコマンドを含む非一時的なコンピュータ可読記憶媒体が提供され、前記コマンドは、前記方法を完了するように、装置２８００のプロセッサ２８２０によって実行されることができる。例えば、前記非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリー（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスクと光データ記憶デバイスなどであってよい。

非一時的なコンピュータ可読記憶媒体であって、前記記憶媒体におけるコマンドがスマート撮影デバイスのプロセッサで実行される場合、スマート撮影デバイスは、スマートデバイス制御方法を実行することができ、前記方法は、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得することと、
前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および当該ユーザーの眼球情報を確定することと、
当該中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信することとを含む。

本開示の別の実施例において、当該第一の画像に基づいてデバイス識別子情報を確定することは、
当該第一の画像から当該ユーザーの視線方向を確定することと、
前記視線方向に基づいて前記デバイス識別子情報を確定することとを含む。

本開示の別の実施例において、当該第一の画像から当該ユーザーの視線方向を確定することは、
当該第一の画像に対して顔識別を行い、当該ユーザーの目の位置を取得することと、
当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することとを含む。

本開示の別の実施例において、当該ユーザーの目の位置に基づいて当該ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することは、
当該ユーザーの目の位置に基づいて、当該ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
当該瞳オフセット角度に基づいて、当該ユーザーの視線方向を確定することとを含む。

本開示の別の実施例において、当該視線方向に基づいて当該デバイス識別子情報を確定することは、
当該視線方向に指される位置に対して画像収集を行い、第二の画像を取得し、当該第二の画像を前記デバイス識別子情報として確定すること、または、
当該視線方向と水平方向の間の第一の夾角および当該視線方向と指定された方向の間の第二の夾角を確定し、当該第一の夾角と当該第二の夾角を当該デバイス識別子情報として確定することとを含む。

本開示の実施例において、スマート撮影デバイスは、中継デバイスによりスマートマットレスから送信された画像収集要求を受信し、画像収集を行い、収集された画像によりデバイス識別子情報および眼球情報を確定し、中継デバイスがデバイス識別子情報および眼球情報に基づいてターゲットスマートデバイスを制御するようにし、それによってユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、ターゲットスマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図２９は、一つの例示的な実施例によるスマートデバイス制御のための装置２９００のブロック図である。例えば、装置２９００は、携帯電話、コンピューター、ディジタルブロードキャスト端末、メッセージ送受信デバイス、ゲームコンソール、タブレットデバイス、医療デバイス、フィットネスデバイス、パーソナルディジタルアシスタント、スマートカメラなどであってよい。

図２９を参照し、装置２９００は、処理コンポーネント２９０２、メモリー２９０４、電源コンポーネント２９０６、マルチメディアコンポーネント２９０８、オーディオコンポーネント２９１０、入力／出力（Ｉ／Ｏ）インタフェース２９１２、センサーコンポーネント２９１４、および通信コンポーネント２９１６の一つまたは複数のコンポーネントを含むことができる。

処理コンポーネント２９０２は、一般的に、制御装置２９００の全体操作、例えば表示、電話コール、データ通信、カメラ操作および記録操作に関する操作を制御する。処理コンポーネント２９０２は、前記の方法の全部または一部のステップを完了するように、一つまたは複数のプロセッサ２９２０を含んでコマンドを実行することができる。また、処理コンポーネント２９０２は、ほかのコンポーネントとのインタラクションを容易にするように、一つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント２９０２は、マルチメディア２９０８とのインタラクションを容易にするように、マルチメディアモジュールを含むことができる。

メモリー２９０４は、装置２９００での操作をサポートするように、様々なタイプのデータを記憶するように構成される。これらのデータの例は、装置２９００で操作されるいかなるアプリケーションまたは方法のためのコマンド、メッセージ、ピクチャ、ビデオなどを含む。メモリー２９０４は、いかなるタイプの揮発性または不揮発性記憶デバイス、例えばスタティックランダムアクセスメモリー（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリー（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリー（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリー（ＰＲＯＭ）、読み出し専用メモリー（ＲＯＭ）、磁気メモリー、フラッシュメモリー、磁気ディスクまたは光ディスク、またはこれらの組み合わせで実現されることができる。

電源コンポーネント２９０６は、装置２９００の各コンポーネントに電力を提供する。電源コンポーネント２９０６は、電源管理システム、一つまたは複数の電源、および装置２９００のために電力を生成、管理および配布することに関するほかのコンポーネントを含むことができる。

マルチメディアコンポーネント２９０８は、前記装置２９００とユーザーの間の一つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレー（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザーからの入力信号を受信するように、タッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スライドおよびタッチパネルー上のジェスチャーをセンシングするように、一つまたは複数のタッチセンサーを含む。前記タッチセンサーは、タッチまたはスライド動作の限界をセンシングするだけでなく、前記タッチまたはスライド操作に関する持続時間および圧力を検出することができる。いくつかの実施例において、マルチメディアコンポーネント２９０８は、フロントカメラおよび／またはリアカメラを含む。装置２９００が操作モード、例えば撮影モードまたはビデオモードにある場合、フロントカメラおよび／またはリアカメラは、外部からのマルチメディアデータを受信できる。各フロントカメラおよびリアカメラは、固定された光学レンズシステムであり、または焦点距離と光学ズーム機能を備える。

オーディオコンポーネント２９１０は、オーディオ信号を出力および／または入力するように構成する。例えば、オーディオコンポーネント２９１０は、マイク（ＭＩＣ）を含み、装置２９００が操作モード、例えば記録モードおよび音声識別モードにある場合、マイクが、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリー２９０４に記憶され、または、通信コンポーネント２９１６を介して送信されることができる。いくつかの実施例において、オーディオコンポーネント２９１０は、さらに、オーディオ信号を出力するように構成されるスピーカーを含む。

Ｉ／Ｏインタフェース２９１２は、処理コンポーネント２９０２と周辺インタフェースモジュールの間にインタフェースを提供する。前記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってよい。これらのボタンは、ホームページボタン、音量ボタン、スタートボタンとロックボタンを含むがこれらに限定されない。

センサーコンポーネント２９１４は、各方面の状態評価を提供するように構成される一つまたは複数のセンサーを含む。例えば、センサーコンポーネント２９１４は、装置２９００のオン／オフ状態、コンポーネントの相対的な位置決め、例えば前記コンポーネントが装置２９００のディスプレイとキークッションであることを検出することができ、また、センサーコンポーネント２９１４は、装置２９００または装置２９００の一つのコンポーネントの位置変化、ユーザーと装置２９００の接触が存在するか、装置２９００の方位または加速／減速と装置２９００の温度変化を検出できる。センサーコンポーネント２９１４は、如何なる物理的な接触がない場合に付近物体の存在を検出するように構成される近接センサーを含むことができる。センサーコンポーネント２９１４は、さらに、イメージングアプリケーションに用いられるように構成されるＣＭＯＳまたはＣＣＤ画像センサーのような光センサーを含むことができる。いくつかの実施例において、当該センサーコンポーネント２９１４は、さらに、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサーまたは温度センサーを含むことができる。

通信コンポーネント２９１６は、装置２９００とほかのデバイスとの有線または無線形態の通信を容易にするように構成される。装置２９００は、通信基準に基づく無線ネットワーク、例えばＷｉＦｉにアクセスできる。一つの例示的な実施例において、通信コンポーネント２９１６は、ブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャストに関する情報を受信する。一つの例示的な実施例において、前記通信コンポーネント２９１６は、さらに、近距離通信を促進するように、近距離通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、ウルトラワイドバンド（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術とほかの技術に基づいて実現されることができる。

例示的な実施例において、装置２９００は、一つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号処理機（ＤＳＰ）、ディジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブル ゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたはほかの電子部品によって実現されることができ、前記方法を実行するように構成される。

例示的な実施例において、さらに、コマンドを含むメモリー２９０４のようなコマンドを含む非一時的なコンピュータ可読記憶媒体が提供される。前記コマンドは、前記方法を完了するように、装置２９００のプロセッサ２９２０によって実行されることができる。例えば、前記非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリー（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスクと光データ記憶デバイスなどであってよい。

非一時的なコンピュータ可読記憶媒体であって、前記記憶媒体におけるコマンドがスマート撮影デバイスのプロセッサによって実行される場合、スマート撮影デバイスは、スマートデバイス制御方法を実行することができ、前記方法は、
スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得することと、
当該ユーザーの眼球情報を確定することと、
当該中継デバイスが当該第一の画像および当該眼球情報に基づいて当該ターゲットスマートデバイスを制御するように、当該第一の画像および当該眼球情報を当該中継デバイスに送信することとを含む。

本開示の別の実施例において、当該第一の画像および当該眼球情報を前記中継デバイスに送信した後、さらに、
当該中継デバイスから送信された、第一の画像を分析して取得した視線方向を受信した場合、当該視線方向によって指される位置に対して画像収集を行い、第二の画像を取得することと、
当該第二の画像を当該中継デバイスに送信することとを含む。

本開示の実施例において、スマート撮影デバイスは、中継デバイスによりスマートマットレスから送信された画像収集要求を受信し、画像収集を行い、収集された画像により眼球情報を確定することができ、中継デバイスが収集された画像および眼球情報に基づいてターゲットスマートデバイスを制御するようにし、それによってユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、ターゲットスマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザー体験を高める。

図３０は、一つの例示的な実施例によるスマートデバイス制御のための装置３０００のブロック図である。例えば、装置３０００は、中継デバイスとして提供されることができる。図３０を参照し、装置３０００は、処理コンポーネント３０２２を含み、それがさらに一つまたは複数のプロセッサ、および処理コンポーネント３０２２で実行可能なコマンド例えばアプリケーションプログラムを記憶するように構成される、メモリー３０３２に代表されるメモリー資源を含む。メモリー３０３２に記憶されたアプリケーションプログラムは、それぞれが一組のコマンドに対応する、一つまたは複数のモジュールを含むことができる。

装置３０００は、さらに装置３０００の電源管理を実行するように構成される電源コンポーネント３０２６、装置３０００をネットワークに接続するように構成される有線または無線ネットワークインタフェース３０５０、および入力出力（Ｉ／Ｏ）インタフェース３０５８を含むことができる。装置３０００は、メモリー３０３２に記憶された操作システム、例えば、Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ、Ｍａｃ（登録商標） ＯＳ Ｘ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）またはこれらと類似するものに基づいて操作されることができる。

また、処理コンポーネント３０２２は、下記方法を実行するように、コマンドを実行するように構成される。前記方法は、
スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信することと、
当該スマート撮影デバイスが当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ当該第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と当該ユーザーの眼球情報を返すように、当該スマートマットレス識別子に基づいて当該画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信することと、
当該デバイス識別子情報と当該眼球情報に基づいて当該ターゲットスマートデバイスを制御することとを含む。

本開示の別の実施例において、当該デバイス識別子情報と当該眼球情報に基づいて当該ターゲットスマートデバイスを制御することは、
当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することと、
当該眼球情報に基づいて当該ターゲットスマートデバイスを制御することとを含む。

本開示の別の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、
当該デバイス識別子情報が、前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行って取得した第二の画像である場合、記憶された画像ライブラリから当該第二の画像とマッチングするターゲット画像を選択することと、
当該ターゲット画像におけるスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、
当該デバイス識別子情報が第二の画像である場合、当該第二の画像からスマートデバイスのデバイスマークを識別することと、
当該デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該デバイス識別子情報に基づいて当該ターゲットスマートデバイスを確定することは、
当該デバイス識別子情報が当該ユーザーの視線方向と水平方向の間の夾角である第一の夾角および当該視線方向と指定された方向の間の夾角である第二の夾角である場合、当該第一の夾角と当該第二の夾角に基づいて、記憶された第一の夾角、第二の夾角とスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを当該ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、当該眼球情報に基づいて当該ターゲットスマートデバイスを制御することは、
当該眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
取得された制御操作に基づいて当該ターゲットスマートデバイスを制御することとを含む。

本開示の実施例において、中継デバイスは、スマートマットレスから送信された画像収集要求を受信し、当該画像収集要求をスマート撮影デバイスへ送信し、スマート撮影デバイスが収集された画像に基づいて返したデバイス識別子情報と眼球情報を受信し、当該デバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスを制御することができ、このようにしてユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、これにより、ターゲットスマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

図３１は、一つの例示的な実施例によるスマートデバイス制御のための装置３１００のブロック図である。例えば、装置３１００は、中継デバイスとして提供されることができる。図３１を参照し、装置３１００は、処理コンポーネント３１２２を含み、それがさらに一つまたは複数のプロセッサ、および処理コンポーネント３１２２で実行可能なコマンド例えばアプリケーションプログラムを記憶するように構成される、メモリー３１３２に代表されるメモリー資源を含む。メモリー３１３２に記憶されたアプリケーションプログラムは、それぞれがが一組のコマンドに対応する一つまたは複数のモジュールを含むことができる。

装置３１００は、さらに装置３１００の電源管理を実行するように構成される電源コンポーネント３１２６、装置３１００をネットワークに接続するように構成される有線または無線ネットワークインタフェース３１５０、および入力出力（Ｉ／Ｏ）インタフェース３１５８を含むことができる。装置３１００は、メモリー３１３２に記憶された操作システム、例えば、Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ、Ｍａｃ（登録商標） ＯＳ Ｘ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）または類似するものに基づいて操作されることができる。

また、処理コンポーネント３１２２は、下記方法を実行するように、コマンドを実行するように構成される。当該方法は、
スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スートマットレス識別子が含まれている画像収集要求を受信することと、
当該スマート撮影デバイスが当該スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、当該第一の画像と当該ユーザーの眼球情報を返すように、当該スマートマットレス識別子に基づいて当該画像収集要求を当該スマートマットレスにバインドされたスマート撮影デバイスへ送信することと、
当該第一の画像と当該眼球情報に基づいてターゲットスマートデバイスを制御することとを含む。

本開示の別の実施例において、前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
前記第一の画像から前記ユーザーの視線方向を確定することと、
前記視線方向に基づいて前記ターゲットスマートデバイスを確定することと、
前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む。

本開示の別の実施例において、前記第一の画像から前記ユーザーの視線方向を確定することは、
前記第一の画像を顔識別し、前記ユーザーの目の位置を取得することと、
前記ユーザーの目の位置に基づいて前記ユーザーの目を視線識別し、前記ユーザーの視線方向を取得することとを含む。

本開示の別の実施例において、前記ユーザーの目の位置に基づいて前記ユーザーの目を視線識別し、前記ユーザーの視線方向を取得することは、
前記ユーザーの目の位置に基づいて前記ユーザーの瞳が正常な注視方向に対する瞳オフセット角度を確定することと、
前記瞳オフセット角度に基づいて前記ユーザーの視線方向を確定することとを含む。

本開示の別の実施例において、前記視線方向に基づいて前記ターゲットスマートデバイスを確定することは、
前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定することと、
前記第一の夾角と前記第二の夾角に基づいて記憶された前記第一の夾角、前記第二の夾角およびスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、前記視線方向に基づいて前記ターゲットスマートデバイスを確定することは、
前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を返すように、前記視線方向を前記スマート撮影デバイスへ送信することと、
前記スマート撮影デバイスから返された第二の画像を受信した場合、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することとを含む。

本開示の別の実施例において、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することは、
記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択することと、
前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することは、
前記第二の画像から当該第二の画像におけるスマートデバイスのデバイスマークを識別することと、
前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイスマークの間の対応関係から対応するスマートデバイス識別子を取得することと、
取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む。

本開示の別の実施例において、前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
取得された制御操作に基づいて前記ターゲットスマートデバイスを制御することとを含む。

本開示の実施例において、中継デバイスは、スマートマットレスから送信された画像収集要求を受信し、当該請求をスマート撮影デバイスへ送信し、スマート撮影デバイスから返された、収集された画像と眼球情報を受信し、当該画像と眼球情報に基づいてターゲットスマートデバイスを制御することができ、このようにしてユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、ターゲットスマートデバイスに対する制御がより便利かつ容易になり、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

当業者は、明細書を考えてここで開示された実施例を実施した後、本開示のほかの実施形態を想到しやすい。本願は、本公開のいかなる変形、用途または適応性変化を含むことを目的とし、これらの変形、用途または適応性変化が、本開示の一般的な原理に従い、かつ本開示に開示されない本技術分野の周知常識と慣用技術手段を含む。明細書と実施例は、例示的なもののみとして見なされ、本開示の本当の範囲と精神は以下の請求項によって指される。

本発明は、以上に述べられ且つ図に示す精確な構造に限定されるものではなく、その範囲を逸脱しない限り、様々な修正と変更を行うことができると理解すべきである。本公開の範囲は、添付の請求項のみによって限定される。

本開示の実施例において中継デバイスによりスマートマットレス、スマート撮影デバイスとターゲットスマートデバイスの間のインタラクションを実現し、ターゲットスマートデバイスが画像を収集し、収集された画像からデバイス識別子情報と眼球情報を取得し、それによってデバイス識別子情報と眼球情報に基づいてターゲットスマートデバイスに対する制御を実現し、ユーザーがリモコンを使わずにターゲットスマートデバイスを制御でき、ターゲットスマートデバイスを制御する場合のユーザーのユーザー体験を高める。

Claims (48)

1. スマートデバイス制御方法であって、
   スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得することと、
   前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定することと、
   前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信することとを含む、前記スマートデバイス制御方法。
2. 前記第一の画像に基づいてデバイス識別子情報を確定することは、
   前記第一の画像から前記ユーザーの視線方向を確定することと、
   前記視線方向に基づいて前記デバイス識別子情報を確定することとを含む
   請求項１に記載のスマートデバイス制御方法。
3. 前記第一の画像から前記ユーザーの視線方向を確定することは、
   前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得することと、
   前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することとを含む
   請求項２に記載のスマートデバイス制御方法。
4. 前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することは、
   前記ユーザーの目の位置に基づいて、前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
   前記瞳オフセット角度に基づいて、前記ユーザーの視線方向を確定することとを含む
   請求項３に記載のスマートデバイス制御方法。
5. 前記視線方向に基づいて前記デバイス識別子情報を確定することは、
   前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を前記デバイス識別子情報として確定すること、
   または、
   前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定し、前記第一の夾角と前記第二の夾角を前記デバイス識別子情報として確定することとを含む
   請求項２に記載のスマートデバイス制御方法。
6. スマートデバイス制御方法であって、
   スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得することと、
   前記ユーザーの眼球情報を確定することと、
   前記中継デバイスが前記第一の画像および前記眼球情報に基づいてターゲットスマートデバイスを制御するように、前記第一の画像および前記眼球情報を前記中継デバイスに送信することとを含む、前記スマートデバイス制御方法。
7. 前記第一の画像および前記眼球情報を前記中継デバイスに送信した後、さらに、
   中継デバイスから送信された、前記第一の画像を分析して取得した視線方向を受信した場合、前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得することと、
   前記第二の画像を前記中継デバイスに送信することとを含む
   請求項６に記載のスマートデバイス制御方法。
8. スマートデバイス制御方法であって、
   スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信することと、
   前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信することと、
   前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む前記スマートデバイス制御方法。
9. 前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
   前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することと、
   前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む
   請求項８に記載のスマートデバイス制御方法。
10. 前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することは、
    前記デバイス識別子情報が、前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行って取得した第二の画像である場合、記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択することと、
    前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む
    請求項９に記載のスマートデバイス制御方法。
11. 前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することは、
    前記デバイス識別子情報が第二の画像である場合、前記第二の画像からスマートデバイスのデバイスマークを識別することと、
    前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む
    請求項９に記載のスマートデバイス制御方法。
12. 前記デバイス識別子情報に基づいて前記ターゲットスマートデバイスを確定することは、
    前記デバイス識別子情報が、前記視線方向と水平方向の間の夾角である第一の夾角および前記視線方向と指定された方向の間の夾角である第二の夾角である場合、前記第一の夾角と前記第二の夾角に基づいて、記憶された前記第一の夾角、前記第二の夾角およびスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む
    請求項９に記載のスマートデバイス制御方法。
13. 前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
    前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
    取得された制御操作に基づいて前記ターゲットスマートデバイスを制御することとを含む
    請求項９に記載のスマートデバイス制御方法。
14. スマートデバイス制御方法であって、
    スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信することと、
    前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信することと、
    前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む、前記スマートデバイス制御方法。
15. 前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
    前記第一の画像から前記ユーザーの視線方向を確定することと、
    前記視線方向に基づいて前記ターゲットスマートデバイスを確定することと、
    前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することとを含む
    請求項１４に記載のスマートデバイス制御方法。
16. 前記第一の画像から前記ユーザーの視線方向を確定することは、
    前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得することと、
    前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することとを含む
    請求項１５に記載のスマートデバイス制御方法。
17. 前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得することは、
    前記ユーザーの目の位置に基づいて前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定することと、
    前記瞳オフセット角度に基づいて前記ユーザーの視線方向を確定することとを含む
    請求項１６に記載のスマートデバイス制御方法。
18. 前記視線方向に基づいて前記ターゲットスマートデバイスを確定することは、
    前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定することと、
    前記第一の夾角と前記第二の夾角に基づいて記憶された前記第一の夾角、前記第二の夾角およびスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得することと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む
    請求項１５に記載のスマートデバイス制御方法。
19. 前記視線方向に基づいて前記ターゲットスマートデバイスを確定することは、
    前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を返すように、前記視線方向を前記スマート撮影デバイスへ送信することと、
    前記スマート撮影デバイスから返された第二の画像を受信した場合、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することとを含む
    請求項１５に記載のスマートデバイス制御方法。
20. 前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することは、
    記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択することと、
    前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む
    請求項１９に記載のスマートデバイス制御方法。
21. 前記第二の画像に基づいて前記ターゲットスマートデバイスを確定することは、
    前記第二の画像から前記第二の画像におけるスマートデバイスのデバイスマークを識別することと、
    前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイスマークの間の対応関係から対応するスマートデバイス識別子を取得することと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定することとを含む
    請求項１９に記載のスマートデバイス制御方法。
22. 前記眼球情報に基づいて前記ターゲットスマートデバイスを制御することは、
    前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得することと、
    取得された制御操作に基づいて前記ターゲットスマートデバイスを制御することとを含む
    請求項１５に記載のスマートデバイス制御方法。
23. スマートデバイス制御装置であって、
    スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得するように構成される画像収集モジュールと、
    前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定するように構成される確定モジュールと、
    前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信するように構成される送信モジュールとを含む、前記スマートデバイス制御装置。
24. 前記確定モジュールは、
    前記第一の画像から前記ユーザーの視線方向を確定するように構成される第一の確定ユニットと、
    前記視線方向に基づいて前記デバイス識別子情報を確定するように構成される第二の確定ユニットとを含む
    請求項２３に記載のスマートデバイス制御装置。
25. 前記第一の確定ユニットは、
    前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得するように構成される第一の識別サブユニットと、
    前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得するように構成される第二の識別サブユニットとを含む
    請求項２４に記載のスマートデバイス制御装置。
26. 前記第二の識別サブユニットは、具体的に、
    前記ユーザーの目の位置に基づいて、前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し
    前記瞳オフセット角度に基づいて、前記ユーザーの視線方向を確定するように構成される
    請求項２５に記載のスマートデバイス制御装置。
27. 前記第二の確定ユニットは、
    前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を前記デバイス識別子情報として確定するように構成される画像収集サブユニット、または、
    前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定し、前記第一の夾角と前記第二の夾角を前記デバイス識別子情報として確定するように構成される確定サブユニットとを含む
    請求項２４に記載のスマートデバイス制御装置。
28. スマートデバイス制御装置であって、
    スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得するように構成される第一の画像収集モジュールと、
    前記ユーザーの眼球情報を確定するように構成される確定モジュールと、
    前記中継デバイスが前記第一の画像および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記第一の画像および前記眼球情報を前記中継デバイスに送信するように構成される第一の送信モジュールとを含む、前記スマートデバイス制御装置。
29. 中継デバイスから送信された、前記第一の画像を分析して取得した視線方向を受信した場合、前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得するように構成される第二の画像収集モジュールと、
    前記第二の画像を前記中継デバイスに送信するように構成される第二の送信モジュールとをさらに含む
    請求項２８に記載のスマートデバイス制御装置。
30. スマートデバイス制御装置であって、
    スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信するように構成される受信モジュールと、
    前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信するように構成される送信モジュールと、
    前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御モジュールとを含む、前記スマートデバイス制御装置。
31. 前記制御モジュールは、
    前記デバイス識別子情報に基づいて、前記ターゲットスマートデバイスを確定するように構成される確定ユニットと、
    前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御ユニットとを含む
    請求項３０に記載のスマートデバイス制御装置。
32. 前記確定ユニットは、
    前記デバイス識別子情報が、前記スマート撮影デバイスが前記視線方向によって指向される位置に対して画像収集を行って取得した第二の画像である場合、記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択するように構成される選択サブユニットと、
    前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第一の確定サブユニットとを含む
    請求項３１に記載のスマートデバイス制御装置。
33. 前記確定ユニットは、
    前記デバイス識別子情報が第二の画像である場合、前記第二の画像からスマートデバイスのデバイスマークを識別するように構成される識別サブユニットと、
    前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するための第一の取得サブユニットと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第二の確定サブユニットとを含む
    請求項３１に記載のスマートデバイス制御装置。
34. 前記確定ユニットは、
    前記デバイス識別子情報が、前記視線方向と水平方向の間の夾角である第一の夾角および前記視線方向と指定された方向の間の夾角である第二の夾角である場合、前記第一の夾角と前記第二の夾角に基づいて、記憶された前記第一の夾角、前記第二の夾角およびスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第二の取得サブユニットと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第三の確定サブユニットとを含む
    請求項３１に記載のスマートデバイス制御装置。
35. 前記制御ユニットは、
    前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得するように構成される第三の取得サブユニットと、
    取得された制御操作に基づいて前記ターゲットスマートデバイスを制御するように構成される制御サブユニットとを含む
    請求項３１に記載のスマートデバイス制御装置。
36. スマートデバイス制御装置であって、
    スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信するように構成される受信モジュールと、
    前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信するように構成される送信モジュールと、
    前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御モジュールとを含む、前記スマートデバイス制御装置。
37. 前記制御モジュールは、
    前記第一の画像から前記ユーザーの視線方向を確定するように構成される第一の確定ユニットと、
    前記視線方向に基づいて前記ターゲットスマートデバイスを確定するように構成される第二の確定ユニットと
    前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される制御ユニットとを含む
    請求項３６に記載のスマートデバイス制御装置。
38. 前記第一の確定ユニットは、
    前記第一の画像に対して顔識別を行い、前記ユーザーの目の位置を取得するように構成される第一の識別サブユニットと、
    前記ユーザーの目の位置に基づいて前記ユーザーの目に対して視線識別を行い、前記ユーザーの視線方向を取得するように構成される第二の識別サブユニットとを含む
    請求項３７に記載のスマートデバイス制御装置。
39. 前記第二の識別サブユニットは、具体的に、
    前記ユーザーの目の位置に基づいて前記ユーザーの瞳の正常な注視方向に対する瞳オフセット角度を確定し、前記瞳オフセット角度に基づいて前記ユーザーの視線方向を確定するように構成される
    請求項３８に記載のスマートデバイス制御装置。
40. 前記第二の確定ユニットは、
    前記視線方向と水平方向の間の第一の夾角および前記視線方向と指定された方向の間の第二の夾角を確定するように構成される第一の確定サブユニットと、
    前記第一の夾角と前記第二の夾角に基づいて記憶された前記第一の夾角、前記第二の夾角およびスマートデバイス識別子の間の対応関係から対応するスマートデバイス識別子を取得するように構成される第一の取得サブユニットと、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される第二の確定サブユニットとを含む
    請求項３７に記載のスマートデバイス制御装置。
41. 前記第二の確定ユニットは、
    前記スマート撮影デバイスが前記視線方向によって指される位置に対して画像収集を行い、第二の画像を取得し、前記第二の画像を返すように、前記視線方向を前記スマート撮影デバイスへ送信するように構成される送信サブユニットと、
    前記スマート撮影デバイスから返された第二の画像を受信した場合、前記第二の画像に基づいて前記ターゲットスマートデバイスを確定するように構成される第三の確定サブユニットとを含む
    請求項３７に記載のスマートデバイス制御装置。
42. 前記第三の確定サブユニットは、具体的に、
    記憶された画像ライブラリから前記第二の画像とマッチングするターゲット画像を選択し、
    前記ターゲット画像におけるスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される
    請求項４１に記載のスマートデバイス制御装置。
43. 前記第三の確定サブユニットは、具体的に、
    前記第二の画像から前記第二の画像におけるスマートデバイスのデバイスマークを識別し、
    前記デバイスマークに基づいて記憶されたデバイスマークとスマートデバイスマークの間の対応関係から対応するスマートデバイス識別子を取得し、
    取得されたスマートデバイス識別子に対応するスマートデバイスを前記ターゲットスマートデバイスとして確定するように構成される
    請求項４１に記載のスマートデバイス制御装置。
44. 前記制御ユニットは、
    前記眼球情報に基づいて記憶された眼球情報と制御操作の間の対応関係から対応する制御操作を取得するように構成される第二の取得サブユニットと、
    取得された制御操作に基づいて前記ターゲットスマートデバイスを制御するように構成される制御サブユニットとを含む
    請求項３７に記載のスマートデバイス制御装置。
45. スマートデバイス制御装置であって、
    プロセッサと、
    プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
    前記プロセッサは、
    スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、
    前記第一の画像に基づいて、制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報および前記ユーザーの眼球情報を確定し、
    前記中継デバイスが前記デバイス識別子情報および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記デバイス識別子情報および前記眼球情報を前記中継デバイスに送信するように構成される、前記スマートデバイス制御装置。
46. スマートデバイス制御装置であって、
    プロセッサと、
    プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
    前記プロセッサは、
    スマートマットレスが中継デバイスを介して送信した、ユーザーが前記スマートマットレスを使用する時にトリガされる画像収集要求を受信した場合、前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、
    前記ユーザーの眼球情報を確定し、
    前記中継デバイスが前記第一の画像および前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように、前記第一の画像および前記眼球情報を前記中継デバイスに送信するように構成される、前記スマートデバイス制御装置。
47. スマートデバイス制御装置であって、
    プロセッサと、
    プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
    前記プロセッサは、
    スマートマットレスから送信された、ユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信し、
    前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像に基づいて制御すべきターゲットスマートデバイスを確定するためのデバイス識別子情報と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信し、
    前記デバイス識別子情報と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される、前記スマートデバイス制御装置。
48. スマートデバイス制御装置であって、
    プロセッサと、
    プロセッサで実行可能なコマンドを記憶するように構成されるメモリーとを含み、
    前記プロセッサは、
    スマートマットレスから送信されたユーザーがスマートマットレスを使用する時にトリガされる、スマートマットレス識別子が含まれている画像収集要求を受信し、
    前記スマート撮影デバイスが前記スマートマットレスの位置に対して画像収集を行い、第一の画像を取得し、かつ前記第一の画像と前記ユーザーの眼球情報を返すように、前記スマートマットレス識別子に基づいて前記画像収集要求を前記スマートマットレスにバインドされたスマート撮影デバイスへ送信し、
    前記第一の画像と前記眼球情報に基づいて前記ターゲットスマートデバイスを制御するように構成される、前記スマートデバイス制御装置。