CN106817611B - 一种屏幕定位方法及设备 - Google Patents

一种屏幕定位方法及设备 Download PDF

Info

Publication number
CN106817611B
CN106817611B CN201611093477.4A CN201611093477A CN106817611B CN 106817611 B CN106817611 B CN 106817611B CN 201611093477 A CN201611093477 A CN 201611093477A CN 106817611 B CN106817611 B CN 106817611B
Authority
CN
China
Prior art keywords
equipment
value
background image
screen
rgb value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611093477.4A
Other languages
English (en)
Other versions
CN106817611A (zh
Inventor
曹哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201611093477.4A priority Critical patent/CN106817611B/zh
Publication of CN106817611A publication Critical patent/CN106817611A/zh
Application granted granted Critical
Publication of CN106817611B publication Critical patent/CN106817611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

本发明公开了一种屏幕定位方法及设备，以解决两个设备之间距离的距离很近时，屏幕尺寸较小的设备无法通过摄像头获得屏幕尺寸较大的设备的清晰图像，从而无法确定屏幕尺寸较小的设备在屏幕尺寸较大的设备屏幕中的对应位置的问题。该方法包括：第一设备接收第二设备发送的目标RGB值，其中，目标RGB值为第二设备通过摄像头获取的第一设备显示的背景图像的预览图像的中心点的RGB值，背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同；第一设备根据背景图像中与目标RGB值对应的区域中设定像素点的位置，确定第二设备在第一设备的屏幕中的投影位置。

Description

一种屏幕定位方法及设备
技术领域
本发明涉及人机交互领域，尤其涉及一种屏幕定位方法及设备。
背景技术
随着现代智能电子设备的流行和普及，家庭或小区域场景下，设备之间的交互也变得越来越普遍。屏幕交互是设备之间最直观、最简便的交互方式，并且在很多应用场景下，例如，用户通过对手机获取的电视屏幕中显示的游戏的画面的操作，对电视中该游戏进行相应的操作。电视确定获得手机在电视屏幕中的相对位置后，才能根据用户对手机获取的电视屏幕中显示的内容的操作，进行相应的操作。
现有技术中通常采用基于图像识别的屏幕定位方法，该方法的基本原理是通过手机的摄像头获取电视屏幕的实时画面，利用图像识别和匹配算法，确定手机在电视屏幕中的相应位置。
但是，上述方法需要获得清晰的图像信息，才能实现图像的识别、匹配，进而确定手机在电视屏幕中的相应位置。当手机和电视之间的距离很近时(小于10厘米)，手机的摄像头由于其自身物理光学特性无法对焦，也就无法获得电视屏幕的清晰图像，在不增加特殊硬件(如激光发射器、红外线发射器等)的情况下仅通过上述方法，无法确定手机在电视屏幕中的相应位置。
发明内容
本发明实施例提供一种屏幕定位方法及设备，解决两个设备之间距离的很近(小于10厘米)时，屏幕尺寸较小的设备无法通过摄像头获得屏幕尺寸较大的设备的清晰图像，从而无法确定屏幕尺寸较小的设备在屏幕尺寸较大的设备屏幕中的对应位置的问题。
本发明实施例提供的具体技术方案如下：
第一方面，本发明实施例提供了一种屏幕定位方法，包括：
第一设备接收第二设备发送的目标RGB值，其中，所述目标RGB值为所述第二设备通过摄像头获取的所述第一设备显示的背景图像的预览图像的中心点的RGB值，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同；
所述第一设备根据所述目标RGB值，在所述背景图像中确定所述目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定所述第二设备在所述第一设备的屏幕中的投影位置。
第二方面，本发明实施例提供了一种屏幕定位方法，包括：
第二设备通过摄像头获取第一设备显示的背景图像的预览图像，其中，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同的区域中像素点的RGB值不同；
所述第二设备提取所述预览图像的中心点的RGB值作为目标RGB值；
所述第二设备将所述目标RGB值发送到所述第一设备，以使所述第一设备根据所述目标RGB值，确定所述第二设备在所述第一设备的屏幕中的投影位置。
第三方面，本发明实施例提供了一种设备，包括：
接收模块，用于接收第二设备发送的目标RGB值，其中，所述目标RGB值为所述第二设备通过摄像头获取的所述设备显示的背景图像的预览图像的中心点的RGB值，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同；
处理模块，用于根据所述目标RGB值，在所述背景图像中确定所述目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定所述第二设备在所述设备的屏幕中的投影位置。
第四方面，本发明实施例提供了一种设备，包括：
获取模块，用于通过摄像头获取第一设备显示的背景图像的预览图像，其中，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同；
处理模块，用于提取所述预览图像的中心点的RGB值作为目标RGB值；
发送模块，用于将所述目标RGB值发送到所述第一设备，以使所述第一设备根据所述目标RGB值，确定所述设备在所述第一设备的屏幕中的投影位置。
基于上述技术方案，本发明实施例中，第一设备根据第二设备发送的目标RGB值在第一设备显示的背景图像中确定该RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定第二设备在第一设备的屏幕中的投影位置，其中，目标RGB值为第二设备通过摄像头获取第一设备显示的背景图像的预览图像的中心点的RGB值，该背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同，使得在第一设备和第二设备之间距离的距离很近(小于10厘米)，第二设备无法通过摄像头获得第一设备屏幕的清晰图像的情况下，第一设备能够根据目标RGB值确定第二设备在第一设备的屏幕中的投影位置，并且，第一设备和第二设备不需要增加其他用于获取位置信息的硬件。
附图说明
图1为本发明第一实施例中第一设备确定第二设备在第一设备屏幕中投影位置的方法流程图；
图2为本发明第二实施例中第一设备确定第二设备在第一设备屏幕中投影位置的方法流程图；
图3为本发明第一具体实施例中智能电视确定智能手机在智能电视屏幕中投影位置的方法流程图；
图4为本发明第一具体实施例中智能电视显示的背景图像的示意图；
图5为本发明第一具体实施例中智能手机在智能电视屏幕中的定位效果示意图；
图6为本发明第二具体实施例中基于近距离多屏幕定位方法的乒乓球游戏示意图；
图7为本发明第三实施例提供的设备的结构示意图；
图8为本发明第四实施例提供的设备的结构示意图；
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了解决两个设备之间的距离很近(小于10cm)时，屏幕尺寸较小的设备无法通过摄像头获得屏幕尺寸较大的设备的清晰图像，从而无法确定幕尺寸较小的设备在屏幕尺寸较大的设备屏幕中的对应位置的问题，本发明实施例提供了一种屏幕定位方法及设备。
本发明实施例中，在第一设备和第二设备之间的距离满足第二设备能够通过第二设备的摄像头获取到第一设备显示的背景图像的局部图像的条件下，第一设备均能够根据本发明实施例所提供的屏幕定位方法确定第二设备在第一设备屏幕中投影位置，其中，第二设备通过第二设备的摄像头获取第一设备显示的背景图像的局部图像的方法不包括第二设备通过数码变焦方式获取第一设备显示的背景图像的局部图像。第一设备和第二设备之间的距离越近，本发明实施例所提供的屏幕定位方法确定的第二设备在第一设备屏幕中投影位置的准确性越高。
优选地，在第一设备和第二设备之间的距离小于10cm，第一设备无法通过摄像头获取到第一设备屏幕的清晰图像的情况下，第一设备能够根据本发明实施例所提供的屏幕定位方法确定第二设备在第一设备屏幕中的投影位置。
本发明实施例中，第一设备为屏幕尺寸较大的设备，如智能电视、个人计算机等，第二设备为屏幕尺寸较小的移动终端，如手机、平板电脑等。
第一实施例，第一设备确定第二设备在第一设备屏幕中投影位置的方法流程图如图1所示，包括如下步骤：
步骤101：第一设备接收第二设备发送的目标RGB值，其中，该目标RGB值为第二设备通过摄像头获取的第一设备显示的背景图像的预览图像的中心点的RGB值，该背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同。
具体地，该预览图像指第二设备通过摄像头在第一设备显示的背景图像上采集到的图像，该预览图像显示在第二设备屏幕中。
实施中，第一设备显示的背景图像中每个区域包含的像素点的个数不大于预设值，使得第一设备基于该背景图像确定的第二设备在第一设备的屏幕中的投影位置的误差满足设定的定位误差，其中，该定位误差根据经验值或仿真结果确定。需要说明的是，本发明实施例中，对第一设备显示的背景图像中各区域的形状不作限制。
具体地，第一设备显示的背景图像中每个区域包含的像素点的个数可以根据设定的定位误差确定。例如，若第二设备屏幕的尺寸为A(屏幕的对角线长度)，设定的定位误差为E，则第一设备确定背景图像中的各区域的对角线的长度小于或等于E，根据各区域的对角线的长度和背景图像中像素点的尺寸确定各区域包含的像素点的个数，其中，背景图像中像素点的尺寸由第一设备根据第一设备屏幕的尺寸和分辨率确定，设定误差E的大小根据经验值或仿真结果确定，如E为A/5；又如，第二设备屏幕的长度为L，宽度为W，设定的水平方向上的定位误差E1，设定的垂直方向上的误差为E2，则第一设备确定背景图像中的各区域的水平方向上的尺寸(长度)小于或等于E1，各区域的垂直方向上的尺寸(宽度)小于或等于E2，根据各区域的尺寸和背景图像中像素点的尺寸确定各区域包含的像素点的个数，其中，背景图像中像素点的尺寸由第一设备根据第一设备屏幕的尺寸和分辨率确定，E1和E2可以相同，也可以不同，且定位误差E1和E2的大小根据经验值或仿真结果确定。
实施中，第一设备屏幕中显示的背景图像中相邻区域的RGB值相差越大，即相邻区域的色差越大，第一设备基于该背景图像确定的第二设备在第一设备的屏幕中的投影位置的误差越小。
实施中，第一设备和第二设备建立有无线连接，该无线连接包括但不限于以下连接方式中的一种：蓝牙连接、无线保真(Wireless Fidelity，WiFi)连接等。
实施中，第一设备接收第二设备发送的目标RGB值之后，确定该目标RGB值在背景图像中对应的区域之前，对该目标RGB值进行补偿。具体地，第一设备显示一个纯色的背景图像，即背景图像中所有像素点的RGB值均为设定值；第二设备通过摄像头获取该背景图像的预览图像，提取该预览图像的中心点的RGB值作为校准RGB值，并将该校准RGB值发送到第一设备；第一设备将该背景图像的RGB值与校准RGB值的差值确定为补偿值，并保存该补偿值。第一设备接收第二设备发送的目标RGB值之后，根据该补偿值对该目标RGB值进行补偿，并根据补偿后的目标RGB值确定第二设备在第一设备的屏幕中的投影位置，进一步提高定位的准确性。
实施中，第二设备提取第一设备显示的背景图像的预览图像的中心点的RGB值作为目标RGB值后，将该目标RGB值发送到第一设备之前，对该目标RGB值进行补偿，并将补偿后的目标RGB值发送到第一设备。具体地，第一设备显示一个纯色的背景图像，即背景图像中所有像素点的RGB值均为设定值；第二设备通过摄像头在该背景图像上采集到图像，提取采集到的图像的中心点的RGB值作为校准RGB值，并将该校准RGB值与第一设备将该背景图像的RGB值差值确定为补偿值，并保存该补偿值。第二设备获得目标RGB值之后，根据该补偿值对该目标RGB值进行补偿，将补偿后的目标RGB值发送到第一设备，由第一设备根据补偿后的目标RGB值确定第二设备在第一设备的屏幕中的投影位置，进一步提高定位的准确性。
优选地，第一设备屏幕中显示的背景图像中各区域的RGB值满足如下条件：在水平方向上，任意两个相邻区域的R值、G值和B值中的任意一个值满足设定的第一函数关系；且在垂直方向上，任意两个相邻区域的RGB值中除满足第一函数关系的值外的任意一个值满足设定的第二函数关系。
步骤102：第一设备根据该目标RGB值，在该背景图像中确定该目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定第二设备在第一设备的屏幕中的投影位置。
其中，设定像素点可以是第一设备中显示的背景图像中目标RGB值对应的区域中任意一个像素点。
优选地，第一设备根据该目标RGB值，以及背景图像中各区域的RGB值满足的第一数关系和第二函数关系，确定背景图像中RGB值与目标RGB值的差值最小的区域为目标RGB值对应的区域，即确定背景图像中颜色与目标RGB值所表示的颜色相同或最接近的区域为目标RGB值对应的区域，并根据该区域中设定像素点的位置确定第二设备在第一设备的屏幕中的投影位置。
实施中，若第一设备屏幕中显示的背景图像中各区域的RGB值与该区域中像素点的位置无法用函数关系表示，第一设备保存该背景图像中各区域的RGB值，通过查找各区域的RGB值，确定背景图像中RGB值与目标RGB值的差值最小的区域为目标RGB值对应的区域，即确定背景图像中颜色与目标RGB值所表示的颜色相同或最接近的区域为目标RGB值对应的区域，根据该区域中设定像素点的位置确定第二设备在第一设备的屏幕中的投影位置。
具体地，第一设备将背景图像中目标RGB值对应的区域中设定像素点的位置确定为第二设备的设定位置在第一设备的屏幕中的投影位置，并根据第二设备的设定位置的投影位置和第二设备的配置信息确定第二设备在第一设备的屏幕中的投影位置，如第二设备的摄像头的位置，或者第二设备中心的位置等，其中，该配置信息至少包括第二设备的屏幕方向和第二设备的尺寸。
实施中，第一设备接收第二设备的配置信息，其中，该配置信息至少包括第二设备的屏幕方向和第二设备的尺寸，并根据该配置信息和第二设备在第一设备的屏幕中的投影位置，在第一设备的屏幕中显示第二设备的投影图像，其中，第二设备的尺寸为第二设备的屏幕尺寸或第二设备的实际尺寸。具体地，当第二设备的屏幕尺寸与第二设备的实际尺寸相差较小时，第一设备可以通过第二设备的屏幕尺寸估计第二设备的尺寸，如在第二设备屏幕的尺寸的基础上增加设定值作为第二设备的尺寸，或将第二设备的屏幕尺寸作为第二设备的尺寸。
实施中，第一设备的屏幕中显示第二设备的投影图像的大小与第二设备的尺寸相同或者按照第二设备的尺寸的设定比例放大/缩小，其中，第二设备的尺寸由第一设备根据第二设备的配置信息确定。
实施中，第一设备可根据预设的图形的信息，在第一设备屏幕中第二设备的投影位置处，显示该图像，其中，该图形的信息至少包括形状和尺寸，保存在第一设备或第二设备中。例如，第一设备确定第二设备在第一设备的屏幕中的投影位置后，根据第一设备中保存的或第二设备发送的五角星图形状的图形的信息，在第一设备的屏幕中第二设备的投影位置处显示该五角星图形状的图形，根据第二设备的移动控制该图像在第一设备屏幕中的移动。
第二实施例，第一设备确定第二设备在第一设备屏幕中投影位置的方法流程图如图2所示，包括如下步骤：
步骤201：第二设备通过摄像头获取第一设备显示的背景图像的预览图像，其中，该背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同。
优选地，第一设备屏幕中显示的背景图像中所述背景图像中各区域的RGB值满足如下条件：在水平方向上，任意两个相邻区域的RGB值的R值、G值和B值中的任意一个值满足设定的第一函数关系；且在垂直方向上，任意两个相区域的RGB值中除满足第一函数关系的值外的任意一个值满足设定的第二函数关系。
实施中，第一设备或第二设备对目标RGB值进行补偿的方法参见第一实施例中的描述，重复之处不再赘述。
步骤202：第二设备提取预览图像的中心点的RGB值作为目标RGB值。
步骤203：第二设备将该目标RGB值发送到所述第一设备，以使第一设备根据该目标RGB值，确定第二设备在第一设备的屏幕中的投影位置。
实施中，第一设备和第二设备建立有无线连接，该无线连接包括但不限于以下连接方式中的一种：蓝牙连接、WiFi连接等。
实施中，在获取到的第一设备屏幕显示的背景图像的预览图像的中心点的RGB值发生变化时，第二设备将当前获得的RGB值发送到第一设备；或者，第二设备将获取到的每帧第一设备屏幕显示的背景图像的预览图像的中心点的RGB值发送到第一设备。
具体地，第二设备每间隔设定时长获取第一设备屏幕显示的背景图像的预览图像，提取该预览图像的中心点的RGB值，确定当前获得的RGB值发生变化时，将该RGB值发送到第一设备。
实施中，第一设备根据第二设备发送的目标RGB值，确定第二设备在第一设备的屏幕中的投影位置的方法参见第一实施例中的描述，重复之处不再赘述。
实施中，第二设备将第二设备的配置信息发送给第一设备，其中，该配置信息至少包括第二设备的屏幕方向和第二设备的尺寸，由第一设备根据该配置信息和第二设备在第一设备的屏幕中的投影位置，在第一设备的屏幕中显示第二设备的投影图像。
下面通过两个具体实施例，以智能电视为第一设备，智能手机为第二设备，对本发明实施例提供的屏幕定位方法进行详细说明。
第一具体实施例，智能电视确定智能手机在该智能电视的屏幕中投影位置的方法流程如图3所示，其中，智能电视和智能手机之间的距离小于10cm，包括如下步骤：
步骤301：智能电视在屏幕中显示背景图像，其中，该背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同。
实施中，智能电视在屏幕中显示划分为多个RGB值不同的区域的背景图像之前，显示一个纯色的背景图像，即背景图像中所有像素点的RGB值均为设定值，以确定智能手机获取到的智能电视屏幕中显示的背景图像的RGB值与该背景图像的实际RGB值的差值，以对目标RGB值进行补偿。
优选地，若智能手机屏幕的对角线长度为P，设定的定位误差为P/5，则智能电视确定背景图像中各区域的对角线的长度均小于或等于P/5，根据各区域的对角线尺寸和背景图像中像素点的尺寸确定各区域包含的像素点的个数，其中，背景图像中像素点的尺寸由智能电视根据智能电视屏幕的尺寸和分辨率确定。
优选地，智能电视屏幕中显示的背景图像中各区域的RGB值满足如下条件：在水平方向上，任意两个相邻区域的RGB值的R值、G值和B值中的任意一个值满足设定的第一函数关系；且在垂直方向上，任意两个相邻区域的RGB值中除满足第一函数关系的值外的任意一个值满足设定的第二函数关系。
具体地，该背景图像中各区域的RGB值满足以下条件：在水平方向上，任意两个相邻区域的RGB值的R值之差为常数值，在垂直方向上，任意两个相邻区域的RGB值的G值之差为常数值。例如，如图4所示的智能电视的屏幕显示的背景图像划分为为256×256个矩形区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，同一行的区域的RGB值的G值相同，同一列的区域的RGB值的R值相同，第一行的每个区域的RGB值依次为(200,200,0)，(201,200,0)，(202,200,0)，…，(255,200,0)，第一列的每个区域的RGB值依次为(200,200,0)，(200,201,0)，(200,202,0)，…，(200,255,0)。
步骤302：智能手机通过该智能手机的摄像头获取智能电视显示的背景图像的实时画面。
步骤303：智能手机提取获取的画面的中心点的RGB值作为目标RGB值，并将该目标RGB值和该智能手机的配置信息发送到智能电视，其中，该智能手机的配置信息包括该智能手机和该智能手机的显示屏的尺寸信息等。
具体地，该智能手机和该智能电视机建立有无线连接，该无线连接包括但不限于以下连接方式中的一种：蓝牙连接、WiFi连接等。
具体地，智能手机获取的画面一般为矩形，则该画面的中心点为该矩形对角线的交叉点。
步骤304：智能电视根据该目标RGB值、在背景图像中确定该目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定智能手机在智能电视的屏幕中的投影位置。
具体地，智能电视根据目标RGB值以及背景图像的各区域的RGB值，通过匹配算法确定该目标RGB值对应的区域，根据所确定的区域中设定像素点的位置确定智能手机在智能电视的屏幕中的投影位置，其中，该匹配算法指根据智能电视的背景图像的各区域的RGB值所满足的函数的反函数，确定该背景图像中目标RGB值对应的区域。
步骤305：智能电视根据智能手机的配置信息确定智能手机的尺寸，并显示智能手机在智能电视的屏幕中的投影位置，在智能电视屏幕中显示该智能手机的投影图像，其中，智能手机的投影图像的大小与该智能手机的尺寸相同。
具体地，智能手机的实际尺寸一般与智能手机的屏幕尺寸相差较小，因此，智能电视可以将智能手机的屏幕尺寸作为智能手机的尺寸。
实施中，智能电视通过阴影效果表示该智能手机的投影图像以用于多屏幕交互的进一步操作，效果如图5所示。
第二具体实施例，基于第一具体实施例的智能电视确定智能手机在该智能电视屏幕中的投影位置的方法，基于近距离多屏幕交互的乒乓球游戏的示意图如图6所示，在该游戏中，手机在电视屏幕中的投影图像相当于乒乓球拍，当电视屏幕中手机的投影图像以一定的速度和角度碰到虚拟乒乓球的边缘时，乒乓球向没有手机的投影图像阻挡的方向运动，具体的运动方向和直线运动距离由电视根据手机的投影图像碰到虚拟乒乓球的边缘时的速度和角度确定，其中，手机在电视屏幕中的投影图像是根据具体实施例一所述的方法确定的。
具体地，手机P1和手机P2悬浮在电视屏幕上方或贴在电视屏幕上，分别通过蓝牙或WiFi与电视建立连接，电视在屏幕的背景图像上显示一个虚拟的乒乓球，移动手机P1使得手机P1的投影图像以一定的速度和角度碰到虚拟乒乓球的边缘，电视根据手机P1的投影图像碰到虚拟乒乓球的边缘时的速度和角度确定乒乓球的运动方向和直线运动距离，使乒乓球从位置B1向位置B2进行直线运动；手机P2从位置A1移动到位置A2，使得机P2的投影图像以一定的速度和角度碰到虚拟乒乓球的边缘，电视根据手机P2的投影图像碰到位于位置B2处的乒乓球的边缘时的速度和角度确定乒乓球反弹时的运动方向和直线运动的距离，手机P1和P2重复上述操作，当手机P1的投影图像和手机P2的投影图像中的一个没有碰到乒乓球，则另一个手机得分，实现通过手机在电视上进行乒乓球游戏。其中，电视显示的背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同，手机P1和手机P2在电视屏幕中的投影图像由电视基于具体实施例一所述的方法确定。
基于同一发明构思，本发明实第三施例中提供了一种设备，该设备的具体实施可参见第一实施例部分的描述，重复之处不再赘述，如图7所示，该设备主要包括：
接收模块701，用于接收第二设备发送的目标RGB值，其中，所述目标RGB值为所述第二设备通过摄像头获取的所述设备显示的背景图像的预览图像的中心点的RGB值，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同；
处理模块702，用于根据所述目标RGB值，在所述背景图像中确定所述目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定所述第二设备在所述设备的屏幕中的投影位置。
可选的实施方式中，所述接收模块701还用于：收所述第二设备的配置信息，其中，所述配置信息至少包括所述第二设备的屏幕方向和所述第二设备的尺寸；
所述处理模块702还用于：根据所述配置信息和所述第二设备在所述设备的屏幕中的投影位置，在所述设备的屏幕中显示所述第二设备的投影图像。
基于同一发明构思，本发明实第四施例中提供了一种设备，该设备的具体实施可参见第二实施例部分的描述，重复之处不再赘述，如图8所示，该设备主要包括：
采集模块801，用于通过摄像头在第一设备显示的背景图像上采集图像，其中，所述背景图像划分为不同的区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同；
处理模块802，用于提取所述预览图像的中心点的RGB值作为目标RGB值；
发送模块803，用于将所述目标RGB值发送到所述第一设备，以使所述第一设备根据所述目标RGB值，确定所述设备在所述第一设备的屏幕中的投影位置。
可选的实施方式中，所述发送模块803具体用于：在获取到的所述背景图像的预览图像的中心点的RGB值发生变化时，将当前获得的RGB值发送到所述第一设备；
或者，将获取到的每帧所述背景图像的预览图像的中心点的RGB值发送到所述第一设备。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种屏幕定位方法，其特征在于，所述方法包括：
第一设备接收第二设备发送的目标RGB值，其中，所述目标RGB值为所述第二设备通过摄像头采用非数码变焦方式获取的所述第一设备显示的背景图像的局部的预览图像的中心点的RGB值，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同，所述第一设备尺寸大于所述第二设备尺寸，且第一设备和第二设备之间的距离满足第二设备通过摄像头采用非数码变焦方式仅能获取第一设备显示的背景图像的局部；
所述第一设备根据所述目标RGB值，在所述背景图像中确定所述目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定所述第二设备在所述第一设备的屏幕中的投影位置。
2.如权利要求1所述的方法，其特征在于，所述背景图像中各区域的RGB值满足如下条件：
在水平方向上，任意两个相邻区域的RGB值的R值、G值和B值中的任意一个值满足设定的第一函数关系；且在垂直方向上，任意两个相邻区域的RGB值中除满足所述第一函数关系的值外的任意一个值满足设定的第二函数关系。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
所述第一设备接收所述第二设备的配置信息，其中，所述配置信息至少包括所述第二设备的屏幕方向和所述第二设备的尺寸；
所述第一设备根据所述配置信息和所述第二设备在所述第一设备的屏幕中的投影位置，在所述第一设备的屏幕中显示所述第二设备的投影图像。
4.一种屏幕定位方法，其特征在于，所述方法包括：
第二设备通过摄像头采用非数码变焦方式获取第一设备显示的背景图像的局部的预览图像，其中，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同，所述第一设备尺寸大于所述第二设备尺寸，且第一设备和第二设备之间的距离满足第二设备通过摄像头采用非数码变焦方式仅能获取第一设备显示的背景图像的局部；
所述第二设备提取所述预览图像的中心点的RGB值作为目标RGB值；
所述第二设备将所述目标RGB值发送到所述第一设备，以使所述第一设备根据所述目标RGB值，确定所述第二设备在所述第一设备的屏幕中的投影位置。
5.如权利要求4所述的方法，其特征在于，所述背景图像中各区域的RGB值满足如下条件：
在水平方向上，任意两个相邻区域的RGB值的R值、G值和B值中的任意一个值满足设定的第一函数关系；且在垂直方向上，任意两个相区域的RGB值中除满足所述第一函数关系的值外的任意一个值满足设定的第二函数关系。
6.如权利要求5所述的方法，其特征在于，所述第二设备将所述RGB值发送给述第一设备具体包括：
在获取到的所述背景图像的预览图像的中心点的RGB值发生变化时，所述第二设备将当前获得的RGB值发送到所述第一设备；
或者，所述第二设备将获取到的每帧所述背景图像的预览图像的中心点的RGB值发送到所述第一设备。
7.一种设备，其特征在于，所述设备包括：
接收模块，用于接收第二设备发送的目标RGB值，其中，所述目标RGB值为所述第二设备通过摄像头采用非数码变焦方式获取的所述设备显示的背景图像的局部的预览图像的中心点的RGB值，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同，第一设备尺寸大于所述第二设备尺寸，且第一设备和第二设备之间的距离满足第二设备通过摄像头采用非数码变焦方式仅能获取第一设备显示的背景图像的局部；
处理模块，用于根据所述目标RGB值，在所述背景图像中确定所述目标RGB值对应的区域，并根据所确定的区域中设定像素点的位置确定所述第二设备在所述设备的屏幕中的投影位置。
8.如权利要求7所述的设备，其特征在于，所述接收模块还用于：
收所述第二设备的配置信息，其中，所述配置信息至少包括所述第二设备的屏幕方向和所述第二设备的尺寸；
所述处理模块还用于：根据所述配置信息和所述第二设备在所述设备的屏幕中的投影位置，在所述设备的屏幕中显示所述第二设备的投影图像。
9.一种设备，其特征在于，所述设备包括：
采集模块，用于通过摄像头采用非数码变焦方式获取第一设备显示的背景图像的局部的预览图像，其中，所述背景图像划分为多个区域，每个区域包含的像素点的个数不大于预设值，同一个区域中像素点的RGB值相同，不同区域中像素点的RGB值不同，所述第一设备尺寸大于第二设备尺寸，且第一设备和第二设备之间的距离满足第二设备通过摄像头采用非数码变焦方式仅能获取第一设备显示的背景图像的局部；
处理模块，用于提取所述预览图像的中心点的RGB值作为目标RGB值；
发送模块，用于将所述目标RGB值发送到所述第一设备，以使所述第一设备根据所述目标RGB值，确定所述设备在所述第一设备的屏幕中的投影位置。
10.如权利要求9所述的设备，其特征在于，所述发送模块具体用于：
在获取到的所述背景图像的预览图像的中心点的RGB值发生变化时，将当前获得的RGB值发送到所述第一设备；
或者，将获取到的每帧所述背景图像的预览图像的中心点的RGB值发送到所述第一设备。
CN201611093477.4A 2016-12-01 2016-12-01 一种屏幕定位方法及设备 Active CN106817611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611093477.4A CN106817611B (zh) 2016-12-01 2016-12-01 一种屏幕定位方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611093477.4A CN106817611B (zh) 2016-12-01 2016-12-01 一种屏幕定位方法及设备

Publications (2)

Publication Number Publication Date
CN106817611A CN106817611A (zh) 2017-06-09
CN106817611B true CN106817611B (zh) 2020-06-02

Family

ID=59106867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611093477.4A Active CN106817611B (zh) 2016-12-01 2016-12-01 一种屏幕定位方法及设备

Country Status (1)

Country Link
CN (1) CN106817611B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533180A (zh) * 2003-03-19 2004-09-29 松下电器产业株式会社 基于视频画面检测的遥控装置及其方法
CN101408813A (zh) * 2007-10-10 2009-04-15 夏普株式会社 显示***及指示位置的检测方法
KR20120077451A (ko) * 2010-12-30 2012-07-10 엘지디스플레이 주식회사 3차원 영상 표시장치
CN102918476A (zh) * 2010-02-05 2013-02-06 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
CN103852066A (zh) * 2012-11-28 2014-06-11 联想(北京)有限公司 一种设备定位的方法、控制方法、电子设备及***
CN105573605A (zh) * 2014-10-10 2016-05-11 广州杰赛科技股份有限公司 一种手机与电脑互动游戏方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533180A (zh) * 2003-03-19 2004-09-29 松下电器产业株式会社 基于视频画面检测的遥控装置及其方法
CN101408813A (zh) * 2007-10-10 2009-04-15 夏普株式会社 显示***及指示位置的检测方法
CN102918476A (zh) * 2010-02-05 2013-02-06 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
KR20120077451A (ko) * 2010-12-30 2012-07-10 엘지디스플레이 주식회사 3차원 영상 표시장치
CN103852066A (zh) * 2012-11-28 2014-06-11 联想(北京)有限公司 一种设备定位的方法、控制方法、电子设备及***
CN105573605A (zh) * 2014-10-10 2016-05-11 广州杰赛科技股份有限公司 一种手机与电脑互动游戏方法

Also Published As

Publication number Publication date
CN106817611A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN110215690B (zh) 游戏场景中的视角切换方法、装置及电子设备
US20180232135A1 (en) Method for window displaying on a mobile terminal and mobile terminal
US9973677B2 (en) Refocusable images
US9934823B1 (en) Direction indicators for panoramic images
JP2012523630A (ja) 改良されたハンドヘルド画面検知ポインタ
CN105991925A (zh) 场景构图指示方法和指示装置
US9824723B1 (en) Direction indicators for panoramic images
US20170039753A1 (en) Method, apparatus and non-transitory computer-readable storage medium for uninstalling an application
CN111309203B (zh) 一种鼠标光标的定位信息的获取方法及装置
US20150121301A1 (en) Information processing method and electronic device
CN112954193B (zh) 拍摄方法、装置、电子设备及介质
EP4191513A1 (en) Image processing method and apparatus, device and storage medium
WO2017185642A1 (zh) 一种视频内容呈现的切换方法、装置及其移动播放终端
JP2019179382A (ja) 情報処理プログラム、情報処理方法及び情報処理システム
CN112221128B (zh) 一种贴图调整方法及相关装置
CN108905203A (zh) 信息处理方法、装置、存储介质及电子装置
CN110007838B (zh) 擦除控件的处理方法、装置和设备
CN111325201A (zh) 影像处理方法、装置与可移动设备、无人机遥控器及***
EP2918072B1 (en) Method and apparatus for capturing and displaying an image
CN114240754A (zh) 投屏处理方法、装置、电子设备及计算机可读存储介质
CN106817611B (zh) 一种屏幕定位方法及设备
US20170169572A1 (en) Method and electronic device for panoramic video-based region identification
CN111325674A (zh) 图像处理方法、装置及设备
CN112672057B (zh) 拍摄方法及装置
US20210125339A1 (en) Method and device for segmenting image, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant after: Hisense Video Technology Co., Ltd

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Applicant before: HISENSE ELECTRIC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant