CN114942735A - 一种屏幕组合方法和装置 - Google Patents

一种屏幕组合方法和装置 Download PDF

Info

Publication number
CN114942735A
CN114942735A CN202110171975.0A CN202110171975A CN114942735A CN 114942735 A CN114942735 A CN 114942735A CN 202110171975 A CN202110171975 A CN 202110171975A CN 114942735 A CN114942735 A CN 114942735A
Authority
CN
China
Prior art keywords
screen
image
television
determining
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110171975.0A
Other languages
English (en)
Inventor
谢志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110171975.0A priority Critical patent/CN114942735A/zh
Priority to US18/264,517 priority patent/US20240045638A1/en
Priority to EP21924388.8A priority patent/EP4273691A1/en
Priority to PCT/CN2021/136884 priority patent/WO2022166395A1/zh
Publication of CN114942735A publication Critical patent/CN114942735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种屏幕组合方法和装置,涉及终端领域,可以自动完成屏幕拼接,提高用户的体验。本申请实施例应用于屏幕拼接***,屏幕拼接***包括至少两个屏幕及主机,至少两个屏幕包括第一屏幕及第二屏幕,其方法包括:第一屏幕及第二屏幕组成第一屏组,第一屏幕及第二屏幕通信连接;主机向第一屏幕发出第一指示,向第二屏幕发出第二指示;第一屏幕根据第一指示拍摄第一图像;第二屏幕根据第二指示拍摄第二图像;根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。

Description

一种屏幕组合方法和装置
技术领域
本申请涉及终端领域,尤其涉及一种屏幕组合方法和装置。
背景技术
随着网络技术的普遍应用,从指挥监控中心、网管中心的建立,到临时会议、技术讲座的进行,都需要更大画面的显示效果,为达到这一效果,可以将多个带屏设备的屏幕拼接起来,以满足更大画面的显示效果。
在多个屏幕组合时,需要确定每个屏幕的位置和方向信息。目前,可以通过用户手动输入的方法将屏幕的方向和位置信息输入到控制主机。比如在多个显示器连接到一个电脑主机的组合的场景中,可以人工标记显示器的位置,以完成多个显示器组合的屏幕位置和方向关系设定。如图1A所示,在设置界面中,可以通过手动(通过鼠标或触摸屏)拖拽标记显示器,完成多个显示器的方位组合。
上述方法中,屏幕组合关系中的位置和方向信息设定需要用户手动输入,组合过程复杂,步骤繁琐,导致用户体验较差。
发明内容
本申请实施例提供一种屏幕组合方法和装置,可以自动完成屏幕拼接,提高用户的体验。
第一方面,本申请实施例提供一种屏幕组合方法,应用于屏幕拼接***,屏幕拼接***包括至少两个屏幕及主机,至少两个屏幕包括第一屏幕及第二屏幕,包括:第一屏幕及第二屏幕组成第一屏组,第一屏幕及第二屏幕通信连接;主机向第一屏幕发出第一指示,向第二屏幕发出第二指示;第一屏幕根据第一指示拍摄第一图像;第二屏幕根据第二指示拍摄第二图像;根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。
基于本申请实施例提供的方法,在屏幕组合拼接过程中,可以根据设备(第一屏幕或第二屏幕)拍摄的图像(照片)识别出两个设备的相对方位关系,无需用户手动设置,可以提高用户体验。
在一种可能的实现方式中,主机集成于第一屏幕或第二屏幕中;或者主机独立于第一屏幕或第二屏幕。示例性的,第一屏幕或第二屏幕可以是电视,当主机独立于第一屏幕或第二屏幕时,主机可以是机顶盒或路由器等设备。当主机集成于第一屏幕或第二屏幕中时,主机可以视为第一屏幕或第二屏幕中的一个处理模块。
在一种可能的实现方式中,根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:第一屏幕向第二屏幕发送第一图像;第二屏幕向第一屏幕发送第二图像;第一屏幕和第二屏幕分别根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息;第一屏幕向主机发送第一屏幕确定的方位信息,第二屏幕向主机发送第二屏幕确定的方位信息;主机根据第一屏幕确定的方位信息和第二屏幕确定的方位信息确定第一屏幕与第二屏幕的方位信息。在一些情况中,有部分设备之间的方位信息是冗余的,可以不使用这些信息,或者可以参考冗余的信息对识别结果进行校验。
在一种可能的实现方式中,根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:第一屏幕向主机发送第一图像;第二屏幕向主机发送第二图像;主机根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。即可以由主机识别屏组中各个设备的方位关系,其他设备(例如,第二屏幕)可以无需进行方位识别,可以节省其他设备的功耗。
在一种可能的实现方式中,第一屏幕及第二屏幕组成第一屏组之前,方法还包括:第一屏幕或第二屏幕以预设频率互相发送第一短距信号,第一屏幕或第二屏幕根据第一屏幕和第二屏幕之间传输的第一短距信号的接收信号强度指示RSSI确定第一屏幕和第二屏幕的距离;当第一屏幕和第二屏幕的距离小于等于第一屏幕和第二屏幕对应的最大组合半径时,第一屏幕与第二屏幕组成第一屏组;其中,第一屏幕和第二屏幕对应的最大组合半径是根据第一屏幕和第二屏幕的尺寸和天线的位置确定的。这样,第一屏幕和第二屏幕之间可以根据第一短距信号确定是否进行屏幕组合,即可以自动进行屏幕组合,无需用户进行复杂的操作,可以提高用户体验。
在一种可能的实现方式中,第一屏幕及第二屏幕组成第一屏组之前,方法还包括:第一屏幕和/或第二屏幕显示第一提示信息,第一提示信息用于提示用户检测到附近有设备,是否进行屏幕拼接,第一屏幕和/或第二屏幕获取用户的指示,用户的指示用于确认进行屏幕拼接。这样,可以根据用户的操作确定是否组屏,从而可以避免自动触发屏幕组合的误差。
在一种可能的实现方式中,根据第一图像和第二图像确定第一屏幕和第二屏幕的方位信息包括:根据图像匹配算法对第一图像和第二图像进行图像匹配,确定第一图像和第二图像的重叠区域;根据重叠区域在第一图像的方位和第二图像的方位确定第一屏幕相对于第二屏幕的方位。这样,通过确定重叠区域在不同照片的方位,可以识别出两个设备(第一屏幕和第二屏幕)的相对方位关系,无需用户手动设置,可以提高用户体验。
在一种可能的实现方式中,根据重叠区域在第一图像的方位确定第一屏幕相对于第二屏幕的方位包括:若重叠区域位于第一图像的下半区,且位于第二图像的上半区,确定第一屏幕位于第二屏幕的上方;若重叠区域位于第一图像的左下角,且位于第二图像的右上角,确定第一屏幕位于第二屏幕的右上方;若重叠区域位于第一图像的左半区,且位于第二图像的右半区,确定第一屏幕位于第二屏幕的右方;若重叠区域位于第一图像的左上角,且位于第二图像的右下角,确定第一屏幕位于第二屏幕的右下方;若重叠区域位于第一图像的上半区,且位于第二图像的下半区,确定第一屏幕位于第二屏幕的下方;若重叠区域位于第一图像的右上角,且位于第二图像的左下角,确定第一屏幕位于第二屏幕的左下方;若重叠区域位于第一图像的右半区,且位于第二图像的左半区,确定第一屏幕位于第二屏幕的左方;若重叠区域位于第一图像的右下区,且位于第二图像的左上区,确定第一屏幕位于第二屏幕的左上方。这样,通过确定重叠区域在不同照片的方位,可以识别出两个设备(第一屏幕和第二屏幕)的相对方位关系,无需用户手动设置,可以提高用户体验。
在一种可能的实现方式中,图像匹配算法包括尺度不变特征变换SIFT算法、加速稳健特征SURF算法、快速最近邻搜索算法中的至少一种。当然,图像匹配算法可以是其他算法,本申请不做限定。
在一种可能的实现方式中,根据第一图像和第二图像确定第一屏幕和第二屏幕的方位信息包括:若确定第一图像和第二图像包括目标物体,根据目标物体在第一图像和第二图像的方位确定第一屏幕相对于第二屏幕的方位;其中,目标物体包括人脸、人体动作或家具物品中的任一项。这样,通过确定目标物体在不同照片的方位,可以识别出两个设备(第一屏幕和第二屏幕)的相对方位关系,无需用户手动设置,可以提高用户体验。
在一种可能的实现方式中,根据目标物体在第一图像和第二图像的方位确定第一屏幕相对于第二屏幕的方位包括:若目标物***于第一图像的下半区,且位于第二图像的上半区,确定第一屏幕位于第二屏幕的上方;若目标物***于第一图像的左下角,且位于第二图像的右上角,确定第一屏幕位于第二屏幕的右上方;若目标物***于第一图像的左半区,且位于第二图像的右半区,确定第一屏幕位于第二屏幕的右方;若目标物***于第一图像的左下角,且位于第二图像的右下角,确定第一屏幕位于第二屏幕的右方;若目标物***于第一图像的左上角,且位于第二图像的右上角,确定第一屏幕位于第二屏幕的右方;若目标物***于第一图像的左上角,且位于第二图像的右下角,确定第一屏幕位于第二屏幕的右下方;若目标物***于第一图像的上半区,且位于第二图像的下半区,确定第一屏幕位于第二屏幕的下方;若目标物***于第一图像的右上角,且位于第二图像的左下角,确定第一屏幕位于第二屏幕的左下方;若目标物***于第一图像的右半区,且位于第二图像的左半区,确定第一屏幕位于第二屏幕的左方;若目标物***于第一图像的右下角,且位于第二图像的左下角,确定第一屏幕位于第二屏幕的左方;若目标物***于第一图像的右上角,且位于第二图像的左上角,确定第一屏幕位于第二屏幕的左方;若目标物***于第一图像的右下区,且位于第二图像的左上区,确定第一屏幕位于第二屏幕的左上方。这样,通过确定目标物体在不同照片的方位,可以识别出两个设备(第一屏幕和第二屏幕)的相对方位关系,无需用户手动设置,可以提高用户体验。
在一种可能的实现方式中,第一屏幕根据第一指示拍摄第一图像,第二屏幕根据第二指示拍摄第二图像之前,方法还包括:主机向第一屏幕和第二屏幕发送布局信息,布局信息包括至少一种组合模式;响应于用户从至少一种组合模式选择一种组合模式的操作,主机向第一屏幕和第二屏幕发送操作信息,第一屏幕和/或第二屏幕根据操作信息指示用户在第一位置进行第一手势或动作,在第二位置进行第二手势或动作;根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:若确定第一图像中包含第一手势或动作的区域大于等于预设阈值,确定第一屏幕位于第一位置;若确定第二图像中包含第二手势或动作的区域大于等于预设阈值,确定第二屏幕位于第二位置。这种基于用户的手势确定设备的方位的方案,可以提升屏幕拼接过程中用户的参与度和趣味性。
在一种可能的实现方式中,主机集成于第一屏幕或第二屏幕中,第一屏幕及第二屏幕组成第一屏组,方法还包括:第一屏幕或第二屏幕对第一屏幕和第二屏幕的资源情况进行评分;其中,资源情况包括中央处理单元CPU处理能力、只读存储器ROM存储能力或随机存取存储器RAM存储能力中的至少一项;若第一屏幕的评分高于第二屏幕的评分,主机集成于第一屏幕中;若第二屏幕的评分高于第一屏幕的评分,主机集成于第二屏幕中。当主机集成于第一屏幕中时,可以认为第一屏幕是主设备,当主机集成于第二屏幕中时,可以认为第二屏幕是主设备。
在一种可能的实现方式中,方法还包括:主机根据第一屏幕与第二屏幕的方位信息确定第一屏幕和第二屏幕分别对应的显示信息;主机向第一屏幕发送第一屏幕对应的显示信息;第一屏幕根据第一屏幕对应的显示信息显示对应的显示画面;主机向第二屏幕发送第二屏幕对应的显示信息;第二屏幕接收第二屏幕对应的显示信息后,根据第二屏幕对应的显示信息显示对应的显示画面。这样,第一屏幕和第二屏幕可以根据主机确定的显示信息显示对于的显示画面,能够满足更大画面的显示效果。
在一种可能的实现方式中,屏幕拼接***还包括第三屏幕,方法还包括:第一屏幕与第三屏幕互相发送第二短距信号;第二屏幕与第三屏幕互相发送第三短距信号;根据第二短距信号的RSSI确定第一屏幕与第三屏幕的距离;根据第三短距信号的RSSI确定第二屏幕与第三屏幕的距离;当第一屏幕和第三屏幕的距离小于等于第一屏幕和第三屏幕对应的最大组合半径时,将第一屏幕、第二屏幕及第三屏幕组成第二屏组;其中,第一屏幕和第三屏幕对应的最大组合半径是根据第一屏幕和第三屏幕的尺寸和天线的位置确定的;或者当第二屏幕和第三屏幕的距离小于等于第二屏幕和第三屏幕对应的最大组合半径时,将第一屏幕、第二屏幕及第三屏幕组成第二屏组;其中,第二屏幕和第三屏幕对应的最大组合半径是根据第二屏幕和第三屏幕的尺寸和天线的位置确定的。这样,第一屏幕和第三屏幕之间可以根据第二短距信号确定是否进行屏幕组合;或者第二屏幕和第三屏幕之间可以根据第三短距信号确定是否进行屏幕组合,无需用户进行复杂的操作,可以提高用户体验。
在一种可能的实现方式中,方法还包括:第一屏幕和/或第二屏幕显示第二提示信息,第二提示信息用于提示用户检测到新增设备,是否进行屏幕拼接;第一屏幕和/或第二屏幕获取用户的指示,用户的指示用于确认进行屏幕拼接。这样,可以根据用户的操作确定是否组屏,从而可以避免自动触发屏幕组合的误差。
在一种可能的实现方式中,若满足第一条件,方法还包括:第一屏幕和/或第二屏检测是否满足第一条件;若满足第一条件,第一屏幕和/或第二屏幕将第三屏幕从第二屏组中被移除。即第一屏幕或第二屏幕可以自动检测是否有屏幕(例如,第三屏幕)被移除,进而可以提示用户,以便用户随时了解屏组的情况。
在一种可能的实现方式中,第一条件包括:第三屏幕与第一屏幕的心跳连接断开,或第三屏幕与第二屏幕的心跳连接断开;或者主机接收用户删除第三屏幕的操作;或者第一屏幕和第三屏幕的距离大于第一屏幕和第三屏幕对应的最大组合半径;或者第二屏幕和第三屏幕的距离大于第二屏幕和第三屏幕对应的最大组合半径。
在一种可能的实现方式中,方法还包括:主机重新根据第一屏幕与第二屏幕的方位信息确定第一屏幕和第二屏幕分别对应的显示信息。即主机可以随着屏组中设备的变化情况适应性调整屏组的显示信息。
在一种可能的实现方式中,方法还包括:主机向第三屏幕发出第三指示,向第一屏幕发出第四指示,向第二屏幕发出第五指示;第三屏幕根据第三指示拍摄第三图像;第一屏幕根据第四指示拍摄第四图像;第二屏幕根据第五指示拍摄第五图像;第三屏幕向主机发送第三图像;第二屏幕向主机发送第五图像;主机接收第四图像和第五图像后,根据第三图像、第四图像和第五图像确定第一屏幕、第二屏幕和第三屏幕的方位信息。即当屏组中新增设备时,可以认为屏组发生了重组,可以使屏组中各设备重新拍摄图像,以便重新确定屏组中的各设备的相对方位关系。
在一种可能的实现方式中,第三屏幕从第二屏组中被移除,方法还包括:主机向第一屏幕发出第六指示,向第二屏幕发出第七指示;第一屏幕根据第六指示拍摄第六图像;第二屏幕根据第七指示拍摄第七图像;第一屏幕向主机发送第六图像;第二屏幕向主机发送第七图像;主机根据第六图像和第七图像确定第一屏幕和第二屏幕的方位信息。即当屏组中有设备被移除时,可以认为屏组发生了重组,可以使屏组中各设备重新拍摄图像,以便重新确定屏组中的各设备的相对方位关系。
第二方面,本申请实施例提供一种屏幕组合方法,应用于屏幕拼接***,屏幕拼接***包括至少两个屏幕及主机,至少两个屏幕包括第一屏幕及第二屏幕,第一屏幕及第二屏幕组成第一屏组,第一屏幕及第二屏幕通信连接,包括:主机向第一屏幕发出第一指示,第一指示用于指示第一屏幕拍摄第一图像;主机向第二屏幕发出第二指示,第二指示用于指示第二屏幕拍摄第二图像;主机根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。
基于本申请实施例提供的方法,在屏幕组合拼接过程中,可以根据设备(第一屏幕或第二屏幕)拍摄的图像(照片)识别出两个设备的相对方位关系,无需用户手动设置,可以提高用户体验。并且,本申请实施例可以通过动态监测设备间的距离,自动识别设备间的组合意图并启动屏幕拼装程序,无需用户手动设置,更加智能便捷。
在一种可能的实现方式中,主机集成于第一屏幕或第二屏幕中;或者主机独立于第一屏幕或第二屏幕。
在一种可能的实现方式中,主机根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:主机从第一屏幕接收第一图像;主机从第二屏幕接收第二图像;主机根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。
在一种可能的实现方式中,根据第一图像和第二图像确定第一屏幕和第二屏幕的方位信息包括:主机根据图像匹配算法对第一图像和第二图像进行图像匹配,确定第一图像和第二图像的重叠区域;根据重叠区域在第一图像的方位和第二图像的方位确定第一屏幕相对于第二屏幕的方位。
在一种可能的实现方式中,根据重叠区域在第一图像的方位确定第一屏幕相对于第二屏幕的方位包括:若重叠区域位于第一图像的下半区,且位于第二图像的上半区,确定第一屏幕位于第二屏幕的上方;若重叠区域位于第一图像的左下角,且位于第二图像的右上角,确定第一屏幕位于第二屏幕的右上方;若重叠区域位于第一图像的左半区,且位于第二图像的右半区,确定第一屏幕位于第二屏幕的右方;若重叠区域位于第一图像的左上角,且位于第二图像的右下角,确定第一屏幕位于第二屏幕的右下方;若重叠区域位于第一图像的上半区,且位于第二图像的下半区,确定第一屏幕位于第二屏幕的下方;若重叠区域位于第一图像的右上角,且位于第二图像的左下角,确定第一屏幕位于第二屏幕的左下方;若重叠区域位于第一图像的右半区,且位于第二图像的左半区,确定第一屏幕位于第二屏幕的左方;若重叠区域位于第一图像的右下区,且位于第二图像的左上区,确定第一屏幕位于第二屏幕的左上方。
在一种可能的实现方式中,图像匹配算法包括尺度不变特征变换SIFT算法、加速稳健特征SURF算法、快速最近邻搜索算法中的至少一种。
在一种可能的实现方式中,根据第一图像和第二图像确定第一屏幕和第二屏幕的方位信息包括:若确定第一图像和第二图像包括目标物体,根据目标物体在第一图像和第二图像的方位确定第一屏幕相对于第二屏幕的方位。
在一种可能的实现方式中,第一屏幕根据第一指示拍摄第一图像,第二屏幕根据第二指示拍摄第二图像之前,方法还包括:主机向第一屏幕和第二屏幕发送布局信息,布局信息包括至少一种组合模式;响应于用户从至少一种组合模式选择一种组合模式的操作,主机向第一屏幕和第二屏幕发送操作信息,所述操作信息用于指示用户在第一位置进行第一手势或动作,在第二位置进行第二手势或动作;根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:若确定第一图像中包含第一手势或动作的区域大于等于预设阈值,确定第一屏幕位于第一位置;若确定第二图像中包含第二手势或动作的区域大于等于预设阈值,确定第二屏幕位于第二位置。
在一种可能的实现方式中,方法还包括:主机根据第一屏幕与第二屏幕的方位信息确定第一屏幕和第二屏幕分别对应的显示信息;主机向第一屏幕发送第一屏幕对应的显示信息;主机向第二屏幕发送第二屏幕对应的显示信息。
第二方面中各实现方式的有益效果可以参考第一方面中相应实现方式的有益效果,在此不做赘述。
第三方面,本申请实施例提供一种电子设备,该电子设备可以是第一屏幕或第二屏幕,该电子设备包括:无线通信模块、存储器和一个或多个处理器;无线通信模块、存储器与处理器耦合;其中,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被处理器执行时,使得电子设备执行如第一方面或第二方面及其任一种可能的实现方式所述的方法。
第四方面,本申请实施例提供一种芯片***,该芯片***包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。上述芯片***可以应用于包括通信模块和存储器的电子设备(例如,第一屏幕或第二屏幕)。该接口电路用于从存储器接收信号,并向处理器发送接收到的信号,该信号包括存储器中存储的计算机指令。当处理器执行该计算机指令时,电子设备可以执行如任一方面及其任一种可能的实现方式所述的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令。当计算机指令在电子设备(例如,第一屏幕或第二屏幕)上运行时,使得该电子设备执行如第一方面及其任一种可能的实现方式所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面或第二方面及其任一种可能的实现方式所述的方法。
第七方面,本申请实施例提供一种软件升级***,包括第一屏幕、第二屏幕和主机,第一屏幕、第二屏幕和主机可以执行如第一方面及其任一种可能的实现方式所述的方法。
附图说明
图1A为现有技术中的一种屏幕组合的显示界面示意图;
图1B为本申请实施例提供的一种***架构示意图;
图1C为本申请实施例提供的又一种***架构示意图;
图2A为本申请实施例提供的一种电子设备的硬件结构示意图;
图2B为本申请实施例提供的一种电子设备的软件架构示意图;
图3A为本申请实施例提供的一种多个设备的连接示意图;
图3B为本申请实施例提供的又一种多个设备的连接示意图;
图3C为本申请实施例提供的一种显示示意图;
图3D为本申请实施例提供的又一种显示示意图;
图3E为本申请实施例提供的又一种显示示意图;
图3F为本申请实施例提供的又一种显示示意图;
图3G为本申请实施例提供的又一种显示示意图;
图3H为本申请实施例提供的又一种显示示意图;
图4为本申请实施例提供的一种信号交互示意图;
图5为本申请实施例提供的一种确定两个设备之间天线距离的示意图;
图6为本申请实施例提供的一种电视101和电视102拍摄的图像的重叠区域的示意图;
图7为本申请实施例提供的又一种电视101和电视102拍摄的图像的重叠区域的示意图;
图8为本申请实施例提供的一种人脸在电视101和电视102拍摄的图像的位置的示意图;
图9为本申请实施例提供的一种设备的排序示意图;
图10为本申请实施例提供的又一种信号交互示意图;
图11A为本申请实施例提供的又一种设备的排序示意图;
图11B为本申请实施例提供的又一种设备的排序示意图;
图12为本申请实施例提供的又一种信号交互示意图;
图13为本申请实施例提供的又一种显示示意图;
图14为本申请实施例提供的又一种信号交互示意图;
图15为本申请实施例提供的芯片***的结构示意图。
具体实施方式
本申请提供一种屏幕组合方法,针对自带摄像头的屏幕终端设备,在不借助任何其他特定传感器和人工输入方位的情况下,可以自动检测屏幕组合场景,并自动基于摄像头所拍摄图片的重叠区域的方位来计算出屏幕相对方位,从而完成屏幕组合过程,给用户以简便、智能化的屏幕拼接使用体验。
如图1B所示,为本申请实施例提供的一种屏幕拼接***的架构示意图。如图1B所示,该***可以包括:一个或多个电子设备,例如可以包括路由器100、电视101、电视102、电视103和电视104。电视101、电视102、电视103和电视104之间可以基于路由器100连接到同一个局域网。当然,屏幕拼接***还可以包括更多的电子设备,本申请不做限定。
如图1C所示,为本申请实施例提供的又一种屏幕拼接***的架构示意图。该***可以包括:一个或多个电子设备,例如可以包括电视101、电视102、电视103和电视104。电视101、电视102、电视103两两之间可以通过短距通信技术连接(例如,WIFI直连技术、蓝牙技术等)。当然,屏幕拼接***还可以包括更多的电子设备,本申请不做限定。
如图2A所示,电视101、电视102、电视103或电视104可以为屏幕110,屏幕110可以包括:处理器111,存储器112,无线通信处理模块113,电源开关114,有线LAN通信处理模块115,HDMI通信处理模块116,通用串行总线(universal serial bus,USB)通信处理模块117,显示屏118,音频模块119,扬声器119A,麦克风119B,等等。其中:
处理器111可用于读取和执行计算机可读指令。具体实现中,处理器111可主要包括控制器、运算器和寄存器。其中,控制器主要负责指令译码,并为指令对应的操作发出控制信号。运算器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。具体实现中,处理器111的硬件架构可以是专用集成电路(ASIC)架构、MIPS架构、ARM架构或者NP架构等等。
在一些实施例中,处理器111可以用于解析无线通信处理模块113和/有线LAN通信处理模块115接收到的信号。处理器111可以用于根据信号的解析结果进行相应的处理操作,如响应数据请求,又如根据该控制请求,控制显示屏118的显示和/或控制音频模块119的输出,等等。
在一些实施例中,处理器111还可用于生成无线通信处理模块113和/有线LAN通信处理模块115向外发送的信号,如蓝牙广播信号、信标信号等等。
存储器112与处理器111耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器112可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器112可以存储操作***,例如uCOS、VxWorks、RTLinux等嵌入式操作***。存储器112还可以存储通信程序,该通信程序可用于与其他设备进行通信。
无线通信处理模块113可以包括蓝牙(BT)通信处理模块113A、WLAN通信处理模块113B。
在一些实施例中,蓝牙(BT)通信处理模块113A、WLAN通信处理模块113B中的一项或多项可以监听到其他设备发射的信号,如探测请求、扫描信号等等,并可以发送响应信号,如探测响应、扫描响应等,使得其他设备可以发现屏幕110,并与其他设备建立无线通信连接,通过蓝牙或WLAN中的一种或多种无线通信技术与其他设备进行通信。WLAN通信处理模块113B可以包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。
在另一些实施例中,蓝牙(BT)通信处理模块113A、WLAN通信处理模块113B中的一项或多项也可以发射信号,如广播蓝牙信号、信标信号,使得其他设备可以发现屏幕110,并与其他设备建立无线通信连接,通过蓝牙或WLAN中的一种或多种无线通信技术与其他设备进行通信。
在一些实施例中,屏幕110可以通过WLAN无线通信技术连接上Internet,从而与Internet上的服务器(例如频道识别服务器,点播资源服务器,等等)建立通信连接。
无线通信处理模块113还可以包括红外线通信处理模块113C。红外线通信处理模块113C可以通过红外遥控技术与其他设备(如遥控器)进行通信。
电源开关114可用于控制电源向显示器118的供电。
有线LAN通信处理模块115可用于通过有线LAN和同一个LAN中的其他设备进行通信,还可用于通过有线LAN连接到WAN,可与WAN中的设备通信。
HDMI通信处理模块116可用于通过HDMI端口与机顶盒等设备进行通信。例如,HDMI通信处理模块116可以通过HDMI端口接收机顶盒发送的媒体内容,等等。
USB通信处理模块117可用于通过USB接口与其他设备进行通信。
显示屏118可用于显示图像,视频等。显示屏118可以采用液晶显示屏(liquidcrystal display,LCD),有机发光二极管(organic light-emitting diode,OLED)显示屏,有源矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED)显示屏,柔性发光二极管(flexible light-emitting diode,FLED)显示屏,量子点发光二极管(quantum dot emitting diodes,QLED)显示屏等等。
音频模块119可用于将数字音频信号转换成模拟音频信号输出,也可用于将模拟音频输入转换为数字音频信号。音频模块119还可以用于对音频信号编码和解码。在一些实施例中,音频模块119可以设置与处理器111中,或将音频模块119的部分功能模块设置与处理器111中。音频模块119可以通过总线接口(例如UART接口,等等)向无线通信模块113传递音频信号,实现通过蓝牙音箱播放音频信号的功能。
扬声器119A可以用于将音频模块119的发送的音频信号转换为声音信号。
在一些实施例中,屏幕110还可以包括有麦克风119B,也称“话筒”,“传声器”,用于将将声音信号转换为电信号。当发送语音控制指令时,用户可以通过人嘴发声,将声音信号输入到麦克风119B。
摄像头120可以用于捕获静态图像或视频。
可以理解的是,上述屏幕110可以具有比图2A中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图2A中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
如图2B所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
本申请实施例中,应用程序层还可以包括屏幕拼接管理服务,屏幕拼接管理服务用于管理多个设备间的屏幕拼接(屏幕组合)。屏幕拼接管理服务可以集成在***APP或第三方APP,例如智慧生活APP、智慧互联APP、设置应用等等,本申请不做限定。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2B所示,应用程序框架层可以包括活动管理器、窗口管理器,内容提供器,视图***,资源管理器,通知管理器等,本申请实施例对此不做任何限制。
活动管理器(Activity Manager):用于管理每个应用的生命周期。应用通常以Activity的形式运行在操作***中。对于每一个Activity,在活动管理器中都会有一个与之对应的应用记录(ActivityRecord),这个ActivityRecord记录了该应用的Activity的状态。活动管理器可以利用这个ActivityRecord作为标识,调度应用的Activity进程。
窗口管理器(WindowManagerService):用于管理在屏幕上使用的图形用户界面(graphical user interface,GUI)资源,具体可用于:获取显示屏大小、窗口的创建和销毁、窗口的显示与隐藏、窗口的布局、焦点的管理以及输入法和壁纸管理等。
应用程序框架层以下的***库和内核层等可称为底层***,底层***中包括用于提供显示服务的底层显示***,例如,底层显示***包括内核层中的显示驱动以及***库中的surface manager等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端振动,指示灯闪烁等。
如图2B所示,Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
如图2B所示,***库可以包括多个功能模块。例如:表面管理器(surfacemanager),媒体库(Media Libraries),OpenGL ES,SGL等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
OpenGL ES用于实现三维图形绘图,图像渲染,合成,和图层处理等。
SGL是2D绘图的绘图引擎。
如图2B所示,内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
如图3A所示,提供一种电视101、电视103、电视103和电视104的连接示意图,电视101、电视103、电视103和电视104分别可以包括处理器、显示屏、摄像头和通信单元等硬件模块。电视101、电视103、电视103和电视104之间可以通过通信单元相互连接,从而进行通信。
如图3B所示,提供又一种电视101、电视103、电视103和电视104的连接示意图。电视101、电视103、电视103和电视104可以分别包括应用程序层、应用程序框架层、安卓运行时和***库以及内核层。在本申请实施例中,电视101、电视103、电视103和电视104之间可以通过屏幕拼接管理服务自动进行屏幕拼接。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,“至少一个”是指一个或多个,“多个”是指两个或多于两个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
为了便于理解,以下结合附图对本申请实施例提供的屏幕组合方法进行具体介绍。
如图3C中的(a)所示,示出了电视101的主界面300。当电视101确定电视101和电视102的距离D1小于等于电视101和电视102对应的最大组合半径R1(最大组合半径的概念参见下文步骤406a的相关描述)时,如图3C中的(b)所示,电视101可以弹出弹框301,提示用户检测到附近有设备,弹框301中可以包括是的按钮302和否的按钮303,以便用户选择是否进行屏幕组合。如图3C中的(c)所示,响应于用户选中是的按钮302(例如,通过遥控器或触摸屏选中按钮302)的操作,如图3C中的(d)所示,可以向用户提示正在进行屏幕组合。
可选的,电视101也可以提示用户附近的设备的标识或ID。例如,如图3D所示,电视101可以弹出弹框304,提示用户检测到设备222xxx(222xxx是电视102的ID)在附近,弹框304中可以包括是的按钮302和否的按钮303,以便用户选择是否将当前设备与客厅的电视进行屏幕组合。
假设电视101和电视102在拼接前的显示内容分别如图3E中的(a)和(b)所示,进行屏幕拼接后,如图3E中的(c)所示,电视101和电视102可以共同显示电视101(例如,电视101为主设备,确定主设备的过程可以参考下文步骤409的相关描述)的桌面,或者,如图3E中的(d)所示,电视101和电视102可以分别显示电视101的桌面。
在一些实施例中,若由电视101和电视102构成的屏组(例如,第一屏组)中新增电视103(即当电视101与电视102拼接在一起时,新增电视103需要和电视101以及电视103进一步拼接在一起),示例性的,如图3F中的(a)所示,电视103可以逐渐靠近电视101以及电视102组成的屏组,而后,如图3F中的(b)所示,在电视101和电视102上可以弹出弹框305,提示用户检测到设备123xxx(123xxx是电视103的ID),弹框305中可以包括是的按钮302和否的按钮303,以便用户选择是否将该设备加入屏组。可选的,电视103也可以提示用户附近的设备的标识或ID。例如,电视103可以弹出弹框306,提示用户检测到设备111xxx(111xxx可以是电视101的ID),弹框306中可以包括是的按钮302和否的按钮303,以便用户选择是否进行屏幕组合。响应于用户点击是的按钮302的操作,如图3F中的(c)所示,电视101、电视102和电视103可以组成新的屏组(例如,第二屏组)。
在一些实施例中,如图3G中的(a)所示,电视101、电视102和电视103构成的屏组可以共同显示相应的显示内容,若需要从由电视101、电视102和电视103构成的屏组中删除电视103(例如,当电视101、电视102和电视103拼接在一起时,移除了电视103),示例性的,如图3G中的(b)所示,电视101和电视102可以弹出弹框307,提示用户检测到当前屏组中设备123xxx被移除。弹框307中可以包括确定按钮308。响应于用户点击确定按钮308,电视101确定弹框307中的信息用户已知,可以隐去弹框307。或者,弹框307可以在出现几秒(例如,2s)后自动隐去,避免影响电视101和电视102的显示内容。
在另一些实施例中,如图3H中的(a)所示,电视101、电视102和电视103构成的屏组可以共同显示相应的显示内容,若需要从由电视101、电视102和电视103构成的屏组中删除电视103(例如,当电视101、电视102和电视103拼接在一起时,移除了电视103),示例性的,如图3H中的(b)所示,电视101、电视102和电视103可以仍保持其之前的显示内容,且电视101和电视102可以弹出弹框309,提示用户确定将设备123xxx从当前屏组中移除?弹框309中可以包括确定按钮310和取消按钮311。响应于用户点击确定按钮310的操作,如图3H中的(c)所示,电视101和电视102可以共同显示相应的显示内容(电视101和电视102的显示内容可以是电视101(主设备)的处理器确定的),电视103单独显示相应的显示内容(电视103显示的内容可以是电视103的处理器确定的)。另外,若用户点击取消按钮311,如图3H中的(b)所示,电视101、电视102和电视103可以仍保持其之前的显示内容。
如图4所示,以电视101和电视102进行屏幕拼接为例,对本申请实施例提供的屏幕组合方法的具体实现过程进行说明,包括以下流程:
401、电视101启动屏幕拼接管理服务。
电视101开机后,可以启动屏幕拼接管理服务。其中,屏幕拼接管理服务可以集成在电视101上的***APP或第三方APP,例如智慧生活APP、智慧互联APP、设置应用等等,本申请不做限定。
402、电视102启动屏幕拼接管理服务。
电视102开机后,可以启动屏幕拼接管理服务。屏幕拼接管理服务可以参考步骤401中的相关描述,在此不做赘述。
403、电视101和电视102建立网络连接,共享电视101和电视102的设备信息。
在一种实现方式中,电视101和电视102可以接入同一个局域网,实现电视101和电视102建立网络连接。
电视101启动屏幕拼接管理服务后,电视101的屏幕拼接管理服务可以基于短距通信技术(例如,蓝牙/WIFI的靠近发现技术)完成对附近其他安装屏幕拼接管理服务的设备(例如,电视102)的发现。
类似的,电视102启动屏幕拼接管理服务后,屏幕拼接管理服务可以基于短距通信技术(例如,蓝牙/WIFI的靠近发现技术)完成对附近其他屏幕设备(例如,电视101)的发现。
在一些实施例中,电视101和电视102之间可以直接通过蓝牙/WIFI直连等技术相互发现并连接。
404a、电视101建立附近设备列表。
电视101的屏幕拼接管理服务可以与电视101连接的其他设备(例如,电视102)的屏幕拼接管理服务进行信息交互,得到附近设备列表。示例性的,电视101建立的附近设备列表可以如表1所示。
表1
附近设备(已连接) MAC/ID
电视102 MAC 2/ID2
当然,电视101还可以与更多设备连接,例如可以与电视103、电视104等设备连接。这样一来,电视101建立的附近设备列表可以如表2所示。
表2
附近设备(已连接) MAC/ID
电视102 MAC 2/ID2
电视103 MAC 3/ID3
电视104 MAC4/ID4
可选的,电视101还可以从附近设备列表中的各个设备获取各个设备的名称、尺寸信息(例如,设备的长和宽)、天线信息(天线在设备中的安装位置、天线的类型、精度、大小等)等信息。
404b、电视102建立附近设备列表。
示例性的,电视102建立的附近设备列表可以如表3所示。
表3
附近设备(已连接) MAC/ID
电视101 MAC 1/ID1
当然,电视102还可以与更多设备连接,例如可以与电视103、电视104等设备连接。这样一来,电视102建立的附近设备列表可以如表4所示。
表4
附近设备(已连接) MAC/ID
电视101 MAC 1/ID1
电视103 MAC 3/ID3
电视104 MAC4/ID4
可选的,电视102还可以从附近设备列表中的各个设备获取各个设备的名称、尺寸信息(例如,设备的长和宽)、天线信息(天线在设备中的安装位置、天线的类型、精度、大小等)等信息。
405、电视101和电视102之间发送短距信号。
在一种可能的设计中,电视101可以通过短距通信技术(例如蓝牙/WIFI信号测距技术),分别测量电视101与附近设备列表中的每个设备之间的距离。例如,电视101可以基于电视102发送的短距信号的接收信号强度指示(received signal strengthindication,RSSI)得到两台设备的间的距离D1。
电视102可以测量电视102与电视102的附近设备列表中的每个设备之间的距离。例如,电视102可以基于电视101发送的短距信号的RSSI得到两台设备间的距离D1。或者,可以由电视101将测量得到的距离D1通知给电视102。
406a、电视101确定电视101与电视102之间的距离D1小于等于电视101和电视102对应的最大组合半径R1。
电视101可以测量电视101与附近设备列表中的每个设备之间的距离,并确定两两设备(两个设备)之间的距离与该两两设备对应的最大组合半径的大小。
例如,电视101可以测量电视101与电视102之间的距离D1,并确定D1与电视101与电视102之间的最大组合半径R1的大小。
其中,电视101和电视102对应的最大组合半径可以是根据两个设备(电视101与电视102)的尺寸和天线的位置确定的。其中,天线例如可以是蓝牙天线、WIFI天线等。
示例性的,如图5中的(a)所示,假设两个设备(例如,电视101和电视102)的尺寸相同,高度为h,宽度为w,w>=h,以设备的左上角为坐标系的(0,0)坐标,屏幕中心点的坐标为(x,y),天线的坐标可以为(x1,y1)。天线的距离识别精度可以是a厘米。
在两个设备左右组合场景中,假设天线位于设备垂直方向的中间,即y1=y,且x1>x,则两个设备对应的组合半径=w+2*(x1-x)+2*a。类似的,在两个设备上下组合场景中,假设天线位于设备水平方向的中间,即x1=x,且y1>y,则两个设备对应的组合半径=h+2*(y1-y)+2*a。
如图5中的(b)所示,在两个设备对角组合的场景中,假设天线位于设备的边缘,例如分别位于左上方和右下方,此时,两个设备对应的组合半径=2*r+2*d+2*a;其中,d为天线距离设备中心点的距离,
Figure BDA0002939223870000131
r为设备中心点到边缘的最大距离,
Figure BDA0002939223870000132
可以理解的是,对角拼接场景下的两个设备对应的组合半径最大,为了尽可能保证组合半径有效,两个设备对应的最大组合半径可以为:R1=2*r+2*d+2*a。即两个设备对应的最大组合半径可以是根据电视101与电视102在对角拼接场景下天线的距离确定的。
上文描述了两个相同尺寸的设备对应的最大组合半径的算法。如果是两个不同大小的设备进行组合,如表5所示,假设设备1对应的尺寸参数为r1和d1,设备2对应的尺寸参数是r2和d2,则设备1和设备2的最大组合半径R2=(r1+r2)+(d1+d2)+2*a。其中,r1为设备1的中心点到边缘的最大距离,d1为设备1的天线距离设备1的中心点的距离;r2为设备2的中心点到边缘的最大距离,d2为设备2的天线距离设备2的中心点的距离;天线的距离识别精度是a厘米。
表5
Figure BDA0002939223870000133
若电视101和电视102之间的距离小于等于电视101和电视102对应的最大组合半径的大小,表示两台设备有拼装意图(组合意图)或为拼装状态(组合状态)。
下文以电视101与电视102为相同尺寸为例,当电视101确定电视101与电视102之间的距离小于等于R1时,可以将电视101与电视102标记为准备组合状态(准备拼接状态)。即电视101确定电视101与电视102间的距离(摆放间隔)小于等于电视101与电视102对应的最大组合半径R1时,确定电视101与电视102具有组合意图,可以准备进行组合。电视101可以将标记为准备组合状态的设备进行编组整理,形成屏幕组合准备设备组,即电视101和电视102可以形成一个屏幕组合准备设备组。
电视101还可以测量电视101与电视103之间的距离D2,并确定D2与电视101与电视103之间的最大组合半径R2的大小。电视101还可以测量电视101与电视104之间的距离D3,并确定D3与电视101与电视104之间的最大组合半径R3的大小。具体过程可以参考上文的相关描述,在此不做赘述。
406b、电视102确定电视101与电视102之间的距离D1小于等于电视101和电视102对应的最大组合半径R1。
电视102可以测量电视102与附近设备列表中的每个设备之间的距离,并确定两两设备之间的距离与该两两设备对应的最大组合半径的大小。
具体过程可以参考步骤406a的相关说明,在此不做赘述。
406c、电视102向电视101发送第一信息,第一信息包括电视102测量得到的距离信息。
电视101可以从电视102接收第一信息,第一信息中可以包含电视102与电视102的附近设备列表中的每个设备之间的距离,和/或电视102确定的两两设备之间的距离与该两两设备对应的最大组合半径的大小的比较结果。
可选的,电视101还可以从其他设备处接收其他设备测量得到的距离信息和/或比较结果。
又例如,电视101还可以从电视103接收第二信息。第二信息中可以包含电视103与电视103的附近设备列表中的每个设备之间的距离,和/或电视103确定的两两设备之间的距离与该两两设备对应的最大组合半径的大小的比较结果。
再例如,电视101还可以从电视104接收第三信息。第三信息中可以包含电视104与电视104的附近设备列表中的每个设备之间的距离,和/或电视104确定的两两设备之间的距离与该两两设备对应的最大组合半径的大小的比较结果。
这样,电视101可以确定当前局域网中每两个设备(两两设备)之间的距离,和/或,每两个设备之间的距离与该两个设备之间对应的最大组合半径的大小的比较结果,从而电视101可以确定出当前需要拼接在一起的多个设备,需要拼接在一起的多个设备可以组成一个屏组。
应该理解的是,同一个局域网中可以包括多个屏幕组合准备设备组(简称为屏组),每个屏组可以包括至少两个设备,该至少两个设备可以拼接在一起,该至少两个设备可以是直接或间接相连的。例如,电视101和电视102可以组成一个屏组,电视101和电视102可以直接相连(电视101和电视102的距离D1小于等于电视101和电视102对应的最大组合半径)。
406d、电视101向电视102发送第二信息,第二信息包括电视101测量得到的距离信息。
具体过程可以参考步骤406c,在此不做赘述。
若电视101确定电视101与电视102之间的距离D1小于电视101和电视102对应的最大组合半径R1,即确定电视101和电视102需要组成屏组,电视101可以执行步骤407。
407、电视101显示第一提示信息,第一提示信息用于提示用户是否组屏。
用户可以提前在电视101上进行屏幕组合策略设置,例如可以设置自动进行屏幕组合或手动进行屏幕组合。
若用户设置自动进行屏幕组合,电视101可以通过短距通信技术自动启动屏幕组合拼接的检测程序,屏幕组合拼接的检测程序即检测两两设备之间的距离是否小于等于该两个设备对应的最大组合半径,从而确定是否需要进行屏幕组合拼接。可选的,可以通过上电开机、待机唤醒等特定场景自动启动屏幕组合拼接的检测程序。
若用户设置手动进行屏幕组合,用户可以进入例如智慧生活APP、智慧互联APP或设置应用的屏幕拼接管理服务中,手动(例如通过点击特定控件)启动屏幕组装拼接的检测程序。电视101可以给出界面提示,根据用户的操作确定是否组屏,这样可以避免自动触发屏幕组合的误差。
示例性的,如图3C中的(a)所示,示出了电视101的主界面300。当电视101确定电视101和电视102的距离D1小于等于电视101和电视102对应的最大组合半径R1时,如图3C中的(b)所示,电视101可以弹出弹框301,提示用户检测到附近有设备,弹框301中可以包括是的按钮302和否的按钮303,以便用户选择是否进行屏幕组合。
可选的,电视101也可以提示用户附近的设备的标识或ID。例如,如图3D所示,电视101可以弹出弹框304,提示用户检测到设备222xxx(222xxx是电视102的ID)在附近,弹框304中可以包括是的按钮302和否的按钮303,以便用户选择是否将当前设备与客厅的电视进行屏幕组合。
可选的,电视102也可以显示第一提示信息。当电视101和电视102都给出界面提示供用户选择是否进行屏幕组合时,若用户在一个设备上已确认(例如,在电视101上已确认),电视101可以将用户的确认信息发送给电视102,无需用户在每个设备上一一确认。
在一些实施例中,可以由屏组中的任一个设备(例如,电视101)给出界面提示(例如显示第一提示信息),以便用户选择是否进行屏幕组合,即电视102可以不再进行界面提示。
408a、用户点击同意屏幕组合的按钮。
示例性的,如图3C中的(c)所示,响应于用户选中是的按钮302(例如,通过遥控器或触摸屏选中按钮302)的操作,如图3C中的(d)所示,可以向用户提示正在进行屏幕组合。响应于用户点击同意屏幕组合的按钮,可以执行步骤409。或者,若用户设置自动进行屏幕组合,此时可以无需在界面提示是否进行屏幕组合(即无需执行步骤407和步骤408),可以直接开始执行步骤409。
409、电视101和电视102组成屏组,选举主设备为电视101。
电视101可以根据当前屏组中各个设备的资源情况对各个设备的资源进行加权计分,按照资源评分由高到低进行排序,将实时资源评分最高的设备作为主设备。设备的资源情况可以包括中央处理单元(central processing unit,CPU)/只读存储器(read onlymemory,ROM)/随机存取存储器(random access memory,RAM)等硬件资源能力。确定出主设备之后,屏组中的其余设备可以作为从设备。例如,电视101可以作为主设备,那么电视102可以作为从设备。
可选的,用户可以手动选择主设备。例如,用户可以进入设备的设置应用中进行主设备的选择,或者,当自动选举出主设备后,电视101可以弹出弹框提示用户当前主设备的标识(例如,可以提醒用户当前主设备为客厅电视(即电视101)),用户可以基于弹框中确定按钮确认将电视101作为主设备,或者用户可以基于弹框中的修改按钮修改主设备。在这种情况下,电视101作为主设备时,可理解为包括用于控制屏组的主机,及用于显示图像的屏幕,所述主机集成在电视101中。
下面以电视101作为主设备进行说明:
410、主设备向电视102发送第一通知消息,第一通知消息用于通知电视102拍摄一张照片,并进行方位识别。
示例性的,在电视101和电视102进行组合的场景下,主设备(即电视101)可以采用摄像头拍摄照片,同时电视101可以向电视102发送第一通知消息,第一通知消息用于通知电视102采用摄像头拍摄一张照片(图像/图片),并通知电视102根据拍摄的照片和从其他设备获取的照片进行方位识别。
411a、电视101拍摄照片。
电视101可以通过屏幕拼接管理服务控制电视101自带的摄像头拍摄一张照片。
411b、电视102接收到第一通知消息后,拍摄照片。
电视102可以通过屏幕拼接管理服务控制电视102自带的摄像头拍摄一张照片。电视101与电视102可以协商在同一时刻拍摄照片。
412a、电视101向电视102发送电视101拍摄的照片。
412b、电视102向电视101发送电视102拍摄的照片。
412c、电视101根据电视101拍摄的照片和电视102拍摄的照片确定电视101和电视102之间的方位关系。
电视101从电视102接收电视102拍摄的照片后,可以通过图像匹配算法对自身拍摄的照片和电视102拍摄的照片进行图像匹配(比对),确定出两张照片的重叠区域(即相似的影像部分/影像内容)。其中,图像匹配即通过对两张照片的影像内容、特征、结构、关系、纹理及灰度等的对应关系,以及相似性和一致性的分析,确定两张照片中的重叠部分。
举例来说,图像匹配算法可以包括尺度不变特征变换(ScaleInvariant FeatureTransform,SIFT)、加速稳健特征(speed up robust features,SURF)、快速最近邻搜索算法(Flann-based matcher)等。
而后,电视101可以基于重叠区域在电视101拍摄的照片上的位置确定电视101与电视102的相对位置关系(相对方位关系)。即通过重叠区域位置跟摄像方位的映射关系,确定电视101和电视102的相对位置关系。电视101和电视102的相对方位关系例如可以是电视101位于电视102的上、下、左、右、左上、左下、右上、右下等方向。或者,电视101和电视102的相对方位关系可以是,电视102位于电视101的上、下、左、右、左上、左下、右上、右下等方向。
电视101和电视102的拼接模式可以包括上下拼接、左右拼接或对角拼接等三种模式。例如,当电视101位于电视102的上或下时,电视101和电视102的拼接模式可以是上下拼接;当电视101位于电视102的左或右时,电视101和电视102的拼接模式可以是左右拼接;当电视101位于电视102的左上、左下、右上或右下时,电视101和电视102的拼接模式可以是对角拼接。
示例性的,如图6所示,虚框代表屏幕电视101拍摄的照片,实线框代表屏幕电视102的拍摄的照片,则屏幕电视101相对于屏幕电视102的方位如表6所示。
表6
Figure BDA0002939223870000161
示例性的,如图6中的(a)所示,若重叠区域位于电视101拍摄的照片的右下区(右下角),且位于电视102拍摄的照片的左上区(左上角),确定电视101位于电视102的左上方(左上角)。如图6中的(b)所示,若重叠区域位于电视101拍摄的照片的下半区(正下方),且位于电视102拍摄的照片的上半区(正上方),确定电视101位于电视102的上方(正上方);如图6中的(c)所示,若重叠区域位于电视101拍摄的照片的左下角(左下方),且位于电视102拍摄的照片的右上角(右上方),确定电视101位于电视102的右上方(右上角);如图6中的(d)所示,若重叠区域位于电视101拍摄的照片的右半区,且位于电视102拍摄的照片的左半区,确定电视101位于电视102的左方;如图6中的(e)所示,若重叠区域位于电视101拍摄的照片的左半区,且位于电视102拍摄的照片的右半区,确定电视101位于电视102的右方;如图6中的(f)所示,若重叠区域位于电视101拍摄的照片的右上角,且位于电视102拍摄的照片的左下角,确定电视101位于电视102的左下方;如图6中的(g)所示,若重叠区域位于电视101拍摄的照片的上半区,且位于电视102拍摄的照片的下半区,确定电视101位于电视102的下方;如图6中的(h)所示,若重叠区域位于电视101拍摄的照片的左上角(左下方),且位于电视102拍摄的照片的右下角(右下方),确定电视101位于电视102的右下方(右下角)。
在一种可能的设计中,可以对电视101拍摄的照片和电视102拍摄的照片进行图像匹配,识别出两张照片的重叠区域。然后,分别计算重叠区域位于电视101拍摄的照片和电视102拍摄的照片中的哪个方位片区,而后通过表6查出电视101和电视102的相对位置。例如,重叠区域在电视101拍摄的照片的下半区,电视101相对于电视102的方位为上,即电视101位于电视102的上方。
在另一种可能的设计中,可以将每个设备(例如,电视101或电视102)拍摄的照片划分为若干个子区域(例如,6个/9个/12个等等,本申请不做限定),用电视101拍摄的照片中的每一个子区域与电视102拍摄的照片中的每个一个子区域进行匹配,确定匹配的子区域的编号,根据匹配的子区域的编号确定匹配的子区域位于电视101拍摄的照片和电视102拍摄的照片中的哪个方位片区,而后通过表6查出电视101和电视102的相对位置。
示例性的,如图7所示,假设电视101拍摄的照片可以划分为6个子区域,分别包括①④⑦②⑤⑧,电视102拍摄的照片可以划分为6个子区域,分别包括②⑤⑧③⑥⑨,可知匹配的子区域包括②⑤⑧,由于②⑤⑧位于电视101拍摄的照片中的右半区,通过查找表6可知电视101位于电视102的左边,即电视102位于电视101的右边。或者,由于②⑤⑧位于电视102拍摄的照片中的左半区,通过查找表6可知电视101位于电视102的左边,即电视102位于电视101的右边。
在又一种可能的设计中,在屏幕组合拼接的设备间相对方位识别过程中,可在设备的摄像头的视野中增加特定识别物,如人脸、人体动作、特定物体、器具等。
示例性的,屏幕组合拼装程序开始后,可以先在电视101和/或电视102上显示操作提示,让用户确保特定识别物(例如,一个人脸)在电视101和/或电视102的摄像头的画面内都可以看到,然后根据人脸在电视101和/或电视102拍摄的照片中的位置来确定设备间相对方位。
需要说明的是,特定识别物在每个设备拍摄的照片的位置可以有多个方向纬度,例如可以包括上下纬度和左右纬度。可以忽略相同方向纬度,以不同方向纬度作为判断设备间方位的依据。示例性的,如图8所示,假设电视101和电视102的拍摄的照片的子区域分别包括①②④⑤⑦⑧和②③⑤⑥⑧⑨,人脸位于区域②,由于区域②位于电视101拍摄的照片的右上方,且区域②位于电视102拍摄的照片的左上方,通过查找表7可以确定电视101位于电视102的左方。即忽略相同方向纬度(即忽略右上方和左上方中的“上”这一方向纬度),以“左”和“右”等方向纬度作为判断设备间方位的依据。
表7
Figure BDA0002939223870000171
可选的,可以在屏幕拼接管理服务中预设相关程序,以通过屏幕显示、声音提示等方式,提示用户给出配合措施,来加快摄像头对特定位置的识别,从而加快图片相对位置的识别速度,或者直接给某个设备的摄像头特定的图像输入来标记对应设备的方位。
412d、可选的,电视102根据电视102拍摄的照片和电视101拍摄的照片确定电视101和电视102之间的方位关系。
具体过程可以参考步骤412a中的描述,简单替换执行主体等内容即可,在此不做赘述。
412e、电视102向电视101发送电视102确定的电视101和电视102之间的方位关系。
413a、主设备确定屏组中的全部设备的相对方位关系。
主设备可以收集屏组中每两个设备之间的相对方位信息进行汇总,根据方位信息在一个坐标系中进行统一编排,为每一个设备分别记录编号、坐标等信息。
屏组中的所有设备的方位可以用数组表示,例如可以为(设备1,设备2,设备1相对与设备2的方向)。例如,假设屏组中仅包括电视101和电视102,则电视101相对与电视102的方位可以为:(电视101,电视102,上),表示电视101位于电视102的上方。或者,电视102相对与电视101的方位可以为:(电视102,电视101,下),表示电视102位于电视101的下方。
如图9中的(a)所示,若主设备确定电视101相对与电视102的方位为(电视101,电视102,左),即电视101位于电视102的左侧,则电视101与电视102可以在坐标系中左右排列,电视101和电视102的排序可以是(1)、(2),即从左至右分别为电视101、电视102。
如图9中的(b)所示,若主设备确定电视101相对与电视102的方位为(电视101,电视102,上),即电视101位于电视102的上方,则电视101与电视102可以在坐标系中下行排列,电视101和电视102的排序可以是(1)、(2),即从上至下分别为电视101、电视102。
在一种可能的设计中,主设备对屏组中的设备的编号方式可以是从左上到右下的方向逐个进行编码。示例性的,拼接在一起的设备可以排成n*m的矩阵,n可以表示行,m可以表示列,n为大于或等于1的整数,m为大于或等于1的整数,n和m不同时为1。例如,如图9中的(a)所示,假设n=1且m=2,在进行编码时,可以从第1列最上方的设备开始编码,将第1列的设备编码完毕后,可以接着从第2列最上方的设备开始编码,直至将第2列的设备编码完毕,这样可以将n*m个设备编码完毕。又例如,如图9中的(b)所示,假设n=2且m=1,在进行编码时,可以从第1行最左侧的设备开始编码,将第1行的设备编码完毕后,可以接着从第2行最左侧的设备开始编码,直至将第2行的设备编码完毕,这样可以将n*m个设备编码完毕。
413b、主设备将屏组拼接基础信息同步给电视102。
主设备可以将屏组拼接基础信息同步给屏组内的所有设备。屏组内的各个设备可以接收主设备发送的同步消息。其中,同步消息中包括屏组拼接基础信息。屏组拼接基础信息包括屏组中包括的设备个数、各个设备的MAC/ID、主从信息(即主设备和从设备的信息)、设备间的方位信息等。示例性的,当前屏组拼接基础信息可以包括屏组中包括的设备个数(例如,2个)、各个设备的MAC/ID(例如,电视101和电视102的ID)、主从信息(例如,主设备是电视101,从设备是电视102)、设备间的方位信息(例如,电视101和电视102为左右拼接状态)。
屏组内的各个设备接收到主设备发送的同步消息后,每两个设备之间可以建立心跳链接,实时维持设备间的组合关系。示例性的,假设电视101和电视102之间建立心跳链接,电视101可以每隔1分钟(或者,30s、2分钟、3分钟等)向电视102发送一个心跳监测数据帧(也可以称为心跳包),电视102接收到心跳监测数据帧后可以发送响应帧,则电视101确定连接正常,否则表示连接断开或异常。
414a、电视101根据屏组拼接基础信息分别确定电视101和电视102的显示信息。
电视101可以根据屏组拼接基础信息分别确定电视101和电视102的显示信息。即屏组***运行过程中,主设备可以基于屏组拼接基础信息实现屏组的画面输出显示排布、界面焦点切换等。
414c、电视101将电视102的显示信息发送给电视102。
414c、电视101根据电视101的显示信息显示对应的显示画面。
414d、电视102根据电视102的显示信息显示对应的显示画面。
例如,电视101可以将电视101的显示内容划分成N份(例如2份)后分配给屏组中的各个设备(例如,电视101(自身)和电视102)。其中,N小于等于屏组中包括的设备的数目。
示例性的,假设电视101和电视102在拼接前的显示内容分别如图3E中的(a)和(b)所示,拼接后,如图3E中的(c)所示,电视101和电视102可以共同显示主设备(例如,电视101)的桌面,或者,如图3E中的(d)所示,电视101和电视102可以分别显示主设备(例如,电视101)的桌面。
需要说明的是,屏幕组合使用过程中,屏组中的各个设备可以持续检测设备的增减,并对屏组拼接基础信息刷新处理。其中,新增设备可以是在当前屏组中新加入设备,减少设备可以是从当前屏组中主动拆除/移除部分设备,或者部分设备下电被动离线。电视101可以通过短距通信检测是否有新的设备加入。电视101可以根据心跳链接来检测确认对端设备是否离线。或者,电视101可以通过短距通信检测确定某个设备是否离线。或者,用户可以从管理界面手动移除某个设备。
在一些实施例中,若由电视101和电视102构成的屏组中新增电视103,如图10所示,屏组拼接方法还可以包括:
415a、电视101与电视102之间发送短距信号。
电视101与电视102之间可以周期性发送短距信号。
415b、电视102与电视103之间发送短距信号。
电视102与电视103之间可以周期性发送短距信号。
415c、电视101/电视102根据短距信号确定当前屏组中需要新增电视103。
电视101可以根据短距信号测量电视101与电视103的距离,电视102可以根据短距信号测量电视102与电视103的距离。
若满足以下条件之一,即可认为当前屏组中需要新增电视103。(1)、电视101与电视103之间的距离D2小于等于电视101与电视103之间对应的最大组合半径R2,即D2≤R2;(2)、电视102与电视103之间的距离D4小于等于电视102与电视103之间对应的最大组合半径R4,即D4≤R4。
电视101比较电视101与电视103之间的距离D2,以及电视101与电视103之间对应的最大组合半径R2的大小。可选的,电视101还可以从电视102获取电视102与电视103之间的距离D4,以及电视102与电视103之间对应的最大组合半径R4的信息。
若电视101确定电视101与电视103之间的距离D2小于或等于电视101与电视103之间的最大组合半径R2,即D2≤R2,电视101确定电视101、电视102和电视103可以组成屏组。其中,电视101与电视103之间的最大组合半径R2的确定过程可以参考步骤406a中的相关描述,在此不做赘述。
电视102可以比较电视102与电视103之间的距离D4,以及电视102与电视103之间对应的最大组合半径R4的大小。若D4>R4,电视102还可以从电视101获取D2≤R2的信息,从而确定当前屏组需要新增电视103。
示例性的,在电视101、电视102、电视103等3个设备进行组合的场景下,电视101与电视102可以在相应的最大组合半径(即电视101与电视102对应的最大组合版半径)内,电视101与电视103可以在相应的最大组合半径(即电视101与电视103对应的最大组合版半径)内,电视102与电视103可以不在相应的最大组合半径(即电视102与电视103对应的最大组合版半径)内。即电视103可以和电视102间接拼接(电视103和电视102的距离D2大于电视103和电视102对应的最大组合半径),电视103可以和电视101直接拼接(电视103和电视101的距离D3小于等于电视103和电视101对应的最大组合半径)。由于电视101和电视102拼接在一起,且电视101和电视103拼接在一起,故电视101、电视102和电视103是拼接在一起的。
电视101、电视102、电视103可以两两之间进行方位识别(即识别设备两两之间的拼接模式)。例如,电视101与电视102可以根据拍摄的照片进行方位识别(即识别电视101与电视102是上下拼接、左右拼接还是对角拼接),电视101与电视103可以根据拍摄的照片进行方位识别,电视102与电视103可以根据拍摄的照片进行方位识别。
需要说明的是,若电视103是已加入局域网的设备,电视101/电视102可以直接执行步骤416a。若电视103是新加入局域网的设备,则电视101、电视102可以基于局域网与电视103建立连接并基于短距通信技术相互发现;或者,电视101、电视102可以与电视103建立直接连接;电视101、电视102可以刷新附近设备列表,电视103可以新建附近设备列表;而后,电视101/电视102可以执行步骤416a。
416a、电视101和电视102显示第二提示信息,第二提示信息用于提示用户检测到当前屏组中新增设备。
示例性的,如图3F中的(b)所示,在电视101和电视102上可以弹出弹框305,提示用户检测到设备123xxx(123xxx是电视103的ID),弹框305中可以包括是的按钮302和否的按钮303,以便用户选择是否将该设备加入屏组。可选的,电视103也可以提示用户附近的设备的标识或ID。例如,电视103可以弹出弹框306,提示用户检测到设备111xxx(111xxx可以是电视101的ID),弹框306中可以包括是的按钮302和否的按钮303,以便用户选择是否将当前设备与电视103进行屏幕组合。
416b、用户点击同意将新增设备加入屏组的按钮。
响应于用户点击同意将新增设备加入屏组的按钮的操作,可以执行步骤417。
417、电视101、电视102和电视103组成屏组,选举主设备为电视101。
主设备选举过程可以参考步骤409中的描述,在此不做赘述。在这种情况下,电视101作为主设备时,可理解为包括用于控制屏组的主机,及用于显示图像的屏幕,所述主机集成在电视101中。
下面以电视101作为主设备进行说明:
418a、电视101向电视102发送第一通知消息。
第一通知消息用于通知电视102拍摄一张照片,并根据其拍摄的照片以及从其他设备获取的照片进行方位识别。
418b、电视101向电视103发送第二通知消息。
第二通知消息用于通知电视103拍摄一张照片,并根据其拍摄的照片以及从其他设备获取的照片进行方位识别。
419a、电视101拍摄照片。
电视101可以通过屏幕拼接管理服务控制电视101自带的摄像头拍摄一张照片。
419b、电视102接收到主设备发送的第一通知消息后,拍摄照片。
电视102可以通过屏幕拼接管理服务控制电视102自带的摄像头拍摄一张照片。电视101与电视102可以协商在同一时刻拍摄照片。
419c、电视103接收到主设备发送的第二通知消息后,拍摄照片。
电视103可以通过屏幕拼接管理服务控制电视103自带的摄像头拍摄一张照片。电视101与电视103可以协商在同一时刻拍摄照片。
可以理解的是,电视101、电视102、电视103可以协商在同一时刻拍摄照片。
电视101、电视102、电视103分别拍摄的照片可以共享,即可以执行步骤419d-419i:
419d、电视101向电视102发送电视101拍摄的照片。
419e、电视102向电视103发送电视102拍摄的照片。
419f、电视102向电视101发送电视102拍摄的照片。
419g、电视103向电视102发送电视103拍摄的照片。
419h、电视101向电视103发送电视101拍摄的照片。
419i、电视103向电视101发送电视103拍摄的照片。
420a、电视101分别获取电视102和电视103拍摄的照片,并识别电视101分别和电视102、电视103之间的方位关系。
相应的方位识别过程可以参考步骤412a的相关描述,在此不做赘述。
420b、电视102分别获取电视101和电视103拍摄的照片,并识别电视102分别和电视101、电视103之间的方位关系。
相应的方位识别过程可以参考步骤412a的相关描述,在此不做赘述。
420c、电视103分别获取电视101和电视102拍摄的照片,并识别电视103分别和电视101、电视102之间的方位关系。
相应的方位识别过程可以参考步骤412a的相关描述,在此不做赘述。
420d、电视102向电视101发送电视102与其他设备之间的方位关系。
420e、电视103向电视101发送电视103与其他设备之间的方位关系。
421、主设备确定屏组中的全部设备的相对方位关系。
示例性的,电视101和电视102的相对方位关系例如可以是电视101位于电视102的上、下、左、右、左上、左下、右上、右下等方向。
若屏组中包括两个以上的设备,则设备间两两识别相对方位。其中,每两个位于最大组合半径内的设备(即两个设备之间的距离小于等于这两个设备对应的最大组合半径)可以视为一个同半径屏幕组,识别每个同半径屏幕组的相对方位即可识别出每个设备相对其他设备的方位。
举例来说,假设屏组中包括3个设备,分别为电视101、电视102、电视103,设备之间两两识别相对方位,即可识别出每个设备相对其他设备的方位。
如图11A所示,以横向排列的3个设备为例,例如以电视101、电视102、电视103为例,假设设备间两两识别从左到右的顺序为电视103和电视101,电视101和电视102,确定该3个设备的排序过程可以为:先遍历两两设备间的方位确定电视103位于其余两个设备(电视101、电视102)的最左侧,再遍历两两设备间的方位确定电视101位于其余一个设备(电视102)的最左侧,再遍历两两设备间的方位确定电视102位于最右侧,最终确定电视103、电视101、电视102等3个设备的排序为(1)、(2)、(3),即从左至右分别为电视103、电视101、电视102。
在一些情况中,有部分设备之间的方位信息是冗余的,可以不使用这些信息,或者可以参考冗余的信息对识别结果进行校验。如图11A所示,根据电视103与电视101、电视101与电视102之间的方位完成整体屏组方位识别,此时电视103和电视102之间的方位信息是冗余的。可选的,可以基于电视103和电视102之间的方位对整体屏组方位进行校验,以便提高整体屏组方位识别的正确率。
另外,电视101、电视102、电视103也是下上拼接(纵向拼接)的,每个设备的相对方位关系参考上文的相关描述,在此不做赘述。
又例如,假设屏组中包括9个设备,分别为电视101、电视102、电视103、电视104、电视105、电视105、电视107、电视108和电视109。识别出设备两两之间的方位信息后,可以统计汇总两两设备的方位关系来汇总出屏组中的全部设备的相对方位关系。
如图11B所示,以横向排列的3个设备为例,例如以电视101、电视102和电视103为例,设备间两两识别从左到右的顺序为电视101和电视102,电视101和电视103,电视102和电视103,确定该3个设备的排序过程可以为:先读取到电视101和电视102的相对方位确定电视101在电视102的左侧,再读取电视101和电视103的相对方位确定电视103在电视101的右侧,至此还不能确定电视101和电视103的相对方位,需要进一步读取电视102和电视103的相对方位,最终确定电视101、电视102和电视103等3个设备的排序为(1)、(2)、(3),即从左至右分别为电视101、电视102和电视103。
以对角排列的3个设备为例,例如以电视101、电视105和电视109为例,设备间两两识别从左上到右下的顺序为电视101和电视105,电视101和电视109,电视105和电视109,可以通过遍历两两设备的相对方位后可以确定最左上方设备为电视101,电视105位于电视101的右下方,且电视109又位于电视105的右下方,因此最终确定电视101和电视109,电视105和电视109等3个设备的排序为(1)、(5)、(9),即从左上右下分别为电视101、电视105和电视109。
需要说明的是,上述是一种确定屏组中的全部设备的相对方位关系的方法举例,实际确定屏组中的全部设备的相对方位关系的方法还有其他多种,本申请不做限定。
在另一些实施例中,步骤420a-步骤421可以替换为步骤S1:
S1、电视101分别获取电视102和电视103拍摄的照片,并分别识别电视101、电视102之间的方位关系,电视101、电视103之间的方位关系电视,以及电视102和电视103之间的方位关系。即可以由主设备识别屏组中各个设备的方位关系,这样,电视102和电视103可以无需进行方位识别,可以节省电视102和电视103的功耗。
422a、主设备将屏组拼接基础信息同步给电视102。
422b、主设备将屏组拼接基础信息同步给电视103。
主设备将屏组拼接基础信息同步给屏组内的各个设备。
示例性的,当前屏组拼接基础信息可以包括屏组中包括的设备个数(例如,3个)、各个设备的MAC/ID(例如,电视101、电视102和电视103的ID)、主从信息(例如,主设备是电视101,从设备包括电视102和电视103)、设备间的方位信息(例如,电视103、电视101和电视102从左至右依次拼接)。
422c、电视101根据屏组拼接基础信息分别确定电视101、电视102和电视103的显示信息。
电视101可以根据屏组拼接基础信息分别确定电视101和电视102的显示信息。即屏组***运行过程中,主设备可以基于屏组拼接基础信息实现屏组的画面输出显示排布、界面焦点切换等。例如,电视101可以将电视101的显示内容划分成N份(例如3份)后分配给屏组中的各个设备(例如,电视101(自身)、电视102和电视103)。其中,N小于等于屏组中包括的设备的数目。
422d、电视101将电视102的显示信息发送给电视102。
422e、电视101将电视103的显示信息发送给电视103。
422f、电视101根据电视101的显示信息显示对应的显示画面。
422g、电视102根据电视102的显示信息显示对应的显示画面。
422h、电视103根据电视103的显示信息显示对应的显示画面。
在一些实施例中,可以从屏组中删除设备。其中,删除设备可以是从当前屏组中主动拆除/移除部分设备,或者部分设备下电被动离线。例如,屏组中的各个设备可以根据心跳链接来检测确认某个设备是否离线。或者,屏组中的各个设备可以通过短距通信检测确定某个设备是否离线。或者,响应于用户从管理界面手动删除屏组中某个设备的操作,可以标记该用户删除的设备的信息,从而屏组中的各个设备确定某个设备离线。
若从由电视101、电视102和电视103构成的屏组中删除(移除)电视103,如图12所示,屏组拼接方法还可以包括:
423a、电视101与电视102之间发送短距信号。
电视101与电视102之间可以周期性发送短距信号,以便进行根据短距信号测量电视101与电视102的距离。
423b、电视102与电视103之间发送短距信号。
电视101与电视103之间可以周期性发送短距信号,以便进行根据短距信号测量电视101与电视103的距离。
423c、电视101/电视102根据短距信号,从当前屏组中删除电视103。
示例性的,若电视101通过短距信号检测确定电视103是否离线,电视101可以比较电视101与电视103之间的距离D2,以及电视101与电视103之间对应的最大组合半径R2的大小。若电视101确定电视101与电视103之间的距离D2大于电视101与电视103之间的最大组合半径R2,即D2>R2,电视101确定电视101与电视103不处于拼接状态,从电视101、电视102和电视103组成的屏组中删除电视103。
电视102可以从电视101获取D2>R2的信息,从而确定当前屏组需要删除电视103。
424、电视101和电视102显示第三提示信息,第三提示信息用于提示用户检测到当前屏组中有设备被移除。
在一些实施例中,如图3G中的(a)所示,电视101、电视102和电视103构成的屏组可以共同显示相应的显示内容,若需要从由电视101、电视102和电视103构成的屏组中删除电视103(例如,当电视101、电视102和电视103拼接在一起时,移除了电视103),示例性的,如图3G中的(b)所示,电视101和电视102可以弹出弹框307,提示用户检测到当前屏组中设备123xxx被移除。弹框307中可以包括确定按钮308。响应于用户点击确定按钮308,电视101确定弹框307中的信息用户已知,可以隐去弹框307。或者,弹框307可以在出现几秒(例如,2s)后自动隐去,避免影响电视101和电视102的显示内容。
在另一些实施例中,当电视101/电视102检测到电视103被移除时,可以提示用户有设备被移除,响应于用户确定移除设备的操作,可以从当前屏组中移除该设备。示例性的,如图3H中的(a)所示,电视101、电视102和电视103构成的屏组可以共同显示相应的显示内容,若需要从由电视101、电视102和电视103构成的屏组中删除电视103(例如,当电视101、电视102和电视103拼接在一起时,移除了电视103),示例性的,如图3H中的(b)所示,电视101、电视102和电视103可以仍保持其之前的显示内容,且电视101和电视102可以弹出弹框309,提示用户确定将设备123xxx从当前屏组中移除?弹框309中可以包括确定按钮310和取消按钮311。响应于用户点击确定按钮310的操作,确定从屏组中移除电视103,如图3H中的(c)所示,电视101和电视102可以共同显示相应的显示内容(电视101和电视102的显示内容可以是电视101(主设备)的处理器确定的),电视103单独显示相应的显示内容(电视103显示的内容可以是电视103的处理器确定的)。另外,若用户点击取消按钮311,如图3H中的(b)所示,电视101、电视102和电视103可以仍保持其之前的显示内容。
需要说明的是,若移除的设备是当前屏组中的主设备,屏组中剩余设备可以重新选举主设备。
主设备刷新屏组拼接基础信息,并同步给屏组内的所有设备,以便屏组中各个设备知道哪个设备被移除屏组。示例性的,刷新后的屏组拼接基础信息可以包括屏组中包括的设备个数(例如,2个)、各个设备的MAC/ID(例如,电视101和电视102的ID)、主从信息(例如,主设备是电视101,从设备是电视102)、设备间的方位信息(例如,电视101和电视102为左右拼接状态)。屏组***运行过程中,主设备可以基于屏组拼接基础信息实现画面输出显示排布、界面焦点切换等。例如,电视101可以将电视101的显示内容划分成N份(例如2份)后分配给屏组中的各个设备(例如,电视101(自身)和电视102)。其中,N小于等于屏组中包括的设备的数目。
需要说明的是,当屏组有设备被移除时,可以认为屏组发生了重组,可以重新确定屏组中的各设备的相对方位关系,例如可以重新执行步骤410-414。
基于本申请实施例提供的方法,在屏幕组合拼接过程中,可以使用设备自带的摄像头拍摄照片,并对各个设备拍摄的照片进行识别比对,例如可以确定重叠区域所在照片的方位,进而识别出两个设备的相对方位关系,无需用户手动设置,可以提高用户体验。并且,本申请实施例可以通过动态监测设备间的距离,自动识别设备间的组合意图并启动屏幕拼装程序,无需用户手动设置,更加智能便捷。
另外,在一些实施例中,可以通过人机交互的方式确定出设备间的方位关系。例如,可以在电视101和电视102的摄像头的正前方区域使用不同的动作(手势)或物体来指示不同设备所处的方位。示例性的,如图13中的(a)所示,首先,电视101和电视102可以提示用户选择设备间的排列方式,设备间的排列方式例如可以包括:(1)上下排列;(2)左右排列。如图13中的(b)所示,响应于用户选择(2)左右排列时,电视101和电视102可以向用户提示“在左起第一个设备的摄像头的正前方区域比“手势1”,在左起第二个设备的摄像头的正前方区域比“手势2””。用户阅读提示后,可以在左起第一个设备(例如,电视101)的摄像头的正前方区域比“手势1”,在左起第二个设备(例如,电视102)的摄像头的正前方区域比“手势2”。电视101可以检测摄像头的视野中是否出现人的手部,若确定出现人的手部,可以抓拍一张图像。同时,电视102可以检测摄像头的视野中是否出现人的手部,若确定出现人的手部,可以抓拍一张图像。电视101确定自身拍摄的图像中的手势是否与“手势1”或“手势2”匹配,若与“手势1”匹配,确定电视101为左起第一个设备。电视102可以确定自身拍摄的图像中的手势是否与“手势1”或“手势2”匹配,若与“手势2”匹配,确定电视102为左起第二个设备。这样,可以确定出电视101在电视102的左边。这样,可以提升屏幕拼接过程中用户的参与度和趣味性。
如图14所示,本申请实施例提供一种屏幕组合方法,应用于屏幕拼接***,屏幕拼接***包括至少两个屏幕及主机,至少两个屏幕包括第一屏幕及第二屏幕,主机集成于第一屏幕或第二屏幕中;或者主机独立于第一屏幕或第二屏幕。该方法包括:
1401、第一屏幕及第二屏幕组成第一屏组,第一屏幕及第二屏幕通信连接。
可选的,第一屏幕及第二屏幕组成第一屏组之前,方法还包括:第一屏幕或第二屏幕以预设频率互相发送第一短距信号,第一屏幕或第二屏幕根据第一屏幕和第二屏幕之间传输的第一短距信号的接收信号强度指示RSSI确定第一屏幕和第二屏幕的距离;当第一屏幕和第二屏幕的距离小于等于第一屏幕和第二屏幕对应的最大组合半径时,第一屏幕与第二屏幕组成第一屏组;其中,第一屏幕和第二屏幕对应的最大组合半径是根据第一屏幕和第二屏幕的尺寸和天线的位置确定的。
可选的,第一屏幕及第二屏幕组成第一屏组之前,第一屏幕和/或第二屏幕可以显示第一提示信息,第一提示信息用于提示用户检测到附近有设备,是否进行屏幕拼接。
1402、主机向第一屏幕发出第一指示。
在一些实施例中,若主机置于第一屏幕(例如电视101)中,第一指示可以是主机向电视101的摄像头发出的信号。
1403、主机向第二屏幕发出第二指示。
在一些实施例中,若主机置于第一屏幕(例如电视101)中,电视101可以向第二屏幕(例如,电视102)发出第二指示,第二指示可以参考上文中的第一通知消息,在此不做赘述。
1404、第一屏幕根据第一指示拍摄第一图像。
其中,第一图像是指第一屏幕(例如,电视101)拍摄的图像(照片/图片)。
1405、第二屏幕根据第二指示拍摄第二图像。
其中,第二图像是指第二屏幕(例如,电视102)拍摄的图像(照片/图片)。
1406、根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。
在一些实施例中,根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:第一屏幕向第二屏幕发送第一图像;第二屏幕向第一屏幕发送第二图像;第一屏幕和第二屏幕分别根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息;第一屏幕和第二屏幕分别向主机发送第一屏幕确定的方位信息和第二屏幕确定的方位信息;主机根据第一屏幕确定的方位信息和第二屏幕确定的方位信息确定第一屏幕与第二屏幕的方位信息。
在另一些实施例中,根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:第一屏幕向主机发送第一图像;第二屏幕向主机发送第二图像;主机根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息。
在一种可能的设计中,根据第一图像和第二图像确定第一屏幕和第二屏幕的方位信息包括:根据图像匹配算法对第一图像和第二图像进行图像匹配,确定第一图像和第二图像的重叠区域;根据重叠区域在第一图像的方位和第二图像的方位确定第一屏幕相对于第二屏幕的方位。其中,图像匹配算法包括尺度不变特征变换SIFT算法、加速稳健特征SURF算法、快速最近邻搜索算法中的至少一种。
示例性的,若重叠区域位于第一图像的下半区,且位于第二图像的上半区,确定第一屏幕位于第二屏幕的上方;若重叠区域位于第一图像的左下角,且位于第二图像的右上角,确定第一屏幕位于第二屏幕的右上方;若重叠区域位于第一图像的左半区,且位于第二图像的右半区,确定第一屏幕位于第二屏幕的右方;若重叠区域位于第一图像的左上角,且位于第二图像的右下角,确定第一屏幕位于第二屏幕的右下方;若重叠区域位于第一图像的上半区,且位于第二图像的下半区,确定第一屏幕位于第二屏幕的下方;若重叠区域位于第一图像的右上角,且位于第二图像的左下角,确定第一屏幕位于第二屏幕的左下方;若重叠区域位于第一图像的右半区,且位于第二图像的左半区,确定第一屏幕位于第二屏幕的左方;若重叠区域位于第一图像的右下区,且位于第二图像的左上区,确定第一屏幕位于第二屏幕的左上方。
在另一种可能的设计中,若确定第一图像和第二图像包括目标物体,根据目标物体在第一图像和第二图像的方位确定第一屏幕相对于第二屏幕的方位。
在又一些实施例中,第一屏幕根据第一指示拍摄第一图像,第二屏幕根据第二指示拍摄第二图像之前,方法还包括:主机向第一屏幕和第二屏幕发送布局信息,布局信息包括至少一种组合模式;响应于用户从至少一种组合模式选择一种组合模式的操作,主机向第一屏幕和第二屏幕发送操作信息,第一屏幕和/或第二屏幕根据操作信息指示用户在第一位置进行第一手势或动作,在第二位置进行第二手势或动作;根据第一图像和第二图像确定第一屏幕与第二屏幕的方位信息包括:若确定第一图像中包含第一手势或动作的区域大于等于预设阈值,确定第一屏幕位于第一位置;若确定第二图像中包含第二手势或动作的区域大于等于预设阈值,确定第二屏幕位于第二位置。
可选的,第一屏幕或第二屏幕对第一屏幕和第二屏幕的资源情况进行评分;其中,资源情况包括中央处理单元CPU处理能力、只读存储器ROM存储能力或随机存取存储器RAM存储能力中的至少一项;若第一屏幕的评分高于第二屏幕的评分,主机集成于第一屏幕中;若第二屏幕的评分高于第一屏幕的评分,主机集成于第二屏幕中。
可选的,主机根据第一屏幕与第二屏幕的方位信息确定第一屏幕和第二屏幕分别对应的显示信息;主机向第一屏幕发送第一屏幕对应的显示信息;第一屏幕根据第一屏幕对应的显示信息显示对应的显示画面;主机向第二屏幕发送第二屏幕对应的显示信息;第二屏幕接收第二屏幕对应的显示信息后,根据第二屏幕对应的显示信息显示对应的显示画面。
可选的,屏幕拼接***还包括第三屏幕,方法还包括:第一屏幕与第三屏幕互相发送第二短距信号,第二屏幕与第三屏幕互相发送第三短距信号;根据第二短距信号的RSSI确定第一屏幕与第三屏幕的距离;根据第三短距信号的RSSI确定第二屏幕与第三屏幕的距离;当第一屏幕和第三屏幕的距离小于等于第一屏幕和第三屏幕对应的最大组合半径时,将第一屏幕、第二屏幕及第三屏幕组成第二屏组;其中,第一屏幕和第三屏幕对应的最大组合半径是根据第一屏幕和第三屏幕的尺寸和天线的位置确定的;或者当第二屏幕和第三屏幕的距离小于等于第二屏幕和第三屏幕对应的最大组合半径时,将第一屏幕、第二屏幕及第三屏幕组成第二屏组;其中,第二屏幕和第三屏幕对应的最大组合半径是根据第二屏幕和第三屏幕的尺寸和天线的位置确定的。
可选的,第一屏幕和/或第二屏幕显示第二提示信息,第二提示信息用于提示用户检测到新增设备,是否进行屏幕拼接。
在一种可能的设计中,若满足第一条件,方法还包括:第一屏幕和/或第二屏幕显示第三提示信息,第三提示信息用于提示用户第三屏幕从当前屏组中被移除。
其中,第一条件包括:第三屏幕与第一屏幕的心跳连接断开,或第三屏幕与第二屏幕的心跳连接断开;或者主机接收用户删除第三屏幕的操作;或者第一屏幕和第三屏幕的距离大于第一屏幕和第三屏幕对应的最大组合半径;或者第二屏幕和第三屏幕的距离大于第二屏幕和第三屏幕对应的最大组合半径。
第三屏幕从当前屏组中被移除后,方法还包括:主机重新根据第一屏幕与第二屏幕的方位信息确定第一屏幕和第二屏幕分别对应的显示信息。
需要说明的是,图14所述的实施例中的第一屏幕可以为前述实施例中的电视101,第二屏幕可以为电视102,第三屏幕可以为电视103,图14所述的实施例中未详述的部分,可以参考前述实施例,在此不做赘述。
基于本申请实施例提供的方法,在屏幕组合拼接过程中,可以使用设备(第一屏幕或第二屏幕)自带的摄像头拍摄照片,并对各个设备拍摄的照片进行识别比对,例如可以确定重叠区域所在照片的方位,进而识别出两个设备的相对方位关系,无需用户手动设置,可以提高用户体验。并且,本申请实施例可以通过动态监测设备间的距离,自动识别设备间的组合意图并启动屏幕拼装程序,无需用户手动设置,更加智能便捷。
本申请另一实施例提供一种芯片***,如图15所示,该芯片***包括至少一个处理器1501和至少一个接口电路1502。处理器1501和接口电路1502可通过线路互联。例如,接口电路1502可用于从其它装置(例如,第一屏幕的存储器,第二屏幕的存储器或第三屏幕的存储器)接收信号。又例如,接口电路1502可用于向其它装置(例如处理器1501)发送信号。
例如,接口电路1502可读取设备中存储器中存储的指令,并将该指令发送给处理器1501。当所述指令被处理器1501执行时,可使得第一屏幕或第二屏幕(如图2A所示的屏幕110)执行上述实施例中的各个步骤。
当然,该芯片***还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请另一些实施例提供了一种第一屏幕(如图2A所示的屏幕110),该第一屏幕可以包括:通信模块、存储器和一个或多个处理器。该通信模块、存储器与处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在第一屏幕或第二屏幕(如图2A所示的屏幕110)上运行时,使得屏幕110执行上述方法实施例中电视101或电视102执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中第一屏幕(例如,电视101)或第二屏幕(例如,电视102)执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种屏幕组合方法,应用于屏幕拼接***,所述屏幕拼接***包括至少两个屏幕及主机,所述至少两个屏幕包括第一屏幕及第二屏幕,其特征在于,包括:
所述第一屏幕及所述第二屏幕组成第一屏组,所述第一屏幕及所述第二屏幕通信连接;
所述主机向所述第一屏幕发出第一指示,向所述第二屏幕发出第二指示;
所述第一屏幕根据所述第一指示拍摄第一图像;
所述第二屏幕根据所述第二指示拍摄第二图像;
根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息包括:
所述第一屏幕向所述第二屏幕发送所述第一图像;
所述第二屏幕向所述第一屏幕发送所述第二图像;
所述第一屏幕和所述第二屏幕分别根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息;
所述第一屏幕向所述主机发送所述第一屏幕确定的方位信息;
所述第二屏幕向所述主机发送所述第二屏幕确定的方位信息;
所述主机根据所述第一屏幕确定的方位信息和所述第二屏幕确定的方位信息确定所述第一屏幕与所述第二屏幕的方位信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息包括:
所述第一屏幕向所述主机发送所述第一图像;
所述第二屏幕向所述主机发送所述第二图像;
所述主机根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一屏幕及所述第二屏幕组成第一屏组之前,所述方法还包括:
所述第一屏幕或所述第二屏幕以预设频率互相发送第一短距信号,所述第一屏幕或所述第二屏幕根据所述第一屏幕和所述第二屏幕之间传输的第一短距信号的接收信号强度指示RSSI确定所述第一屏幕和第二屏幕的距离;
当所述第一屏幕和所述第二屏幕的距离小于等于所述第一屏幕和所述第二屏幕对应的最大组合半径时,所述第一屏幕与所述第二屏幕组成所述第一屏组;
其中,所述第一屏幕和所述第二屏幕对应的所述最大组合半径是根据所述第一屏幕和所述第二屏幕的尺寸和天线的位置确定的。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一屏幕及所述第二屏幕组成第一屏组之前,所述方法还包括:
所述第一屏幕和/或所述第二屏幕显示第一提示信息;
所述第一屏幕和/或所述第二屏幕获取用户的指示,所述指示用于确认进行屏幕拼接。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一屏幕和所述第二屏幕的方位信息包括:
根据图像匹配算法对所述第一图像和所述第二图像进行图像匹配,确定所述第一图像和所述第二图像的重叠区域;
根据所述重叠区域在所述第一图像的方位和所述第二图像的方位确定所述第一屏幕相对于所述第二屏幕的方位。
7.根据权利要求6所述的方法,其特征在于,所述根据所述重叠区域在所述第一图像的方位确定所述第一屏幕相对于所述第二屏幕的方位包括:
若所述重叠区域位于所述第一图像的下半区,且位于所述第二图像的上半区,确定所述第一屏幕位于所述第二屏幕的上方;
若所述重叠区域位于所述第一图像的左下角,且位于所述第二图像的右上角,确定所述第一屏幕位于所述第二屏幕的右上方;
若所述重叠区域位于所述第一图像的左半区,且位于所述第二图像的右半区,确定所述第一屏幕位于所述第二屏幕的右方;
若所述重叠区域位于所述第一图像的左上角,且位于所述第二图像的右下角,确定所述第一屏幕位于所述第二屏幕的右下方;
若所述重叠区域位于所述第一图像的上半区,且位于所述第二图像的下半区,确定所述第一屏幕位于所述第二屏幕的下方;
若所述重叠区域位于所述第一图像的右上角,且位于所述第二图像的左下角,确定所述第一屏幕位于所述第二屏幕的左下方;
若所述重叠区域位于所述第一图像的右半区,且位于所述第二图像的左半区,确定所述第一屏幕位于所述第二屏幕的左方;
若所述重叠区域位于所述第一图像的右下区,且位于所述第二图像的左上区,确定所述第一屏幕位于所述第二屏幕的左上方。
8.根据权利要求6或7所述的方法,其特征在于,
所述图像匹配算法包括尺度不变特征变换SIFT算法、加速稳健特征SURF算法、快速最近邻搜索算法中的至少一种。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一屏幕和所述第二屏幕的方位信息包括:
若确定所述第一图像和所述第二图像包括目标物体,根据所述目标物体在所述第一图像和所述第二图像的方位确定所述第一屏幕相对于所述第二屏幕的方位。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述第一屏幕根据所述第一指示拍摄第一图像,所述第二屏幕根据所述第二指示拍摄第二图像之前,所述方法还包括:
所述主机向所述第一屏幕和所述第二屏幕发送布局信息,所述布局信息包括至少一种组合模式;
响应于用户从所述至少一种组合模式选择一种组合模式的操作,所述主机向所述第一屏幕和所述第二屏幕发送操作信息,所述第一屏幕和/或所述第二屏幕根据所述操作信息指示所述用户在第一位置进行第一手势或动作,在第二位置进行第二手势或动作;
所述根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息包括:
若确定所述第一图像中包含所述第一手势或动作的区域大于等于预设阈值,确定所述第一屏幕位于所述第一位置;若确定所述第二图像中包含所述第二手势或动作的区域大于等于所述预设阈值,确定所述第二屏幕位于所述第二位置。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述主机集成于所述第一屏幕或所述第二屏幕中,所述第一屏幕及所述第二屏幕组成第一屏组,所述方法还包括:
所述第一屏幕或所述第二屏幕对所述第一屏幕和所述第二屏幕的资源情况进行评分;其中,所述资源情况包括中央处理单元CPU处理能力、只读存储器ROM存储能力或随机存取存储器RAM存储能力中的至少一项;
若所述第一屏幕的评分高于所述第二屏幕的评分,所述主机集成于所述第一屏幕中;
若所述第二屏幕的评分高于所述第一屏幕的评分,所述主机集成于所述第二屏幕中。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:
所述主机根据所述第一屏幕与所述第二屏幕的方位信息确定所述第一屏幕和所述第二屏幕分别对应的显示信息;
所述主机向所述第一屏幕发送所述第一屏幕对应的显示信息;
所述第一屏幕根据所述第一屏幕对应的显示信息显示对应的显示画面;
所述主机向所述第二屏幕发送所述第二屏幕对应的显示信息;
所述第二屏幕接收所述第二屏幕对应的显示信息后,根据所述第二屏幕对应的显示信息显示对应的显示画面。
13.根据权利要求1-12任一项所述的方法,其特征在于,所述屏幕拼接***还包括第三屏幕,所述方法还包括:
所述第一屏幕与所述第三屏幕互相发送第二短距信号;
所述第二屏幕与所述第三屏幕互相发送第三短距信号;
根据所述第二短距信号的RSSI确定所述第一屏幕与所述第三屏幕的距离;根据所述第三短距信号的RSSI确定所述第二屏幕与所述第三屏幕的距离;
当所述第一屏幕和第三屏幕的距离小于等于所述第一屏幕和所述第三屏幕对应的最大组合半径时,将所述第一屏幕、所述第二屏幕及所述第三屏幕组成第二屏组;其中,所述第一屏幕和所述第三屏幕对应的所述最大组合半径是根据所述第一屏幕和所述第三屏幕的尺寸和天线的位置确定的;或者
当所述第二屏幕和第三屏幕的距离小于等于所述第二屏幕和所述第三屏幕对应的最大组合半径时,将所述第一屏幕、所述第二屏幕及所述第三屏幕组成第二屏组;其中,所述第二屏幕和所述第三屏幕对应的所述最大组合半径是根据所述第二屏幕和所述第三屏幕的尺寸和天线的位置确定的。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
所述第一屏幕和/或所述第二屏幕显示第二提示信息;
所述第一屏幕和/或所述第二屏幕获取用户的指示,所述指示用于确认进行屏幕拼接。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
所述第一屏幕和/或所述第二屏检测是否满足第一条件;
若满足第一条件,所述第一屏幕和/或所述第二屏幕将所述第三屏幕从所述第二屏组中被移除。
16.根据权利要求15所述的方法,其特征在于,所述第一条件包括:
所述第三屏幕与所述第一屏幕的心跳连接断开,或所述第三屏幕与所述第二屏幕的心跳连接断开;或者
所述主机接收用户删除所述第三屏幕的操作;或者
所述第一屏幕和所述第三屏幕的距离大于所述第一屏幕和所述第三屏幕对应的最大组合半径;或者所述第二屏幕和所述第三屏幕的距离大于所述第二屏幕和所述第三屏幕对应的最大组合半径。
17.一种屏幕组合方法,应用于屏幕拼接***,所述屏幕拼接***包括至少两个屏幕及主机,所述至少两个屏幕包括第一屏幕及第二屏幕,所述第一屏幕及所述第二屏幕组成第一屏组,所述第一屏幕及所述第二屏幕通信连接,其特征在于,包括:
所述主机向所述第一屏幕发出第一指示,所述第一指示用于指示所述第一屏幕拍摄第一图像;
所述主机向所述第二屏幕发出第二指示,所述第二指示用于指示所述第二屏幕拍摄第二图像;
所述主机根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息。
18.根据权利要求17所述的方法,其特征在于,所述主机根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息包括:
所述主机从所述第一屏幕接收所述第一图像;
所述主机从所述第二屏幕接收所述第二图像;
所述主机根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息。
19.根据权利要求17或18所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一屏幕和所述第二屏幕的方位信息包括:
所述主机根据图像匹配算法对所述第一图像和所述第二图像进行图像匹配,确定所述第一图像和所述第二图像的重叠区域;
根据所述重叠区域在所述第一图像的方位和所述第二图像的方位确定所述第一屏幕相对于所述第二屏幕的方位。
20.根据权利要求19所述的方法,其特征在于,所述根据所述重叠区域在所述第一图像的方位确定所述第一屏幕相对于所述第二屏幕的方位包括:
若所述重叠区域位于所述第一图像的下半区,且位于所述第二图像的上半区,确定所述第一屏幕位于所述第二屏幕的上方;
若所述重叠区域位于所述第一图像的左下角,且位于所述第二图像的右上角,确定所述第一屏幕位于所述第二屏幕的右上方;
若所述重叠区域位于所述第一图像的左半区,且位于所述第二图像的右半区,确定所述第一屏幕位于所述第二屏幕的右方;
若所述重叠区域位于所述第一图像的左上角,且位于所述第二图像的右下角,确定所述第一屏幕位于所述第二屏幕的右下方;
若所述重叠区域位于所述第一图像的上半区,且位于所述第二图像的下半区,确定所述第一屏幕位于所述第二屏幕的下方;
若所述重叠区域位于所述第一图像的右上角,且位于所述第二图像的左下角,确定所述第一屏幕位于所述第二屏幕的左下方;
若所述重叠区域位于所述第一图像的右半区,且位于所述第二图像的左半区,确定所述第一屏幕位于所述第二屏幕的左方;
若所述重叠区域位于所述第一图像的右下区,且位于所述第二图像的左上区,确定所述第一屏幕位于所述第二屏幕的左上方。
21.根据权利要求19或20所述的方法,其特征在于,
所述图像匹配算法包括尺度不变特征变换SIFT算法、加速稳健特征SURF算法、快速最近邻搜索算法中的至少一种。
22.根据权利要求17所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一屏幕和所述第二屏幕的方位信息包括:
若确定所述第一图像和所述第二图像包括目标物体,根据所述目标物体在所述第一图像和所述第二图像的方位确定所述第一屏幕相对于所述第二屏幕的方位。
23.根据权利要求17所述的方法,其特征在于,所述第一屏幕根据所述第一指示拍摄第一图像,所述第二屏幕根据所述第二指示拍摄第二图像之前,所述方法还包括:
所述主机向所述第一屏幕和所述第二屏幕发送布局信息,所述布局信息包括至少一种组合模式;
响应于用户从所述至少一种组合模式选择一种组合模式的操作,所述主机向所述第一屏幕和所述第二屏幕发送操作信息,所述操作信息用于指示用户在第一位置进行第一手势或动作,在第二位置进行第二手势或动作;
所述根据所述第一图像和所述第二图像确定所述第一屏幕与所述第二屏幕的方位信息包括:
若确定所述第一图像中包含所述第一手势或动作的区域大于等于预设阈值,确定所述第一屏幕位于所述第一位置;若确定所述第二图像中包含所述第二手势或动作的区域大于等于所述预设阈值,确定所述第二屏幕位于所述第二位置。
24.根据权利要求17-23任一项所述的方法,其特征在于,所述方法还包括:
所述主机根据所述第一屏幕与所述第二屏幕的方位信息确定所述第一屏幕和所述第二屏幕分别对应的显示信息;
所述主机向所述第一屏幕发送所述第一屏幕对应的显示信息;
所述主机向所述第二屏幕发送所述第二屏幕对应的显示信息。
25.一种电子设备,其特征在于,所述电子设备包括:显示屏、无线通信模块、存储器和一个或多个处理器;所述无线通信模块、所述存储器与所述处理器耦合;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求17-24中任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,包括计算机指令;
当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求17-24中任一项所述的方法。
CN202110171975.0A 2021-02-08 2021-02-08 一种屏幕组合方法和装置 Pending CN114942735A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110171975.0A CN114942735A (zh) 2021-02-08 2021-02-08 一种屏幕组合方法和装置
US18/264,517 US20240045638A1 (en) 2021-02-08 2021-12-09 Screen Combination Method and Apparatus
EP21924388.8A EP4273691A1 (en) 2021-02-08 2021-12-09 Screen combination method and apparatus
PCT/CN2021/136884 WO2022166395A1 (zh) 2021-02-08 2021-12-09 一种屏幕组合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171975.0A CN114942735A (zh) 2021-02-08 2021-02-08 一种屏幕组合方法和装置

Publications (1)

Publication Number Publication Date
CN114942735A true CN114942735A (zh) 2022-08-26

Family

ID=82741872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171975.0A Pending CN114942735A (zh) 2021-02-08 2021-02-08 一种屏幕组合方法和装置

Country Status (4)

Country Link
US (1) US20240045638A1 (zh)
EP (1) EP4273691A1 (zh)
CN (1) CN114942735A (zh)
WO (1) WO2022166395A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644757B2 (en) * 2008-12-04 2014-02-04 Nokia Corporation Method and system for creation and control of virtual rendering devices
US9092184B2 (en) * 2012-06-22 2015-07-28 Harborside Press, LLC Interactive synchronized multi-screen display
US10169534B2 (en) * 2013-09-30 2019-01-01 Toshiba Medical Systems Corporation Medical image display system and method
GB2546230B (en) * 2015-02-27 2019-01-09 Displaylink Uk Ltd System for identifying and using multiple display devices
CN104731541B (zh) * 2015-03-17 2019-01-15 联想(北京)有限公司 一种控制方法、电子设备及***
JP2017037427A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 情報処理装置、表示制御方法、及びプログラム
CN106020757B (zh) * 2016-05-16 2019-10-29 联想(北京)有限公司 一种屏幕拼接方法及电子设备
CN108304148B (zh) * 2017-01-11 2020-10-16 南京中兴新软件有限责任公司 一种多屏拼接显示的方法和装置
CN108509167B (zh) * 2018-02-12 2021-10-22 苏州佳世达电通有限公司 屏幕拼接方法及屏幕***
US11720789B2 (en) * 2019-06-07 2023-08-08 Apple Inc. Fast nearest neighbor search for output generation of convolutional neural networks

Also Published As

Publication number Publication date
EP4273691A1 (en) 2023-11-08
WO2022166395A1 (zh) 2022-08-11
US20240045638A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
WO2021018008A1 (zh) 一种投屏方法与电子设备
CN107113226B (zh) 用于识别周边设备的电子装置及其方法
US9207902B2 (en) Method and apparatus for implementing multi-vision system by using multiple portable terminals
RU2619889C2 (ru) Способ и устройство для совместного использования данных между различными сетевыми устройствами
CN106060378B (zh) 用于设置拍摄模块的装置和方法
KR20170105444A (ko) 컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작
EP4336354A1 (en) Distributed display method for application interface, and terminal
US9947137B2 (en) Method for effect display of electronic device, and electronic device thereof
EP3780634A1 (en) Lending of local processing capability of interconnected terminals
KR20180017638A (ko) 이동단말기 및 그 제어방법
CN114942735A (zh) 一种屏幕组合方法和装置
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
CN114449171B (zh) 控制摄像头的方法、终端设备、存储介质及程序产品
CN113485596B (zh) 虚拟模型的处理方法、装置、电子设备及存储介质
US10359867B2 (en) Information processing apparatus and information processing method
CN112698787A (zh) 写数据方法、装置及计算机存储介质
CN112905328A (zh) 任务处理方法、装置及计算机可读存储介质
CN114885210B (zh) 教程视频处理方法、服务器及显示设备
CN111158563A (zh) 电子终端及图片矫正方法
US11675496B2 (en) Apparatus, display system, and display control method
CN113890994B (zh) 图像拍摄方法、***和存储介质
CN116132790B (zh) 录像方法和相关装置
US20230297313A1 (en) Device management system, information processing method, information processing server, and non-transitory recording medium
KR20150140085A (ko) 이동단말기 및 그 제어방법
CN118069080A (zh) 多设备任务流转方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination