CN109388461A - 屏幕画面截图中识别物体的显示方法、装置及显示终端 - Google Patents

屏幕画面截图中识别物体的显示方法、装置及显示终端 Download PDF

Info

Publication number
CN109388461A
CN109388461A CN201811133159.5A CN201811133159A CN109388461A CN 109388461 A CN109388461 A CN 109388461A CN 201811133159 A CN201811133159 A CN 201811133159A CN 109388461 A CN109388461 A CN 109388461A
Authority
CN
China
Prior art keywords
layer
screenshot
identification
frame
plotted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811133159.5A
Other languages
English (en)
Inventor
付延松
宋虎
鲍姗娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Electronics Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201811133159.5A priority Critical patent/CN109388461A/zh
Publication of CN109388461A publication Critical patent/CN109388461A/zh
Priority to PCT/CN2019/098446 priority patent/WO2020063095A1/zh
Priority to US16/530,233 priority patent/US11039196B2/en
Priority to PCT/CN2019/099631 priority patent/WO2020063123A1/zh
Priority to US17/322,572 priority patent/US11812188B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种在屏幕画面截图中识别物体的显示方法、装置及显示终端,用以实现为用户提供可视化焦点状态及实时操作交互反馈,以满足用户的需求,并且减小了计算量、降低了内存消耗。本申请实施例提供的一种显示方法,包括:获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。

Description

屏幕画面截图中识别物体的显示方法、装置及显示终端
技术领域
本申请涉及智能电视领域,尤其涉及一种在屏幕画面截图中识别物体的显示方法、装置及显示终端。
背景技术
现有技术中,通过遥控器控制的非触屏显像设备(智能电视),在物体识别界面需要通过焦点的形式向用户反馈当前选中的识别物体/人物头像。实际物体识别界面中因没有多余焦点控件,无法直接向用户提供该类反馈。并且如果直接在放置截图的图层中绘制焦点框,那么由于截图图片自身内存较大,再在其上绘制焦点框,通过图形处理器(Graphics Processing Unit,GPU)刷新显示在图层上,导致计算量大,内存消耗大。
发明内容
本申请实施例提供了一种在屏幕画面截图中识别物体的显示方法、装置及显示终端,用以实现为用户提供可视化的焦点状态及实时操作交互反馈,并且减小了计算量、降低了内存消耗。
本申请实施例提供的一种在屏幕画面截图中识别物体的显示方法,包括:
获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
通过该方法,获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。这样,不仅可以为用户提供可视化的焦点状态及实时操作交互反馈,以满足用户需求;而且,与直接在放置截图的图层中绘制焦点框相比,将截图和焦点框分别绘制在两个图层,不必在焦点每次移动时均刷新截图所在图层,只需要刷新焦点框所在图层,从而减小了计算量、降低了内存消耗。
可选地,所述物体识别信息包括物体的位置信息;
根据所述物体识别信息将物体识别框绘制在第二图层,具体包括:
将所述识别框填充到图像视图ImageView控件,并将所述填充有识别框的ImageView控件绘制在第二图层上,其中,所述ImageView控件是根据物体的位置信息创建的。
可选地,将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上,具体包括:
将所述当前被选中物体的焦点框填充到ImageView控件,将所述填充有焦点框的ImageView控件绘制在第二图层上,同时覆盖所述当前被选中物体的识别框,其中,所述ImageView控件是根据所述当前被选中物体的位置信息创建的。
可选地,在所述当前被选中物体的焦点框绘制在所述第二图层上的同时,将之前绘制在所述第二图层上的焦点框删除。
可选地,该方法还包括:
将截图分享二维码绘制在第三图层上,其中,所述第三图层位于所述第二图层之上。
通过该方法,将截图分享二维码绘制在第三图层上,其中,所述第三图层位于所述第二图层之上,从而减小了计算量、降低了内存消耗。
可选地,该方法还包括:
根据用户通过遥控器输出的指令,控制所述第三图层显示或隐藏。
可选地,该方法还包括:
遍历计算当前被选中物体的中心坐标与其他识别物体中心坐标中的横坐标差值或纵坐标差值;
取差值最小的所述其他识别物体作为下一个焦点框绘制位置;
如果存在差值相同的识别物体,再根据勾股定理计算所述差值相同的识别物体中心坐标与所述当前被选中物体中心坐标的距离,取距离最小的识别物体作为下一个焦点框绘制位置。
相应地,在装置侧,本申请实施例提供的一种在屏幕画面截图中识别物体的显示装置,该装置包括:
第一单元,用于获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
第二单元,用于获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
第三单元,用于确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
本申请实施例还提供的一种显示终端,该显示终端包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述本申请实施例提供的任一种所述的方法。
本申请另一实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的物体识别界面布局示意图;
图2为本申请实施例提供的物体识别界面图层分布结构示意图;
图3为本申请实施例提供的一种在屏幕画面截图中识别物体的显示方法示意图;
图4为本申请实施例提供的物体识别框位置信息标注示意图;
图5为本申请实施例提供的物体识别界面交互流程示意图;
图6~图11为本申请实施例提供的方案实例交互流程示意图;
图12为本申请实施例提供的一种在屏幕画面截图中识别物体的显示装置示意图;
图13为本申请实施例还提供的一种显示终端示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种在屏幕画面截图中识别物体的显示方法、装置及显示终端,用以实现为用户提供可视化焦点状态及实时操作交互反馈,以满足用户的需求,并且减小了计算量、降低了内存消耗。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是,本申请实施例的展示顺序仅代表实施例的先后顺序,并不代表实施例所提供的技术方案的优劣。
物体识别界面布局示意图如图1所示,该图在终端设备显示界面中显示。物体识别界面构成共分为3个部分,如图2所示,为物体识别界面图层分布结构示意图,其中,图层B是最底层视图View,图层上绘制的内容为终端设备截图(OSD/VEDIO混合截图),图层M是中间层View,用于放置识别框和焦点框,图层T是最上层View,用于放置截图分享二维码。
图层B、图层M和图层T都是全屏的ViewGroup控件,并且这三个图层依次覆盖,图层T在最上层,覆盖在其它两层之上,因此在同一时刻应该控制按键只被一个图层所监听并处理,例如图2所示情况,按键只被图层T所监听并处理,不被图层B和图层T所监听。
以下所述第一图层为图层B,第二图层为图层M,第三图层为图层T。
参见图3,本申请实施例提供的一种在屏幕画面截图中识别物体的显示方法,包括:
S101、获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
例如,所述屏幕为智能电视的屏幕,用户可以通过遥控器对当前播放的视频进行截图,后台获取到截图之后,将截图绘制在第一图层。
S102、获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
例如,所述截图的物体识别信息包括所述截图中物体的类型(如人物、动物、服饰、台标等)、物体在该截图上的位置信息(简称物体的位置信息)、物体的名称、物体相关的推荐信息等等。
S103、确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
可选地,所述物体识别信息包括物体的位置信息;
根据所述物体识别信息将物体识别框绘制在第二图层,具体包括:
将所述识别框填充到图像视图ImageView控件,并将所述填充有识别框的ImageView控件绘制在第二图层上,其中,所述ImageView控件是根据物体的位置信息创建的。
可选地,将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上,具体包括:
将所述当前被选中物体的焦点框填充到ImageView控件,将所述填充有焦点框的ImageView控件绘制在第二图层上,同时覆盖所述当前被选中物体的识别框,其中,所述ImageView控件是根据所述当前被选中物体的位置信息创建的。
可选地,在所述当前被选中物体的焦点框绘制在所述第二图层上的同时,将之前绘制在所述第二图层上的焦点框删除。
可选地,该方法还包括:
将截图分享二维码绘制在第三图层上,其中,所述第三图层位于所述第二图层之上。
可选地,该方法还包括:
根据用户通过遥控器输出的指令,控制所述第三图层显示或隐藏。
可选地,该方法还包括:
遍历计算当前被选中物体的中心坐标与其他识别物体中心坐标中的横坐标差值或纵坐标差值;
取差值最小的所述其他识别物体作为下一个焦点框绘制位置;
如果存在差值相同的识别物体,再根据勾股定理计算所述差值相同的识别物体中心坐标与所述当前被选中物体中心坐标的距离,取距离最小的识别物体作为下一个焦点框绘制位置。
下面给出具体的步骤说明。
第一步,终端设备显示界面启动后直接绘制第一图层,将获取的截图设置为第一图层的背景内容。
第二步,在截图功能启动的同时,向后台服务请求获取截图中识别内容的数据。当有数据返回时,将第二图层设置为可见状态,同时根据获取到的识别物体的位置信息,将识别物体的识别框,即识别物体的轮廓边框绘制出来。具体的过程包括:
通过遍历获取到每个识别物体的位置信息,并为每个识别到的物体创建一个图像视图ImageView控件,ImageView控件根据每个识别物体的位置信息来控制自身的位置和大小,并将识别框图片填充到ImageView控件,将填充有物体识别框的ImageView控件绘制到第二图层所表示的ViewGroup控件上,并将第二图层设置为可见状态。这里可见状态例如可以是第二图层上未设置背景图,所以是透明的。
其中,识别物体的位置信息如图4所示,包括但不限于这4部分信息:例如被识别物体左上角的x轴坐标X0,被识别物体左上角的y轴坐标Y0,被识别物体的宽度,即x轴上的长度W0,被识别物体的高度,即y轴上的长度H0。
另外,根据用户操作遥控器按键的顺序来判定当前被选中的识别物体,同时按照获取到的被选中物体的位置信息,将被选中物体的焦点框绘制出来,具体的过程包括:
根据被选中物体的位置信息,为被选中物体创建一个ImageView控件,并将焦点框图片填充到ImageView控件,将填充有物体焦点框的ImageView控件绘制到第二图层所表示的ViewGroup控件上,同时覆盖在当前被选中物体的识别框上面。这样,不用在焦点每次移动时都刷新截图所在的第一图层,而第二个图层绝大部分区域是无内容的即使刷新也占内存小,因此总体节省很多内存。
在绘制当前被选中物体的焦点框时,同时会将之前绘制在第二图层的焦点框删除,从而保证当前只有一个位置具有焦点框,以实现遥控器操作时焦点框实时移动变化的效果。
进一步地,遥控器操作时下一个临近焦点位置的获取方法包括:
首先,遍历计算其它识别物体中心坐标(X,Y)与当前选中的识别物体中心坐标(X0,Y0)中的横坐标差值或纵坐标差值,即计算|X-X0|或|Y-Y0|,取差值最小的其他识别物体作为下一个被选中的焦点位置;如果存在差值相同的识别物体,则再根据勾股定理分别计算各识别物体中心与当前识别物体中心的距离,取距离最小的识别物体作为下一个被选中的焦点位置。
第三步,当物体识别界面启动后,在第三图层绘制截图分享二维码,且显示在屏幕的左端位置,如图1所示,在这种状态下,用户按右键,则该图层通过动画形式沿X轴坐标,向左移动一定的距离滑出屏幕,例如移动距离w,同时,焦点框绘制在最左侧的被选中物体的位置上;用户按左键时,并且当前焦点框位置为最左侧被选中物体的位置上,该第三图层通过动画方式沿X轴坐标向右移动相同的距离w,呈现到屏幕上,同时将第二图层上的焦点框清除。
参见图5,为本申请实施例提供的物体识别界面交互流程示意图,具体的实现步骤为:
(1)获取屏幕截图后,生成并在第三图层绘制截图分享二维码;
(2)获取屏幕截图后,后台获取识别物体的信息,当用户按遥控器右键时,判断扫码区域坐标.get()是否小于0,如果不小于0,则将扫码区域View向左移动一定距离w,同时获取位置最左的物体信息并根据其位置信息绘制焦点框View;如果扫码区域坐标.get()小于0,则继续判断当前识别物***置是否为最右侧,如果是最右侧,则保持当前焦点状态无动作反馈,如果不是最右侧,则获取右侧识别物体信息并根据其位置信息绘制新的焦点框View,同时销毁当前识别物体的焦点框View;
(3)当用户按遥控器左键时,判断扫码区域坐标.get()是否小于0,如果不小于0,则保持当前焦点状态无动作反馈;如果小于0,则继续判断当前识别物***置是否为最左侧,如果是最左侧,则销毁当前识别物体的焦点框View,同时将扫码区域View向右移动一定距离w,如果不是最左侧,则获取左侧识别物体信息并根据其位置信息绘制新的焦点框View,同时销毁当前识别物体的焦点框View。
参见图6~图11,为本申请实施例提供的方案实例交互流程示意图。
(1)如图6所示,通过快捷键启动智能图像功能,在屏幕上显示截图内容,同时截图上传到后台进行相关识别处理,及推荐内容搜索;
(2)如图7所示,后台数据返回,终端根据既定规则,分类展示数据内容;
(3)如图8所示,在第二步中界面的状态下,在截图上按遥控器的OK键,则启动全屏物体识别展示界面,此时第三图层界面显示在最前面;
(4)如图9和10所示,按遥控器右键,图层T通过动画形式向左移动并移出屏幕;此时焦点框显示出来,并绘制在最左侧的识别物体上面;继续按右键,按照识别框及焦点框移动与实现过程中的描述,焦点框重新绘制并定位在相对应的识别物***置上;
(5)如图11,在当前焦点框位置,按遥控器OK键,将启动并展示该识别物体相关的识别及推荐信息。
相应地,在装置侧,参见图12,本申请实施例提供的一种在屏幕画面截图中识别物体的显示装置,包括:
第一单元11,用于获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
第二单元12,用于获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
第三单元13,用于确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
参见图13,本申请实施例还提供的一种显示终端,包括:
处理器600,用于读取存储器620中的程序,执行下列过程:
获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
通过该方法,获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上,实现为用户提供可视化焦点状态及实时操作交互反馈,以满足用户的需求,并且减小了计算量、降低了内存消耗。
可选地,所述物体识别信息包括物体的位置信息;
根据所述物体识别信息将物体识别框绘制在第二图层,具体包括:
将所述识别框填充到图像视图ImageView控件,并将所述填充有识别框的ImageView控件绘制在第二图层上,其中,所述ImageView控件是根据物体的位置信息创建的。
可选地,将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上,具体包括:
将所述当前被选中物体的焦点框填充到ImageView控件,将所述填充有焦点框的ImageView控件绘制在第二图层上,同时覆盖所述当前被选中物体的识别框,其中,所述ImageView控件是根据所述当前被选中物体的位置信息创建的。
可选地,在所述当前被选中物体的焦点框绘制在所述第二图层上的同时,将之前绘制在所述第二图层上的焦点框删除。
可选地,该方法还包括:
将截图分享二维码绘制在第三图层上,其中,所述第三图层位于所述第二图层之上。
可选地,该方法还包括:
根据用户通过遥控器输出的指令,控制所述第三图层显示或隐藏。
可选地,该方法还包括:
遍历计算当前被选中物体的中心坐标与其他识别物体中心坐标中的横坐标差值或纵坐标差值;
取差值最小的所述其他识别物体作为下一个焦点框绘制位置;
如果存在差值相同的识别物体,再根据勾股定理计算所述差值相同的识别物体中心坐标与所述当前被选中物体中心坐标的距离,取距离最小的识别物体作为下一个焦点框绘制位置。
其中,在图13中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器600代表的一个或多个处理器和存储器610代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。
本申请实施例提供了一种显示终端,该显示终端具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)等。该显示终端可以包括中央处理器(Center Processing Unit,CPU)、存储器、输入/输出设备等,输入设备可以包括键盘、鼠标、触摸屏等,输出设备可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
针对不同的显示终端,可选地,用户接口620可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器600负责管理总线架构和通常的处理,存储器610可以存储处理器600在执行操作时所使用的数据。
可选地,处理器600可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或CPLD(Complex Programmable Logic Device,复杂可编程逻辑器件)。
存储器610可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中,存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令,处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供了一种计算机存储介质,用于储存为上述本申请实施例提供的装置所用的计算机程序指令,其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
综上所述,本申请实施例提供的一种基于屏幕画面截图中识别物体的显示方法、装置及显示终端,可以为用户提供可视化焦点状态及实时操作交互反馈,以满足用户的需求,并且减小了计算量、降低了内存消耗。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种在屏幕画面截图中识别物体的显示方法,其特征在于,该方法包括:
获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
2.根据权利要求1所述的方法,其特征在于,所述物体识别信息包括物体的位置信息;
所述根据所述物体识别信息将物体识别框绘制在第二图层,具体包括:
将所述识别框填充到图像视图ImageView控件,并将所述填充有识别框的ImageView控件绘制在第二图层上,其中,所述ImageView控件是根据物体的位置信息创建的。
3.根据权利要求1所述的方法,其特征在于,将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上,具体包括:
将所述当前被选中物体的焦点框填充到ImageView控件,将所述填充有焦点框的ImageView控件绘制在第二图层上,同时覆盖所述当前被选中物体的识别框,其中,所述ImageView控件是根据所述当前被选中物体的位置信息创建的。
4.根据权利要求3所述的方法,其特征在于,在所述当前被选中物体的焦点框绘制在所述第二图层上的同时,将之前绘制在所述第二图层上的焦点框删除。
5.根据权利要求4所述的方法,其特征在于,该方法还包括:将截图分享二维码绘制在第三图层上,其中,所述第三图层位于所述第二图层之上。
6.根据权利要求5所述的方法,其特征在于,该方法还包括:根据用户通过遥控器输出的指令,控制所述第三图层显示或隐藏。
7.根据权利要求1所述的方法,其特征在于,该方法还包括:
遍历计算当前被选中物体的中心坐标与其他识别物体中心坐标中的横坐标差值或纵坐标差值;
取差值最小的所述其他识别物体作为下一个焦点框绘制位置;
如果存在差值相同的识别物体,再根据勾股定理计算所述差值相同的识别物体中心坐标与所述当前被选中物体中心坐标的距离,取距离最小的识别物体作为下一个焦点框绘制位置。
8.一种在屏幕画面截图中识别物体的显示装置,其特征在于,该装置包括:
第一单元,用于获取屏幕当前显示画面的截图,并将所述截图绘制在第一图层;
第二单元,用于获取所述截图的物体识别信息,并根据所述物体识别信息将物体识别框绘制在第二图层,其中所述第二图层覆盖在所述第一图层之上;
第三单元,用于确定所述截图上的当前被选中物体,并将所述当前被选中物体的焦点框覆盖所述当前被选中物体的识别框,并绘制在所述第二图层上。
9.一种显示终端,其特征在于,该显示终端包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1~7任一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行权利要求1至7任一项所述的方法。
CN201811133159.5A 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法、装置及显示终端 Pending CN109388461A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811133159.5A CN109388461A (zh) 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法、装置及显示终端
PCT/CN2019/098446 WO2020063095A1 (zh) 2018-09-27 2019-07-30 一种截图显示方法及设备
US16/530,233 US11039196B2 (en) 2018-09-27 2019-08-02 Method and device for displaying a screen shot
PCT/CN2019/099631 WO2020063123A1 (zh) 2018-09-27 2019-08-07 一种显示画面截图的图形用户界面方法、显示设备
US17/322,572 US11812188B2 (en) 2018-09-27 2021-05-17 Method and device for displaying a screen shot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811133159.5A CN109388461A (zh) 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法、装置及显示终端

Publications (1)

Publication Number Publication Date
CN109388461A true CN109388461A (zh) 2019-02-26

Family

ID=65418968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133159.5A Pending CN109388461A (zh) 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法、装置及显示终端

Country Status (1)

Country Link
CN (1) CN109388461A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471658A (zh) * 2019-07-10 2019-11-19 成都摹客科技有限公司 一种图层的选择方法、***及计算机存储介质
WO2020063095A1 (zh) * 2018-09-27 2020-04-02 青岛海信电器股份有限公司 一种截图显示方法及设备
US11039196B2 (en) 2018-09-27 2021-06-15 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
US11102441B2 (en) 2017-12-20 2021-08-24 Hisense Visual Technology Co., Ltd. Smart television and method for displaying graphical user interface of television screen shot
CN114661263A (zh) * 2022-02-25 2022-06-24 荣耀终端有限公司 一种显示方法、电子设备及存储介质
US11601719B2 (en) 2017-12-20 2023-03-07 Juhaokan Technology Co., Ltd. Method for processing television screenshot, smart television, and storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100331041A1 (en) * 2009-06-26 2010-12-30 Fuji Xerox Co., Ltd. System and method for language-independent manipulations of digital copies of documents through a camera phone
CN104516644A (zh) * 2014-12-09 2015-04-15 广东欧珀移动通信有限公司 一种自由截屏的方法及终端
CN106020448A (zh) * 2016-05-06 2016-10-12 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和***
CN106792101A (zh) * 2017-01-03 2017-05-31 青岛海信电器股份有限公司 主页界面调整方法、装置和智能电视
CN107133576A (zh) * 2017-04-17 2017-09-05 北京小米移动软件有限公司 用户年龄识别方法及装置
CN107590495A (zh) * 2017-09-18 2018-01-16 哈尔滨成长科技有限公司 答题卡图片纠偏方法、装置、可读存储介质以及电子设备
CN108062510A (zh) * 2017-11-17 2018-05-22 维库(厦门)信息技术有限公司 一种多目标跟踪结果实时动态显示方法及计算机设备
CN108259973A (zh) * 2017-12-20 2018-07-06 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100331041A1 (en) * 2009-06-26 2010-12-30 Fuji Xerox Co., Ltd. System and method for language-independent manipulations of digital copies of documents through a camera phone
CN104516644A (zh) * 2014-12-09 2015-04-15 广东欧珀移动通信有限公司 一种自由截屏的方法及终端
CN106020448A (zh) * 2016-05-06 2016-10-12 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和***
CN106792101A (zh) * 2017-01-03 2017-05-31 青岛海信电器股份有限公司 主页界面调整方法、装置和智能电视
CN107133576A (zh) * 2017-04-17 2017-09-05 北京小米移动软件有限公司 用户年龄识别方法及装置
CN107590495A (zh) * 2017-09-18 2018-01-16 哈尔滨成长科技有限公司 答题卡图片纠偏方法、装置、可读存储介质以及电子设备
CN108062510A (zh) * 2017-11-17 2018-05-22 维库(厦门)信息技术有限公司 一种多目标跟踪结果实时动态显示方法及计算机设备
CN108259973A (zh) * 2017-12-20 2018-07-06 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11102441B2 (en) 2017-12-20 2021-08-24 Hisense Visual Technology Co., Ltd. Smart television and method for displaying graphical user interface of television screen shot
US11558578B2 (en) 2017-12-20 2023-01-17 Hisense Visual Technology Co., Ltd. Smart television and method for displaying graphical user interface of television screen shot
US11601719B2 (en) 2017-12-20 2023-03-07 Juhaokan Technology Co., Ltd. Method for processing television screenshot, smart television, and storage medium
US11812189B2 (en) 2017-12-20 2023-11-07 Hisense Visual Technology Co., Ltd. Smart television and method for displaying graphical user interface of television screen shot
WO2020063095A1 (zh) * 2018-09-27 2020-04-02 青岛海信电器股份有限公司 一种截图显示方法及设备
US11039196B2 (en) 2018-09-27 2021-06-15 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
US11812188B2 (en) 2018-09-27 2023-11-07 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
CN110471658A (zh) * 2019-07-10 2019-11-19 成都摹客科技有限公司 一种图层的选择方法、***及计算机存储介质
CN114661263A (zh) * 2022-02-25 2022-06-24 荣耀终端有限公司 一种显示方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109388461A (zh) 屏幕画面截图中识别物体的显示方法、装置及显示终端
US10789776B2 (en) Structural modeling using depth sensors
US11290651B2 (en) Image display system, information processing apparatus, image display method, image display program, image processing apparatus, image processing method, and image processing program
WO2020186935A1 (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
US10600169B2 (en) Image processing system and image processing method
CN107562316B (zh) 界面展示方法、装置及终端
WO2015027953A1 (en) Method, apparatus and terminal device for dynamic image processing
CN109271983B (zh) 屏幕画面截图中识别物体的显示方法及显示终端
KR102433857B1 (ko) 혼합 현실에서 동적 가상 콘텐츠들을 생성하기 위한 디바이스 및 방법
CN110442245A (zh) 基于物理键盘的显示方法、装置、终端设备及存储介质
US11039196B2 (en) Method and device for displaying a screen shot
Martin et al. Human friendly interface design for virtual fitting room applications on android based mobile devices
CN107506086A (zh) 触摸屏控制方法、装置、移动终端及存储介质
CN108205431A (zh) 显示设备及其控制方法
WO2020192195A1 (zh) 图像处理方法、装置和电子设备
WO2023071861A1 (zh) 数据可视化展示方法、装置、计算机设备和存储介质
CN111475089B (zh) 任务展示方法、装置、终端及存储介质
CN110971953B (zh) 视频播放方法、装置、终端及存储介质
CN114185466A (zh) 业务处理方法、装置、电子设备及存储介质
CN108492349B (zh) 书写笔画的处理方法、装置、设备和存储介质
JP7467780B2 (ja) 画像処理方法、装置、デバイス及び媒体
CN104254875A (zh) 信息处理装置、信息处理方法及信息处理计算机程序产品
WO2020063095A1 (zh) 一种截图显示方法及设备
CN108614657B (zh) 图像合成方法、装置、设备及其图像载体
CN113891141B (zh) 一种视频处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant after: Hisense Visual Technology Co., Ltd.

Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

CB02 Change of applicant information