CN102572217A - 基于视觉关注的多媒体处理方法及装置 - Google Patents

基于视觉关注的多媒体处理方法及装置 Download PDF

Info

Publication number
CN102572217A
CN102572217A CN2011104538310A CN201110453831A CN102572217A CN 102572217 A CN102572217 A CN 102572217A CN 2011104538310 A CN2011104538310 A CN 2011104538310A CN 201110453831 A CN201110453831 A CN 201110453831A CN 102572217 A CN102572217 A CN 102572217A
Authority
CN
China
Prior art keywords
sight line
focal position
associated region
line associated
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104538310A
Other languages
English (en)
Other versions
CN102572217B (zh
Inventor
王荣泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huang Zhenqiang
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110453831.0A priority Critical patent/CN102572217B/zh
Publication of CN102572217A publication Critical patent/CN102572217A/zh
Application granted granted Critical
Publication of CN102572217B publication Critical patent/CN102572217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于视觉关注的多媒体处理方法及装置,涉及多媒体处理技术领域,实现了在不影响用户使用感受的情况下,通过确认用户的视线焦点完成对多媒体显示的控制。本发明包括:检测显示屏内观看者对应的视线焦点位置;根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域;对所述视线关联区域对应的视频图像进行视频增强处理。本发明实施例主要应用于多媒体处理的过程中。

Description

基于视觉关注的多媒体处理方法及装置
技术领域
本发明涉及多媒体处理技术领域,尤其涉及一种基于视觉关注的多媒体处理方法及装置。
背景技术
随着用户对音视频体验感要求越来越高,音视频处理的方式越来越依赖用户的意图。目前,对音视频的处理方式具体为人工设定处理方案,并通过后台程序将音视频文件按照相应处理方案相应处理,然后将处理后的音视频文件显示出来。通过该处理方式对音视频文件进行处理需要设定完善的处理方案才能符合用户的意图。
发明内容
本发明的实施例提供一种基于视觉关注的多媒体处理方法及装置,实现了在不影响用户使用感受的情况下,通过确认用户的视线焦点完成对多媒体显示的控制。
为达到上述目的,本发明的实施例采用如下技术方案:
一种基于视觉关注的多媒体处理方法,包括:
检测显示屏内观看者对应的视线焦点位置;
根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域;
对所述视线关联区域对应的视频图像进行视频增强处理。
一种基于视觉关注的多媒体处理装置,包括:
检测单元,用于检测显示屏内观看者对应的视线焦点位置;
获取单元,用于根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域;
调整单元,用于对所述视线关联区域对应的视频图像进行视频增强处理。本发明实施例提供的基于视觉关注的多媒体处理方法及装置,通过获取观看者的视觉焦点位置,并根据视觉焦点位置获取观看者的视线关联区域来确定观看者正在观看的区域,然后直接对所述视线关联区域进行调整以满足用户的体验感,实现了在不影响用户使用感受的情况下,通过确认用户的视线焦点完成对多媒体显示的控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1中的一种基于视觉关注的多媒体处理方法的流程图;
图2为本发明实施例2中的一种基于视觉关注的多媒体处理方法的流程图;
图3为本发明实施例3中的一种基于视觉关注的多媒体处理装置的组成框图;
图4为本发明实施例3中的另一种基于视觉关注的多媒体处理装置的组成框图;
图5为本发明实施例3中的另一种基于视觉关注的多媒体处理装置的组成框图;
图6为本发明实施例3中的另一种基于视觉关注的多媒体处理装置的组成框图;
图7时为本发明实施例3中的另一种基于视觉关注的多媒体处理装置的组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例提供了一种基于视觉关注的多媒体处理方法,如图1所示,该方法包括:
101、检测显示屏内观看者对应的视线焦点位置。
其中,检测观看者对应的视线焦点位置可以通过瞳孔-角膜反射向量法,实现方式如下:
用一红外辅助光源照射人脸部,在眼睛角膜表面形成反射像,此反射像被称为普尔钦(Purkinje)斑点。人眼在盯视屏幕不同位置,眼球会发生相应转动,假定观看者头不动的情况下,由于红外光发射二极管的位置固定,而眼球是一个近似的球体,所以当眼球移动时,可以认为普尔钦斑点的绝对位置是不变的,而虹膜和瞳孔的位置要发生相应的变化,这样普尔钦斑点和瞳孔与虹膜的相对位置关系也发生变化,这种相对位置关系的确定可以通过图像处理来实现,然后由他们的相对位置关系可以得出视线的方向,并由此取得视线焦点位置。
基于上述检测观看者对应的视线焦点位置的实现方法,所述检测显示屏内观看者对应的视线焦点位置的实现方法具体包括使用上述瞳孔-角膜反射向量法对所述多个观看者对应的视线焦点位置进行检测,并获取所有处于显示屏内的视线焦点位置。
所述检测显示屏内观看者对应的视线焦点位置也可以通过其它方式实现,本发明实施例对此不进行限制,所述其它方式的具体实现方法为本领域技术人员公知的技术,本发明对此不再赘述。
102、根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域。
其中,所述根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域可以但不局限于通过以下方式实现。具体为:
根据所述视线焦点位置获取视线中心区域,所述视线中心区域为以视线焦点位置为中心的区域;根据所述视线中心区域及预先设置的区域关联关系生成视线关联区域。
其中,所述视线中心区域的大小为预先设置的,具体可以设置为以视线焦点位置为中心,整个屏幕宽度的1/9,高度的1/5,用户也可以根据实际需要自行设置,本发明实施例对此不进行限制。
其中,所述预先设置的区域关联关系为以下关系中的任一种关系,该关系为所述视线关联区域与所述视线中心区域图像像素相同或相近、所述视线关联区域与所述视线中心区域图像内容相近、所述视线关联区域与所述视线中心区域图像形状相同或相近、所述视线关联区域内的文字与所述视线中心区域内的文字属于同一段落。用户可以根据实际需要选取一种或多种区域关联关系,本发明实施例对此不进行限制。
103、对视线关联区域对应的视频图像进行视频增强处理。
作为举例,对视线关联区域对应的视频图像进行视频增强处理可以通过以下两种方法实现,具体包括:
第一种方法:对所述视线关联区域内的图像信息进行图像增强处理。
其中,所述对所述视线关联区域对应的视频图像进行图像增强处理具体包括将需要显示在显示屏上的视频内容进行针对于所述视线关联区域内的图像的锐化等处理,使得该视频内容在通过显示屏显示出来后可以更加清晰。
第二种方法:对所述视线关联区域内的视频信息进行视频编解码增强处理。
其中,所述对所述视线关联区域内的视频信息进行视频编解码增强处理具体包括:
在视频编码端中,对视频文件进行编码时,对视线关联区域中的图像进行编码时分配更多的码数和计算资源,对非视线关联区域中的图像进行编码时分配较少的码数和计算资源。
在视频解码端中,对视频文件进行解码时,结合双边滤波技术对编码后的视频文件进行解码。
可以理解,对视线关联区域对应的视频图像进行视频增强处理针对不同的应用场景还会存在不同的情况,譬如:当实现关联区域中不仅存在视频图像还存在文字字符区域,可以通过OCR(Optical Character Recognition,光学字符识别)技术,将文字提取出来,并对提取文字后的图像进行视频增强处理,而后将增强处理之后的图像和识别出来的文字相叠加,重构该视线关联区域对应的视频图像。除此之外,还有其他的实现方式,本领域普通技术人员所能够想到的其他的实现方式也在本发明实施例的保护范围之内。
另外,需要说明的是,在对视线关联区域对应的视频图像进行视频增强处理之后,为了提高用户的使用感受,可以重复执行步骤101至步骤103,以使得对用户关注的音视频显示调整达到最优。
本发明实施例提供的基于视觉关注的多媒体处理方法,通过获取观看者的视觉焦点位置,并根据视觉焦点位置获取观看者的视线关联区域来确定观看者正在观看的区域,然后直接对所述视线关联区域进行调整以满足用户的体验感,实现了在不影响用户使用感受的情况下,通过确认用户的视线焦点完成对多媒体显示的控制。
实施例2
本发明实施例中提供了一种基于视觉关注的多媒体处理方法,如图2所示,该方法包括:
201、检测显示屏内观看者对应的视线焦点位置。当所述视线焦点位置为一个观看者的视线焦点位置时,则执行步骤202;当所述视线焦点位置为多个观看者对应的多个视线焦点位置时,则执行步骤203或执行步骤204。
其中,所述实时接收摄像设备捕捉的观看者的视线焦点位置的实现方式与所述步骤101的相关描述相同,本发明实施例对此不再赘述。
202、根据所述一个观看者的视线焦点位置,获取与所述一个观看者的视线焦点位置对应的视线关联区域,并执行步骤207。
其中,所述根据所述一个观看者的视线焦点位置,获取与所述一个观看者的视线焦点位置对应的视线关联区域的实现方法与所述步骤102的相关描述相同,本发明实施例对此不再赘述。
203、根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域,并将所述多个视线关联区域进行合并,得到合并后的视线关联区域,并执行步骤207。
其中,所述根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域中根据所述一个观看者的视线焦点位置,获取与所述一个观看者的视线焦点位置对应的视线关联区域的实现方法与所述步骤102的相关描述相同,本发明实施例对此不再赘述。
值得说明的是,所述将所述多个视线关联区域进行合并,得到合并后的视线关联区域可以通过以下方式实现,具体包括:
将所述多个视线关联区域按照各自的视线关联区域位置组合在一起,生成一个新的视线关联区域作为合并后的视线关联区域,所述合并后的视线关联区域覆盖了所述多个视线关联区域。
204、通过人脸识别获取所述多个观看者的使用权限,并确定所述多个观看者的使用权限是否相同。若所述多个观看者的使用权限不同,则执行步骤205;若所述多个观看者的使用权限相同,则执行步骤206。
其中,所述多个观看者的使用权限的获取可以通过人脸识别方法结合所述多媒体处理***的数据库中的权限设置实现,还可以采用人眼虹膜识别的方式,具体的实现方式为本领域技术人员公知的技术,本发明实施例在此不再进行详细描述。
205、根据具有最高使用权限的观看者的视线焦点位置获取对应的视线关联区域,并将获取的视线关联区域作为所述多个观看者的视线焦点位置对应的视线关联区域,并执行步骤207。
206、根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域;若所述多个视线关联区域存在重合区域,则确定所述重合区域为所述多个视线焦点位置对应的视线关联区域;若所述多个视线关联区域不存在重合区域,则确定离摄像设备画面中心最近的视线焦点位置对应的视线关联区域为所述多个视线焦点位置对应的视线关联区域,并执行步骤208。
207、对所述视线关联区域对应的视频图像进行视频增强处理。
其中,所述对所述视线关联区域对应的视频图像进行视频增强处理与步骤103中有关描述相同,可以具体应用在以下场景中,包括:
可选的,所述对所述视线关联区域对应的视频图像进行视频增强处理可以为主屏幕与辅助屏幕的切换。例如,在电视会议中,MCU(Multipoint ControlUnit,多点控制单元)把多画面传输给终端,在本地终端显示。终端处的摄像头对观看者视线进行检测,获取到观看者视线焦点位置,根据所述视线焦点位置为中心获取视线关联区域。若在预先设置的判决时间内,观看者视线焦点位置没有移动到所述视线关联区域外,则把所述视线关联区域位置信息传送到MCU,MCU通过对比此位置信息,如果此位置不在主画面,而在辅助画面,则把辅助画面放大,变为主画面显示,并将其声音放大,主画面缩小为辅助画面显示,并将其声音减小。
可选的,所述对所述视线关联区域对应的视频图像进行视频增强处理可以是对图像帧率的增强。例如,在摄像机检测到观看者视线焦点位置,上报到MCU,MCU对2次上报的视线焦点位置进行计算,根据其对应的横纵坐标进行相减,得出视线焦点位置在横坐标和纵坐标上的移动情况。进行3次这样的操作,如果3次计算得出的移动情况相同,则判定处观看者视线移动的方向,否则继续进行检测。根据观看者视线移动的方向,进行字幕播放速度的调整:和字幕移动方向相同,则表示字幕播放速度过快,需要降低字幕移动速度,反之需要加快字幕移动速度。在字幕移动速度调整后再进行检测,根据检测结果再进行字幕移动速度的调整。通过不停的检测、调整,调整到刚好可以使观看者视线位置处于屏幕中间并不再移动,则字幕移动速度调整完毕。
可选的,所述对所述视线关联区域对应的视频图像进行视频增强处理可以是对音视频编解码资源的增强。例如,在摄像机检测到观看者当前的视线焦点位置,并获取视线关联区域:对所述视线关联区域进行标注,把所述视线关联区域信息坐标传送到MCU,MCU根据所述视线关联区域信息,对所述视线关联区域内的图像编解码进行增强,用更高的像素、更宽的色域、更高的传输带宽来增强编解码效果,达到更好的现实效果,提升用户视觉感受。用户视线移动,则此区域随用户视线移动而移动,用户视线内的图像效果为更优。
需要说明的是,除上述对对所述视线关联区域对应的视频图像进行视频增强处理外,所述对所述视线关联区域对应的视频图像进行视频增强处理也可以根据其它的方法进行,本发明实施例对此不进行限制。
另外,需要说明的是,在所述对所述视线关联区域对应的视频图像进行视频增强处理之前,可以将所述视线关联区域的相关信息发送给远程服务器,以便所述远程服务器根据所述视线关联区域的相关信息对所述视线关联区域进行音视频显示的调整。
其中,所述视线关联区域的相关信息可以为所述与一个观看者的视线焦点位置对应的视线焦点区域的相关信息,可以为所述合并后的视线焦点区域的相关信息,可以为具有最高使用权限的观看者的视线焦点位置对应的视线关联区域,也可以为所述重合区域的相关信息。具体可以包括所述视线关联区域的中心坐标、边界大小等信息,用户可以根据实际需要自行设置和添加,本发明实施例在此不一一列举。
其中,所述远程服务器可以为MCU,所述将所述视线关联区域的相关信息发送给远程服务器可以通过IP网络等通信信道实现,本发明实施例对此不进行限制。
本发明实施例提供的基于视觉关注的多媒体处理方法,通过获取观看者的视觉焦点位置,并根据视觉焦点位置获取观看者的视线关联区域来确定观看者正在观看的区域,然后直接对所述视线关联区域进行调整以满足用户的体验感,实现了在不影响用户使用感受的情况下,通过确认用户的视线焦点完成对多媒体显示的控制。
并且,所述基于视觉关注的多媒体处理方法还可以根据观看者的数量进行不同的处理,提高了设备的使用效率,提升了用户的使用感受。
而且,通过将所述观看者的视线关联区域的相关信息发送给远程服务器,以便远程服务器可以对多媒体文件的源端的编解码进行处理,为用户提供更好的音视频显示效果,使得用户可以获得更好的使用感受。
实施例3
本发明实施例提供了一种基于视觉关注的多媒体处理装置,如图3所述,该装置包括:接收单元31、获取单元32、调整单元33。
接收单元31,用于检测显示屏内观看者对应的视线焦点位置。
获取单元32,用于根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域。
调整单元33,用于对所述视线关联区域对应的视频图像进行视频增强处理。
进一步的,如图4所示,所述获取单元32包括:第一获取模块321、第二获取模块322。
第一获取模块321,用于在所述视线焦点位置为多个观看者对应的多个视线焦点位置时,根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域,并将所述多个视线关联区域进行合并,得到合并后的视线关联区域。
第二获取模块322,用于在所述视线焦点位置为多个观看者对应的多个视线焦点位置时,通过人脸识别获取所述多个观看者的使用权限,并根据所述多个观看者的使用权限和所述多个视线焦点位置,获取与所述视线焦点位置对应的视线关联区域。
进一步的,如图5所示,所述第二获取模块包括:权限确定子模块3221、区域确定子模块3222。
权限确定子模块3221,用于确定所述多个观看者的使用权限是否相同。
区域确定子模块3222,用于在所述多个观看者的使用权限不同时,根据具有最高使用权限的观看者的视线焦点位置获取对应的视线关联区域,并将获取的视线关联区域作为所述多个观看者的视线焦点位置对应的视线关联区域。
所述区域确定子模块3222,还可以用于在所述多个观看者的使用权限相同时,根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域;若所述多个视线关联区域存在重合区域,则确定所述重合区域为所述多个视线焦点位置对应的视线关联区域;若所述多个视线关联区域不存在重合区域,则确定离摄像设备画面中心最近的视线焦点位置对应的视线关联区域为所述多个视线焦点位置对应的视线关联区域。
进一步的,如图6所示,所述调整单元33还包括:第一增强模块331、第二增强模块332。
第一增强模块331,用于对所述视线关联区域内的图像信息进行图像增强处理。
第二增强模块332,用于对所述视线关联区域内的视频信息进行视频编解码增强处理。
进一步的,如图7所示,该装置还包括:发送单元34。
发送单元34,用于将所述视线关联区域的相关信息发送给远程服务器,以便所述远程服务器根据所述视线关联区域的相关信息对所述视线关联区域进行音视频显示的调整。
进一步的,所述获取单元32还用于根据所述视线焦点位置获取视线中心区域,所述视线中心区域为以视线焦点位置为中心的区域;根据所述视线中心区域及预先设置的区域关联关系生成视线关联区域。
本发明实施例提供的基于视觉关注的多媒体处理装置,通过获取观看者的视觉焦点位置,并根据视觉焦点位置获取观看者的视线关联区域来确定观看者正在观看的区域,然后直接对所述视线关联区域进行调整以满足用户的体验感,实现了在不影响用户使用感受的情况下,通过确认用户的视线焦点完成对音视频显示的控制。
并且,所述基于视觉关注的多媒体处理方法还可以根据观看者的数量进行不同的处理,提高了设备的使用效率,提升了用户的使用感受。
而且,通过将所述观看者的视线关联区域的相关信息发送给远程服务器,以便远程服务器可以对音视频的源端的编解码进行处理,为用户提供更好的音视频显示效果,使得用户可以获得更好的使用感受。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种基于视觉关注的多媒体处理方法,其特征在于,包括:
检测显示屏内观看者对应的视线焦点位置;
根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域;
对所述视线关联区域对应的视频图像进行视频增强处理。
2.根据权利要求1所述的方法,其特征在于,当采集到多个观看者对应的多个视线焦点位置时,所述根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域包括:
根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域,并将所述多个视线关联区域进行合并,得到合并后的视线关联区域;或者
通过人脸识别获取所述多个观看者的使用权限,并根据所述多个观看者的使用权限和所述多个视线焦点位置,获取与所述多个视线焦点位置对应的视线关联区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述多个观看者的使用权限和所述多个视线焦点位置,获取与所述多个视线焦点位置对应的视线关联区域,包括:
确定所述多个观看者的使用权限是否相同;
若所述多个观看者的使用权限不同,则根据具有最高使用权限的观看者的视线焦点位置获取对应的视线关联区域,并将获取的视线关联区域作为所述多个观看者的视线焦点位置对应的视线关联区域;
若所述多个观看者的使用权限相同,则根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域;若所述多个视线关联区域存在重合区域,则确定所述重合区域为所述多个视线焦点位置对应的视线关联区域;若所述多个视线关联区域不存在重合区域,则确定离摄像设备画面中心最近的视线焦点位置对应的视线关联区域为所述多个视线焦点位置对应的视线关联区域。
4.根据权利要求1所述的方法,其特征在于,对所述视线关联区域进行视频增强处理包括:
对所述视线关联区域内的图像信息进行图像增强处理;或者
对所述视线关联区域内的视频信息进行视频编解码增强处理。
5.根据权利要求1所述的方法,其特征在于,在根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域之后,还包括:
将所述视线关联区域的相关信息发送给远程服务器,以便所述远程服务器根据所述视线关联区域的相关信息对所述视线关联区域进行视频增强处理。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域还包括:
根据所述视线焦点位置获取视线中心区域,所述视线中心区域为以视线焦点位置为中心的区域;
根据所述视线中心区域及预先设置的区域关联关系生成视线关联区域。
7.根据权利要求6所述的方法,其特征在于,所述预先设置的区域关联关系为以下关系中的任一种关系,该关系为:
所述视线关联区域与所述视线中心区域图像像素相同或相近、所述视线关联区域与所述视线中心区域图像内容相近、所述视线关联区域与所述视线中心区域图像形状相同或相近、所述视线关联区域内的文字与所述视线中心区域内的文字属于同一段落。
8.一种基于视觉关注的多媒体处理装置,其特征在于,包括:
检测单元,用于检测显示屏内观看者对应的视线焦点位置;
获取单元,用于根据所述视线焦点位置,获取与所述视线焦点位置对应的视线关联区域;
调整单元,用于对所述视线关联区域对应的视频图像进行视频增强处理。
9.根据权利要求8所述的基于视觉关注的多媒体处理装置,其特征在于,所述获取单元包括:
第一获取模块,用于当所述视线焦点位置为多个观看者对应的多个视线焦点位置时,根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域,并将所述多个视线关联区域进行合并,得到合并后的视线关联区域;
第二获取模块,用于当所述视线焦点位置为多个观看者对应的多个视线焦点位置时,通过人脸识别获取所述多个观看者的使用权限,并根据所述多个观看者的使用权限和所述多个视线焦点位置,获取与所述视线焦点位置对应的视线关联区域。
10.根据权利要求9所述的基于视觉关注的多媒体处理装置,其特征在于,所述第二获取模块包括:
权限确定子模块,用于确定所述多个观看者的使用权限是否相同;
区域确定子模块,用于在所述多个观看者的使用权限不同时,根据具有最高使用权限的观看者的视线焦点位置获取对应的视线关联区域,并将获取的视线关联区域作为所述多个观看者的视线焦点位置对应的视线关联区域;
所述区域确定子模块,还用于在所述多个观看者的使用权限相同时,根据所述多个视线焦点位置分别获取与所述多个视线焦点位置对应的多个视线关联区域;若所述多个视线关联区域存在重合区域,则确定所述重合区域为所述多个视线焦点位置对应的视线关联区域;若所述多个视线关联区域不存在重合区域,则确定离摄像设备画面中心最近的视线焦点位置对应的视线关联区域为所述多个视线焦点位置对应的视线关联区域。
11.根据权利要求8所述的基于视觉关注的多媒体处理装置,其特征在于,所述调整单元包括:
第一增强模块,用于对所述视线关联区域内的图像信息进行图像增强处理;
第二增强模块,用于对所述视线关联区域内的视频信息进行视频编解码增强处理。
12.根据权利要求8所述的基于视觉关注的多媒体处理装置,其特征在于,该装置还包括:
发送单元,用于将所述视线关联区域的相关信息发送给远程服务器,以便所述远程服务器根据所述视线关联区域的相关信息对所述视线关联区域进行视频增强处理。
13.根据权利要求8-12任一项所述的基于视觉关注的多媒体处理装置,其特征在于,所述获取单元还用于根据所述视线焦点位置获取视线中心区域,所述视线中心区域为以视线焦点位置为中心的区域;根据所述视线中心区域及预先设置的区域关联关系生成视线关联区域。
CN201110453831.0A 2011-12-29 2011-12-29 基于视觉关注的多媒体处理方法及装置 Expired - Fee Related CN102572217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110453831.0A CN102572217B (zh) 2011-12-29 2011-12-29 基于视觉关注的多媒体处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110453831.0A CN102572217B (zh) 2011-12-29 2011-12-29 基于视觉关注的多媒体处理方法及装置

Publications (2)

Publication Number Publication Date
CN102572217A true CN102572217A (zh) 2012-07-11
CN102572217B CN102572217B (zh) 2014-08-20

Family

ID=46416608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110453831.0A Expired - Fee Related CN102572217B (zh) 2011-12-29 2011-12-29 基于视觉关注的多媒体处理方法及装置

Country Status (1)

Country Link
CN (1) CN102572217B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685907A (zh) * 2012-09-26 2014-03-26 联想(北京)有限公司 一种图像采集的方法及电子设备
WO2015035823A1 (en) * 2013-09-16 2015-03-19 Beijing Zhigu Rui Tuo Tech Co., Ltd Image collection with increased accuracy
CN105487787A (zh) * 2015-12-09 2016-04-13 东莞酷派软件技术有限公司 基于虹膜识别的终端操作方法及装置和终端
CN105828165A (zh) * 2016-04-29 2016-08-03 维沃移动通信有限公司 一种获取字幕的方法及终端
CN106060658A (zh) * 2016-05-27 2016-10-26 青岛海信电器股份有限公司 一种图像处理方法及装置
CN106165402A (zh) * 2014-04-22 2016-11-23 索尼公司 信息再现装置、信息再现方法、信息记录装置和信息记录方法
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN108476305A (zh) * 2017-03-21 2018-08-31 深圳市大疆创新科技有限公司 一种图像传输方法、装置及设备
CN108650500A (zh) * 2018-04-02 2018-10-12 北京奇艺世纪科技有限公司 一种全景视频处理方法及装置
CN109218803A (zh) * 2018-09-28 2019-01-15 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备
CN109471579A (zh) * 2018-11-13 2019-03-15 努比亚技术有限公司 终端屏幕信息布局调整方法、装置、移动终端及存储介质
CN109660863A (zh) * 2017-10-10 2019-04-19 ***通信集团湖北有限公司 视觉关注区域检测方法、装置、设备及计算机存储介质
CN110135370A (zh) * 2019-05-20 2019-08-16 北京百度网讯科技有限公司 人脸活体检测的方法及装置、电子设备、计算机可读介质
CN110554816A (zh) * 2019-07-25 2019-12-10 华为技术有限公司 一种界面生成方法及设备
CN111193938A (zh) * 2020-01-14 2020-05-22 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
CN111311713A (zh) * 2020-02-24 2020-06-19 咪咕视讯科技有限公司 漫画处理方法、显示方法、装置、终端及存储介质
CN115022616A (zh) * 2022-08-08 2022-09-06 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101635861A (zh) * 2008-07-02 2010-01-27 索尼株式会社 显示装置和显示方法
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US20100245387A1 (en) * 2005-04-11 2010-09-30 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245387A1 (en) * 2005-04-11 2010-09-30 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101635861A (zh) * 2008-07-02 2010-01-27 索尼株式会社 显示装置和显示方法
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685907A (zh) * 2012-09-26 2014-03-26 联想(北京)有限公司 一种图像采集的方法及电子设备
WO2015035823A1 (en) * 2013-09-16 2015-03-19 Beijing Zhigu Rui Tuo Tech Co., Ltd Image collection with increased accuracy
US10002293B2 (en) 2013-09-16 2018-06-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Image collection with increased accuracy
CN106165402A (zh) * 2014-04-22 2016-11-23 索尼公司 信息再现装置、信息再现方法、信息记录装置和信息记录方法
CN105487787A (zh) * 2015-12-09 2016-04-13 东莞酷派软件技术有限公司 基于虹膜识别的终端操作方法及装置和终端
CN105828165A (zh) * 2016-04-29 2016-08-03 维沃移动通信有限公司 一种获取字幕的方法及终端
CN105828165B (zh) * 2016-04-29 2019-05-17 维沃移动通信有限公司 一种获取字幕的方法及终端
CN106060658A (zh) * 2016-05-27 2016-10-26 青岛海信电器股份有限公司 一种图像处理方法及装置
CN106060658B (zh) * 2016-05-27 2019-06-14 青岛海信电器股份有限公司 一种图像处理方法及装置
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN108476305A (zh) * 2017-03-21 2018-08-31 深圳市大疆创新科技有限公司 一种图像传输方法、装置及设备
CN109660863A (zh) * 2017-10-10 2019-04-19 ***通信集团湖北有限公司 视觉关注区域检测方法、装置、设备及计算机存储介质
CN109660863B (zh) * 2017-10-10 2021-07-20 ***通信集团湖北有限公司 视觉关注区域检测方法、装置、设备及计算机存储介质
CN108650500A (zh) * 2018-04-02 2018-10-12 北京奇艺世纪科技有限公司 一种全景视频处理方法及装置
CN108650500B (zh) * 2018-04-02 2019-11-22 北京奇艺世纪科技有限公司 一种全景视频处理方法及装置
CN109218803A (zh) * 2018-09-28 2019-01-15 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备
CN109471579A (zh) * 2018-11-13 2019-03-15 努比亚技术有限公司 终端屏幕信息布局调整方法、装置、移动终端及存储介质
CN110135370A (zh) * 2019-05-20 2019-08-16 北京百度网讯科技有限公司 人脸活体检测的方法及装置、电子设备、计算机可读介质
US11188771B2 (en) 2019-05-20 2021-11-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Living-body detection method and apparatus for face, and computer readable medium
CN110554816A (zh) * 2019-07-25 2019-12-10 华为技术有限公司 一种界面生成方法及设备
US11947781B2 (en) 2019-07-25 2024-04-02 Huawei Technologies Co., Ltd. Automatically adjusting a layout of a visual element on a to-be-generated interface and quickly generating an interface
CN110554816B (zh) * 2019-07-25 2024-05-07 华为技术有限公司 一种界面生成方法及设备
CN111193938A (zh) * 2020-01-14 2020-05-22 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
CN111311713A (zh) * 2020-02-24 2020-06-19 咪咕视讯科技有限公司 漫画处理方法、显示方法、装置、终端及存储介质
CN115022616A (zh) * 2022-08-08 2022-09-06 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法
CN115022616B (zh) * 2022-08-08 2022-12-02 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Also Published As

Publication number Publication date
CN102572217B (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
CN102572217A (zh) 基于视觉关注的多媒体处理方法及装置
US11009945B2 (en) Method for operating an eye tracking device for multi-user eye tracking and eye tracking device
CN110049324B (zh) 视频编码方法、***、设备及计算机可读存储介质
US10089769B2 (en) Augmented display of information in a device view of a display screen
US10313633B2 (en) Methods and system for simulated 3D videoconferencing
US11711588B2 (en) Video delivery
US20140063176A1 (en) Adjusting video layout
US20150181265A1 (en) Network synchronized camera settings
US8130257B2 (en) Speaker and person backlighting for improved AEC and AGC
CN104394363A (zh) 一种在线课堂导播方法及***
US20160014180A1 (en) Method and apparatus for processing multi-terminal conference communication
US20180270454A1 (en) Video monitoring method and device
CN104335243A (zh) 处理全景画面
CN104378635A (zh) 基于麦克风阵列辅助的视频感兴趣区域的编码方法
KR101540113B1 (ko) 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN111246224A (zh) 一种视频直播方法及视频直播***
CN111355924A (zh) 基于视频智能分析检测特殊人员脸部加扰编码的方法
CN108632563A (zh) 动态可视电话***及其使用方法
CN104811802A (zh) 图像播放方法及装置
US10740624B2 (en) Method for monitoring consumption of content
US11310465B1 (en) Video conference teminal and system there of
US20080159592A1 (en) Video processing method and system
US20210303830A1 (en) Systems and methods for automated tracking using a client device
US20210303853A1 (en) Systems and methods for automated tracking on a handheld device using a remote camera
Sainio et al. Eye-controlled region of interest HEVC encoding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170531

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20170719

Address after: 4 Building 99, tower 210000, Gulou District, Jiangsu, Nanjing, Zhongshan North Road

Patentee after: NANJING RUICHI DINGXIN TECHNOLOGY CO.,LTD.

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211124

Address after: 210000 Room 501, unit 3, No. 5, Dinghuaimen, Gulou District, Nanjing, Jiangsu Province

Patentee after: Huang Zhenqiang

Address before: 210000 4th floor, 99 Zhongshan North Road, Gulou District, Nanjing City, Jiangsu Province

Patentee before: NANJING RUICHI DINGXIN TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140820