CN107844774A - 图像显示的选择方法、装置、智能终端及存储介质 - Google Patents

图像显示的选择方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN107844774A
CN107844774A CN201711104297.6A CN201711104297A CN107844774A CN 107844774 A CN107844774 A CN 107844774A CN 201711104297 A CN201711104297 A CN 201711104297A CN 107844774 A CN107844774 A CN 107844774A
Authority
CN
China
Prior art keywords
attribute
image
matrix
target
real scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711104297.6A
Other languages
English (en)
Inventor
罗吉童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shizhen Information Technology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shizhen Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shizhen Information Technology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201711104297.6A priority Critical patent/CN107844774A/zh
Priority to PCT/CN2017/116738 priority patent/WO2019090901A1/zh
Publication of CN107844774A publication Critical patent/CN107844774A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像显示的选择方法、装置、智能终端及存储介质。该方法包括:获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。利用该方法,能够确定图像中待显示被摄目标的属性特征信息并由此形成被摄目标矩阵,还能通过训练有效确定图像显示选择评判所需的属性权重向量,由此基于确定的属性权重向量有效实现了从多个摄像头所捕获图像中选择待显示图像操作,保证了终端屏幕上能够显示最佳效果的被摄图像,进而提高了智能终端拍摄功能的用户体验。

Description

图像显示的选择方法、装置、智能终端及存储介质
技术领域
本发明涉及计算机应用技术领域,尤其涉及图像显示的选择方法、装置、智能终端及存储介质。
背景技术
智能终端已经广泛应用人生生活的各个领域,常见的如智能手机、智能平板、智能会议机以及智能教学设备等,随着科技的发展及人们对智能终端图像拍摄要求的提升,目前很多智能终端上设置有两个或多个用于图像捕获的摄像头,来有效提高智能终端的图像拍摄质量。
一般情况下,所设置的多个摄像头可以从不同拍摄角度捕获被摄物,但终端屏幕上往往只会显示其中一个摄像头捕获的图像。目前,基于多摄像头的智能终端进行图像捕获时,在终端屏幕上进行图像显示前,会对多个摄像头捕获的图像进行分析,并自动选择某个摄像头捕获的图像进行显示,以保证终端屏幕上显示拍摄角度更佳的图像。
对于待显示图像的选择,现有技术方案在获取到多个摄像头所捕获图像上的被摄目标位置信息后,就根据一个设定好的经验值结合被摄目标位置信息来评判每个摄像头所对应图像是否适合进行显示。现有方法的不足在于:经验值的设定往往参与了更多人为因素,由此并不能保证根据设定的经验值确定的待显示图像是最优的,从而影响了终端屏幕上的图像显示效果。
发明内容
本发明实施例提供了图像显示的选择方法、装置、智能终端及存储介质,能够有效提高多摄像头智能终端设备上拍摄图像的显示效果。
一方面,本发明实施例提供了一种图像显示的选择方法,包括:
获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;
根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
另一方面,本发明实施例提供了一种图像显示的选择装置,包括:
属性矩阵确定模块,用于获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;
拍摄得分确定模块,用于根据所述目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分;
图像选择显示模块,用于选择最高拍摄得分对应的实景图像进行显示。
又一方面,本发明实施例提供了一种智能终端,包括:至少两个摄像头,还包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的图像显示的选择方法。
再一方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的图像显示的选择方法。
在上述图像显示的选择方法、装置、智能终端及存储介质中,首先获取至少两个摄像头当前捕获的实景图像,并确定各实景图像中的被摄目标数据矩阵;然后根据原先确定的目标属相权重向量及各被摄目标属性矩阵,确定各实景图像的拍摄得分,最终选择拍摄得分最高的实景图像进行显示。上述图像显示的选择方法、装置、智能终端及存储介质,能够确定图像中待显示被摄目标的属性特征信息并由此形成被摄目标矩阵,还能通过训练有效确定图像显示选择评判所需的属性权重向量,由此基于确定的属性权重向量有效实现了从多个摄像头所捕获图像中选择待显示图像操作,保证了终端屏幕上能够显示最佳效果的被摄图像,进而提高了智能终端拍摄功能的用户体验。
附图说明
图1为本发明实施例一提供的一种图像显示的选择方法的流程示意图;
图2a为本发明实施例二提供的一种图像显示的选择方法的流程示意图;
图2b给出了本发明实施例二对目标属性权重向量进行更新训练的实现流程图;
图3为本发明实施例三提供的一种图像显示的选择装置的结构框图;
图4为本发明实施例四提供的一种智能终端的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像显示的选择方法的流程示意图,该方法适用于基于设置有多摄像头的智能终端进行图像捕获时从各摄像头捕获的图像中选择一个进行显示的情况,该方法可以由图像显示的选择装置执行,其中该装置可由软件和/或硬件实现,并一般集成在具有图像拍摄功能的智能终端上。
在本实施例中,所述智能终端具体可以是手机、平板电脑、笔记本、智能会议机、智能教学设备等电子设备。
如图1所示,本发明实施例一提供的一种图像显示的选择方法,包括如下操作:
S101、获取至少两个摄像头当前捕获的实景图像,并确定各实景图像中的被摄目标属性矩阵。
在本实施例中,至少两个摄像头设置于智能终端上,可在进入图像捕获功能后同时启动并实时进行图像采集,本实施将摄像头实时捕获的图像记作实景图像,可以知道的是,多个摄像头可同时对各自图像捕获空间中的人或物进行捕获,由此本步骤在同一时刻可获取到各摄像头捕获的实景图像。
需要说明的是,所获取的实景图像中可以包含摄像头所对应图像捕获空间的所有实物信息,但实景图像中包含的实物信息并一定都是用户想要拍摄的目标实物,本实施例可优选识别实景图像中可作为用户期望拍摄的被摄目标,然后确定各被摄目标在实景图像中的属性信息来形成实景图像的被摄目标属性矩阵。
在本实施例中,对于任一实景图像而言,默认存在一个用于确定被摄目标的优先级,示例性地,可设定实景图像中所包含人物(可进行人脸识别)的优先级最高,其次是动物(可进行具体动物识别),然后是景物。具体地,可通过对实景图像中实物信息的识别并根据被摄目标优先级确定实景图像中的被摄目标,如,当识别到实景图像中存在人物时,可将人物确定为实景图像中的被摄目标,其次当不存在人物时,才考虑识别是否存在动物并在存在时确定实景图像中的动物作为被摄目标,然后可考虑从实景图像识别出的景物作为被摄目标。
一般地,可以基于预先获取的第三方识别库来匹配识别实景图像中所包含的实物信息具体所属的类别,其中,第三方识别库可认为是包含实物自身具备的特征属性信息的特征信息库,由此通过对实景图像中各实物的特征提取分析可确定实景图像中各实物图像的所属类别,并由此确定实景图像中的被摄目标,如,第三方识别库为人脸识别库时,如果通过人脸识别库中包含的人脸特征信息确定实景图像中存在人物图像,则可将一个人物图像确定为一个被摄目标,若识别存在多个人物图像,则可认为存在多个被摄目标。
在本实施例中,确定出实景图像中的被摄目标后,可以确定出被摄目标在实景图像中的位置属性信息,如在实景图像中所处的坐标位置及在实景图像中所占据区域的大小等,本步骤可基于实景图像中所确定各被摄目标的属性信息形成相应的被摄目标数据矩阵,其中,该被摄目标属性矩阵中的行数表示了实景图像中可能存在的被摄目标的个数,列数则主要表示了用于标识被摄目标的属性信息的具体项数。
S102、根据训练确定的目标属性权重向量及各被摄目标属性矩阵,确定各实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
在本实施例中,从所获取各实景图像中选择任一实景图像进行显示时,其最基本的选择要求就是:待显示的实景图像中所包含被摄目标的被摄角度与其余实景图像相比其显示效果最佳。由此本实施例需要对各实景图像中的被摄目标进行筛选,并选择包含拍摄效果最佳的被摄目标的实景图像为待显示的实景图像。
具体地,本实施例基于上述步骤确定出各实景图像的被摄目标属性矩阵后,相当于确定了实景图像中各被摄目标在实景图像中的位置属性信息,由此可基于被摄目标属性矩阵中各被摄目标的位置属性信息结合位置属性信息中各属性项应当占有的权重来确定被摄目标在实景图像中占据的得分,并由得分结果来评判被摄目标在相应实景图像的拍摄效果。
在本实施例中,位置属性信息中各属性项应当占有的权重可通过向量的形式表示,并记作属性权重向量,且属性权重向量中的元素个数与被摄目标所具备位置属性信息中包含的属性项数相同,而对于属相权重向量中的元素值,则需要预先训练确定,以保证所确定的属相权重向量中各元素值更能体现各属性项在位置属性信息中占据的比重,由此来保证所计算实景图像拍摄得分的准确性。其中,本实施例可基于选定的网络模型结合样本数据信息对属性权重向量进行训练学习,进而获得适用于本实施例的目标属性权重向量。
基于上述S101可知,所确定的被摄目标属性矩阵相当于基于实景图像中各被摄目标的位置属性信息形成,且本实施例给定的属性权重向量适用于对各实景图像的拍摄得分的评判,因此可直接将预先训练的目标属性权重向量与被摄目标属性矩阵相结合,来获得可评判实景图像拍摄质量的拍摄得分。本步骤确定出各实景图像的拍摄得分后,可根据拍摄得分的高低来选择待显示的实景图像,本实施例优选的认为拍摄得分最高的实景图像中的被摄目标的拍摄效果最好,由此选择拍摄得分最高的实景图像进行显示。
本发明实施例一提供的一种图像显示的选择方法,首先获取至少两个摄像头当前捕获的实景图像,并确定各实景图像中的被摄目标数据矩阵;然后根据原先确定的目标属相权重向量及各被摄目标属性矩阵,确定各实景图像的拍摄得分,最终选择拍摄得分最高的实景图像进行显示。利用该方法,能够确定图像中待显示被摄目标的属性特征信息并由此形成被摄目标矩阵,还能通过训练有效确定图像显示选择评判所需的属性权重向量,由此基于确定的属性权重向量有效实现了从多个摄像头所捕获图像中选择待显示图像操作,保证了终端屏幕上能够显示最佳效果的被摄图像,进而提高了智能终端拍摄功能的用户体验。
实施例二
图2a为本发明实施例二提供的一种图像显示的选择方法的流程示意图。本发明实施例以上述实施例为基础进行优化,在本实施例中,进一步地优化增加了:根据样本图像集通过设定网络模型训练确定所述目标属性权重向量。
在上述优化的基础上,本实施将根据样本图像集通过设定网络模型训练确定所述目标属性权重向量,具体化为:获取设定数量包含被摄目标的样本图像,并确定各所述样本图像中的被摄目标属性信息;基于各所述被摄目标属性信息构建样本图像属性矩阵,并确定对应于所述样本图像属性矩阵的标准评分矩阵;根据所述样本图像属性矩阵和标准评分矩阵,通过线性回归模型更新获得对应于所述样本图像属性矩阵的目标属性权重向量。
进一步地,本实施例还将确定各所述实景图像中的被摄目标属性矩阵,具体化为:根据选定的被摄目标信息识别库识别各所述实景图像中包含的至少一个被摄目标,并确定各所述被摄目标在相应实景图像中的位置属性信息;基于各所述实景图像中所包含被摄目标的位置属性信息,构成各所述实景图像的被摄目标属性矩阵。
在上述优化的基础上,本实施例进一步将根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,具体化为:根据训练确定的目标权重向量及各所述被摄目标属性矩阵,确定对应于各所述被摄目标属性矩阵的目标评分矩阵;将各所述目标评分矩阵中的元素值之和确定为相应实景图像的拍摄得分。
如图2a所示,本发明实施例二提供的一种图像显示的选择方法,具体包括如下操作:
在本实施例中,可认为筛选待显示实景图像所依据的目标属性权重向量具体可通过下述S201至S203实现。
S201、获取设定数量包含被摄目标的样本图像,并确定各样本图像中的被摄目标属性信息。
本步骤具体实现了目标属性权重向量训练所需样本数据集的获取操作,具体地,本实施例将包含被摄目标的样本图像确定为样本数据集。可以理解的是,不同的被摄目标所对应的目标属性权重向量可能存在不同,因此,预先可以选取包含不同被摄目标的样本图像来形成不同的样本数据集,以确定作用于不同被摄目标的目标属性权重向量。
示例性地,以人物作为被摄目标为例,本步骤可以选取设定数量的包含人物信息(需要包含人脸,所包含的人脸可能是一个或多个)的样本图像,且上述设定数量可基于历史经验人为确定。本实施例可以根据人脸识别算法通过人脸识别库对各样本图像中所具有的人物(相当于被摄目标)属性特征进行确定,并将确定出的属性特征看作各被摄目标的被摄目标属性信息(相当于实施例一提及的位置属性信息)。
具体地,本实施例优选被摄目标属性信息可以通过被摄目标在实景图像中的坐标位置(横坐标和纵坐标)、被摄目标某个部位的宽度值(如被摄目标为人物时人脸的宽度)以及被摄目标在水平方向上的偏转角度(具体相当于被摄目标相对于摄像头的水平偏转角度)等表示,且每个信息表示一个属性参数。本步骤可以通过预先确定的第三方识别库,根据相对应的识别算法,识别出每个样本图像中各被摄目标的被摄目标属性信息。
S202、基于各被摄目标属性信息构建样本图像属性矩阵,并确定对应于样本图像属性矩阵的标准评分矩阵。
在本实施例中,获取各样本图像中被摄目标的被摄目标属性信息后,可以构建样本图像属性矩阵。具体地,可认为所述样本图像属性矩阵的列信息由每个被摄目标的被摄目标属性信息形成,即,样本图像属性矩阵中的每列表示一个属性参数,假设被摄目标属性信息包括4个属性参数,则可认为该样本图像属性矩阵的列数为属性参数个数加1,其中,所增加了1列具体可看作一个偏移属性参数,具体用于数据的线性划分。
同时,样本图像属性矩阵中的每行对应于一个被摄目标的被摄目标属性信息,可认为该样本图像属性矩阵的行数为设定数量样本图像中所有的被摄目标个数,示例性地,若样本图像的设定数量为10,且被摄目标为人物,则可确定10张样本图像中包含的人脸个数,且10张样本图像中人脸个数之和可作为样本图像属性矩阵的总行数。
此外,在确定样本图像属性矩阵后,可以根据个人喜好为样本图像属性矩阵中的每行被摄目标属性信息打分,具体地,本实施例给出的一个评分标准可以是:根据个人喜好,如果根据个人喜好参照第A行的被摄目标属性信息认为相应被摄目标在样本图像中拍摄位置优于第B行对应的被摄目标,则可给定第A行高于第B行的分数,本实施例优选设定打分的范围为1~100;本实施例给出的另一个评分标准可以是:任意挑选两张样本图像,根据个人喜好如果认为其中一张样本图像X的拍摄效果由于另外一张样本图像Y,则应当保证对样本图像X中给定所有被摄目标的分值之和高于给定样本图像Y所有被摄目标的分值之和。
通过上述打分策略打分之后,样本图像属性矩阵中的每行都对应存在一个分数值,由此可形成行数等同于样本图像属性矩阵的行数,列数为1的标准评分矩阵。
S203、根据样本图像属性矩阵和标准评分矩阵,通过线性回归模型更新获得对应于样本图像属性矩阵的目标属性权重向量。
本实施优选采用线性回归的网络模型更新训练获得目标属性权重向量。本实施例可以将获得的样本图像属性矩阵看作线性回归模型的输入数据集,将标准评分矩阵作为线性回归模型的标准输出。首先给定一个待更新训练的初始属性权重向量,然后,基于该初始权重向量及样本图像属性矩阵,通过该线性回归模型,确定出当前迭代输出的当前评分矩阵;之后基于标准评分矩阵、设定的学习参数以及设定的误差反馈函数等对该当前评分矩阵进行一次迭代更新;并将在迭代更新获得的评分矩阵的基础上再次进行迭代更新操作,直至达到迭代结束条件获得目标属性权重向量。
进一步地,图2b给出了本发明实施例二对目标属性权重向量进行更新训练的实现流程图。具体地,如图2b所示,对目标属相权重向量的更新包括如下操作:
S2031、获取线性回归模型中的待更新属性权重向量及设定的学习参数。
示例性地,可将设定的初始属性权重向量作为首次迭代的待更新属性权重向量,其中,初始属性权重向量中各向量值可随机设定,且可认为属性权重向量的向量维度与被摄目标属性信息的属性参数总数相同。
本实施例中,可认为学习参数通过多次不同参数取值下进行属性权重向量的迭代更新操作,根据设定误差反馈函数在各次迭代中的迭代结果所形成的曲线对比获得,一般可选取曲线下降较快,收敛效果最好的参数取值作为学习参数,本实施例优选设定学习参数为0.3。可以理解的是,上述学习参数的获得可在执行该步骤之前预先进行,也可给定一组学习参数,并基于每个学习参数执行图2b给定的操作,然后将曲线结果最优的学习参数对应的目标属性权重向量确定为最终的目标属性权重向量。
S2032、根据待更新属性权重向量、标准评分矩阵、样本图像属性矩阵及设定的误差反馈函数梯度公式,确定待更新属性权重向量对应的误差反馈梯度值。
本步骤相当于一次迭代中的一个中间操作,具体用于确定一次计算后当前的待更新属性权重向量对应的误差反馈梯度值。
具体地,所述误差反馈函数梯度公式表示为:
其中,表示误差反馈函数J(w)的梯度;X表示所述样本图像属性矩阵;w表示所述待更新属性权重向量;y表示标准评分矩阵。
需要说明的是,本实施例中还给出了误差反馈函数的公式表达,具体表示为:J(w)=(Xw)T(Xw)/(2m),其中,m为样本图像属性矩阵X的行数。通过该误差反馈函数,可以确定每次迭代对应的误差反馈值,且基于每次迭代所获得误差反馈值可形成上述所说的用于确定学习参数的曲线。
S2033、根据待更新属性权重向量、学习参数、误差反馈梯度值及设定的权重更新公式,更新获得的当前属性权重向量。
具体地,所述权重更新公式表示为:其中,w`表示更新后的当前属性权重向量;η表示设定的学习参数。
本步骤可以根据中间计算获得的误差反馈梯度值、学习参数以及当前的待更新属性权重向量结合上述权重更新公式计算获得更新后的当前属性权重向量,该当前属性权重向量就相当于一次迭代训练后更新获得属性权重向量。
S2034、将当前属性权重向量确定为新的待更新属性权重向量,并返回执行S2302,直至满足迭代结束条件。
本步骤具体相当于循环迭代的设定,再循环进行迭代前,首先将前一次迭代获得当前属性权重向量看作当前迭代所需的新的待更新属性权重向量,然后可返回S2302重新执行,直至满足迭代结束条件。本实施例可根据迭代次数设定迭代结束条件,也可根据误差反馈函数的收敛情况决定是否结束迭代。本实施例优选设定迭代结束的迭代次数为400。
S2035、将迭代结束时获得当前属性权重向量确定为样本图像属性矩阵的目标属性权重向量。
示例性地,本实施例将迭代结束时更新确定的当前属性权重向量确定为所需的目标属性权重向量。
S204、获取至少两个摄像头当前捕获的实景图像。
上述S201至S203相当于一个预处理操作,主要用来获得待显示图像所依据的目标属性权重向量,可以理解的是,基于上述操作可以获取不同被摄目标对应的目标属性权重向量。本步骤相当于图像显示选择的实际应用,首先获取智能终端上至少两个摄像头捕获的实景图像。
S205、根据选定的被摄目标信息识别库识别各实景图像中包含的至少一个被摄目标,并确定各被摄目标在相应实景图像中的位置属性信息。
本步骤中的被摄目标信息识别库相当于上述实施例提及的第三方识别库,可以根据所选定被摄目标的不同确定具体所需的第三方识别库。可以理解的是,在对被摄目标进行识别时,还需要相应的识别算法,一般地,所述识别算法可以根据图像特征提取以及图像色彩分析或图像匹配等多种策略实现。
本实施例中,实景图像中各被摄目标的位置属性信息与样本图像中被摄目标的被摄目标属性信息相同,由相同的属性项构成。通过对被摄目标的识别分析,可以确定被摄目标在实景图像中的位置属性信息。
S206、基于各实景图像中所包含被摄目标的位置属性信息,构成各实景图像的被摄目标属性矩阵。
示例性地,本实施例可分别为每个实景图像构建一个被摄目标属性矩阵,该被摄目标属性矩阵具体由实景图像所包含的被摄目标对应的位置属性信息构成。假设位置属性信息由4个属性参数构成,则加上额外设定的偏移参数,可确定被摄目标属性矩阵的列数为5,行数为实景图像所包含被摄目标的个数,若一个实景图像包含4个被摄目标(如人物),则可相应获得一个4×5的被摄目标属性矩阵。
本步骤可以基于上述描述确定出各实景图像对应的被摄目标属性矩阵。
S207、根据训练确定的目标权重向量及各被摄目标属性矩阵,确定对应于各被摄目标属性矩阵的目标评分矩阵。
具体地,训练更新获得被摄目标对应的目标权重向量后,可以将该目标权重向量与形成的所有被摄目标属性矩阵进行矩阵计算。
示例性地,就一个4×5的被摄目标属性矩阵而言,其目标权重向量的维度为5,相当于一个5×1的矩阵,将被摄目标属性矩阵左乘该目标权重向量,可获得一个4×1的目标评分矩阵。该目标评分矩阵中的一个元素值对应一个被摄目标的得分。
S208、将各目标评分矩阵中的元素值之和确定为相应实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
本实施例可分别计算每个目标评分矩阵中的元素值之和,并确定为相应实景图像的拍摄得分,将所有拍摄得分进行比对,可优选选择最高拍摄得分对应的实景图像,并将该实景图像在智能终端上进行显示。
本发明实施例二提供的一种图像显示的选择方法,具体增加了目标属性权重向量的训练确定操作,并具体化了目标属性权重向量的更新训练过程;同时,还具体化了被摄目标属性矩阵的确定过程以及待显示实景图像的选择过程。利用该方法,能够通过网络模型准确有效地训练确定图像显示所需的目标属性权重向量,由此在所捕获图像数据线性可分情况下简单有效的从多个摄像头捕获的图像中确定全局最优的可显示图像,从而保证了终端屏幕上能够显示最佳效果的被摄图像,进而提高了智能终端拍摄功能的用户体验。
实施例三
图3为本发明实施例三提供的一种图像显示的选择装置的结构框图。该装置适用于基于设置有多摄像头的智能终端进行图像捕获时从各摄像头捕获的图像中选择一个进行显示的情况,其中该装置可由软件和/或硬件实现,并一般集成在具有图像拍摄功能的智能终端上。如图3所示,该装置包括:属性矩阵确定模块31、拍摄得分确定模块32以及图像选择显示模块33。
其中,属性矩阵确定模块31,用于获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;
拍摄得分确定模块32,用于根据所述目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分;
图像选择显示模块33,用于选择最高拍摄得分对应的实景图像进行显示。
在本实施例中,该装置首先通过属性矩阵确定模块31获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;然后通过拍摄得分确定模块32根据所述目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分;最终通过图像选择显示模块33选择最高拍摄得分对应的实景图像进行显示。
本发明实施例三提供的一种图像显示的选择装置,能够确定图像中待显示被摄目标的属性特征信息并由此形成被摄目标矩阵,还能通过训练有效确定图像显示选择评判所需的属性权重向量,由此基于确定的属性权重向量有效实现了从多个摄像头所捕获图像中选择待显示图像操作,保证了终端屏幕上能够显示最佳效果的被摄图像,进而提高了智能终端拍摄功能的用户体验。
进一步地,该装置还优化包括了:目标权重确定模块34,用于根据样本图像集通过设定网络模型训练获得目标属性权重向量。
在上述优化的基础上,目标权重确定模块34,包括:
样本信息获取单元,用于获取设定数量包含被摄目标的样本图像,并确定各所述样本图像中的被摄目标属性信息;
样本矩阵构建单元,基于各所述被摄目标属性信息构建样本图像属性矩阵,并确定对应于所述样本图像属性矩阵的标准评分矩阵;
权重更新确定单元,用于根据所述样本图像属性矩阵和标准评分矩阵,通过线性回归模型更新获得对应于所述样本图像属性矩阵的目标属性权重向量。
进一步地,权重更新确定单元,具体用于:
获取线性回归模型中的待更新属性权重向量及设定的学习参数;根据所述待更新属性权重向量、标准评分矩阵、样本图像属性矩阵及设定的误差反馈函数梯度公式,确定所述待更新属性权重向量对应的误差反馈梯度值;根据所述待更新属性权重向量、学习参数、误差反馈梯度值及设定的权重更新公式,更新获得的当前属性权重向量;将所述当前属性权重向量确定为新的待更新属性权重向量,并返回迭代执行权重向量的更新操作,直至满足迭代结束条件;将迭代结束时获得当前属性权重向量确定为所述样本图像属性矩阵的目标属性权重向量。
进一步地,误差反馈函数梯度公式表示为:
其中,表示误差反馈函数J(w)的梯度;X表示所述样本图像属性矩阵;w表示所述待更新属性权重向量;y表示标准评分矩阵;
所述权重更新公式表示为:其中,w`表示更新后的当前属性权重向量;η表示设定的学习参数。
进一步地,属性矩阵确定模块31,具体用于:
获取至少两个摄像头当前捕获的实景图像;根据选定的被摄目标信息识别库识别各所述实景图像中包含的至少一个被摄目标,并确定各所述被摄目标在相应实景图像中的位置属性信息;基于各所述实景图像中所包含被摄目标的位置属性信息,构成各所述实景图像的被摄目标属性矩阵。
在上述优化的基础上,图像选择显示模块33,具体用于:
根据所述目标权重向量及各所述被摄目标属性矩阵,确定对应于各所述被摄目标属性矩阵的目标评分矩阵;将各所述目标评分矩阵中的元素值之和确定为相应实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
实施例四
图4为本发明实施例四提供的一种智能终端的硬件结构示意图,如图4所示,本发明实施例四提供的智能终端,包括:至少两个摄像头41,处理器42和存储装置43。该智能终端中的处理器可以是一个或多个,图4中以一个处理器42为例,所述智能终端中的至少两个摄像头41可以通过总线或其他方式分别与处理器42和存储装置43连接,且处理器42和存储装置43也通过总线或其他方式连接,图4中以通过总线连接为例。
在本实施例中,智能终端中的处理器42可以控制至少两个摄像头41同时进行图像捕获,此外,至少两个摄像头41所捕获的实景图像还可以存储至存储装置43,以实现图像数据的存储。
该智能终端中的存储装置43作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中图像显示的选择方法对应的程序指令/模块(例如,附图3所示的图像显示的选择装置中的模块,包括:属性矩阵确定模块31、拍摄得分确定模块32以及图像选择显示模块33)。处理器42通过运行存储在存储装置43中的软件程序、指令以及模块,从而执行智能终端的各种功能应用以及数据处理,即实现上述方法实施例中图像显示的选择方法。
存储装置43可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储装置43可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置43可进一步包括相对于处理器42远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且,当上述智能终端所包括一个或者多个程序被所述一个或者多个处理器42执行时,程序进行如下操作:
获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
此外,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被控制装置执行时实现本发明实施例一或实施例二提供的图像显示的选择方法,该方法包括:获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像显示的选择方法,其特征在于,包括:
获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;
根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,并选择最高拍摄得分对应的实景图像进行显示。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据样本图像集通过设定网络模型训练确定所述目标属性权重向量。
3.根据权利要求2所述的方法,其特征在于,所述根据样本图像集通过设定网络模型训练确定所述目标属性权重向量,包括:
获取设定数量包含被摄目标的样本图像,并确定各所述样本图像中的被摄目标属性信息;
基于各所述被摄目标属性信息构建样本图像属性矩阵,并确定对应于所述样本图像属性矩阵的标准评分矩阵;
根据所述样本图像属性矩阵和标准评分矩阵,通过线性回归模型更新获得对应于所述样本图像属性矩阵的目标属性权重向量。
4.根据权利要求3所述的方法,其特征在于,所述根据所述样本图像属性矩阵和标准评分矩阵,通过线性回归模型更新获得对应于所述样本图像属性矩阵的目标属性权重向量,包括:
获取线性回归模型中的待更新属性权重向量及设定的学习参数;
根据所述待更新属性权重向量、标准评分矩阵、样本图像属性矩阵及设定的误差反馈函数梯度公式,确定所述待更新属性权重向量对应的误差反馈梯度值;
根据所述待更新属性权重向量、学习参数、误差反馈梯度值及设定的权重更新公式,更新获得的当前属性权重向量;
将所述当前属性权重向量确定为新的待更新属性权重向量,并返回迭代执行权重向量的更新操作,直至满足迭代结束条件;
将迭代结束时获得当前属性权重向量确定为所述样本图像属性矩阵的目标属性权重向量。
5.根据权利要求4所述的方法,其特征在于,所述误差反馈函数梯度公式表示为:
其中,表示误差反馈函数J(w)的梯度;X表示所述样本图像属性矩阵;w表示所述待更新属性权重向量;y表示标准评分矩阵;
所述权重更新公式表示为:其中,w`表示更新后的当前属性权重向量;η表示设定的学习参数。
6.根据权利要求1所述的方法,其特征在于,所述确定各所述实景图像中的被摄目标属性矩阵,包括:
根据选定的被摄目标信息识别库识别各所述实景图像中包含的至少一个被摄目标,并确定各所述被摄目标在相应实景图像中的位置属性信息;
基于各所述实景图像中所包含被摄目标的位置属性信息,构成各所述实景图像的被摄目标属性矩阵。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据训练确定的目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分,包括:
根据训练确定的目标权重向量及各所述被摄目标属性矩阵,确定对应于各所述被摄目标属性矩阵的目标评分矩阵;
将各所述目标评分矩阵中的元素值之和确定为相应实景图像的拍摄得分。
8.一种图像显示的选择装置,其特征在于,包括:
属性矩阵确定模块,用于获取至少两个摄像头当前捕获的实景图像,并确定各所述实景图像中的被摄目标属性矩阵;
拍摄得分确定模块,用于根据所述目标属性权重向量及各所述被摄目标属性矩阵,确定各所述实景图像的拍摄得分;
图像选择显示模块,用于选择最高拍摄得分对应的实景图像进行显示。
9.一种智能终端,包括:至少两个摄像头,其特征在于,还包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的图像显示的选择方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的图像显示的选择方法。
CN201711104297.6A 2017-11-10 2017-11-10 图像显示的选择方法、装置、智能终端及存储介质 Pending CN107844774A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711104297.6A CN107844774A (zh) 2017-11-10 2017-11-10 图像显示的选择方法、装置、智能终端及存储介质
PCT/CN2017/116738 WO2019090901A1 (zh) 2017-11-10 2017-12-17 图像显示的选择方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711104297.6A CN107844774A (zh) 2017-11-10 2017-11-10 图像显示的选择方法、装置、智能终端及存储介质

Publications (1)

Publication Number Publication Date
CN107844774A true CN107844774A (zh) 2018-03-27

Family

ID=61682622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711104297.6A Pending CN107844774A (zh) 2017-11-10 2017-11-10 图像显示的选择方法、装置、智能终端及存储介质

Country Status (2)

Country Link
CN (1) CN107844774A (zh)
WO (1) WO2019090901A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399848A (zh) * 2019-07-30 2019-11-01 北京字节跳动网络技术有限公司 视频封面生成方法、装置及电子设备
CN111307798A (zh) * 2018-12-11 2020-06-19 成都智叟智能科技有限公司 采用多种采集技术的物品查验方法
CN111339811A (zh) * 2019-08-27 2020-06-26 杭州海康威视***技术有限公司 图像处理方法、装置、设备及存储介质
CN112735180A (zh) * 2021-01-15 2021-04-30 摩拜(北京)信息技术有限公司 停车引导方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948616B (zh) * 2021-01-25 2022-08-12 上海微亿智造科技有限公司 用于飞拍过程中拍摄位点搜寻的方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215014A1 (en) * 1999-07-08 2013-08-22 Timothy R. Pryor Camera based sensing in handheld, mobile, gaming, or other devices
US20130314577A1 (en) * 2007-08-29 2013-11-28 Nintendo Co., Ltd. Camera Device
CN104168418A (zh) * 2014-06-30 2014-11-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
CN105491309A (zh) * 2015-11-30 2016-04-13 东莞酷派软件技术有限公司 一种图像显示方法以及装置
CN107169093A (zh) * 2017-05-12 2017-09-15 北京奇艺世纪科技有限公司 一种目标图像的获取方法及装置
CN107277427A (zh) * 2017-05-16 2017-10-20 广州视源电子科技股份有限公司 自动选择摄像头画面的方法、装置及音视频***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025437A (zh) * 2017-03-16 2017-08-08 南京邮电大学 基于智能构图及微表情分析的智能拍照方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215014A1 (en) * 1999-07-08 2013-08-22 Timothy R. Pryor Camera based sensing in handheld, mobile, gaming, or other devices
US20130314577A1 (en) * 2007-08-29 2013-11-28 Nintendo Co., Ltd. Camera Device
CN104168418A (zh) * 2014-06-30 2014-11-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
CN105491309A (zh) * 2015-11-30 2016-04-13 东莞酷派软件技术有限公司 一种图像显示方法以及装置
CN107169093A (zh) * 2017-05-12 2017-09-15 北京奇艺世纪科技有限公司 一种目标图像的获取方法及装置
CN107277427A (zh) * 2017-05-16 2017-10-20 广州视源电子科技股份有限公司 自动选择摄像头画面的方法、装置及音视频***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111307798A (zh) * 2018-12-11 2020-06-19 成都智叟智能科技有限公司 采用多种采集技术的物品查验方法
CN110399848A (zh) * 2019-07-30 2019-11-01 北京字节跳动网络技术有限公司 视频封面生成方法、装置及电子设备
CN111339811A (zh) * 2019-08-27 2020-06-26 杭州海康威视***技术有限公司 图像处理方法、装置、设备及存储介质
CN111339811B (zh) * 2019-08-27 2024-02-20 杭州海康威视***技术有限公司 图像处理方法、装置、设备及存储介质
CN112735180A (zh) * 2021-01-15 2021-04-30 摩拜(北京)信息技术有限公司 停车引导方法及装置

Also Published As

Publication number Publication date
WO2019090901A1 (zh) 2019-05-16

Similar Documents

Publication Publication Date Title
CN107844774A (zh) 图像显示的选择方法、装置、智能终端及存储介质
CN106778928B (zh) 图像处理方法及装置
CN108234870B (zh) 图像处理方法、装置、终端及存储介质
CN108875963A (zh) 机器学习模型的优化方法、装置、终端设备和存储介质
CN110378372A (zh) 图数据识别方法、装置、计算机设备和存储介质
CN109508650A (zh) 一种基于迁移学习的树种识别方法
CN110363210A (zh) 一种图像语义分割模型的训练方法和服务器
CN110135406A (zh) 图像识别方法、装置、计算机设备和存储介质
CN108108754A (zh) 重识别网络的训练、重识别方法、装置和***
CN105975612A (zh) 一种图片处理方法、装置及设备
CN109840530A (zh) 训练多标签分类模型的方法和装置
CN109255772A (zh) 基于风格迁移的车牌图像生成方法、装置、设备及介质
CN112446302B (zh) 一种人体姿态检测方法、***、电子设备和存储介质
CN110363086A (zh) 图数据识别方法、装置、计算机设备和存储介质
CN109919304A (zh) 神经网络搜索方法、装置、可读存储介质和计算机设备
CN110728295A (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN110942012A (zh) 图像特征提取方法、行人重识别方法、装置和计算机设备
CN109145871A (zh) 心理行为识别方法、装置与存储介质
CN112464766A (zh) 一种农田地头自动识别方法及***
CN108647571A (zh) 视频动作分类模型训练方法、装置及视频动作分类方法
CN112101359B (zh) 文本公式的定位方法、模型训练方法及相关装置
CN109583594A (zh) 深度学习训练方法、装置、设备及可读存储介质
CN108875693A (zh) 一种图像处理方法、装置、电子设备及其存储介质
CN109272044A (zh) 一种图像相似度确定方法、装置、设备及存储介质
CN112749723A (zh) 样本标注方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327