CN105138610A - 一种基于图像元素的图像特征值预测方法和装置 - Google Patents

一种基于图像元素的图像特征值预测方法和装置 Download PDF

Info

Publication number
CN105138610A
CN105138610A CN201510484394.7A CN201510484394A CN105138610A CN 105138610 A CN105138610 A CN 105138610A CN 201510484394 A CN201510484394 A CN 201510484394A CN 105138610 A CN105138610 A CN 105138610A
Authority
CN
China
Prior art keywords
image
pictorial element
value
feature value
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510484394.7A
Other languages
English (en)
Inventor
马修·罗伯特·斯科特
黄鼎隆
魏颢
王海涵
彭彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Malong Technologies Co Ltd
Original Assignee
Shenzhen Malong Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Malong Technologies Co Ltd filed Critical Shenzhen Malong Technologies Co Ltd
Priority to CN201510484394.7A priority Critical patent/CN105138610A/zh
Publication of CN105138610A publication Critical patent/CN105138610A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于图像元素的图像特征值预测方法。所述方法包括:接收第一移动终端上传的包含多个图像元素的第一图像;识别所述第一图像中的图像元素并提取所述图像元素的特征信息;根据所述特征信息生成图像元素的单一特征值;根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值;根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。依据本申请可以提供给用户反映出图像的整体视觉效果的信息。

Description

一种基于图像元素的图像特征值预测方法和装置
技术领域
本申请涉及图像识别技术领域,特别是涉及一种基于图像元素的图像特征值预测方法和一种基于图像元素的图像特征值预测装置。
背景技术
随着图像识别技术的发展,对图像识别技术的应用渗透了人们生活的方方面面。
图像识别技术可以凭借对图像中的视觉特征的分析,识别出图像中的内容对应于现实生活中的何种物体或物品,人们利用这种技术,可以由计算机快速高效地针对图像添加评价标签,改变了以往的依赖人工评价图像特征的方式。
在现有的图像识别技术中,会分别对图像中的某个物体或物品等图像元素作出识别,例如,一张包含有一个身穿白衬衣和牛仔裤的时装模特的图像,通过现有的图像识别技术识别出该图像中包含一条牛仔裤和一件白衬衣,在实际应用中,除了图像包含有牛仔裤和白衬衣这样的基本信息外,用户还想知道图像中的牛仔裤和白衬衣的搭配效果是否符合人类大众的审美标准、穿着习惯、这样的搭配是否合理,或者是否符合衣着潮流、是否足够时尚等可以反映出图像的整体特征的相关信息,然而现有的图像识别方法只针对图像中的各个图像元素分别作出孤立的识别和分析,并没有关注各个图像元素之间的关联,因此无法向用户提供可以反映图像整体视觉效果的相关信息。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于图像元素的图像特征值预测方法和相应的一种基于图像元素的图像特征值预测装置。
依据本申请的一个方面,公开了一种基于图像元素的图像特征值预测方法,所述方法包括:
接收第一移动终端上传的包含多个图像元素的第一图像;
识别所述第一图像中的图像元素并提取所述图像元素的特征信息;
根据所述特征信息生成图像元素的单一特征值;
根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值;
根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
可选地,所述方法还包括:
针对所述第一图像及所述第一图像的图像特征值添加唯一的图像标识并保存在预置的图像数据库。
可选地,所述方法还包括:
将根据所述第一图像、对应的图像特征值和图像标识生成的图像比对邀请信息发送至所述第一移动终端和/或第二移动终端并展示。
可选地,所述方法还包括:
在所述图像数据库中查找匹配于所述第一图像的各个图像元素的单一特征值、组合搭配值及所述第一图像的图像特征值的参考图像;
将所述参考图像及对应的图像特征值发送至所述第一移动终端和/或第二终端并展示。
可选地,所述方法还包括:
接收第二移动终端根据所述图像比对邀请信息提交的图像比对请求和上传的第二图像;
根据所述图像比对请求在所述图像数据库中提取所述第一图像及对应的图像特征值;
将所述第一图像及对应的图像特征值和所述第二图像及对应的图像特征值按预置布局方式形成目标比对图像;
将所述目标比对图像发送至所述第一移动终端和/或所述第二移动终端并展示。
可选地,识别所述第一图像中的图像元素并提取所述图像元素的特征信息具体为:
通过卷积神经网络***识别所述第一图像中的图像元素;
分别从各个图像元素中提取颜色、和/或纹理、和/或形状信息。
可选地,根据所述特征信息生成图像元素的单一特征值具体为:
根据所述图像元素的颜色、和/或纹理、和/或形状信息,通过所述卷积神经网络***计算所述图像元素的单一特征值;
根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值具体为:
根据各个图像元素之间的相对位置关系、和/或连接关系,以及各个图像元素的颜色之间的色彩匹配度、和/或纹理之间的纹理统一度、和/或形状信息之间的相对尺寸比例,通过所述卷积神经网络***计算出所述图像元素的组合搭配值。
可选地,根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值具体为:
以各个图像元素的颜色、和/或纹理、和/或形状信息、和/或各个图像元素之间的相对位置关系、和/或连接关系、以及各个图像元素的颜色信息之间的色彩匹配度、和/或纹理信息之间的纹理统一度、和/或形状信息之间的相对尺寸比例作为变量信息,通过所述卷积神经网络***的回归分析模型预测所述第一图像的图像特征值。
可选地,所述方法还包括:
通过互联网采集多个训练图像;
识别所述训练图像中的图像元素并提取所述图像元素的特征信息;
按照预置的单一特征值评估规则和组合搭配值评估规则,计算所述训练图像中的图像元素的特征信息的单一特征值和图像元素组合搭配值;
通过所述训练图像中的图像元素的特征信息与所述训练图像中的图像元素的单一特征值和组合搭配值的非线性变化关系,训练所述卷积神经网络***;
将具有单一特征值和组合搭配值的训练图像作为所述参考图像并保存在所述图像数据库中。
依据本申请的另一个方面,公开了一种基于图像元素的图像特征值预测装置,所述装置包括:
图像接收模块,用于接收第一移动终端上传的包含多个图像元素的第一图像;
特征信息提取模块,用于识别所述第一图像中的图像元素并提取所述图像元素的特征信息;
单一特征值生成模块,用于根据所述特征信息生成图像元素的单一特征值;
组合搭配值生成模块,用于根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值;
图像特征值预测模块,用于根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
本申请实施例包括以下优点:
本申请通过接收第一移动终端上传的包含多个图像元素的第一图像,识别第一图像中的图像元素并相应提取特征信息,根据特征信息生成图像元素的单一特征值,根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成图像元素的组合搭配值,根据单一特征值和组合搭配值预测第一图像的图像特征值,图像特征值的预测综合了图像中各个图像元素各自的特征信息以及图像元素、图像元素的特征信息之间的关联性等因素,从而可以提供给用户反映出图像的整体视觉效果的信息。
进一步,用具体的特征值量化图像的整体视觉效果,从而可以对不同的图像进行整体视觉效果的客观比较。
附图说明
图1是本申请的一种基于图像元素的图像特征值预测方法实施例1的步骤流程图;
图2是本申请的一种基于图像元素的图像特征值预测方法实施例2的步骤流程图;
图3是本申请的一种基于图像元素的图像特征值预测方法实施例3的步骤流程图;
图4是本申请的一种基于图像元素的图像特征值预测装置实施例1的结构框图;
图5是本申请的一种基于图像元素的图像特征值预测装置实施例2的结构框图;
图6是本申请的一种基于图像元素的图像特征值预测方法实施例2中的目标比对图像示意图;
图7是本申请一种基于图像元素的图像特征值预测方法实施例2中的图像特征值相关信息展示界面示意图;
图8是本申请一种基于图像元素的图像特征值预测方法实施例2中的图像特征值排行展示界面示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1,示出了本申请的一种基于图像元素的图像特征值预测方法实施例1的步骤流程图,具体可以包括如下步骤:
步骤101,接收第一移动终端上传的包含多个图像元素的第一图像。
需要说明的是,上述的图像元素可以是现实生活中的各种物体或物品在图像中的视觉特征,例如颜色、纹理、形状等。
在具体的应用中,用户可以通过手机、电脑等移动终端上传一张具有特定内容的计算机可读图像,例如是不同款式的衣服搭配图像,或是人工绘画创作的服饰搭配概念图。
在实际应用中,可以在接受第一图像后进行图像预处理,例如调整可交换图像文件格式(ExchangeableImageFile,EXIF)的方向,或者将图像的灰度转换成RGBA色彩***(RedGreenBlueAlphaColorSystem)或RGB色彩***(RedGreenBlueColorSystem)的数据信息,以便于后续的图像识别处理。对图像的预处理也可以在移动终端一侧进行,图像预处理的具体方式也可以根据实际需要由本领域技术人员制定,本申请实施例对此不作限制。
步骤102,识别所述第一图像中的图像元素并提取所述图像元素的特征信息。
在实际应用中,可以通过现有的图像识别技术定位第一图像中的图像元素,对定位了的各个图像元素进行特征信息的提取,例如可以采用基于内容的图像检索技术(ContentBasedImageRetrieval,CBIR)进行一个图像元素的识别和特征信息的提取。
作为本发明实施例的优选示例,可以先预设一个目标图像元素作为识别基准,例如,需要对衣服类的图像元素进行识别,可以先识别出图像中是否具有关于人体的图像元素,如果存在,即表明该人体的图像元素的区域内可能存在衣服类的图像元素,然后再再人体的图像元素的区域内进行衣服类的图像元素的识别。图像元素的特征信息可以包括图像元素的颜色、纹理、尺寸、形状等多种的可以反映图像外观视觉特征的信息。
步骤103,根据所述特征信息生成图像元素的单一特征值。
当提取到第一图像中各个图像元素的特征信息,可以对各个特征信息进行分析和识别,得出一个可以反映某个图像元素的特征的单一特征值。
实际运用中,当提取到某个图像元素的颜色、纹理、形状等的外观视觉的特征信息后,通过现有的图像识别技术,可以根据颜色、纹理、形状识别出现实生活中对应的物体或物品以及该物体或物品相应的特征值。例如,可以从一张包含有白衬衣和牛仔裤的图像中,分别识别出白衬衣和牛仔裤,并根据该白衬衣和牛仔裤的颜色、纹理、形状等特征信息生成出一个反映白衬衣或牛仔裤的是否符合人类审美标准、穿着习惯的特征值,特征值可以设定为0-10的分数范围,0代表完全不符合人类审美标准、穿着习惯,10代表完全符合人类审美标准、穿着习惯,如上述例子,如果是根据特征信息识别出白衬衣是高领无袖的白衬衣,不符合人类审美标准,也不符合正常人的穿着习惯,上述的白衬衣得到较低的1分,而牛仔裤上有2个花色补丁,其花纹也是当前比较流行的款式,符合当前牛仔裤的穿着习惯和衣着潮流,得到较高的9分。
需要特别说明的是,一方面,近年来随着计算机图像识别技术的发展,计算机科学领域提出了计算美学(ComputationalAesthetics)的概念,着重实现“美”的可计算方法,“美”之所以可以计算,是因为人类对“美”的理解是具有共性,人类的审美标准也是客观存在的,各类美术创作,时装设计正是具有“美”的特点,才得以引起人们美好的视觉感受。另一方面,人类的穿着习惯会随着时代的变迁而改变,人们在进行服饰搭配时,除了考虑“美”的因素外,还会考虑当前的衣着的潮流和时尚度。从数据的角度看,衣着潮流和时尚度可以理解为一种数据的变化方向,简单举例,假设有一个数据库中存有代表各种颜色的颜色数据,如果将所有红色衣服作为数据RED,所有绿色衣服作为数据GREEN,当现实生活中的某段时间内,衣着潮流或被认为时尚的服饰改变了,由红色衣服变为绿色衣服,则数据库中的数据RED减少,而数据GREEN则相应增多,整个数据库中的各种颜色数据发生了一个变化趋势,因此可以将衣着潮流和时尚看作是数据的变化趋势。
步骤104,根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值。
在具体的实现中,可以对图像元素之间的例如组合关系和图像元素的特征信息之间的搭配关系按照预置方式生成一个可以反映上述的组合关系和搭配关系是否符合人类审美标准、穿着习惯的组合搭配值。
组合搭配值可以设定为1-10的范围的分数,0代表完全不符合人类审美标准、穿着习惯,10代表完全符合人类审美标准、穿着习惯。例如,图像中的包含有白色衬衣和牛仔裤,如果牛仔裤为红色,白色的衬衣与红色牛仔裤的搭配并不符合人类审美习惯和穿着习惯,得到较低的4分。
步骤105,根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
依据单一特征值和组合搭配值,可以预测第一图像的反映图像整体视觉效果的图像特征值。在实际应用中,针对图像中各个图像元素、图像元素各自的特征信息、图像元素之间的相互关系、各个图像元素的特征信息之间的互相关系等多个存在相互依赖关系的变量,可以采用回归分析模型对多个变量进行回归分析,从而预测出可以反映第一图像的视觉特征的图像特征值,图像特征值可以设定为0-100范围的分数值,0代表完全不符合人类审美标准、穿着习惯,100代表完全符合人类审美标准、穿着习惯。
当然,图像的单一特征值、组合搭配值、图像特征值的具体设定方式仅是举例,本领域技术人员可以根据本发明实施例的发明核心构思,采用各种手段实现本发明实施例的技术方案,例如可以采用JSON语法(JavaScriptObjectNotation)的方式表示图像的单一特征值、组合搭配值、图像特征值。
本申请通过接收第一移动终端上传的包含多个图像元素的第一图像,识别第一图像中的图像元素并相应提取特征信息,根据特征信息生成图像元素的单一特征值,根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成图像元素的组合搭配值,根据单一特征值和组合搭配值预测第一图像的图像特征值,图像特征值的预测综合了图像中各个图像元素各自的特征信息以及图像元素、图像元素的特征信息之间的关联性等因素,从而可以提供给用户反映出图像的整体视觉效果的信息。
进一步,用具体的特征值量化图像的整体视觉效果,从而可以对不同的图像进行整体视觉效果的客观比较。
参照图2,示出了本申请的一种基于图像元素的图像特征值预测方法实施例2的步骤流程图,具体可以包括如下步骤:
步骤201,接收第一移动终端上传的包含多个图像元素的第一图像。
步骤202,识别所述第一图像中的图像元素并提取所述图像元素的特征信息。
步骤203,根据所述特征信息生成图像元素的单一特征值。
步骤204,根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值。
步骤205,根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
步骤206,针对所述第一图像及所述第一图像的图像特征值添加唯一的图像标识并保存在预置的图像数据库。
在具体的实现中,可以针对第一图像及图像特征值,添加一个与第一图像及图像特征值唯一对应的图像标识,并将第一图像、图像特征值、对应的图像标识保存在预置的图像数据库,该图像数据库即可保存有多张具有图像特征值的图像,作为本发明实施例的优选示例,可以利用图像、图像特征值、和图像标识的对应关系在图像数据库建立搜索索引,便于后续的图像查找。
步骤207,将根据所述第一图像、对应的图像特征值和图像标识生成的图像比对邀请信息发送至所述第一移动终端和/或第二移动终端并展示。
采用第一图像、对应的图像特征值和图像标识生成一个图像比对邀请信息,发送至第一移动终端和/或第二移动终端,并在移动终端上展示第一图像及图像特征值。
该图像比对邀请信息可以采用矩阵二维码(QRcode)或网址(Website)的方式生成,用户通过移动终端扫描矩阵二维码或登录网址,可以获取到第一图像以及对应的图像特征值。
需要说明的是,第二移动终端可以是其他用户的手机、电脑等移动终端。将图像比对邀请信息发送至第一移动终端,可以由第一移动终端转发给用户需要分享的其他用户,或者由用户指定并直接发送至其他用户的移动终端。
作为本发明实施例的优选示例,所述步骤207之后还可以包括:
在所述图像数据库中查找匹配于所述第一图像的各个图像元素的单一特征值、组合搭配值及所述第一图像的图像特征值的参考图像;将所述参考图像及对应的图像特征值发送至所述第一移动终端和/或第二终端并展示。参考图像是根据第一图像而查找的图像,例如,第一图像包含白色衬衣和牛仔裤,可以在图像数据库中查找类似的包含白色衬衣和牛仔裤的图像,将该参考图像和对应的图像特征值返回至移动终端,有助于用户更直观地理解图像特征值的标准。
步骤208,接收第二移动终端根据所述图像比对邀请信息提交的图像比对请求和上传的第二图像。
在其他用户接收到图像比对邀请信息后,可以通过第二移动终端扫描矩阵二维码或登录网址的方式,上传一个第二图像与第一图像进行图像比对。
作为本发明实施例的优选示例,为了便于后续的图像比对,在进行图像元素识别时,可以限定图像元素的类别,以保证有效的图像比对。例如,需要对衣服类的图像进行比对,可以先识别并判断图像中包含的图像元素是否为衣服类别的图像元素,若是,则进行后续的图像比对处理,若否,则返回告知用户上传的图像不符合图像比对要求的提示。
步骤209,根据所述图像比对请求在所述图像数据库中提取所述第一图像及对应的图像特征值。
步骤210,将所述第一图像及对应的图像特征值和所述第二图像及对应的图像特征值按预置布局方式形成目标比对图像。
在图像比对请求中提取所包含的图像标识,根据图像标识在图像数据库中提取第一图像和对应的图像特征值。用前述的方法得到第二图像的图像特征值,将第一图像、第二图像、及各自的图像特征值按预置的布局方式形成一个目标比对图像,例如如图6所示,可以是将第一图像和第二图像分别左右放置,在两个图像中分别显示图像特征值,以突出比对效果。
步骤211,将所述目标比对图像发送至所述第一移动终端和/或所述第二移动终端并展示。
作为本发明实施例的优选示例,可以在目标比对图像中针对第一图像和第二图像分别添加图像特征值相关信息按钮,用户点击该按钮,可以弹出一个图像特征值相关信息的展示界面,从而用户可以获取到更多的关于图像特征值的相关信息,例如如图7所示的图像特征值相关信息展示界面示意图,展示界面可以对生成图像特征值的各项指标进行评价。当某一图像的图像特征值过低时,可以对其原因进行分析,例如,图像中的图像元素并非为可以进行图像比对的图像元素。
作为本发明实施例的优选示例,可以对所有参与了图像比对的图像进行图像特征值排行,并将各个图像的图像特征值排行情况展示给用户,图8示出了一种图像特征值排行展示界面的示意图。
参照图3,示出了本申请的一种基于图像元素的图像特征值预测方法实施例3的步骤流程图,具体可以包括如下步骤:
步骤301,接收第一移动终端上传的包含多个图像元素的第一图像。
步骤302,通过卷积神经网络***识别所述第一图像中的图像元素。
具体的实现中,可以采用卷积神经网络***(ConvolutionalNeuralNetworks,CNN)进行图像元素的单一特征值生成。卷积神经网络***是一个可以提取图像特征信息并通过利用大量不同类型的图像进行训练而实现深度学习的识别***,所谓深度学习为人工智能领域的前沿技术,其可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深度学习采用了深层神经网络模型(DeepNeuralNetworks,DNN),深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型以层次化、逐层初始化为代表的一系列方法在多个应用领域获得了成功。从深层神经网络模型发展而成的卷积神经网络***,利用图像局部的统计特征信息与其他局部的特征信息一致的固有特性进行图像分析和识别,从而可以更准确地识别图像中的图像元素。
步骤303,分别从各个图像元素中提取颜色、和/或纹理、和/或形状信息。
步骤304,根据所述图像元素的颜色、和/或纹理、和/或形状信息,通过所述卷积神经网络***计算所述图像元素的单一特征值.
步骤305,根据各个图像元素之间的相对位置关系、和/或连接关系,以及各个图像元素的颜色之间的色彩匹配度、和/或纹理之间的纹理统一度、和/或形状信息之间的相对尺寸比例,通过所述卷积神经网络***计算出所述图像元素的组合搭配值。
步骤306,以各个图像元素的颜色、和/或纹理、和/或形状信息、和/或各个图像元素之间的相对位置关系、和/或连接关系、以及各个图像元素的颜色信息之间的色彩匹配度、和/或纹理信息之间的纹理统一度、和/或形状信息之间的相对尺寸比例作为变量信息,通过所述卷积神经网络***的回归分析模型预测所述第一图像的图像特征值。
作为本发明实施例的优选示例,还可以通过互联网采集多个训练图像;识别所述训练图像中的图像元素并提取所述图像元素的特征信息;按照预置的单一特征值评估规则和组合搭配值评估规则,计算所述训练图像中的图像元素的特征信息的单一特征值和图像元素组合搭配值;通过所述训练图像中的图像元素的特征信息与所述训练图像中的图像元素的单一特征值和组合搭配值的非线性变化关系,训练所述卷积神经网络***;将具有单一特征值和组合搭配值的训练图像作为所述参考图像并保存在所述图像数据库中。
在实际的操作中,可以通过网络爬虫(WebCrawler)在互联网上有针对性地收集大量的训练图像,例如,如果需要收集时尚服饰的图像,可以通过自然语言处理技术(NaturalLanguageProcessing,NLP)分析各网站或博客,确定该网站或博客包含有大量的时尚服饰图像并相应获取这些图像,这些图像一般是经过专业人士制作或挑选的图像,图像中的服饰及搭配符合人类大众的审美标准及穿着习惯,而且也代表着当前的时尚潮流,以此作为训练图像,可以提升机器训练的效果。
针对卷积神经网络***的训练过程,可以预置单一特征值评估规则的数据计算模型和组合搭配值评估规则数据计算模型,计算出各个训练图像中的图像元素的特征信息的单一特征值和图像元素组合搭配值。具体的计算中,卷积神经网络***的底层神经元网络可以包含有对应若干个具体数值的若干神经元节点,针对每一个训练图像,通过逐层的特征提取、传递、变换、抽象等处理,最后确定到某个神经元节点,以其对应的具体数值作为单一特征值或组合搭配值。
作为优选的实施方式,针对组合搭配值评估规则数据计算模型,可以基于数据语言模型构建,在模型中的多个变量形成的序列中,假设序列长度为m,各种变量的组合方式形成变量序列P(W1、W2….Wm),每个W代表一个通过卷积神经网络***中的神经元节点的特征向量。针对单一特征值和组合搭配值,可以预设一个特征加权线性叠加回归分析模型,将根据上述数据计算模型输出的单一特征值和组合搭配值输入到特征加权线性叠加回归分析模型,以最终输出一个图像特征值。
将训练图像所具有单一特征值和组合搭配值和训练图像中的各个图像元素及特征信息的非线性变化关系反复地反馈给卷积神经网络***,以此进行卷积神经网络***的训练学习。
在实际应用中,本领域技术人员也可以根据实际需要采用其他方式计算训练图像的单一特征值、组合搭配值及图像特征值。例如,将上述手段与人工评估的方式结合,根据专业人士定制的评分准则,抽取部分训练图像进行单一特征值和组合搭配值的评估,并根据单一特征值和组合搭配值预测训练图像的图像特征值。将训练图像和对应的单一特征值、组合搭配值及图像特征值反馈给卷积神经网络***以进行训练学习。因为即使利用计算机对图像的特征值进行了预测,图像的实际视觉效果最终是由用广大用户接受并判断,因此在机器训练学习的起始阶段结合人工干预,用最接近广大受众的标准作为机器训练学习的标准,可以提升机器训练学习的准确性。由少数人根据专业人士定制的评分准则进行单一特征值和组合搭配值评估,可以保证评估的准确性和一致性。此外,也可以在相关网页、论坛等的信息来源采集训练图像和大量用户对训练图像的特征评价,以此作为机器训练学习的材料。
训练过程可以结合监督学习技术,从而提升卷积神经网络***的学习效率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图4,示出了本申请的一种基于图像元素的图像特征值预测装置实施例1的结构框图,具体可以包括如下模块:
图像接收模块401,用于接收第一移动终端上传的包含多个图像元素的第一图像。
特征信息提取模块402,用于识别所述第一图像中的图像元素并提取所述图像元素的特征信息。
作为本发明实施例的优选示例,所述特征信息提取模块402可以具体用于通过卷积神经网络***识别所述第一图像中的图像元素;分别从各个图像元素中提取颜色、和/或纹理、和/或形状信息。
单一特征值生成模块403,用于根据所述特征信息生成图像元素的单一特征值。
作为本发明实施例的优选示例,所述单一特征值生成模块403可以具体用于根据所述图像元素的颜色、和/或纹理、和/或形状信息,通过所述卷积神经网络***计算所述图像元素的单一特征值。
组合搭配值生成模块404,用于根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值。
作为本发明实施例的优选示例,所述组合搭配值生成模块404可以具体用于根据各个图像元素之间的相对位置关系、和/或连接关系,以及各个图像元素的颜色之间的色彩匹配度、和/或纹理之间的纹理统一度、和/或形状信息之间的相对尺寸比例,通过所述卷积神经网络***计算出所述图像元素的组合搭配值。
图像特征值预测模块405,用于根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
作为本发明实施例的优选示例,所述图像特征值预测模块405可以具体用于以各个图像元素的颜色、和/或纹理、和/或形状信息、和/或各个图像元素之间的相对位置关系、和/或连接关系、以及各个图像元素的颜色信息之间的色彩匹配度、和/或纹理信息之间的纹理统一度、和/或形状信息之间的相对尺寸比例作为变量信息,通过所述卷积神经网络***的回归分析模型预测所述第一图像的图像特征值。
作为本发明实施例的优选示例,还可以包括以下模块:
训练图像采集模块406,用于通过互联网采集多个训练图像。
训练图像识别模块407,用于识别所述训练图像中的图像元素并提取所述图像元素的特征信息。
单一特征值与组合搭配值计算模块408,用于按照预置的单一特征值评估规则和组合搭配值评估规则,计算所述训练图像中的图像元素的特征信息的单一特征值和图像元素组合搭配值。
卷积神经网络***训练模块409,用于通过所述训练图像中的图像元素的特征信息与所述训练图像中的图像元素的单一特征值和组合搭配值的非线性变化关系,训练所述卷积神经网络***。
训练图像保存模块410,用于将具有单一特征值和组合搭配值的训练图像作为所述参考图像并保存在所述图像数据库中。
本申请通过接收第一移动终端上传的包含多个图像元素的第一图像,识别第一图像中的图像元素并相应提取特征信息,根据特征信息生成图像元素的单一特征值,根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成图像元素的组合搭配值,根据单一特征值和组合搭配值预测第一图像的图像特征值,图像特征值的预测综合了图像中各个图像元素各自的特征信息以及图像元素、图像元素的特征信息之间的关联性等因素,从而可以提供给用户反映出图像的整体视觉效果的信息。
进一步,用具体的特征值量化图像的整体视觉效果,从而可以对不同的图像进行整体视觉效果的客观比较。
参照图5,示出了本申请的一种基于图像元素的图像特征值预测装置实施例2的结构框图,具体可以包括如下模块:
图像接收模块501,用于接收第一移动终端上传的包含多个图像元素的第一图像。
特征信息提取模块502,用于识别所述第一图像中的图像元素并提取所述图像元素的特征信息。
单一特征值生成模块503,用于根据所述特征信息生成图像元素的单一特征值。
组合搭配值生成模块504,用于根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值。
图像特征值预测模块505,用于根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
图像标识添加模块506,用于针对所述第一图像及所述第一图像的图像特征值添加唯一的图像标识并保存在预置的图像数据库。
图像比对邀请信息生成模块507,用于将根据所述第一图像、对应的图像特征值和图像标识生成的图像比对邀请信息发送至所述第一移动终端和/或第二移动终端并展示。
第二图像接收模块508,用于接收第二移动终端根据所述图像比对邀请信息提交的图像比对请求和上传的第二图像。
第一图像提取模块509,用于根据所述图像比对请求在所述图像数据库中提取所述第一图像及对应的图像特征值。
目标比对图像生成模块510,用于将所述第一图像及对应的图像特征值和所述第二图像及对应的图像特征值按预置布局方式形成目标比对图像。
目标比对图像展示模块511,用于将所述目标比对图像发送至所述第一移动终端和/或所述第二移动终端并展示。
作为本发明实施例的优选示例,可以还包括以下模块:
参考图像查找模块,用于在所述图像数据库中查找匹配于所述第一图像的各个图像元素的单一特征值、组合搭配值及所述第一图像的图像特征值的参考图像。
参考图像展示模块,用于将所述参考图像及对应的图像特征值发送至所述第一移动终端和/或第二终端并展示。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于图像元素的图像特征值预测方法和一种基于图像元素的图像特征值预测装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于图像元素的图像特征值预测方法,其特征在于,包括:
接收第一移动终端上传的包含多个图像元素的第一图像;
识别所述第一图像中的图像元素并提取所述图像元素的特征信息;
根据所述特征信息生成图像元素的单一特征值;
根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值;
根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
2.根据权利要求1所述的方法,其特征在于,还包括:
针对所述第一图像及所述第一图像的图像特征值添加唯一的图像标识并保存在预置的图像数据库。
3.根据权利要求2所述的方法,其特征在于,还包括:
将根据所述第一图像、对应的图像特征值和图像标识生成的图像比对邀请信息发送至所述第一移动终端和/或第二移动终端并展示。
4.根据权利要求3所述的方法,其特征在于,还包括:
在所述图像数据库中查找匹配于所述第一图像的各个图像元素的单一特征值、组合搭配值及所述第一图像的图像特征值的参考图像;
将所述参考图像及对应的图像特征值发送至所述第一移动终端和/或第二终端并展示。
5.根据权利要求3所述的方法,其特征在于,还包括:
接收第二移动终端根据所述图像比对邀请信息提交的图像比对请求和上传的第二图像;
根据所述图像比对请求在所述图像数据库中提取所述第一图像及对应的图像特征值;
将所述第一图像及对应的图像特征值和所述第二图像及对应的图像特征值按预置布局方式形成目标比对图像;
将所述目标比对图像发送至所述第一移动终端和/或所述第二移动终端并展示。
6.根据权利要求1所述的方法,其特征在于,识别所述第一图像中的图像元素并提取所述图像元素的特征信息具体为:
通过卷积神经网络***识别所述第一图像中的图像元素;
分别从各个图像元素中提取颜色、和/或纹理、和/或形状信息。
7.根据权利要求6所述的方法,其特征在于,根据所述特征信息生成图像元素的单一特征值具体为:
根据所述图像元素的颜色、和/或纹理、和/或形状信息,通过所述卷积神经网络***计算所述图像元素的单一特征值;
根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值具体为:
根据各个图像元素之间的相对位置关系、和/或连接关系,以及各个图像元素的颜色之间的色彩匹配度、和/或纹理之间的纹理统一度、和/或形状信息之间的相对尺寸比例,通过所述卷积神经网络***计算出所述图像元素的组合搭配值。
8.根据权利要求7所述的方法,其特征在于,根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值具体为:
以各个图像元素的颜色、和/或纹理、和/或形状信息、和/或各个图像元素之间的相对位置关系、和/或连接关系、以及各个图像元素的颜色信息之间的色彩匹配度、和/或纹理信息之间的纹理统一度、和/或形状信息之间的相对尺寸比例作为变量信息,通过所述卷积神经网络***的回归分析模型预测所述第一图像的图像特征值。
9.根据权利要求7所述的方法,其特征在于,还包括:
通过互联网采集多个训练图像;
识别所述训练图像中的图像元素并提取所述图像元素的特征信息;
按照预置的单一特征值评估规则和组合搭配值评估规则,计算所述训练图像中的图像元素的特征信息的单一特征值和图像元素组合搭配值;
通过所述训练图像中的图像元素的特征信息与所述训练图像中的图像元素的单一特征值和组合搭配值的非线性变化关系,训练所述卷积神经网络***;
将具有单一特征值和组合搭配值的训练图像作为所述参考图像并保存在所述图像数据库中。
10.一种基于图像元素的图像特征值预测装置,其特征在于,包括:
图像接收模块,用于接收第一移动终端上传的包含多个图像元素的第一图像;
特征信息提取模块,用于识别所述第一图像中的图像元素并提取所述图像元素的特征信息;
单一特征值生成模块,用于根据所述特征信息生成图像元素的单一特征值;
组合搭配值生成模块,用于根据各个图像元素之间的组合关系和各个图像元素的特征信息之间的搭配关系,生成所述图像元素的组合搭配值;
图像特征值预测模块,用于根据所述单一特征值和所述组合搭配值预测所述第一图像的图像特征值。
CN201510484394.7A 2015-08-07 2015-08-07 一种基于图像元素的图像特征值预测方法和装置 Pending CN105138610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510484394.7A CN105138610A (zh) 2015-08-07 2015-08-07 一种基于图像元素的图像特征值预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510484394.7A CN105138610A (zh) 2015-08-07 2015-08-07 一种基于图像元素的图像特征值预测方法和装置

Publications (1)

Publication Number Publication Date
CN105138610A true CN105138610A (zh) 2015-12-09

Family

ID=54723958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510484394.7A Pending CN105138610A (zh) 2015-08-07 2015-08-07 一种基于图像元素的图像特征值预测方法和装置

Country Status (1)

Country Link
CN (1) CN105138610A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913433A (zh) * 2016-04-12 2016-08-31 北京小米移动软件有限公司 信息推送方法及装置
CN106846122A (zh) * 2017-02-20 2017-06-13 北京京东尚科信息技术有限公司 商品数据处理方法和装置
CN108109049A (zh) * 2017-12-29 2018-06-01 广东欧珀移动通信有限公司 服饰搭配预测方法、装置、计算机设备及存储介质
CN109472205A (zh) * 2018-10-09 2019-03-15 深兰科技(上海)有限公司 商品识别方法、商品识别装置及存储介质
CN111738245A (zh) * 2020-08-27 2020-10-02 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489008A (zh) * 2012-06-14 2014-01-01 中兴通讯股份有限公司 图像产品信息提取方法和装置
CN104317827A (zh) * 2014-10-09 2015-01-28 深圳码隆科技有限公司 一种商品的图片导航方法
CN104391971A (zh) * 2014-12-05 2015-03-04 常州飞寻视讯信息科技有限公司 一种智能服饰搭配自动推荐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489008A (zh) * 2012-06-14 2014-01-01 中兴通讯股份有限公司 图像产品信息提取方法和装置
CN104317827A (zh) * 2014-10-09 2015-01-28 深圳码隆科技有限公司 一种商品的图片导航方法
CN104391971A (zh) * 2014-12-05 2015-03-04 常州飞寻视讯信息科技有限公司 一种智能服饰搭配自动推荐方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913433A (zh) * 2016-04-12 2016-08-31 北京小米移动软件有限公司 信息推送方法及装置
CN106846122A (zh) * 2017-02-20 2017-06-13 北京京东尚科信息技术有限公司 商品数据处理方法和装置
WO2018149237A1 (zh) * 2017-02-20 2018-08-23 北京京东尚科信息技术有限公司 物品数据处理方法、装置和计算机可读存储介质
CN108109049A (zh) * 2017-12-29 2018-06-01 广东欧珀移动通信有限公司 服饰搭配预测方法、装置、计算机设备及存储介质
CN109472205A (zh) * 2018-10-09 2019-03-15 深兰科技(上海)有限公司 商品识别方法、商品识别装置及存储介质
CN111738245A (zh) * 2020-08-27 2020-10-02 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质
CN111738245B (zh) * 2020-08-27 2020-11-20 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质

Similar Documents

Publication Publication Date Title
KR101886161B1 (ko) Ai 기반 개인 의류 토탈 관리 서비스 제공 방법
KR102301899B1 (ko) 정보 검색 방법, 장치 및 시스템
CN109902708A (zh) 一种推荐模型训练方法及相关装置
CN105354248B (zh) 基于灰度的分布式图像底层特征识别方法及***
KR102485503B1 (ko) 이미지 데이터베이스 분석 기반 상품 추천 장치 및 방법
EP3079116A1 (en) System and method for generating recommendations
CN105138610A (zh) 一种基于图像元素的图像特征值预测方法和装置
CN109345302A (zh) 机器学习模型训练方法、装置、存储介质和计算机设备
CN108021929A (zh) 基于大数据的移动端电商用户画像建立与分析方法及***
CN109670267A (zh) 一种数据处理方法和装置
CN108446964B (zh) 一种基于移动流量dpi数据的用户推荐方法
CN109582876A (zh) 旅游行业用户画像构造方法、装置和计算机设备
CN110069650A (zh) 一种搜索方法和处理设备
CN105426462A (zh) 一种基于图像元素的图像搜索方法和装置
CN105117399B (zh) 一种图像搜索方法和装置
CN105224775A (zh) 基于图片处理来对衣服进行搭配的方法和装置
CN112015934B (zh) 基于神经网络和Unity的智能发型推荐方法、装置及***
CN110825968A (zh) 信息推送方法、装置、存储介质和计算机设备
CN116097320A (zh) 用于改进的面部属性分类的***和方法及其用途
CN106776869A (zh) 基于神经网络的搜索优化方法、装置以及搜索引擎
CN108984555A (zh) 用户状态挖掘和信息推荐方法、装置以及设备
CN111191133B (zh) 业务搜索处理方法、装置及设备
KR20230082668A (ko) 신발류 디지털 자산을 생성하기 위한 컴퓨터 아키텍처
CN113139141A (zh) 用户标签扩展标注方法、装置、设备及存储介质
CN116894711A (zh) 商品推荐理由生成方法及其装置、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151209

RJ01 Rejection of invention patent application after publication