CN113537248A - 图像识别方法和装置、电子设备和存储介质 - Google Patents
图像识别方法和装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113537248A CN113537248A CN202110932608.8A CN202110932608A CN113537248A CN 113537248 A CN113537248 A CN 113537248A CN 202110932608 A CN202110932608 A CN 202110932608A CN 113537248 A CN113537248 A CN 113537248A
- Authority
- CN
- China
- Prior art keywords
- image information
- identified
- recognized
- determining
- identification result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 235000013305 food Nutrition 0.000 abstract description 39
- 239000000463 material Substances 0.000 abstract description 36
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 9
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 241000234295 Musa Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 244000061458 Solanum melongena Species 0.000 description 4
- 235000002597 Solanum melongena Nutrition 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 235000021015 bananas Nutrition 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像识别方法和装置、电子设备和存储介质，其中，该方法包括：获取待识别图像信息；将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值；利用多个色相数值，确定待识别图像信息对应的颜色权重；根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的第二识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的第一识别结果。通过本申请，解决了相关技术中存在的食材图像识别不准确的问题。
Description
技术领域
本申请涉及机器学习领域，尤其涉及一种图像识别方法和装置、电子设备和存储介质。
背景技术
随着人们生活水平的提升，传统单一功能的冰箱已经不能满足人们的需求。因此急需一种能够对食材进行识别与管理的冰箱。而在食材管理中核心的功能就是检测食材，包括食材的种类与位置，这样便于冰箱根据食材的新鲜程度以及自身特性进行管理。
目前，对食材进行检测时常用的主要是深度学习方法，然而在冰箱食材检测中，常用的目标检测方法通常采用卷积神经网络自学习的方式来提取待识别图像信息，考虑到不同目标间差异较大，很难手动选取目标特征，当特征提取不够充分时，有时容易导致明显的颜色识别错误，比如对两种颜色差距很大的食材产生混淆，这样不利于冰箱食材的后期管理。
因此，相关技术中存在食材图像识别不准确的问题。
发明内容
本申请提供了一种图像识别方法和装置、存储介质和电子设备，以至少解决相关技术中存在食材图像识别不准确的问题。
根据本申请实施例的一个方面，提供了一种图像识别方法，该方法包括：获取待识别图像信息；将所述待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，所述色相数值为所述待识别图像信息中包含的各个颜色所对应的数值；利用多个所述色相数值，确定所述待识别图像信息对应的颜色权重；根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的第二识别结果，其中，所述初始识别结果为将所述待识别图像信息输入目标检测网络模型内所得到的第一识别结果。
根据本申请实施例的另一个方面，还提供了一种图像识别的装置，该装置包括：获取单元，用于获取待识别图像信息；第一得到单元，用于将所述待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，所述色相数值为所述待识别图像信息中包含的各个颜色所对应的数值；第一确定单元，用于利用多个所述色相数值，确定所述待识别图像信息对应的颜色权重；第二确定单元，用于根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的第二识别结果，其中，所述初始识别结果为将所述待识别图像信息输入目标检测网络模型内所得到的第一识别结果。
可选地，该装置还包括：第二得到单元，用于所述获取待识别图像信息之后，将所述待识别图像信息输入所述目标检测网络模型内，得到原始数据，其中，所述原始数据为所述目标检测网络模型的最后一层对所述待识别图像信息进行处理后，得到的数据；第三得到单元，用于对所述原始数据进行归一化处理，得到概率值，所述概率值用于表征所述目标检测网络模型对所述待识别图像信息中待识别对象进行识别后，所述待识别对象归属于目标种类的概率；第四得到单元，用于根据所述概率值，得到所述初始识别结果。
可选地，第一确定单元包括：第一确定模块，用于利用多个所述色相数值，确定所述色相数值的平均值；第二确定模块，用于根据所述平均值和所述原始数据，确定所述颜色权重。
可选地，第二确定模块包括：生成子单元，用于利用所述平均值和所述原始数据，生成颜色权重函数；得到子单元，用于将所述平均值和所述原始数据输入所述颜色权重函数内，得到所述颜色权重。
可选地，生成子单元的计算公式如下：f(x)＝e-D(x-μ)2，其中，x为所述原始数据，D为调节参数，μ为所述平均值。
可选地，第二确定单元包括：第一得到模块，用于确定所述颜色权重和所述初始识别结果之积，得到乘积值；第二得到模块，用于对所述乘积值进行归一化处理，得到修正数值；获取模块，用于根据所述修正数值得到所述待识别对象的第二识别结果。
可选地，该装置还包括：发送单元，用于在根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的第二识别结果之后，向终端设备发送所述第二识别结果；展示单元，用于将所述第二识别结果展示在所述终端设备的显示页面。
根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的图像识别方法步骤。
根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的图像识别方法步骤。
在本申请实施例中，采用目标检测网络模型和颜色权重相结合的方式，通过获取待识别图像信息；将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值；利用多个色相数值，确定待识别图像信息对应的颜色权重；根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的识别结果。由于本申请实施例将待识别图像信息转化成色相数值，基于色相数值得到颜色权重，这样将颜色权重与目标检测网络模型输出的初始识别结果相结合来，对初始识别结果进行修正，这样可以一定程度上提高图像识别的检测准确率，进而解决了相关技术中存在的食材图像识别不准确的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的图像识别方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的图像识别方法的流程示意图；
图3是根据本申请实施例的一种可选的检测结果修正实例示意图；
图4是根据本申请实施例的一种可选的权重函数对应曲线关系的示意图；
图5是根据本申请实施例的一种可选的食材检测的整体流程示意图；
图6是根据本申请实施例的一种可选的图像识别装置的结构框图；
图7是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一些图像识别的场景中，比如，在冰箱食材管理场景，在对食材进行检测时由于通用目标检测网络模型(如神经网络模型)并不考虑检测目标的某一单一特征(如颜色)，因此在目标检测过程中有时容易导致检测结果颜色混淆，降低了食材检测的准确率。基于此，本申请实施例提供一种图像识别方法。可选地，在本申请实施例中，上述图像识别方法可以应用于如图1所示的硬件环境中。如图1所示，终端102中可以包含有存储器104、处理器106和显示器108(可选部件)。终端102可以通过网络110与服务器112进行通信连接，该服务器112可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器112上或独立于服务器112设置数据库114，用于为服务器112提供数据存储服务。此外，服务器112中可以运行有处理引擎116，该处理引擎116可以用于执行由服务器112所执行的步骤。
可选地，终端102可以但不限于为可以计算数据的终端，如移动终端(例如手机、平板电脑)、笔记本电脑、PC(Personal Computer，个人计算机)机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI(Wireless Fidelity，无线保真)及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。
此外，在本实施例中，上述图像识别方法还可以但不限于应用于处理能力较强大的独立的处理设备中，而无需进行数据交互。例如，该处理设备可以但不限于为处理能力较强大的终端设备，即，上述图像识别方法中的各个操作可以集成在一个独立的处理设备中。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，在本实施例中，上述图像识别方法可以由服务器112来执行，也可以由终端102来执行，还可以是由服务器112和终端102共同执行。其中，终端102执行本申请实施例的图像识别方法也可以是由安装在其上的客户端来执行。
以运行在服务器为例，图2是根据本申请实施例的一种可选的图像识别方法的流程示意图，本申请实施例中涉及的待识别图像信息可以是冰箱食材等，如图2所示，该方法的流程可以包括以下步骤：
步骤S201，获取待识别图像信息。
可选地，本申请实施例服务器先采集待识别的多个食材图像种类的图像信息(比如香蕉、青椒和茄子等)，得到训练样本集，这时，可以对需要检测的图像种类进行图片拍摄的方式采集。需要说明的是，在进行食材图像采集时，以多个食材种类大小，形状比较类似，但是颜色存在区别的食材作为采集对象。
步骤S202，将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值。
可选地，将得到的所有种类的图像信息输入目标颜色空间模型，将图像信息转换到HSV色彩空间，提取每种种类食材对应得到的多个色相数值。其中，目标颜色空间模型可以是HSV(Hue Saturation Value，色调饱和度明度)模型，用于将待识别图像信息转换为颜色信息。在本申请实施例中是获取到待识别图像信息中包含的各个颜色所对应的色相数值。
步骤S203，利用多个色相数值，确定待识别图像信息对应的颜色权重。
可选地，服务器根据目标颜色空间模型输出的每个食材种类对应的多个色相数值，计算出每个待识别图像信息对应的颜色权重。
步骤S204，根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的第二识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的第一识别结果。
可选地，本申请实施例可以依据目标检测网络模型计算输出对待识别图像信息中包含的、所对应的待识别对象的第一识别结果，作为初始识别结果，然后利用颜色权重对初始识别结果进行进一步地修正，确定出待识别图像信息的指定对象识别的最终结果(即第二识别结果)。
在本申请实施例中，采用目标检测网络模型和颜色权重相结合的方式，通过获取待识别图像信息；将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值；利用多个色相数值，确定待识别图像信息对应的颜色权重；根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的识别结果。由于本申请实施例将待识别图像信息转化成色相数值，基于色相数值得到颜色权重，这样将颜色权重与目标检测网络模型输出的初始识别结果相结合来，对初始识别结果进行修正，这样可以一定程度上提高图像识别的检测准确率，进而解决了相关技术中存在的食材图像识别不准确的问题。
作为一种可选实施例，在获取待识别图像信息之后，方法还包括：
将待识别图像信息输入目标检测网络模型内，得到原始数据，其中，原始数据为目标检测网络模型的最后一层对待识别图像信息进行处理后，得到的数据；
对原始数据进行归一化处理，得到概率值，概率值用于表征目标检测网络模型对待识别图像信息中待识别对象进行识别后，待识别对象归属于目标种类的概率；
根据概率值，得到初始识别结果。
可选地，本申请实施例在获取到待识别图像信息后，可以先将待识别图像信息输入目标检测网络模型内，目标检测网络模型对其采用深度学习的方式对食材特征进行自学习的提取，通过神经网络的最后一层对待识别图像信息进行处理后，可以得到原始数据，如图3所示的原始数据[21，20，9]。
然后利用softmax函数将原始数据归一化处理，映射到(0，1)区间，得到概率值，其中，
Vi代表输出的第i个数据，j代表原始数据，softmax的值代表该种类食材的概率，概率数值最大时说明当前待识别图像信息中待识别对象就归属于当前概率值对应的目标种类。其中，目标种类是指食材种类，比如香蕉、青椒和茄子等食材种类。
如图3，左侧为网络输出原始数据[21，20，9]，然后通过一次softmax归一化后变为了[0.42，0.4，0.18]，由于香蕉对应的概率值最大，所以其初始识别结果为香蕉。
作为一种可选实施例，利用多个色相数值，确定待识别图像信息对应的颜色权重包括：
利用多个色相数值，确定色相数值的平均值；
根据平均值和原始数据，确定颜色权重。
可选地，由上述实施例可知，每种种类食材对应得到的多个色相数值，所以本申请实施例将每种种类食材得到的多个色相数值进行平均数的计算，得到平均值，然后基于其平均值和目标检测网络模型输出的原始数据，确定出每种种类食材的颜色权重。
在本申请实施例中，将颜色作为权重，添加到目标检测网络模型后面，对检测结果进行修正，这样可以一定程度上提高检测准确率，降低误检率，为后续冰箱食材管理提供可靠的数据。
作为一种可选实施例，根据平均值和原始数据，确定颜色权重包括：
利用平均值和原始数据，生成颜色权重函数；
将平均值和原始数据输入颜色权重函数内，得到颜色权重。
可选地，基于平均值和原始数据生成颜色权重函数，该函数为：
然后将得到的平均值和原始数据输入颜色权重函数内，即可得到颜色权重。其中，f(x)为颜色权重结果，x为原始数据，D为调节参数(超参数)，D是一个动态数值，可以控制颜色影响的灵敏度，D的数值可人工自行调节；μ为平均值，即为参考值，可以控制颜色选取范围。
如图4所示，图4表征了颜色权重f(x)与调节参数D之间的关系，D越大表示颜色区分越明显，曲线峰值越高。同时，从图4中可以得出，色相数值的范围为0到180，所以平均值μ∈[0,180]。
作为一种可选实施例，根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的第二识别结果包括：
确定颜色权重和初始识别结果之积，得到乘积值；
对乘积值进行归一化处理，得到修正数值；
根据修正数值得到待识别对象的第二识别结果。
可选地，服务器在获取到颜色权重和初始识别结果后，将两者内的所有数据进行相乘，得到乘积值，然后再利用softmax函数对乘积值进行归一化处理，将其映射到(0，1)区间内，得到修正数值，然后再从所有修正数值中选取数值最大的食材种类作为对待识别图像信息的待识别对象的最终识别结果。
作为一种可选实施例，本申请实施例基于图像识别的方式阐述一具体实施例，图3所示，图3中是对三个种类的食材进行检测的过程，分别为：香蕉、青椒和茄子。首先，先确定当前待识别的图像对象为青椒，然后设置标注中的结果为[0，1，0]，代表标注种类为青椒，计算每种食材的参考值为[26，50，150]。训练过程中，将获取的多个训练样本(包括香蕉的图片训练样本、青椒的图片训练样本、茄子的图片训练样本)，将这些训练样本输入目标检测网络模型，如图3中左侧为目标检测网络模型最后一层输出的原始数据[21，20，9]，然后通过一次softmax归一化后变为了[0.42，0.4，0.18]，其初始识别结果为香蕉。然后对待识别的图像转换到hsv颜色空间，计算其对应的多个空间数值的平均数，由于待识别的图像对象实际为青椒，因此计算结果最靠近青椒的参考值即50。将该参考值带入前述实施例的颜色权重函数，同时可以设置超参数D＝2×10-4(包括但不限于将D设置为2×10-4)，可以计算得到颜色权重为[0.88，1，0.13]，颜色权重与初始识别结果的乘积为[0.37，0.4，0.02]，最后将该乘积进行softmax归一化后即可得到修正后的检测结果[0.36，0.38，0.26]，因此修正后的检测结果为青椒。
作为一种可选实施例，如图5，图5是根据本申请实施例的一种可选的食材检测的整体流程示意图，具体检测步骤如下：
步骤S11：采集训练集样本数据；
步骤S12：深度学习特征提取；
步骤S13：目标检测网络模型输出原始数据；
步骤S14：进行softmax函数的归一化处理；
步骤S15：得出初始识别结果；
步骤S16：将训练集样本数据转化为hsv颜色色相数值；
步骤S17：提取每种食材的色相数值，计算平均值；
步骤S18：依据平均值和原始数据，建立颜色权重函数；
步骤S19：利用颜色权重修正初始识别结果；
步骤S110：进行softmax函数的归一化处理；
步骤S111：输出最终识别结果。
在本申请实施例中，当深度学习网络对特征提取不够充分，导致识别结果颜色混淆的时候，在颜色权重函数的作用下，可以一定程度对其结果进行修正，提高了识别准确率。同时，深度学习网络特征提取不充分，有部分原因也是数据集标注导致的特征混乱，因此该修正方法也一定程度上减小由于训练集标注错误对识别结果的影响。
作为一种可选实施例，在根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的第二识别结果之后，方法还包括：
向终端设备发送第二识别结果；
将第二识别结果展示在终端设备的显示页面。
可选地，本申请实施例利用目标帐号收集采集到的待识别图像信息的所有图像信息，然后将最终的第二识别结果发送到目标帐号所在的终端设备处，服务器控制终端设备将第二识别结果展示在其设备的显示页面。其中，终端设备可以是冰箱等设备。
在本申请实施例中，通过在终端设备的显示页面展示出识别结果，便于后续的冰箱内食材的管理。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述图像识别方法的图像识别装置。图6是根据本申请实施例的一种可选的图像识别装置的结构框图，如图6所示，该装置可以包括：
获取单元601，用于获取待识别图像信息；
第一得到单元602，与获取单元601相连，用于将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值；
第一确定单元603，与第一得到单元602相连，用于利用多个色相数值，确定待识别图像信息对应的颜色权重；
第二确定单元604，与第一确定单元603相连，用于根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的第二识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的第一识别结果。
需要说明的是，该实施例中的获取单元601可以用于执行上述步骤S201，该实施例中的第一得到单元602可以用于执行上述步骤S202，该实施例中的第一确定单元603可以用于执行上述步骤S203，该实施例中的第二确定单元604可以用于执行上述步骤S204。
通过上述模块，由于本申请实施例将待识别图像信息转化成空间数值，基于空间数值得到颜色权重，这样将颜色权重与目标检测网络模型输出的初始识别结果相结合来，对初始识别结果进行修正，这样可以一定程度上提高图像识别的检测准确率，进而解决了相关技术中存在的食材图像识别不准确的问题。
作为一种可选的实施例，该装置还包括：第二得到单元，用于获取待识别图像信息之后，将待识别图像信息输入目标检测网络模型内，得到原始数据，其中，原始数据为目标检测网络模型的最后一层对待识别图像信息进行处理后，得到的数据；第三得到单元，用于对原始数据进行归一化处理，得到概率值，概率值用于表征目标检测网络模型对待识别图像信息中待识别对象进行识别后，待识别对象归属于目标种类的概率；第四得到单元，用于根据概率值，得到初始识别结果。
作为一种可选的实施例，第一确定单元包括：第一确定模块，用于利用多个色相数值，确定色相数值的平均值；第二确定模块，用于根据平均值和原始数据，确定颜色权重。
作为一种可选的实施例，生成子单元的计算公式如下：
其中，x为原始数据，D为调节参数，μ为平均值。
作为一种可选的实施例，第二确定单元包括：第一得到模块，用于确定颜色权重和初始识别结果之积，得到乘积值；第二得到模块，用于对乘积值进行归一化处理，得到修正数值；获取模块，用于根据修正数值得到待识别对象的第二识别结果。
作为一种可选的实施例，该装置还包括：发送单元，用于根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的第二识别结果之后，向终端设备发送第二识别结果；展示单元，用于将第二识别结果展示在终端设备的显示页面。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种用于实施上述图像识别方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图7是根据本申请实施例的一种可选的电子设备的结构框图，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信，其中，
存储器703，用于存储计算机程序；
处理器701，用于执行存储器703上所存放的计算机程序时，实现如下步骤：
S1，获取待识别图像信息；
S2，将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值；
S3，利用多个色相数值，确定待识别图像信息对应的颜色权重；
S4，根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的识别结果。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，如图7所示，上述存储器703中可以但不限于包括上述图像识别装置中的获取单元601、第一得到模块602、第一确定模块603以及第二确定模块604。此外，还可以包括但不限于上述图像识别装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外，上述电子设备还包括：显示器，用于显示图像识别结果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述图像识别方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图7其并不对上述电子设备的结构造成限定。例如，终端设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行图像识别方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，获取待识别图像信息；
S2，将待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，色相数值为待识别图像信息中包含的各个颜色所对应的数值；
S3，利用多个色相数值，确定待识别图像信息对应的颜色权重；
S4，根据颜色权重和初始识别结果，确定待识别图像信息中待识别对象的识别结果，其中，初始识别结果为将待识别图像信息输入目标检测网络模型内所得到的识别结果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请实施例的又一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一个实施例中的图像识别方法步骤。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例图像识别方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种图像识别方法，其特征在于，所述方法包括：
获取待识别图像信息；
将所述待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，所述色相数值为所述待识别图像信息中包含的各个颜色所对应的数值；
利用多个所述色相数值，确定所述待识别图像信息对应的颜色权重；
根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的第二识别结果，其中，所述初始识别结果为将所述待识别图像信息输入目标检测网络模型内所得到的第一识别结果。
2.根据权利要求1所述的方法，其特征在于，在所述获取待识别图像信息之后，所述方法还包括：
将所述待识别图像信息输入所述目标检测网络模型内，得到原始数据，其中，所述原始数据为所述目标检测网络模型的最后一层对所述待识别图像信息进行处理后，得到的数据；
对所述原始数据进行归一化处理，得到概率值，所述概率值用于表征所述目标检测网络模型对所述待识别图像信息中待识别对象进行识别后，所述待识别对象归属于目标种类的概率；
根据所述概率值，得到所述初始识别结果。
3.根据权利要求2所述的方法，其特征在于，所述利用多个所述色相数值，确定所述待识别图像信息对应的颜色权重包括：
利用多个所述色相数值，确定所述色相数值的平均值；
根据所述平均值和所述原始数据，确定所述颜色权重。
4.根据权利要求3所述的方法，其特征在于，所述根据所述平均值和所述原始数据，确定所述颜色权重包括：
利用所述平均值和所述原始数据，生成颜色权重函数；
将所述平均值和所述原始数据输入所述颜色权重函数内，得到所述颜色权重。
5.根据权利要求4所述的方法，其特征在于，所述利用所述平均值和所述原始数据，生成颜色权重函数的计算公式如下：
其中，x为所述原始数据，D为调节参数，μ为所述平均值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的第二识别结果包括：
确定所述颜色权重和所述初始识别结果之积，得到乘积值；
对所述乘积值进行归一化处理，得到修正数值；
根据所述修正数值得到所述待识别对象的第二识别结果。
7.根据权利要求1至6任一项所述的方法，其特征在于，在根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的第二识别结果之后，所述方法还包括：
向终端设备发送所述第二识别结果；
将所述第二识别结果展示在所述终端设备的显示页面。
8.一种图像识别的装置，其特征在于，所述装置包括：
获取单元，用于获取待识别图像信息；
第一得到单元，用于将所述待识别图像信息输入目标颜色空间模型，得到多个色相数值，其中，所述色相数值为所述待识别图像信息中包含的各个颜色所对应的数值；
第一确定单元，用于利用多个所述色相数值，确定所述待识别图像信息对应的颜色权重；
第二确定单元，用于根据所述颜色权重和初始识别结果，确定所述待识别图像信息中待识别对象的识别结果，其中，所述初始识别结果为将所述待识别图像信息输入目标检测网络模型内所得到的识别结果。
9.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，
所述存储器，用于存储计算机程序；
所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至7中任一项所述图像识别方法步骤。
10.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项中所述图像识别方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110932608.8A CN113537248B (zh) | 2021-08-13 | 2021-08-13 | 图像识别方法和装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110932608.8A CN113537248B (zh) | 2021-08-13 | 2021-08-13 | 图像识别方法和装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113537248A true CN113537248A (zh) | 2021-10-22 |
| CN113537248B CN113537248B (zh) | 2024-06-07 |
Family
ID=78122446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110932608.8A Active CN113537248B (zh) | 2021-08-13 | 2021-08-13 | 图像识别方法和装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537248B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115588115A (zh) * | 2022-09-27 | 2023-01-10 | 北京羽乐创新科技有限公司 | 一种识别商标图片的方法及装置 |
| WO2024103649A1 (zh) * | 2022-11-17 | 2024-05-23 | 胜斗士(上海)科技技术发展有限公司 | 图像颜色识别方法、图像推荐方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571228B1 (en) * | 2000-08-09 | 2003-05-27 | Po-Tong Wang | Hybrid neural networks for color identification |
| US7180629B1 (en) * | 1999-04-28 | 2007-02-20 | Sony Corporation | Methods and apparatus for color device characterization |
| US20090303336A1 (en) * | 2006-07-25 | 2009-12-10 | Nikon Corporation | Image Processing Method, Image Processing Program and Image Processing Apparatus |
| CN106373136A (zh) * | 2015-07-22 | 2017-02-01 | 崔胡晋 | 一种基于颜色和特征的害虫识别计数方法 |
| CN106599869A (zh) * | 2016-12-22 | 2017-04-26 | 安徽大学 | 一种基于多任务卷积神经网络的车辆属性识别方法 |
| CN109670532A (zh) * | 2018-11-23 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 生物体器官组织图像的异常识别方法、装置及*** |
| CN109919002A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技（深圳）有限公司 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
| CN110458077A (zh) * | 2019-08-05 | 2019-11-15 | 高新兴科技集团股份有限公司 | 一种车辆颜色识别方法及*** |
| CN111914648A (zh) * | 2020-07-01 | 2020-11-10 | 珠海大横琴科技发展有限公司 | 车辆检测和识别的方法及装置、电子设备、存储介质 |
| WO2021043112A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分类方法以及装置 |
| CN112489143A (zh) * | 2020-11-30 | 2021-03-12 | 济南博观智能科技有限公司 | 一种颜色识别方法、装置、设备及存储介质 |
| CN112507801A (zh) * | 2020-11-14 | 2021-03-16 | 武汉中海庭数据技术有限公司 | 车道路面数字颜色识别方法、限速信息识别方法及*** |
| CN113239939A (zh) * | 2021-05-12 | 2021-08-10 | 北京杰迈科技股份有限公司 | 一种轨道信号灯识别方法、模块及存储介质 |
-
2021
- 2021-08-13 CN CN202110932608.8A patent/CN113537248B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7180629B1 (en) * | 1999-04-28 | 2007-02-20 | Sony Corporation | Methods and apparatus for color device characterization |
| US6571228B1 (en) * | 2000-08-09 | 2003-05-27 | Po-Tong Wang | Hybrid neural networks for color identification |
| US20090303336A1 (en) * | 2006-07-25 | 2009-12-10 | Nikon Corporation | Image Processing Method, Image Processing Program and Image Processing Apparatus |
| CN106373136A (zh) * | 2015-07-22 | 2017-02-01 | 崔胡晋 | 一种基于颜色和特征的害虫识别计数方法 |
| CN106599869A (zh) * | 2016-12-22 | 2017-04-26 | 安徽大学 | 一种基于多任务卷积神经网络的车辆属性识别方法 |
| CN109670532A (zh) * | 2018-11-23 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 生物体器官组织图像的异常识别方法、装置及*** |
| CN109919002A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技（深圳）有限公司 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
| CN110458077A (zh) * | 2019-08-05 | 2019-11-15 | 高新兴科技集团股份有限公司 | 一种车辆颜色识别方法及*** |
| WO2021043112A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分类方法以及装置 |
| CN111914648A (zh) * | 2020-07-01 | 2020-11-10 | 珠海大横琴科技发展有限公司 | 车辆检测和识别的方法及装置、电子设备、存储介质 |
| CN112507801A (zh) * | 2020-11-14 | 2021-03-16 | 武汉中海庭数据技术有限公司 | 车道路面数字颜色识别方法、限速信息识别方法及*** |
| CN112489143A (zh) * | 2020-11-30 | 2021-03-12 | 济南博观智能科技有限公司 | 一种颜色识别方法、装置、设备及存储介质 |
| CN113239939A (zh) * | 2021-05-12 | 2021-08-10 | 北京杰迈科技股份有限公司 | 一种轨道信号灯识别方法、模块及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 余化鹏等: "基于目标检测结果的轮廓及颜色识别研究", 《成都大学学报（自然科学版）》, vol. 38, no. 3, 30 September 2019 (2019-09-30), pages 276 - 280 * |
| 李瑞生等: "基于HSV特征变换与目标检测的变压器呼吸器缺陷智能识别方法", 高电压技术, vol. 46, no. 09, 30 September 2020 (2020-09-30), pages 3027 - 3034 * |
| 赵玲等: "基于颜色特征的草莓成熟度识别技术研究", 河北农业大学学报, no. 02, 15 March 2017 (2017-03-15), pages 97 - 101 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115588115A (zh) * | 2022-09-27 | 2023-01-10 | 北京羽乐创新科技有限公司 | 一种识别商标图片的方法及装置 |
| WO2024103649A1 (zh) * | 2022-11-17 | 2024-05-23 | 胜斗士(上海)科技技术发展有限公司 | 图像颜色识别方法、图像推荐方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113537248B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021532434A (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
| WO2020024744A1 (zh) | 一种图像特征点检测方法、终端设备及存储介质 | |
| CN113537248B (zh) | 图像识别方法和装置、电子设备和存储介质 | |
| EP2879080A2 (en) | Image processing device and method, and computer readable medium | |
| CN110418204B (zh) | 基于微表情的视频推荐方法、装置、设备和存储介质 | |
| CN111027450A (zh) | 银行卡信息识别方法、装置、计算机设备及存储介质 | |
| CN108628721B (zh) | 用户数据值的异常检测方法、装置、存储介质及电子装置 | |
| CN110955891B (zh) | 文件检测的方法、装置、***和数据处理法的方法 | |
| CN110956615A (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN110928889A (zh) | 训练模型更新方法、设备以及计算机存储介质 | |
| CN114638633A (zh) | 异常流量检测的方法和装置、电子设备和存储介质 | |
| CN113642639A (zh) | 活体检测方法、装置、设备和存储介质 | |
| CN114612897A (zh) | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 | |
| CN108764248B (zh) | 图像特征点的提取方法和装置 | |
| CN112419432A (zh) | 冰箱内食物的控制方法和装置、电子设备和存储介质 | |
| CN109919164B (zh) | 用户界面对象的识别方法及装置 | |
| CN113255766B (zh) | 一种图像分类方法、装置、设备和存储介质 | |
| CN108596068B (zh) | 一种动作识别的方法和装置 | |
| CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
| CN114240928B (zh) | 板卡质量的分区检测方法、装置、设备及可读存储介质 | |
| CN115375954B (zh) | 一种化学实验溶液识别方法、装置、设备及可读存储介质 | |
| CN110147459B (zh) | 一种图像检索方法、装置及电子设备 | |
| CN112183594A (zh) | 票据图像的处理方法和装置、存储介质及电子设备 | |
| CN106446902B (zh) | 非文字图像识别方法和装置 | |
| CN113408496B (zh) | 图像确定方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |