CN110232392B - 视觉优化方法、优化***、计算机设备和可读存储介质 - Google Patents
视觉优化方法、优化***、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN110232392B CN110232392B CN201810178131.7A CN201810178131A CN110232392B CN 110232392 B CN110232392 B CN 110232392B CN 201810178131 A CN201810178131 A CN 201810178131A CN 110232392 B CN110232392 B CN 110232392B
- Authority
- CN
- China
- Prior art keywords
- preset
- loss function
- weight
- convolutional neural
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 198
- 230000008447 perception Effects 0.000 claims abstract description 97
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 71
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种视觉优化方法、视觉优化***、计算机设备和计算机可读存储介质。其中，视觉优化方法包括：获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；根据预设指标评估多个模型；根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。本发明充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
Description
技术领域
本发明涉及视觉优化技术领域，具体而言，涉及一种空视觉优化方法、视觉优化***、计算机设备、计算机可读存储介质。
背景技术
在视觉优化中，J.Johnson等人提出的感知损失函数是一种描述两张图片是否语义上相似的好方法。这种方法通过选取一个预训练好的网络(以vgg网络为例)，比较训练集中生成去雨图片和真正去雨图片在vgg(现有预训练好的卷积神经网络的一种)网络某一层上的均方误差。但是，由于到底选取vgg的哪一层对结果的影响非常大。
SATOSHI IIZUKA等人通过在生成式对抗网络中构造局部分辨器和全局分辨器的方式，从局部和整体两个角度判断两张图片是否相似。这种优化相比于采用预训练好的网络，会更倾向于过拟合训练集，从而影响泛化能力。
YijunLi等人通过强调两张相同的图片语义分割结果应该相似，构造出了语义正则化函数。这个方法虽然利用了预训练好的网络，但是相同的语义分割结果是有可能对应不同的语义信息，所以可能无法细微地指导两张图片的相似性。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明第一个方面在于提出一种视觉优化方法。
本发明的第二个方面在于提出一种视觉优化***。
本发明的第三个方面在于提出一种计算机设备。
本发明的第四个方面在于提出一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种视觉优化方法，包括：获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；根据预设指标评估多个模型；根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化方法，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的上述视觉优化方法，还可以具有以下技术特征：
在上述技术方案中，优选地，根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型的步骤，具体包括：根据第一预设公式获取预设层数的感知损失函数：
根据第二预设公式获得多个模型的感知损失函数：
Pi′＝L+Pi
其中，Pi为预设卷积神经网络第i层对应的感知损失函数，Vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集training set为(Xj，Yj)，size(Vi(Xj))为Vi(Xj)的大小,#(·)为训练集的大小，Pi′为第i个模型的感知损失函数，L为预设问题的感知损失函数。
在该技术方案中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一技术方案中，优选地，根据预设指标评估多个模型的步骤，具体包括：根据第三预设公式获得Oi(Xj)与Yj的相似性：
其中，Oi(Xj)为第i个模型的输出，E(·，·)为预设指标，训练集training set为(Xj，Yj)，
为Oi(Xj)与Yj的相似性。
在该技术方案中，选取特定的评价指标E(·，·)来评估每个模型，利用第三预设公式得出每个模型的输出与Yj的相似性，实现对训练得出的每个模型的评估。
在上述任一技术方案中，优选地，根据评估结果和预设指数权重规则获得多个模型中每个模型的权重的步骤，具体包括：根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，基于利用第四预设公式得出的每个模型的评估结果
利用第四预设公式(指数权重算法)得到每个模型的权重，预设卷积神经网络可以根据情况选定，比如选取vgg(现有预训练好的卷积神经网络的一种)。得出的各个模型的权重为得出最终优化感知损失函数提供依据。
在上述任一技术方案中，优选地，根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数的步骤，具体包括：根据第五预设公式获得优化的感知损失函数：
其中，L′为优化的感知损失函数，L为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用L′＝∑i∈vggwi(L+Pi)＝L+∑i∈vggwiPi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的第二个方面，提出了一种视觉优化***，包括：获取单元，用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；训练单元，用于根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；评估单元，用于根据预设指标评估多个模型；权重单元，用于根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；优化单元，用于根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化***，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的上述视觉优化***，还可以具有以下技术特征：
在上述技术方案中，优选地，训练单元具体包括：第一计算单元，用于根据第一预设公式获取预设层数的感知损失函数：
第二计算单元，用于根据第二预设公式获得多个模型的感知损失函数：
Pi′＝L+Pi
其中，Pi为预设卷积神经网络第i层对应的感知损失函数，Vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集training set为(Xj，Yj)，size(Vi(Xj))为Vi(Xj)的大小,#(·)为训练集的大小，Pi′为第i个模型的感知损失函数，L为预设问题的感知损失函数。
在该技术方案中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一技术方案中，优选地，评估单元具体包括：第三计算单元，用于根据第三预设公式获得Oi(Xj)与Yj的相似性：
其中，Oi(Xj)为第i个模型的输出，E(·，·)为预设指标，训练集training set为(Xj，Yj)，
为Oi(Xj)与Yj的相似性。
在该技术方案中，选取特定的评价指标E(·，·)来评估每个模型，利用第三预设公式得出每个模型的输出与Yj的相似性，实现对训练得出的每个模型的评估。
在上述任一技术方案中，优选地，权重单元具体包括：第四计算单元，用于根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，基于利用第四预设公式得出的每个模型的评估结果
利用第四预设公式(指数权重算法)得到每个模型的权重，预设卷积神经网络可以根据情况选定，比如选取vgg(现有预训练好的卷积神经网络的一种)。得出的各个模型的权重为得出最终优化感知损失函数提供依据。
在上述任一技术方案中，优选地，优化单元具体包括：第五计算单元，用于根据第五预设公式获得优化的感知损失函数：
其中，L′为优化的感知损失函数，L为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用L′＝∑i∈vggwi(L+Pi)＝L+∑i∈vggwiPi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的第三个方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机设备，处理器执行计算机程序时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的视觉优化方法的流程示意图；
图2示出了本发明的一个具体实施例的视觉优化方法应用在具体问题的流程示意图；
图3示出了本发明的一个实施例的视觉优化***的示意框图；
图4示出了本发明的另一个实施例的视觉优化***的示意框图；
图5示出了本发明的一个实施例的计算机设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种视觉优化方法，图1示出了本发明的一个实施例的视觉优化方法的流程示意图：
步骤102，获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；
步骤104，根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；
步骤106，根据预设指标评估多个模型；
步骤108，根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；
步骤110，根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化方法，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
在上述实施例中，优选地，根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型的步骤，具体包括：根据第一预设公式获取预设层数的感知损失函数：
根据第二预设公式获得多个模型的感知损失函数：
Pi′＝L+Pi
其中，Pi为预设卷积神经网络第i层对应的感知损失函数，Vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集training set为(Xj，Yj)，size(Vi(Xj))为Vi(Xj)的大小,#(·)为训练集的大小，Pi′为第i个模型的感知损失函数，L为预设问题的感知损失函数。
在该实施例中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，预设卷积神经网络可以根据情况选定，比如选取vgg(现有预训练好的卷积神经网络的一种)。根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一实施例中，优选地，根据预设指标评估多个模型的步骤，具体包括：根据第三预设公式获得Oi(Xj)与Yj的相似性：
其中，Oi(Xj)为第i个模型的输出，E(·，·)为预设指标，训练集training set为(Xj，Yj)，
为Oi(Xj)与Yj的相似性。
在该实施例中，选取特定的评价指标E(·，·)来评估每个模型，利用第三预设公式得出每个模型的输出与Yj的相似性，实现对训练得出的每个模型的评估。
在上述任一实施例中，优选地，根据评估结果和预设指数权重规则获得多个模型中每个模型的权重的步骤，具体包括：根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，基于利用第四预设公式得出的每个模型的评估结果
利用第四预设公式(指数权重算法)得到每个模型的权重，预设卷积神经网络可以根据情况选定，比如选取vgg(现有预训练好的卷积神经网络的一种)。得出的各个模型的权重为得出最终优化感知损失函数提供依据。
在上述任一实施例中，优选地，根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数的步骤，具体包括：根据第五预设公式获得优化的感知损失函数：
其中，L′为优化的感知损失函数，L为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用L′＝∑i∈vggwi(L+Pi)＝L+∑i∈vggwiPi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
图2示出了本发明的一个具体实施例的视觉优化方法应用在具体问题的流程示意图。在这个具体问题中，L为均方误差损失函数和对抗损失函数。如图2所示，将视觉优化方法用于具体问题的流程先通过L+P1，L+P2训练出两个模型Model1，Model2，然后用指数权重算法得到权重w1，w2，最终得到基于指数权重的视觉优化损失函数L+w1P1+w2P2。该具体实施例的主要优点在于充分利用并整合了从低层到高层，从局部到整体的语义信息，同时有一定的理论保障。
本发明第二方面的实施例，提出一种视觉优化***300，图3示出了本发明的一个实施例的视觉优化***300的示意框图。如图3所示，视觉优化***300包括：获取单元302、训练单元304、评估单元306、权重单元308和优化单元310。其中，获取单元302用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；训练单元304用于根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；评估单元306用于根据预设指标评估多个模型；权重单元308用于根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；优化单元310用于根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化***中，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
图4示出了本发明的另一个实施例的视觉优化***400的示意框图。
其中，视觉优化***400包括：获取单元402、训练单元404、评估单元406、权重单元408和优化单元410。其中，获取单元402用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；训练单元404用于根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；评估单元406用于根据预设指标评估多个模型；权重单元408用于根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；优化单元410用于根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
在上述实施例中，优选地，训练单元404具体包括：第一计算单元442和第二计算单元444。第一计算单元442用于根据第一预设公式获取预设层数的感知损失函数：
第二计算单元444用于根据第二预设公式获得多个模型的感知损失函数：
Pi′＝L+Pi
其中，Pi为预设卷积神经网络第i层对应的感知损失函数，Vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集training set为(Xj，Yj)，size(Vi(Xj))为Vi(Xj)的大小,#(·)为训练集的大小，Pi′为第i个模型的感知损失函数，L为预设问题的感知损失函数。
在该实施例中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一实施例中，优选地，评估单元406具体包括第三计算单元462。第三计算单元462。用于根据第三预设公式获得Oi(Xj)与Yj的相似性：
其中，Oi(Xj)为第i个模型的输出，E(·，·)为预设指标，训练集training set为(Xj，Yj)，
为Oi(Xj)与Yj的相似性。
在该实施例中，选取特定的评价指标E(·，·)来评估每个模型，利用第三预设公式得出每个模型的输出与Yj的相似性，实现对训练得出的每个模型的评估。
在上述任一实施例中，优选地，权重单元408具体包括第四计算单元482。第四计算单元482用于根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，基于利用第四预设公式得出的每个模型的评估结果
利用第四预设公式(指数权重算法)得到每个模型的权重，预设卷积神经网络可以根据情况选定，比如选取vgg(现有预训练好的卷积神经网络的一种)。得出的各个模型的权重为得出最终优化感知损失函数提供依据。
在上述任一实施例中，优选地，优化单元410具体包括第五计算单元412。第五计算单元412用于根据第五预设公式获得优化的感知损失函数：
其中，L′为优化的感知损失函数，L为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用L′＝∑i∈vggwi(L+Pi)＝L+∑i∈vggwiPi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
本发明第三方面的实施例，提出一种计算机设备，图5示出了本发明的一个实施例的计算机设备500的示意框图。其中，该计算机设备500包括：
存储器502、处理器504及存储在存储器502上并可在处理器504上运行的计算机程序，处理器504执行计算机程序时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机设备500，处理器504执行计算机程序时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
本发明第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种视觉优化方法，其特征在于，包括：
获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；
根据所述预设问题的感知损失函数和所述预设卷积神经网络中预设层数对应的感知损失函数训练得出与所述预设层数对应的多个模型；
根据预设指标评估所述多个模型；
根据评估结果和预设指数权重规则获得所述多个模型中每个模型的权重；
根据所述每个模型的权重和所述预设层数对应的感知损失函数获取优化的感知损失函数；
所述根据预设指标评估所述多个模型的步骤，具体包括：
根据第三预设公式获得Oi(Xj)与Yj的相似性：
其中，Oi(Xj)为第i个模型的输出，E(·，·)为所述预设指标，训练集training set为(Xj，Yj)，Xj为有雨图片，Yj为无雨图片，
为Oi(Xj)与Yj的相似性；
所述根据评估结果和预设指数权重规则获得所述多个模型中每个模型的权重的步骤，具体包括：
根据第四预设公式获得所述每个模型的权重：
其中，wi为第i个模型的权重，vgg为所述预设卷积神经网络；
在得出最终的所述优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，所述优化的感知损失函数描述了两张图片的相似性；
所述根据所述每个模型的权重和所述预设层数对应的感知损失函数获取优化的感知损失函数的步骤，具体包括：
根据第五预设公式获得所述优化的感知损失函数：
其中，L′为所述优化的感知损失函数，L为所述预设问题的感知损失函数，vgg为所述预设卷积神经网络，wi为第i个模型的权重，Pi为所述预设卷积神经网络第i层对应的感知损失函数。
2.根据权利要求1所述的视觉优化方法，其特征在于，所述根据所述预设问题的感知损失函数和所述预设卷积神经网络中预设层数对应的感知损失函数训练得出与所述预设层数对应的多个模型的步骤，具体包括：
根据第一预设公式获取所述预设层数的感知损失函数：
根据第二预设公式获得所述多个模型的感知损失函数：
Pi′＝L+Pi
其中，Vi(·)为从所述预设卷积神经网络的输入到所述预设卷积神经网络的第i层的变换，训练集training set为(Xj，Yj)，size(Vi(Xj))为Vi(Xj)的大小，#(·)为所述训练集的大小，Pi′为第i个模型的感知损失函数，L为所述预设问题的感知损失函数。
3.一种视觉优化***，其特征在于，包括：
获取单元，用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；
训练单元，用于根据所述预设问题的感知损失函数和所述预设卷积神经网络中预设层数对应的感知损失函数训练得出与所述预设层数对应的多个模型；
评估单元，用于根据预设指标评估所述多个模型；
权重单元，用于根据评估结果和预设指数权重规则获得所述多个模型中每个模型的权重；
优化单元，用于根据所述每个模型的权重和所述预设层数对应的感知损失函数获取优化的感知损失函数；
所述评估单元具体包括：
第三计算单元，用于根据第三预设公式获得Oi(Xj)与Yj的相似性：
其中，Oi(Xj)为第i个模型的输出，E(·，·)为所述预设指标，训练集training set为(Xj，Yj)，Xj为有雨图片，Yj为无雨图片，
为Oi(Xj)与Yj的相似性；
所述权重单元具体包括：
第四计算单元，用于根据第四预设公式获得所述每个模型的权重：
其中，wi为第i个模型的权重，vgg为所述预设卷积神经网络；
在得出最终的所述优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，所述优化的感知损失函数描述了两张图片的相似性；
所述优化单元具体包括：
第五计算单元，用于根据第五预设公式获得所述优化的感知损失函数：
其中，L′为所述优化的感知损失函数，L为所述预设问题的感知损失函数，vgg为所述预设卷积神经网络，wi为第i个模型的权重，Pi为所述预设卷积神经网络第i层对应的感知损失函数。
4.根据权利要求3所述的视觉优化***，其特征在于，所述训练单元具体包括：
第一计算单元，用于根据第一预设公式获取所述预设层数的感知损失函数：
第二计算单元，用于根据第二预设公式获得所述多个模型的感知损失函数：
Pi′＝L+Pi
其中，Vi(·)为从所述预设卷积神经网络的输入到所述预设卷积神经网络的第i层的变换，训练集training set为(Xj，Yj)，size(Vi(Xj))为Vi(Xj)的大小，#(·)为所述训练集的大小，Pi′为第i个模型的感知损失函数，L为所述预设问题的感知损失函数。
5.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或2所述视觉优化方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述视觉优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810178131.7A CN110232392B (zh) | 2018-03-05 | 2018-03-05 | 视觉优化方法、优化***、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810178131.7A CN110232392B (zh) | 2018-03-05 | 2018-03-05 | 视觉优化方法、优化***、计算机设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232392A CN110232392A (zh) | 2019-09-13 |
| CN110232392B true CN110232392B (zh) | 2021-08-17 |
Family
ID=67861973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810178131.7A Expired - Fee Related CN110232392B (zh) | 2018-03-05 | 2018-03-05 | 视觉优化方法、优化***、计算机设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232392B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590786A (zh) * | 2017-09-08 | 2018-01-16 | 深圳市唯特视科技有限公司 | 一种基于对抗学习网络的图像增强方法 |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
-
2018
- 2018-03-05 CN CN201810178131.7A patent/CN110232392B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| CN107590786A (zh) * | 2017-09-08 | 2018-01-16 | 深圳市唯特视科技有限公司 | 一种基于对抗学习网络的图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232392A (zh) | 2019-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210342643A1 (en) | Method, apparatus, and electronic device for training place recognition model | |
| CN104794733B (zh) | 对象跟踪方法和装置 | |
| CN112150821B (zh) | 轻量化车辆检测模型构建方法、***及装置 | |
| CN110675423A (zh) | 一种基于孪生神经网络和注意力模型的无人机跟踪方法 | |
| CN110796168A (zh) | 一种基于改进YOLOv3的车辆检测方法 | |
| CN112784092A (zh) | 一种混合融合模型的跨模态图像文本检索方法 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| CN116110022B (zh) | 基于响应知识蒸馏的轻量化交通标志检测方法及*** | |
| CN106372597B (zh) | 基于自适应上下文信息的cnn交通检测方法 | |
| CN112862023B (zh) | 对象密度确定方法、装置、计算机设备和存储介质 | |
| CN111310821A (zh) | 多视图特征融合方法、***、计算机设备及存储介质 | |
| EP4318313A1 (en) | Data processing method, training method for neural network model, and apparatus | |
| CN111047078A (zh) | 交通特征预测方法、***及存储介质 | |
| WO2021217937A1 (zh) | 姿态识别模型的训练方法及设备、姿态识别方法及其设备 | |
| CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN114091598A (zh) | 一种基于语义级信息融合的多车协同环境感知方法 | |
| CN116206214A (zh) | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、***、设备及介质 | |
| Cai et al. | A driving fingerprint map method of driving characteristic representation for driver identification | |
| CN114022713A (zh) | 模型训练方法、***、设备及介质 | |
| CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN112668421B (zh) | 一种基于注意力机制的无人机高光谱农作物快速分类方法 | |
| CN117576149A (zh) | 一种基于注意力机制的单目标跟踪方法 | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| CN110232392B (zh) | 视觉优化方法、优化***、计算机设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230327 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210817 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |