CN113516328A - 数据处理方法、服务提供方法、装置、设备和存储介质 - Google Patents
数据处理方法、服务提供方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113516328A CN113516328A CN202010671199.6A CN202010671199A CN113516328A CN 113516328 A CN113516328 A CN 113516328A CN 202010671199 A CN202010671199 A CN 202010671199A CN 113516328 A CN113516328 A CN 113516328A
- Authority
- CN
- China
- Prior art keywords
- image sample
- parameter
- target
- image
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种数据处理方法、服务提供方法、装置、设备和存储介质,该方法包括:先获取第一图像样本和初始调整参数,其中,第一图像样本包含目标对象。对初始调整参数进行聚类,并根据聚类结果对第一图像样本中的干扰信息的剔除程度,确定目标调整参数。并用此目标调整参数剔除第一图像样本中的干扰信息,得到第二图像样本。由于在目标调整参数确定的过程中,考虑到聚类结果对干扰信息的剔除程度,使得确定出的目标调整参数都是具有较强的干扰信息剔除能力的,使目标对象能够清晰显示于第二图像样本中。由于目标对象的清晰显示,从而降低图像样本标注的难度,提高图像样本标注的准确性,也进一步保证模型的训练效果。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法、服务提供方法、装置、设备和存储介质。
背景技术
在生产领域,无论是何种产品,在出厂销售之前,质量检测都是一项必不可少的环节。以轮胎生产为例,由于生产环境、生产设备以及生产工艺等多方面因素的影响,生产出的轮胎表面可能会存在凹陷、开裂等缺陷,轮胎内部有可能会出现如气泡、稀开等缺陷。因此,产品的内外通常都需要进行质量检测。
相比于产品表面的检测,在实际应用中,产品内部的检测往往更为困难。产品内部质量的检测通常是借助检测模型来实现的。而由于对模型的训练样本的标注往往存在困难,从而会造成检测模型训练的效果不佳,也就导致了质量检测的效果不佳。因此,如何降低样本标注的难度就成为一个亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法、服务提供方法、装置、设备和存储介质,用以提高样本标注的准确性,保证模型训练的效果。
第一方面,本发明实施例提供一种数据处理方法,包括:
获取第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
对所述初始调整参数进行聚类;
根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
第二方面,本发明实施例提供一种数据处理装置,包括:
获取模块,用于获取第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
聚类模块,用于对所述初始调整参数进行聚类;
第一参数确定模块,用于根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
剔除模块,用于根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
第三方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的数据处理方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第一方面所述的数据处理方法。
第五方面,本发明实施例提供一种服务提供方法,包括:
响应于用户的输入操作,接收第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
对所述初始调整参数进行聚类;
根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本;
输出所述第二图像样本。
第六方面,本发明实施例提供一种服务提供装置,包括:
接收模块,用于响应于用户的输入操作,接收第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
聚类模块,用于对所述初始调整参数进行聚类;
第一参数确定模块,用于根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
剔除模块,用于根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本;
输出模块,用于输出所述第二图像样本。
第七方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的服务提供方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第八方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第五方面所述的服务提供方法。
本发明实施例提供的数据处理方法,先获取第一图像样本和初始调整参数,第一图像能够包含目标对象。同时,第一图像样本中还包含干扰信息,当然也正是由于干扰信息的存在才导致目标对象不能够清晰的显示于第一图像样本中,此时可以认为目标对象隐藏于第一图像样本中。接着,对获取到的初始调整参数进行聚类,并根据聚类结果对第一图像样本中干扰信息的剔除程度,确定目标调整参数。最终,用此目标调整参数对第一图像样本进行干扰信息的剔除,以得到第二图像样本。
可见,在确定目标调整参数时考虑到了聚类结果对干扰信息的剔除程度,使得确定出的目标调整参数是对第一图像样本具有较高的干扰信息剔除程度的,也就使目标对象能够清晰显示于第二图像样本中。此时,用户便可以容易地在第二图像样本中标注目标对象所在的位置,也即是降低了图像样本的标注难度,提高了图像样本标注的准确性。最终,根据标注后图像样本即可进行检测模型的训练,也进一步保证检测模型的训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程图;
图2为本发明实施例提供的第二图像样本的示意图;
图3为本发明实施例提供的一种目标调整参数确定方式的流程图;
图4为本发明实施例提供的另一种数据处理方法的流程图;
图5为本发明实施例提供的又一种数据处理方法的流程图;
图6为本发明实施例提供的又一种数据处理方法的流程图;
图7为本发明实施例提供的一种服务提供方法的流程图;
图8为本发明实施例提供的另一种服务提供方法的流程图;
图9a为本发明实施例提供数据处理方法应用于产品内部质量检测场景下的一种示意图;
图9b为本发明实施例提供数据处理方法应用于产品内部质量检测场景下的另一种示意图;
图10为本发明实施例提供的一种数据处理装置的结构示意图;
图11为与图10所示实施例提供的数据处理装置对应的电子设备的结构示意图;
图12为本发明实施例提供的一种服务提供装置的结构示意图;
图13为与图12所示实施例提供的服务提供装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地,取决于语境,短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
承接背景技术中的描述,以产品的内部质量检测为例,对本发明实施例提供的数据处理方法进行说明。而在此之前,还需要先对该数据处理的现实意义进行示例性说明:
背景技术中已经提及,在对产品内部进行质量检测时,可以借助检测模型来实现,检测模型通常可以采用有监督的训练方式训练得到。具体来说,训练样本可以是产品的断层扫描图像,以下均简称为扫描图像。其中,扫描图像具体可以是一张单独的图像,也可以是扫描视频中的一帧图像。可以先将扫描图像中包含的目标对象(即产品瑕疵)标注出来。再将扫描图像输入检测模型,并以标注的产品瑕疵所在的位置作为监督信息,训练检测模型。
在实际应用中,扫描图像中包含的信息十分丰富,但也正是此丰富的信息往往又会对产品瑕疵的显示产生影响。即有可能使得产品瑕疵被隐藏起来,产品瑕疵并不能直观地被用户看到并标注出来,从而增加训练样本(即扫描图像)的标注难度,导致样本标注的准确性降低,也进一步导致了检测模型的训练效果不佳。
在上述情况下,就可以使用本发明提供的数据处理方法对训练样本进行处理。处理后的训练样本能够保证产品瑕疵清晰地被显示出来,进一步保证样本标注的准确性以及模型训练的效果。因此,本发明提供的数据处理方法可以认为是一种训练样本的处理方法。
当然,本发明提供的数据处理方法除了可以对产品内部的扫描图像进行处理之外,也可以其他任何的扫描图像进行处理,比如对医学扫描图像进行处理。
对于一个更大的适用范围,本发明并不限定训练样本的类型,其可以是扫描图像,也可以是任何其他类型的图像、视频包含的额图像帧等等。只要是目标对象不能清晰显示的训练样本都可以使用本发明提供的数据处理方法进行处理。通过处理能够使得训练样本中的目标对象可以清晰显示出来,以降低训练样本的标注难度,保证模型训练的效果。
基于上述背景,下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
下述各实施例均以对产品进行内部质量检测为背景进行说明。
图1为本发明实施例提供的一种数据处理方法的流程图,本发明实施例提供的该数据处理方法可以由处理设备来执行。可以理解的是,该处理设备可以实现为软件、或者软件和硬件的组合。本实施例以及下述各实施例中的处理设备具体来说可以是服务器。如图1所示,该方法包括如下步骤:
S101,获取第一图像样本以及初始调整参数,第一图像样本中包含目标对象。
在内部质量检测的场景下,第一图像样本可以是产品的断层扫描图像,本实施例以及下述各实施例中均简称为扫描图像。处理设备获取到的第一图像样本,可以是在历史质量检测过程中得到的扫描图像,也可以是通过互联网搜索方式得到的扫描图像。并且第一图像样本中能够包含目标对象,此目标对象即为产品瑕疵。并且与上述描述相同的,扫描图像可以是一张单独的图像,也可以是对产品进行断层扫描得到的扫描视频中的一帧图像。
同时,处理设备还可以获取用户输入的初始调整参数。可选地,初始调整参数可以是根据历史经验人为设定的。初始调整参数的数量可以是多个,且每个调整参数可以由窗位和窗宽两个部分组成。
S102,对初始调整参数进行聚类。
然后,对多个初始调整参数进行聚类,以使多个初始调整参数被划分为至少一个数据簇,每个数据簇具有一个聚类中心,则聚类结果可以由这至少一个聚类中心组成。可选地,聚类中心可以为其所属数据簇中包含的初始调整参数的均值或者中位值等等。且聚类中心实际上也是一个调整参数。
其中,可以采用任一种聚类算法进行聚类处理,比如k均值聚类算法(k-meansclustering algorithm)、基于密度的聚类算法(Density-Based Spatial Clustering ofApplications with Noise,简称DBSCAN)等等。
S103,根据聚类结果对第一图像样本中的干扰信息的剔除程度,确定目标调整参数。
接着,利用聚类结果即至少一个聚类中心,分别对第一图像样本进行干扰信息剔除处理。其中,干扰信息可以为第一图像样本中影响目标对象清晰显示的信息。具体来说,第一图像样本中通常包含有目标对象和非目标对象,则用于描述非目标对象的信息都可以认为是干扰信息,同时,第一图像样本中包含的噪声信息也可以认为是干扰信息。当然,也正是由于干扰信息的剔除,才使得目标对象可以清晰显示。
聚类结果中的每个聚类中心都可以认为是一个调整参数,容易理解的,使用不同的聚类中心对各个第一图像样本进行剔除处理后,各个第一图像样本中干扰信息的剔除程度是不同的。因此,可以根据此剔除程度确定目标调整参数。确定出的目标调整参数能够对大多数的第一图像样本具有较好的干扰信息剔除效果。可选地,确定出的目标调整参数可以为至少一个。
则一种可选地方式,可以直接将最高剔除程度对应的聚类中心确定为目标调整参数。另一种可选地方式,也可以按照干扰信息的剔除程度由高到低,对至少一个聚类中心进行排序,并确定排序结果中最靠前的M个聚类中心为目标调整参数,M≥1。
另外,基于上述对干扰信息和剔除程度的描述,对于步骤101中初始参数的获取,也可以先将根据人工经验设置的调整参数称为备选调整参数,再用此备选调整参数对第一图像样本中的少量图像样本进行调整,并根据调整结果不断修正备选调整参数,以使修正后的备选调整参数能够对此少量图像样本具有较高的干扰信息剔除程度,则修正后的备选调整参数即为初始调整参数。
S104,根据目标调整参数剔除干扰信息,以得到第二图像样本。
最终,可以利用目标调整参数剔除第一图像样本中的干扰信息,以得到第二图像样本。在第二图像样本中目标对象能够被清晰地显示出来,从而方便了用户后续的标注工作。
需要说明的有,经过干扰信息剔除,第二图像样本中包含的数据量会小于第一图像样本中包含的数据量。并且从第一图像样本中剔除的只是影响目标对象清晰显示的干扰信息,第二图像样本中用于描述目标对象的信息会完整地保留下来。由于后续的模型训练过程中,我们重点关注的也是目标对象,因此,将小数据量的第二图像样本作为训练样本不仅不会影响模型训练,还可以提升模型的训练效果。
本实施例中,先获取第一图像样本和初始调整参数,其中,第一图像样本包含目标对象。对初始调整参数进行聚类,并根据聚类结果对第一图像样本中的干扰信息的剔除程度,确定目标调整参数。并用此目标调整参数剔除第一图像样本中的干扰信息,以得到第二图像样本。由于在目标调整参数的确定过程中,考虑到聚类结果对干扰信息的剔除程度,使得确定出的目标调整参数具有较强的干扰信息剔除能力,使目标对象能够清晰显示在第二图像样本中。由于目标对象的清晰显示,从而提高了图像样本标注的准确性,也进一步保证了模型的训练效果。
另外,当第一图像样本是一张单独的扫描图像时,本发明各实施例提供的数据处理方法实现的是对图像数据的处理。当第一样本图像是扫描视频中的一帧图像时,可以根据扫描视频中的图像帧(即第一图像样本)各自对应的第二图像样本,生成处理后的扫描视频,此时,本发明各实施例提供的数据处理方法实现的是对视频数据的处理。
需要说明的还有,可选地,在实际应用中,本实施例以及下述各实施例中提及的第一图像样本实际上是一张难以可视化的16位图像。第二图像样本可以是一张能够可视化的8位图像。则可视化的第二图像样本可以如图2所示。
上述实施例中已经提到:先使用聚类结果对第一图像样本中的干扰信息进行剔除处理,再根据干扰信息的剔除程度确定目标调整参数。可选地,剔除处理具体可以是:利用目标调整参数,对第一图像样本中各像素点的像素值进行调整,也即是通过调整像素值来实现干扰信息的剔除。但由于第一图像样本的数量众多,因此会导致目标调整参数确定过程中的计算量较大且确定效率低下。
则如图3所示,一种可选地目标调整参数的确定方式,也即是步骤102一种可选地实现方式可以为:
S201,根据至少一个聚类中心分别调整第三图像样本的像素值,以得到调整结果,第三图像样本包含于第一图像样本。
根据上述实施例可知,聚类结果包含至少一个聚类中心,每个聚类中心都可以由窗位和窗宽两部分组成。为了提高目标调整参数的确定效率,可以先从数量众多的第一图像样本中随机选择少部分作为第三图像样本,利用至少一个聚类中心分别对第三图像样本的像素值进行调整,得到调整结果。
对于像素值的调整可以进行以下理解:假设第三图像样本是16位图像,其各像素点像素值的取值范围为0~65535,且聚类中心A由窗位104以及窗宽100组成。则使用窗位、窗宽可以实现对第三图像样本中各像素点的像素值的归一化处理,即将大于104+100的像素值统一规划为1,将小于104-100的像素值统一规划为0,将处于104+100~104-100之间的像素值进行归一化处理。最后,还可以将归一化后的像素值映射到0~255之间,以得到调整结果,调整结果实际上是一张8位图像。
经过上述处理后,可以使第一图像样本中像素值的取值范围缩小,以保证目标对象能够清晰显示出来。
S202,根据目标对象在调整结果中显示的清晰程度,确定调整结果中的有效调整结果,清晰程度反映剔除程度。
在得到调整结果后,还可以根据目标对象在调整结果中显示的清晰程度,从调整结果中选择出有效调整结果。其中,目标对象可以清晰地显示出来的调整结果即为有效调整结果。可选地,对于清晰程度的判断可以通过图像识别的方式实现,也可以由人工判断。
对于图像识别的方式,可以通过分析调整结果中各像素点的像素值来确定出目标对象的清晰程度,并进一步根据清晰程度确定有效调整结果。
对于人工判断清晰度,也即是处理设备可以将调整结果展示给用户,以由用户自行判断调整结果中目标对象的显示是否清晰,并进一步根据自身的判断结果触发选择操作。处理设备响应于此选择操作,将用户选中的调整结果确定为有效调整结果。
由于目标对象不能清晰显示是由于第一图像样本中的干扰信息导致的,则目标对象显示的清晰程度可以认为是干扰信息剔除程度的一种可视化结果。清晰程度可以直接反映干扰信息的剔除程度,剔除程度越高,目标对象显示的清晰程度也就越高。
S203,根据至少一个聚类中心各自对应的有效调整结果的数量,在至少一个聚类中心中确定目标调整参数。
由于每个有效调整结果都是利用一个聚类中心对第三图像样本进行像素值调整后才得到的,因此,还可以进一步统计每个聚类中心对应的有效调整结果的数量,并按照数量高低,将对应于有效调整结果数量最多的N个聚类中心中确定N个目标调整参数,N≥1。
本实施例中,先对数量较少的第三图像样本进行像素值调整,以得到调整结果。再从中选择有效调整结果,并根据有效调整结果的数量确定目标调整参数。通过图像样本数量的减少,减小了目标调整参数确定过程中的计算量,也提高目标调整参数的确定效率。
但需要说明的还有,在实际应用中,对于一些目标调整参数的要求比较严格的场景,也可以使用至少一个聚类中心对全部的第一图像样本进行像素值调整,以得到调整结果。之后,与图3所示实施例中相同的,可以从调整结果中进一步确定有效调整结果,并根据有效调整结果的数量确定目标调整参数,具体过程在此不再赘述。
另外,上述实施例提供的方式中并没有对聚类中心进行任何限制。在实际应用中,处理设备可以将至少一个聚类结果展示给用户,则用户可以根据自身经验对聚类结果触发选择操作。处理设备响应于此选择操作,在至少一个聚类中心中确定用户选中的聚类中心为目标聚类中心。并且目标聚类中心的数量也可以是至少一个。
进一步地,处理设备可以根据此目标聚类中心分别调整第三图像样本的像素值,以得到调整结果。再根据目标对象在调整结果中显示的清晰程度,确定调整结果中的有效调整结果,根据目标聚类中心各自对应的有效调整结果的数量,确定目标调整参数。具体实施过程可以参见图3所示实施例中的描述,在此不再赘述。
对于按照图1所示实施例提供的方式得到的第二图像样本,目标对象已经能够清晰显示于其中了,此时,可以准确地对第二图像样本进行标注,并进一步根据准确的标注结果进行检测模型的训练。
则图4为本发明实施例提供的另一种数据处理方法的流程图。该方法实际上是一种模型训练方法,并且该方法可以在图1所示实施例中的步骤104之后执行。如图4所示,该方法可以包括如下步骤:
S301,在第二图像样本中,根据目标对象显示的清晰程度确定有效图像样本。
在得到至少一个目标调整参数后,可以用其分别调整第一图像样本的像素值,以得到第二图像样本。其中,像素值的具体调整过程可以参考图3所示实施例中的相关描述。然后,根据目标对象在第二图像样本中显示的清晰程度确定有效图像样本。可选地,对于清晰程度的判断确定可以由人工进行,也可以通过图像识别的方式实现。有效图像样本的确定过程与图3所示实施例中有效调整结果的确定过程类似,具体可以参见上述的相关描述,在此不再赘述。
S302,根据至少一个目标调整参数各自对应的有效图像样本的数量,在至少一个目标调整参数中确定第一参数。
接着,由于每个有效图像样本都是由一个目标调整参数进行像素值调整后得到的,因此,可以进一步统计每个目标调整参数对应的有效图像样本的数量,并根据数量从至少一个目标调整参数中选择出第一参数。第一参数的数量也可以是至少一个。
可选地,可以将有效图像样本数量最多的预设数量个目标调整参数确定为第一参数。并且可以将使用第一参数进行像素值调整后生成的有效图像样本称为第一有效图像样本。
S303,根据第一有效图像样本训练第一检测模型,第一有效图像样本为第一参数对应的有效图像样本。
然后,可以将第一有效图像样本作为训练样本对第一检测模型进行训练。具体来说,目标对象在第一有效图像样本中的位置已经被用户标注出来,即处理设备可以得到目标对象的在第一有效图像样本中的第一位置信息。再将第一有效图像样本输入第一检测模型,以此第一位置信息作为监督信息,训练第一检测模型。
需要说明的有,隐藏在第一图像样本中的目标对象(即产品瑕疵)可以是不同类型的。要想让不同类型的产品瑕疵都能够清晰的显示在第二图像样本中,通常就需要使用不同的目标调整参数来进行调整。因此,上述的第一参数实际上是可以使第一特定类型的产品瑕疵清晰显示出来的参数,也即是第一参数对包含第一特定类型目标对象的图像样本具有较好的干扰信息剔除效果。其中,第一特定类型可以是有效图像样本中出现频率最高的一种或几种瑕疵类型。
因此,训练得到的第一检测模型,通常能够较为准确的检测出是否存在第一特定类型的产品瑕疵。
本实施例中,根据有效图像样本的数量从至少一个目标调整参数中选择出第一参数,并由第一参数对应的第一有效图像样本对第一检测模型进行训练。训练得到的第一检测模型对第一特定类型的产品瑕疵具有较好的检测效果。
图5为本发明实施例提供的又一种数据处理方法的流程图。该方法实际上也是一种模型训练方法。基于第一检测模型,可以采用以下方式进行进一步训练,以得到第二检测模型。则在步骤303之后,如图5所示,该方法还可以包括如下步骤:
S401,获取目标对象在第二有效图像样本中的第二位置信息,第二有效图像样本为第二参数对应的有效图像样本,第二参数和第一参数组成至少一个目标调整参数。
S402,将第二有效图像样本输入第一检测模型,以第二位置信息作为监督信息进行训练,以得到第二检测模型。
具体地,对于利用图1~图3所示实施例提供的方式确定出的至少一个目标调整参数,除了第一参数之外的剩余目标调整参数即是第二参数,第二参数的数量也可以是至少一个。并且在步骤301中得到有效图像样本中,使用第二参数进行像素值调整后生成有效图像样本即为第二有效图像样本。
此时,目标对象在第二有效图像样本中的位置已经被用户标注出来,即处理设备可以得到目标对象的在第二有效图像样本中的第二位置信息。最终,将第二有效图像样本输入已经训练过的第一检测模型中,并以此第二位置信息作为监督信息继续训练,以得到第二检测模型。其中,第一检测模型和第二检测模型具有相同的模型结构,比如可以是卷积神经网络等等。
需要说明的有,与图4所示实施例中的相关描述类似的,上述的第二参数实际上是可以使第二特定类型的产品瑕疵清晰显示出来的参数,也即是第二参数对第二特定类型的目标对象具有较好的干扰信息剔除效果。此时,第二特定类型可以是有效图像样本中出现频率最少的一种或几种瑕疵类型。
因此,训练得到的第二检测模型,通常能够较为准确的检测出是否存在第二特定类型的产品瑕疵。
本实施例中,在第一检测模型的基础上,通过迁移学习进一步训练得到对第二特定类型的产品瑕疵具有较好检测效果的第二检测模型。
需要说明的还有,在实际应用中,出现频率最高的产品瑕疵类型通常是上述的第一特定类型,因此,可以单独根据第一检测模型对应的第一参数对待检测图像进行干扰信息的剔除,再将剔除结果输入至第一检测模型,以由此第一检测模型对待检测图像进行检测。
当然,也可以单独根据第二参数对待检测图像进行剔除处理,并将剔除结果至第二检测模型,以由此第二检测模型完成待检测图像的检测。
但由于产品瑕疵类型是多种多样的,因此不能保证待检测图像中包含的产品瑕疵类型是第一特定类型或者第二特定类型,基于上述训练得到的两个检测模型,图6为本发明实施例提供的又一种数据处理方法的流程图,该方法实际上也是一种目标对象的检测方法。如图6所示,该方法可以包括如下步骤:
S501,获取待检测图像、第一参数以及第二参数。
处理设备可以获取用户输入的待检测图像。并且处理设备在训练第一、第二检测模型的过程中也会保存各自对应的第一参数和第二参数。
S502,根据第一参数和第二参数,分别剔除待检测图像中的干扰信息,以得到第一剔除结果和第二剔除结果。
然后,根据第一参数对待检测图像进行干扰信息的剔除处理,以得到第一剔除结果;同时,根据第二参数对待检测图像进行干扰信息的剔除处理,以得到第二剔除结果。此剔除处理实际上就是分别利用第一参数和第二参数对待检测图像的像素值进行调整的过程。
S503,将第一剔除结果输入第一检测模型。
S504,将第二剔除结果输入第二检测模型。
S505,根据第一检测模型和第二检测模型各自输出的检测结果,确定待检测图像中是否包含目标对象。
然后,将第一剔除结果输入第一检测模型,以由第一检测模型检测待检测图像中是否包含存在产品瑕疵以及产品瑕疵的类型。同时将第二剔除结果输入第二检测模型,以由第二检测模型检测待检测图像中是否存在产品瑕疵以及产品瑕疵的类型。其中,两检测模型输的检测结果都可以表现为列表形式,用于反映第一剔除结果和第二剔除结果中具有各类型产品瑕疵的概率值。
本实施例中,分别使用不同的调整参数对待检测图像中包含的干扰信息进行剔除,以得到第一剔除结果和第二剔除结果。然后,将两个剔除结果分别输入对应的检测模型中,以通过两模型输出的检测结果综合判断待检测图像中包含的产品瑕疵的类型。
上述图1~图3所示的数据处理方法实际上是一种样本处理方法,此方法可以部署于处理设备上,此处理设备可以理解成提供样本处理服务的服务平台。则图7为本发明实施例提供的一种服务提供方法的流程图。如图7所示,该方法还可以包括如下步骤:
S601,响应于用户的输入操作,接收第一图像样本以及初始调整参数,第一图像样本中包含目标对象。
S602,对初始调整参数进行聚类。
S603,根据聚类结果对第一图像样本中的干扰信息的剔除程度,确定目标调整参数。
S604,根据目标调整参数剔除干扰信息,以得到第二图像样本。
S605,输出第二图像样本。
其中,第一图像样本可以是断层扫描图像,即上述各实施例中的扫描图像。并且第一图像样本中包含的数据量小于第二图像样本中包括的数据量。可选地,第一图像样本可以是16位图像,第二图像样本可以为8为图像。
上述各步骤的执行过程与前述实施例的相应步骤相似,可以参见如图1至图3所示实施例中的相关描述,在此不再赘述。
对于存在训练样本处理需求的用户都可以将自身收集到的训练样本即第一图像样本以及初始调整参数输入此服务平台,服务平台可以对第一图像样本进行处理,并将处理后的第二图像样本展示给用户,也即是为用户提供了样本处理服务。
本实施例未详细描述的部分,可参考对图1至图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图3所示实施例中的描述,在此不再赘述。
上述图4~图5所示的数据处理方法实际上是模型训练方法,此方法也可以部署于处理设备上,此处理设备可以理解成提供模型训练服务的服务平台。则图8为本发明实施例提供的另一种服务提供方法的流程图。如图8所示,该方法还可以包括如下步骤:
S701,响应于用户的标注操作,在第二图像样本中,根据目标对象显示的清晰程度确定有效图像样本。
S702,根据至少一个目标调整参数各自对应的有效图像样本的数量,在至少一个目标调整参数中确定第一参数。
S703,响应于标注操作,获取目标对象在第一有效图像样本中的第一位置信息,第一有效图像样本为第一参数对应的有效图像样本。
S704,将第一有效图像样本输入第一检测模型,以第一位置信息作为监督信息,训练第一检测模型。
S705,输出第一检测模型的模型参数。
响应于用户的标注操作,在第二图像样本中,将用户进行标注的图像样本确定为有效图像样本。其中,第二图像样本可以采用图7所示实施例中的方式获得。然后,再根据每个目标调整参数对应的有效图像样本的数量,从至少一个目标调整参数中选择出第一参数。有效图像样本中,使用第一参数调整后生成的图像样本即为第一有效图像样本。
处理设备响应于用户的标注操作,还可以获取到目标对象在第一有效图像样本中的第一位置信息。然后,将第一位置信息作为监督信息,将第一有效图像样本输入第一检测模型中,以训练得到第一检测模型。最终,第一检测模型的模型参数可以输出给用户。
上述各步骤的执行过程与前述实施例的相应步骤相似,可以参见如图4所示实施例中的相关描述,在此不再赘述。
可选地,在步骤705之后,该方法还可以包括:
S706,响应于标注操作,获取目标对象在第二有效图像样本中的第二位置信息,第二有效图像样本为第二参数对应的有效图像样本,第二参数和第一参数组成至少一个目标调整参数。
S707,将第二有效图像样本输入第一检测模型,以第二位置信息作为监督信息进行训练,以得到第二检测模型。
S708,输出第二检测模型的模型参数。
基于已经训练好的第一检测模型,可以将第二有效图像样本输入第一检测模型,再以目标对象在第二有效图像样本中的第二位置信息为监督信息,训练第二检测模型。最终,第二检测模型的模型参数也可以输出给用户。
上述各步骤的执行过程与前述实施例的相应步骤相似,可以参见如图5所示实施例中的相关描述,在此不再赘述。
对于存在检测模型训练处理需求的用户,可以将自身收集第二图像样本输入服务平台,其中第二图像样本中目标对象已经是清晰显示的,并且所在位置已经被标注出来。则服务平台可以根据输入的第二图像样本以及其中的标注的位置信息分别训练得到第一检测模型和第二检测模型,并将训练完成的检测模型的模型参数输出给用户,也即是为用户提供了模型训练服务。
当然,用户也可以先将自身收集的第一图像样本输入图7所示实施例提供的服务平台中,以得到第二图像样本。再将此第二图像样本输入本实施例提供的服务平台中,以得到检测模型的模型参数。
本实施例未详细描述的部分,可参考对图4至图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4至图5所示实施例中的描述,在此不再赘述。
另外,图6所示实施例提供的数据处理方法同样也可以部署在处理设备上,此处理设备可以理解成提供检测服务的服务平台,用以为用户提供目标对象的检测服务。
为便于理解,结合轮胎产品内部质量检测场景对以上提供的数据处理方法的具体实现进行示例性说明。
第一阶段,用户可以收集轮胎内部的断层扫描图像,即第一图像样本。其中,第一图像样本可以包括产品瑕疵。第一图像样本可以通过互联网搜索得到,也可以是在历史质量检测过程中拍得的图像。第一图像样本可以是一张单独的图像,也可以是断层扫描视频中的一帧图像。
同时用户还可以经验设置一些备选调整参数,并用此备选调整参数对第一图像样本中的少量图像样本进行调整,并根据调整结果不断修正备选调整参数,以使修正后的备选调整参数能够对少量图像样本具有较高的干扰信息剔除程度,则修正后的备选调整参数即为初始调整参数。
在处理设备获取到用户输入的第一图像样本以及初始调整参数后,可以进一步对初始调整参数进行聚类处理,以得到至少一个聚类中心。聚类中心也是一个调整参数,可以包含由窗位和窗宽两部分。处理设备可以再根据每个聚类中心分别调整第一图像样本的像素值,也即是剔除图像样本中影响产品瑕疵清晰显示的干扰信息,并将干扰信息剔除程度最高的M个聚类中心确定为目标调整参数。目标调整参数具有较强的干扰信息剔除能力,即使用目标调整参数进行干扰信息剔除后,可以使位于第一图像样本中的大部分目标对象能够清晰显示出来。
最终,利用此目标调整参数对全部的第一图像样本进行干扰信息的剔除处理,以使产品瑕疵能够清晰显示出来,以得到第二图像样本。也即是完成了对图像样本的处理。
第一阶段中的处理设备可以理解成提供图像样本处理服务或者视频样本处理服务的服务平台。
第二阶段,可选地,在通过上述方式完成图像样本的处理之后,还可以进一步基于清晰显示有产品瑕疵的第二图像样本进行检测模型的训练。
具体来说,用户可以将第二图像样本中的产品瑕疵标注出来,而用户触发标注操作的第二图像样本也即是有效图像样本。由于每个有效图像样本都是利用一个目标调整参数调整后得到的,因此,可以统计至少一个目标调整参数各自对应的有效图像样本数量,并将数量最多的预设数量个目标调整参数确定为第一参数。其中,有效图像样本中,由第一参数调整得到的图像样本即为第一有效图像样本中。
则同样响应于用户触发的标注操作,处理设备还可以获取产品瑕疵在第一有效图像样本中的第一位置。可以将第一有效图像样本输入第一检测模型,再以第一位置作为监督信息,训练第一检测模型。
第三阶段,在第一检测模型的基础上,还可以将二参数对应的第二有效图像样本,以及目标对象在第二有效图像样本中的第二位置信息输入第一检测模型中,进一步训练得到第二检测模型。其中,第二参数为至少一个目标调整参数中非第一参数的剩余参数。
第二、三阶段中的处理设备可以理解成提供模型训练服务的服务平台。上述三个阶段的内容可以结合图9a理解。
第四阶段,基于已经得到的第一检测模型和第二检测模型,当处理设备获取待检测图像后,可以利用第一参数对待检测图像进行干扰信息的剔除,以得到第一剔除结果,其中,第一参数对应于第一检测模型。将第一剔除结果输入第一检测模型,此第一检测模型输出的检测结果可以是待检测图像中包含类型1的概率是0.8,包含类型2的概率是0.2,包含类型3的概率是0.1。
同时,还可以利用第二参数对待检测图像进行干扰信息的剔除,以得到第二剔除结果。再将第二剔除结果输入第二检测模型,以由此第二检测模型输出检测结果可以是包含类型1的概率是0.2,包含类型2的概率是0.2,包含类型3的概率是0.1。其中,类型1可以是前述实施例中提及的第一特定类型,类型2、类型3可以是前述实施例中提及的第二特定类型,
但由于第一检测模型对于第一特定类型的产品瑕疵具有较好的检测效果,第二检测模型对于第二特定类型的产品瑕疵具有较好的检测效果,因此,根据两个检测模型输出的检测结果可以确定待检测图像中包含类型1的产品缺陷。
上述产品瑕疵检测过程的内容可以结合图9b理解。
第四阶段中的处理设备可以理解成提供产品瑕疵检测服务的服务平台。
以下将详细描述本发明的一个或多个实施例的数据处理装置。本领域技术人员可以理解,这些数据处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图10为本发明实施例提供的一种数据处理装置的结构示意图,如图10所示,该装置包括:
获取模块11,用于获取第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象。
聚类模块12,用于对所述初始调整参数进行聚类。
第一参数确定模块13,用于根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数。
剔除模块14,用于根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
可选地,所述聚类结果包含至少一个聚类中心。
所述装置还包括:第一参数确定模块13具体用于:根据所述至少一个聚类中心分别调整第三图像样本的像素值,以得到调整结果,所述第三图像样本包含于所述第一图像样本;
根据所述目标对象在所述调整结果中显示的清晰程度,确定所述调整结果中的有效调整结果,所述清晰程度反映所述剔除程度;
根据所述至少一个聚类中心各自对应的有效调整结果的数量,在所述多个聚类中心中确定所述目标调整参数。
其中,所述第一图像样本为断层扫描图像,所述第一图像样本包含的数据量大于所述第二图像样本包含的数据量。
所述初始调整参数和所述目标调整参数包含窗位和窗宽。
可选地,所述目标调整参数的数量为至少一个。
所述剔除模块14具体用于:根据至少一个目标调整参数分别调整第一图像样本的像素值,以得到所述第二图像样本。
所述装置还包括:
样本确定模块21,用于在所述第二图像样本中,根据所述目标对象显示的清晰程度确定有效图像样本。
第二参数确定模块22,用于根据所述至少一个目标调整参数各自对应的有效图像样本的数量,在所述至少一个目标调整参数中确定第一参数。
训练模块23,用于根据第一有效图像样本训练第一检测模型,所述第一有效图像样本为所述第一参数对应的有效图像样本。
可选地,所述第二参数确定模块22具体用于:将有效图像样本的数量最多的预设数量个目标调整参数确定为第一参数。
所述训练模块23具体用于:获取所述目标对象在第一有效图像样本中的第一位置信息;以及
将所述第一有效图像样本输入所述第一检测模型,以所述第一位置信息作为监督信息,训练所述第一检测模型。
可选地,所述训练模块23具体还用于:获取所述目标对象在第二有效图像样本中的第二位置信息,所述第二有效图像样本为第二参数对应的有效图像样本,所述第二参数和所述第一参数组成所述至少一个目标调整参数;
将所述第二有效图像样本输入所述第一检测模型,以所述第二位置信息作为监督信息进行训练,以得到第二检测模型。
可选地,所述装置还包括:输入模块24和结果确定模块25。
所述获取模块11,还用于获取待检测图像、所述第一参数以及所述第二参数。
所述剔除模块14,还用于根据所述第一参数和所述第二参数,分别剔除所述待检测图像中的干扰信息,以得到第一剔除结果和第二剔除结果。
所述输入模块24,用于将第一剔除结果输入所述第一检测模型;以及将第二剔除结果输入所述第二检测模型。
所述结果确定模块25,用于根据所述第一检测模型和所述第二检测模型各自输出的检测结果,确定所述待检测图像中是否包含所述目标对象。
图10所示装置可以执行图1至图6所示实施例的方法,本实施例未详细描述的部分,可参考对图1至图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图6所示实施例中的描述,在此不再赘述。
以上描述了数据处理装置的内部功能和结构,在一个可能的设计中,数据处理装置的结构可实现为一电子设备,如图11所示,该电子设备可以包括:处理器31和存储器32。其中,所述存储器32用于存储支持该电子设备执行上述图1至图6所示实施例中提供的数据处理方法的程序,所述处理器31被配置为用于执行所述存储器32中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤:
获取第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
对所述初始调整参数进行聚类;
根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
可选地,所述处理器31还用于执行前述图1至图6所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口33,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图1至图6所示方法实施例中数据处理方法所涉及的程序。
图12为本发明实施例提供的一种服务提供装置的结构示意图,如图12所示,该装置包括:
接收模块41,用于响应于用户的输入操作,接收第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象。
聚类模块42,用于对所述初始调整参数进行聚类。
第一参数确定模块43,用于根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数。
剔除模块44,用于根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
输出模块45,用于输出所述第二图像样本。
可选地,所述目标调整参数的数量为至少一个。
所述剔除模块44具体用于:根据至少一个目标调整参数分别调整第一图像样本的像素值,以得到所述第二图像样本。
所述装置还包括:
样本确定模块51,用于响应于所述用户的标注操作,在所述第二图像样本中,根据所述目标对象显示的清晰程度确定有效图像样本。
第二参数确定模块52,用于根据所述至少一个目标调整参数各自对应的有效图像样本的数量,在所述至少一个目标调整参数中确定第一参数。
获取模块53,用于响应于所述标注操作,获取所述目标对象在第一有效图像样本中的第一位置信息,所述第一有效图像样本为所述第一参数对应的有效图像样本。
输入模块54,用于将所述第一有效图像样本输入第一检测模型,以所述第一位置信息作为监督信息,训练所述第一检测模型。
所述输出模块45,用于输出所述第一检测模型的模型参数。
其中,所述第一图像样本为断层扫描图像,所述初始调整参数和所述目标调整参数包含窗位和窗宽。
可选地,所述获取模块53还用于:响应于所述标注操作,获取所述目标对象在所述第二有效图像样本中的第二位置信息,所述第二有效图像样本为所述第二参数对应的有效图像样本,所述第二参数和所述第一参数组成所述至少一个目标调整参数。
所述输入模块54还用于:将所述第二有效图像样本输入所述第一检测模型,以所述第二位置信息作为监督信息进行训练,以得到第二检测模型
所述输出模块45还用于:输出所述第二检测模型的模型参数。
图12所示装置可以执行图7至图8所示实施例的方法,本实施例未详细描述的部分,可参考对图7至图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图7至图8所示实施例中的描述,在此不再赘述。
以上描述了服务提供装置的内部功能和结构,在一个可能的设计中,服务提供装置的结构可实现为一电子设备,如图13所示,该电子设备可以包括:处理器61和存储器62。其中,所述存储器52用于存储支持该电子设备执行上述图7至图8所示实施例中提供的服务提供方法的程序,所述处理器61被配置为用于执行所述存储器62中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器61执行时能够实现如下步骤:
响应于用户的输入操作,接收第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
对所述初始调整参数进行聚类;
根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本;
输出所述第二图像样本。
可选地,所述处理器61还用于执行前述图7至图8所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口63,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图7至图8所示方法实施例中服务提供方法所涉及的程序。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (18)
1.一种数据处理方法,其特征在于,包括:
获取第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
对所述初始调整参数进行聚类;
根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
2.根据权利要求1所述的方法,其特征在于,所述聚类结果包含至少一个聚类中心;
所述根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数,包括:
根据所述至少一个聚类中心分别调整第三图像样本的像素值,以得到调整结果,所述第三图像样本包含于所述第一图像样本;
根据所述目标对象在所述调整结果中显示的清晰程度,确定所述调整结果中的有效调整结果,所述清晰程度反映所述剔除程度;
根据所述至少一个聚类中心各自对应的有效调整结果的数量,在所述至少一个聚类中心中确定所述目标调整参数。
3.根据权利要求1所述的方法,其特征在于,所述目标调整参数的数量为至少一个;
所述根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本,包括:
根据至少一个目标调整参数分别调整第一图像样本的像素值,以得到所述第二图像样本;
所述方法还包括:
在所述第二图像样本中,根据所述目标对象显示的清晰程度确定有效图像样本;
根据所述至少一个目标调整参数各自对应的有效图像样本的数量,在所述至少一个目标调整参数中确定第一参数;
根据第一有效图像样本训练第一检测模型,所述第一有效图像样本为所述第一参数对应的有效图像样本。
4.根据权利要求3所述的方法,其特征在于,所述根据所述至少一个目标调整参数各自对应的有效图像样本的数量,在所述至少一个目标调整参数中确定第一参数,包括:
将有效图像样本的数量最多的预设数量个目标调整参数确定为第一参数;
所述根据第一有效图像样本训练第一检测模型,包括:
获取所述目标对象在第一有效图像样本中的第一位置信息;
将所述第一有效图像样本输入所述第一检测模型,以所述第一位置信息作为监督信息,训练所述第一检测模型。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取所述目标对象在第二有效图像样本中的第二位置信息,所述第二有效图像样本为第二参数对应的有效图像样本,所述第二参数和所述第一参数组成所述至少一个目标调整参数;
将所述第二有效图像样本输入所述第一检测模型,以所述第二位置信息作为监督信息进行训练,以得到第二检测模型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取待检测图像、所述第一参数以及所述第二参数;
根据所述第一参数和所述第二参数,分别剔除所述待检测图像中的干扰信息,以得到第一剔除结果和第二剔除结果;
将第一剔除结果输入所述第一检测模型;
将第二剔除结果输入所述第二检测模型;
根据所述第一检测模型和所述第二检测模型各自输出的检测结果,确定所述待检测图像中是否包含所述目标对象。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述第一图像样本为断层扫描图像,所述第一图像样本包含的数据量大于所述第二图像样本包含的数据量。
8.根据权利要求1至6中任一项所述的方法,其特征在于,所述初始调整参数和所述目标调整参数包含窗位和窗宽。
9.一种服务提供方法,其特征在于,包括:
响应于用户的输入操作,接收第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
对所述初始调整参数进行聚类;
根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本;
输出所述第二图像样本。
10.根据权利要求9所述的方法,其特征在于,所述第一图像样本为断层扫描图像,所述初始调整参数和所述目标调整参数包含窗位和窗宽。
11.根据权利要求9所述的方法,其特征在于,所述目标调整参数的数量为至少一个;
所述根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本,包括:
根据至少一个目标调整参数分别调整第一图像样本的像素值,以得到所述第二图像样本;
所述方法还包括:
响应于所述用户的标注操作,在所述第二图像样本中,根据所述目标对象显示的清晰程度确定有效图像样本;
根据所述至少一个目标调整参数各自对应的有效图像样本的数量,在所述至少一个目标调整参数中确定第一参数;
响应于所述标注操作,获取所述目标对象在第一有效图像样本中的第一位置信息,所述第一有效图像样本为所述第一参数对应的有效图像样本;
将所述第一有效图像样本输入第一检测模型,以所述第一位置信息作为监督信息,训练所述第一检测模型;
输出所述第一检测模型的模型参数。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
响应于所述标注操作,获取所述目标对象在所述第二有效图像样本中的第二位置信息,所述第二有效图像样本为所述第二参数对应的有效图像样本,所述第二参数和所述第一参数组成所述至少一个目标调整参数;
将所述第二有效图像样本输入所述第一检测模型,以所述第二位置信息作为监督信息进行训练,以得到第二检测模型;
输出所述第二检测模型的模型参数。
13.一种数据处理装置,其特征在于,包括:
获取模块,用于获取第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
聚类模块,用于对所述初始调整参数进行聚类;
第一参数确定模块,用于根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
剔除模块,用于根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本。
14.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至8中任一项所述的数据处理方法。
15.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至8中任一项所述的数据处理方法。
16.一种服务提供装置,其特征在于,包括:
接收模块,用于响应于用户的输入操作,接收第一图像样本以及初始调整参数,所述第一图像样本中包含目标对象;
聚类模块,用于对所述初始调整参数进行聚类;
第一参数确定模块,用于根据聚类结果对所述第一图像样本中的干扰信息的剔除程度,确定目标调整参数;
剔除模块,用于根据所述目标调整参数剔除所述干扰信息,以得到第二图像样本;
输出模块,用于输出所述第二图像样本。
17.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求9至12中任一项所述的服务提供方法。
18.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求9至12中任一项所述的服务提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010671199.6A CN113516328B (zh) | 2020-07-13 | 2020-07-13 | 数据处理方法、服务提供方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010671199.6A CN113516328B (zh) | 2020-07-13 | 2020-07-13 | 数据处理方法、服务提供方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516328A true CN113516328A (zh) | 2021-10-19 |
CN113516328B CN113516328B (zh) | 2022-09-02 |
Family
ID=78060749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010671199.6A Active CN113516328B (zh) | 2020-07-13 | 2020-07-13 | 数据处理方法、服务提供方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113516328B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115019078A (zh) * | 2022-08-09 | 2022-09-06 | 阿里巴巴(中国)有限公司 | 数据聚类方法以及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005651A1 (en) * | 2016-01-25 | 2019-01-03 | Alibaba Group Holding Limited | Image processing method and device |
CN109993159A (zh) * | 2018-01-02 | 2019-07-09 | 上海西门子医疗器械有限公司 | 用于图像诊断***的窗口设置方法和装置 |
US20190266703A1 (en) * | 2018-02-26 | 2019-08-29 | Abc Fintech Co., Ltd. | Image preprocessing method and device for jpeg compressed file |
CN110223261A (zh) * | 2019-05-20 | 2019-09-10 | 上海联影医疗科技有限公司 | 医学图像处理方法和***、存储介质及计算机设备 |
CN110648358A (zh) * | 2018-06-07 | 2020-01-03 | 西门子医疗有限公司 | 用于3d医学图像中的对象定位的形状参数的自适应非线性优化 |
CN110727810A (zh) * | 2019-10-15 | 2020-01-24 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110928469A (zh) * | 2018-09-19 | 2020-03-27 | 上海西门子医疗器械有限公司 | 设置最佳显示窗宽和窗位的方法 |
CN111127383A (zh) * | 2019-03-15 | 2020-05-08 | 杭州电子科技大学 | 一种数码印花在线缺陷检测***及其实现方法 |
CN111127430A (zh) * | 2019-12-24 | 2020-05-08 | 北京推想科技有限公司 | 确定医学影像显示参数的方法及装置 |
-
2020
- 2020-07-13 CN CN202010671199.6A patent/CN113516328B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005651A1 (en) * | 2016-01-25 | 2019-01-03 | Alibaba Group Holding Limited | Image processing method and device |
CN109993159A (zh) * | 2018-01-02 | 2019-07-09 | 上海西门子医疗器械有限公司 | 用于图像诊断***的窗口设置方法和装置 |
US20190266703A1 (en) * | 2018-02-26 | 2019-08-29 | Abc Fintech Co., Ltd. | Image preprocessing method and device for jpeg compressed file |
CN110648358A (zh) * | 2018-06-07 | 2020-01-03 | 西门子医疗有限公司 | 用于3d医学图像中的对象定位的形状参数的自适应非线性优化 |
CN110928469A (zh) * | 2018-09-19 | 2020-03-27 | 上海西门子医疗器械有限公司 | 设置最佳显示窗宽和窗位的方法 |
CN111127383A (zh) * | 2019-03-15 | 2020-05-08 | 杭州电子科技大学 | 一种数码印花在线缺陷检测***及其实现方法 |
CN110223261A (zh) * | 2019-05-20 | 2019-09-10 | 上海联影医疗科技有限公司 | 医学图像处理方法和***、存储介质及计算机设备 |
CN110727810A (zh) * | 2019-10-15 | 2020-01-24 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111127430A (zh) * | 2019-12-24 | 2020-05-08 | 北京推想科技有限公司 | 确定医学影像显示参数的方法及装置 |
Non-Patent Citations (1)
Title |
---|
杨赞等主编: "《中国交通研究与探索——第六届全国交通运输领域青年学术会议论文集(2005)》", 31 August 2005 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115019078A (zh) * | 2022-08-09 | 2022-09-06 | 阿里巴巴(中国)有限公司 | 数据聚类方法以及装置 |
CN115019078B (zh) * | 2022-08-09 | 2023-01-24 | 阿里巴巴(中国)有限公司 | 车辆图像处理方法、计算设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113516328B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210542B (zh) | 图片文字识别模型训练方法、装置及文字识别*** | |
CN108121984B (zh) | 一种字符识别方法及装置 | |
CN108171203B (zh) | 用于识别车辆的方法和装置 | |
EP2806374A1 (en) | Method and system for automatic selection of one or more image processing algorithm | |
CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
CN108734159B (zh) | 一种图像中敏感信息的检测方法及*** | |
CN108717547B (zh) | 样本数据生成方法及装置、训练模型的方法及装置 | |
CN111639629B (zh) | 一种基于图像处理的猪只体重测量方法、装置及存储介质 | |
CN110378227B (zh) | 修正样本标注数据的方法、装置、设备及存储介质 | |
CN111369523B (zh) | 显微图像中细胞堆叠的检测方法、***、设备及介质 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
CN110458791B (zh) | 质量缺陷检测方法和检测设备 | |
CN111415339A (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
JP6844564B2 (ja) | 検査システム、識別システム、及び学習データ生成装置 | |
CN114419035A (zh) | 产品识别方法、模型训练方法、装置和电子设备 | |
CN113516328B (zh) | 数据处理方法、服务提供方法、装置、设备和存储介质 | |
CN110110110A (zh) | 一种以图搜图方法、装置、电子设备及存储介质 | |
CN114219936A (zh) | 目标检测方法、电子设备、存储介质和计算机程序产品 | |
JP2021165909A (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
CN115359412B (zh) | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 | |
CN114639056A (zh) | 直播内容的识别方法、装置、计算机设备及存储介质 | |
CN110634124A (zh) | 一种区域检测的方法及设备 | |
CN116109543A (zh) | 一种数据快速识别读取方法及装置、计算机可读存储介质 | |
CN114511715A (zh) | 一种驾驶场景数据挖掘方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |