CN111340774A - 图像检测方法、装置、计算机设备及存储介质 - Google Patents
图像检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111340774A CN111340774A CN202010113011.6A CN202010113011A CN111340774A CN 111340774 A CN111340774 A CN 111340774A CN 202010113011 A CN202010113011 A CN 202010113011A CN 111340774 A CN111340774 A CN 111340774A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- sample
- model
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像检测方法、装置、计算机设备及存储介质,属于图像处理领域。通过本申请实施例提供的技术方案,可以将目标对象未出现异常情况时拍摄的第一图片作为基准,实时比较目标处理过程中获取的第二图像与第一图像,并基于比较的结果确定第二图像是否为出现异常情况的图片。由于第二图像是实时获取的,相关人员可以在图像检测模型的检测,第一时间获取目标对象出现异常情况的时间,并做出相应的处理方案调整,提高目标处理过程的可能性和安全性,提高处理效果。
Description
技术领域
本申请涉及图像处理领域,特别涉及一种图像检测方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展,图像处理技术的应用范围越来越广泛,在对一些目标对象进行目标处理的过程中,往往会出现一些异常情况,当出现异常情况时,需要及时的干预,避免异常情况导致的损失过大,其中,目标对象可以泛指多种实体,例如,实心金属块、木材、甚至是人体;目标处理可以是指对实心金属块的形变、对木材的切削、以及对人体的治疗;异常情况可以是指实心金属块在形变的过程后出现裂纹、在木材的切削过程后出现断裂以及在对人体的治疗过程后出现一些意外情况。
相关技术中往往会在对目标对象进行目标处理之前进行图像拍摄,得到目标对象的初始状态图像,在实施目标处理之后再进行图像拍摄,得到目标对象的最终状态图像,基于初始状态图像和最终状态图像之间的差异,来判断目标对象是否发生异常情况。但是在这种处理方式下,仅仅能获知目标对象是否发生异常情况,并不能获知异常情况出现的时间,目标处理过程的可控性较差,在实施目标处理的过程中可能会出现不安全的情况,处理效果不佳。
发明内容
本申请实施例提供了一种图像检测方法、装置、计算机设备及存储介质,可以提高对目标对象的处理效果。所述技术方案如下:
一方面,提供了一种图像检测方法,所述方法包括:
获取目标对象的第一图像,所述第一图像用于表示所述目标对象在被实施目标处理之前的原始状态;
在对所述目标对象实施所述目标处理过程中,实时获取所述目标对象的第二图像;
调用图像检测模型,所述图像检测模型基于样本对象的目标处理过程所得到的正样本图像和负样本图像训练得到,所述正样本图像用于表示所述样本对象发生异常情况,所述负样本图像用于表示所述样本对象未发生所述异常情况;
将所述第一图像和第二图像输入所述图像检测模型,由所述图像检测模型对所述第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像特征和第二图像的第二影像特征,获取图像之间的差异信息,基于所述差异信息进行预测,得到所述第二图像的风险信息,若所述风险信息满足目标条件,则将所述第二图像确定为目标图像,所述目标图像用于表示所述目标对象发生所述异常情况;
将所述第二图像的拍摄时间确定为所述异常情况的发生时间。
一方面,提供了一种图像检测装置,所述装置包括:
获取模块,用于获取目标对象的第一图像,所述第一图像用于表示所述目标对象在被实施目标处理之前的原始状态;
所述获取模型,还用于在对所述目标对象实施所述目标处理过程中,实时获取所述目标对象的第二图像;
模型调用模块,用于调用图像检测模型,所述图像检测模型基于样本对象的目标处理过程所得到的正样本图像和负样本图像训练得到,所述正样本图像用于表示所述样本对象发生异常情况,所述负样本图像用于表示所述样本对象未发生所述异常情况;
预测模型,用于将所述第一图像和第二图像输入所述图像检测模型,由所述图像检测模型对所述第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像特征和第二图像的第二影像特征,获取图像之间的差异信息,基于所述差异信息进行预测,得到所述第二图像的风险信息,若所述风险信息满足目标条件,则将所述第二图像确定为目标图像,所述目标图像用于表示所述目标对象发生所述异常情况;
确定模块,用于将所述第二图像的拍摄时间确定为所述异常情况的发生时间。
在一种可能的实施方式中,所述装置还包括:
参数变更模块,用于获取至少两张第三图像,每张所述第三图像基于拍摄设备在不同设备参数的设置下对同一对象的同一关注部位进行拍摄得到;
特征确定模块,用于将所述至少两张第三图像的图像特征之间的差别信息小于目标差别信息的图像特征,确定为待提取的影像特征。
在一种可能的实施方式中,所述装置还包括:
特征提取模块,用于对所述多个正样本图像和所述多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征;
第一风险信息输出模块,用于将首个正样本影像特征与任一个负样本影像特征之间的第二差异信息输入第一模型,由所述第一模型基于所述第二差异信息进行预测,输出第二风险信息;
第一预测模块,用于基于所述第二风险信息和初始阈值关系,预测所述任一个负样本影像特征对应的负样本图像是否为发生所述异常情况的图像;
调整模块,用于基于预测结果与实际结果的差异,调整所述第一模型的模型参数和所述初始阈值,直至所述第一模型的模型参数符合目标截止条件时,停止训练所述第一模型,将训练后的第一模型作为所述图像检测模型。
在一种可能的实施方式中,所述装置还包括:
特征提取模块,用于对所述多个正样本图像和所述多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征;
第二风险信息输出模块,用于将首个正样本影像特征与目标正样本影像特征的第三差异信息输入第一模型,由所述第一模型基于所述第三差异信息进行预测,输出第三风险信息,其中,所述目标正样本影像特征为除所述首个正样本影像特征之外的正样本影像特征;
第二预测模块,用于基于所述第三风险信息和初始阈值关系,预测所述目标正样本影像特征对应的正样本图像是否为发生所述异常情况的图像;
调整模块,用于基于预测结果与实际结果的差异,调整所述第一模型的模型参数和所述初始阈值,直至所述第一模型的模型参数符合目标截止条件时,停止训练所述第一模型,将训练后的第一模型作为所述图像检测模型。
在一种可能的实施方式中,所述装置还包括:
目标区域确定模块,用于确定配准图像中的目标区域,所述配准图像为分辨率高于目标阈值的图像,所述目标区域为发生所述异常情况的区域;
形变配准模块,用于对多个第一样本图像和所述配准图像进行形变配准,确定所述配准图像中每个像素点与所述多个第一样本图像中每个像素点的第二对应关系,所述多个第一样本图像为所述对象发生所述异常情况的图像;
所述形变配准模块还用于对多个第二样本图像和所述配准图像进行形变配准,确定所述配准图像中每个像素点与所述多个第二样本图像中每个像素点的第三对应关系,所述多个第二样本图像为所述对象未发生放所述异常情况的图像;
所述目标趋于确定模块还用于基于所述第二对应关系和所述第三对应关系,在所述多个第一样本图像和所述多个第二样本图像中确定所述目标区域;
样本确定模块,用于将所述多个第一样本图像和所述多个第二样本图像中位于所述目标区域的图像作为所述正样本图像和所述负样本图像。
一方面,提供了一种计算机设备,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现所述图像检测方法所执行的操作。
一方面,提供了一种存储介质,所述存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现所述图像检测方法所执行的操作。
通过本申请实施例提供的图像检测方法,可以将目标对象未出现异常情况时拍摄的第一图片作为基准,实时比较目标处理过程中获取的第二图像与第一图像,并基于比较的结果确定第二图像是否为出现异常情况的图片。由于第二图像是实时获取的,相关人员可以在图像检测模型的检测,第一时间获取目标对象出现异常情况的时间,并做出相应的处理方案调整,提高目标处理过程的可能性和安全性,提高处理效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像检测方法的实施环境的示意图;
图2是本申请实施例提供的一种图像检测方法的流程图;
图3为本申请实施例提供的一种图像检测方法的流程图;
图4为本申请实施例提供的一种图像检测方法进行检测过程的流程图;
图5是本申请实施例提供的一种图像检测方法的流程图;
图6是本申请实施例提供的一种图像检测模型训练方法的流程图;
图7是本申请实施例提供的一种图像检测装置结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上,例如,多个第三图像是指两个或两个以上的第三图像。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识子模型使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例中的放射治疗为利用放射线***的一种局部治疗方法,其中,放射线包括放射性同位素产生的α、β、γ射线和各类x射线治疗机或加速器产生的x射线、电子线、质子束及其他粒子束等。
放射性炎症是指患者在进行放射性治疗过程中,由于放射线对正常组织受到损伤而引起的炎症反应。
影像组学特征是指用于描述肿瘤特征性的影像特征。
图1是本申请实施例提供的一种图像检测方法的实施环境示意图,参见图1,该实施环境中可以包括终端110、拍摄设备120和服务器140。
终端110通过无线网络或有线网络与服务器110相连。终端110可以是智能手机、平板电脑、便携计算机、医疗用计算机、材料检测计算机等设备。终端110安装和运行有支持图像检测技术的应用程序。
拍摄设备120可以为具有图像拍摄能力的设备,例如电子计算机断层扫描(Computed Tomography,CT)设备或核磁共振成像(Magnetic Resonance Imaging,MRI)设备等;也可以是对材料进行处理时的拍摄设备,例如光学显微镜(Optical Microscope,OM)或扫描电子显微镜(Scanning Electron Microscope,SEM)等;当然也可以是其他处理过程中能够实时获取被处理对象图像的设备,例如数控机床中用于观察产品加工情况的摄像头,甚至是智能手机上的摄像头,本申请实施例对于拍摄设备的类型和数量不作限定。
终端110可以与拍摄设备120通过无线网络或有线网络相连,终端110通过无线网络或有线网络与服务器140相连。
可选地,服务器140包括:接入服务器、图像检测服务器和数据库。接入服务器用于为终端110提供接入服务。图像检测服务器用于提供图像检测有关的后台服务。该数据库可以包括样本数据库以及用户信息数据库等,当然,还可以基于服务器所提供的不同服务可以对应于不同数据库,图像检测服务器可以是一台或多台。当图像检测服务器是多台时,存在至少两台图像检测服务器用于提供不同的服务,和/或,存在至少两台图像检测服务器用于提供相同的服务,比如以负载均衡方式提供同一种服务,本申请实施例对此不加以限定。
终端110可以泛指多个终端中的一个,本申请实施例仅以终端110来举例说明。
本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量,此时上述实施环境中还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
图2是本申请实施例提供的一种图像检测方法的流程图,图3为本申请实施例提供的一种图像检测方法的流程图,图4为本申请实施例提供的一种图像检测方法进行检测过程的流程图,参见图2、图3和图4,方法包括:
201,计算机设备获取目标对象的第一图像,第一图像用于表示目标对象在被实施放射性治疗之前的原始状态。
其中,目标对象可以为患有恶性肿瘤的人,也可以是其他患有恶性肿瘤的动物,本申请实施例对于目标对象的种类不做限定。第一图像可以为目标对象还未进行放射性治疗之前拍摄的图像,也可以是在对目标对象实施放射性治疗过程中用于引导放射线照射位置的引导图像,由于放射性炎症在放射线的剂量累积到一定总量才可能出现,因此第一图像的获取时刻可以为放射性治疗开始时获取到的第一张图像,这样可以保证第一图像中的内容为目标对象进行放射性治疗之前的原始状态,其中,第一图像的类型可以为CT图像,也可以为MRI图像,本申请实施例对于第一图像的类型不做限定。
202、计算机设备在对目标对象实施放射性治疗过程中,实时获取目标对象的第二图像。
其中,第二图像为对目标对象实施放射性治疗的过程中,实时获取的图像,第二图像可以为一组在时间上连续的图片,每个第二图像均可以对应有一个时间戳,计算机设备可以基于该时间戳可以获取不同第二图像的拍摄的先后顺序,也可以确定第二图像的拍摄时间。
203、计算机设备调用图像检测模型,图像检测模型基于目标对象的放射性治疗所得到的正样本图像和负样本图像训练得到,正样本图像用于表示样本对象发生放射性炎症,负样本图像用于表示样本对象未发生放射性炎症。
其中,图像检测模型可以是以多个不同样本对象在进行放射性治疗过程中获取的图片为样本进行训练得到的,具有基于第一图像和第二图像之间的差异预测目标对象是否发生放射性炎症的能力,样本可以分为正样本图像和负样本图像,正样本图像为样本对象被确诊发生放射性炎症后在放射性治疗过程中获取的图像,负样本图像为样本对象在放射性治疗过程中未被发现放射性炎症的图像。放射性治疗可以分为多个阶段进行,而放射性炎症的也会在放射线的剂量累积到一定程度时才会出现,计算机设备在选取负样本图像时,可以基于多个图像的时间戳来判断图像拍摄时刻,基于图像拍摄时刻确定样本对象被确诊发生放射性炎症之前的图像,并将样本对象被确诊发生放射性炎症之前的图像确定为负样本。在一种可能的实施方式中,该图像检测模型可以为一个二分类模型,例如随机森林(Random Forest,RF)或逻辑回归(Logistics Regression,LR)等,本申请实施例对于图像检测模型的类型不作限定。
在一种可能的实施方式中,样本对象在被确诊发生放射性炎症时一般已经是炎症较为严重的时刻,而炎症刚开始出现的时候实际上并不会具有很明显的现象,为了进一步提升训练出的图像检测模型的精准性,计算机设备可以对上述负样本图像进行筛选,将目标数量的拍摄时间靠近样本对象被确诊为发生放射性炎症的时间点的图像删除,将剩余的图像作为负样本,通过这样的方式对负样本进行筛选,可以提升图像检测模型的精准性。例如,在对样本对象实施放射性治疗的过程中共计获取了10张图像,在第六张图像上出现了放射性炎症的相关现象,那么可以将第六张图像确定为被确诊发生放射性炎症的图像,第六张图像以及第六张图像之后的4张图像可以作为正样本图像,而计算机设备可以对第六张图像之前的5张图像进行筛选,比如,保留第一张、第二张以及第三张图像,删除第四张和第五张图像,将第一张、第二张以及第三张作为负样本图像。
在一种可能的实施方式中,计算机设备还可以获取样本对象的配准图像,配准图像为样本对象被确诊为患有放射性炎症后拍摄的分辨率高于目标阈值的图像,计算机设备可以确定配准图像中的目标区域,具体来说,计算机设备可以对多个第一样本图像和配准图像进行形变配准,确定配准图像中每个像素点与多个第一样本图像中每个像素点的第二对应关系,多个第一样本图像为样本对象发生放射性炎症的图像。形变配准模块还用于对多个第二样本图像和配准图像进行形变配准,确定配准图像中每个像素点与多个第二样本图像中每个像素点的第三对应关系。
在一种可能的实施方式中,计算机设备可以对该配准图像进行图像识别,在配准图像中确定样本对象发生放射性炎症的目标区域,确定该目标区域对应的像素点坐标。具体来说,计算机设备可以基于第二对应关系和第三对应关系,在多个第一样本图像和多个第二样本图像中确定目标区域,其中,多个第二样本图像为对象未发生放射性炎症的图像。具体来说,目标区域确定模块可以确定多个第一样本图像和多个第二样本图像与配准图像中每个像素点的对应关系,并基于像素点的对应关系,在多个第一样本图像和多个第二样本图像中确定目标区域。
在一种可能的实施方式中,计算机设备可以将多个第一样本图像和多个第二样本图像中位于目标区域的图像作为正样本和负样本。具体来说,计算机设备可以在第一样本图像和第二样本图像中,将截取该目标区域对应的图像,将截取到的图像作为模型训练的正样本和负样本,在这种实现方式下,可以采用图片尺寸较小的样本进行模型训练,提升了模型的训练速度。
204、计算机设备将第一图像和第二图像输入图像检测模型,由图像检测模型对第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像组学特征和第二图像的第二影像组学特征,获取图像之间的第一差异信息,基于第一差异信息进行预测,得到第二图像的第一风险信息,若第一风险信息满足目标条件,则将第二图像确定为目标图像,目标图像用于表示目标对象发生放射性炎症。
其中,影像组学特征可以包括一阶灰度统计特征、形态体积特征、纹理特征以及小波特征等。若图像检测模型为一个LR模型,LR模型可以对第一图像和第二图像进行特征提取,得到第一图像和第二图像对应的一阶灰度统计值、第一图像和第二图像中目标区域的形态体积特征、第一图像和第二图像的纹理特征以及小波特征,其中,一阶灰度统计值可以为第一图像和第二图像中每个像素点对应的灰度值,范围在0-255之间;形态体积特征可以为目标区域在第一图像和第二图像的像素坐标;纹理特征可以用于表示第一图像和第二图像中重复出现的区域的模式与他们的排列规则;小波特征可以用于表示第一图像和第二图像在频域上的特性。LR模型可以基于模型的权重矩阵对第一差异信息进行运算,并将运算结果映射到(0,1)的区间上,映射的结果可以为该影像组学特征对应的图像为发生放射性炎症的图像,具体可以基于公式(1)或公式(2)来实现。
其中,P()为概率,Y为输出的结果,1表示该图像为发生放射性炎症的图像,0表示该图像为未发生放射性炎症的图像,x为输入的第一差异信息,w为LR模型的权重矩阵。
在一种可能的实施方式中,计算机设备可以将第一图像和第二图像输入训练过后的图像检测模型中,由该图像检测模型对第一图像和第二图像分别进行特征提取,得到第一图像的第一影像组学特征和第二图像的第二影像组学特征。图像检测模型可以确定第一影像组学特征和第二影像组学特征之间的特征差异信息,将该特征差异信息作为图像之间的第一差异信息。图像检测模型可以基于第一差异信息进行预测,得到第二图像的第一风险信息,若第一风险信息大于目标风险信息,确定第二图像为目标图像,目标图像用于表示目标对象在拍摄该第二图像时发生放射性炎症。
在一种可能的实施方式中,计算机设备可以将第一图像分割成目标数量的第一图块,对第一图块进行特征提取,得到第一影像组学特征。计算机设备可以在第二图像中确定与第一图块对应的第二图块,对第二图块进行特征提取,得到第二影像组学特征,基于第一影像组学特征和第二影像组学特征确定第一图块和第二图块之间的差异信息。图像检测模型可以基于第一图块和第二图块之间的差异信息进行预测,得到第二图块的第一风险信息。若第二图块的第一风险信息大于目标风险信息,确定第二图块为目标图像。具体来说计算机设备可以将第一图像随机分割成目标数量的第一图块,对每个第一图块进行特征提取,得到第一影像组学特征;计算机设备可以对第一图像和第二图像进行形变配准,确定第一图像中多个像素点与第二图像中多个像素点的第一对应关系,基于第一对应关系,在第二图像中确定与第一图块对应的第二图块,对第二图块进行特征提取,得到第二影像组学特征。图像检测模型可以确定第一影像组学特征和第二影像组学特征之间的特征差异信息,该将特征差异信息作为第一图块和第二图块之间的第一差异信息。图像检测模型可以基于第一差异信息进行运算,得到第二图块的第一风险信息,若第一风险信息大于目标风险信息,确定第二图块为目标图像,若第一风险信息小于目标风险信息,确定第二图块不为目标图像。在这种实现方式下,计算机设备可以将第一图像和第二图像分割成相互对应的目标数量的第一图块和第二图块,图像检测模型可以基于第一图块和第二图块进行检测,可以基于检测结果确定第二图像中发生放射性炎症的位置。
205、计算机设备将目标图像的拍摄时间确定为放射性炎症的发生时间。
在一种可能的实施方式中,计算机设备可以基于目标图像的时间戳确定目标图像的拍摄时间,将目标图像的拍摄时间确定为放射性炎症的发生时间。在这种实现方式下,计算机设备可以实时确定放射性炎症的发生时间,便于医务人员采取相应的措施,可以提高放射性治疗的效果。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
上述计算机设备可以连接有拍摄设备,该拍摄设备可以用于对图像进行采集,从而将采集到的图像输出给计算机设备进行后续处理,以得到放射性炎症的发生时间。当然,该拍摄设备还可以是计算机设备所集成的设备,本申请实施例对此不做限定。
通过本申请实施例提供的图像检测方法,可以将目标对象未发生放射性炎症时拍摄的第一图片作为基准,实时比较放射治疗过程中获取的第二图像与第一图像,并基于比较的结果确定第二图像是否为发生放射性炎症的图片。由于第二图像是实时获取的,医务人员可以在图像检测模型的检测,第一时间获取目标对象发生放射性炎症的时间,并做出相应的治疗方案调整,提高放射性治疗的可控性,使得放射性治疗对于目标对象正常组织的损害减小,提高放射性治疗的效果。
图5是本申请实施例提供的一种图像检测方法流程图,参见图5,方法包括:
501、计算机设备获取目标对象的第一图像,第一图像用于表示目标对象在被实施目标处理之前的原始状态。
其中,目标对象可以是指待加工的金属材料、木材、甚至是人体,如果目标对象为人体,那么本实施例提供的方法可以与上述实施例中提供的思路类似,在此不再赘述,如果目标对象为金属材料或者木材,那么可以按照步骤501-506来执行。若目标对象为金属材料,计算机设备可以通过与计算机设备相连的拍摄设备获取目标对象的第一图像,第一图像用于表示目标对象被实施目标处理之前的原始状态,对于金属材料来说,目标处理可以为对金属材料的拉伸处理。在一种可能的实施方式中,可以在金属拉伸机中设置一个拍摄设备,计算机设备可以通过该拍摄设备获取金属材料拉伸之前的第一图像;在另一种可能的实施方式中,可以在SEM中放置一个金属拉伸设备,以SEM作为拍摄设备来获取金属材料在拉伸过程中的图像。
502、计算机设备在对目标对象实施目标处理过程中,实时获取目标对象的第二图像。
在一种可能的实施方式中,计算机设备可以基于安装在金属拉伸机中的拍摄设备,实时获取金属材料在拉伸过程中的第二图像,其中,第二图像可以为一组在时间上连续的图像,每个第二图像均可以对应有一个拍摄时间戳,计算机设备可以基于该时间戳获取不同第二图像时间拍摄的先后顺序,也可以确定第二图像的拍摄时间。
503、计算机设备调用图像检测模型,图像检测模型基于样本对象的目标处理过程所得到的正样本图像和负样本图像训练得到,正样本图像用于表示样本对象发生异常情况,负样本图像用于表示样本对象未发生异常情况。
其中,图像检测模型可以是以多个不同样本对象在进行目标处理过程中获取的图片为样本进行训练得到的,具有基于第一图像和第二图像之间的差异预测目标对象是否出现异常情况的能力,样本可以分为正样本图像和负样本图像,正样本图像为样本对象发生异常状态后在目标处理过程中获取的图像,负样本图像为样本对象在目标处理过程中未出现异常情况的图像。目标处理可以分为多个阶段进行,而异常情况也会在实施目标处理的时间累积到一定程度时才会出现,计算机设备在选取负样本图像时,可以基于多个图像的时间戳来判断图像拍摄时刻,基于图像拍摄时刻确定样本对象发生异常情况之前的图像,并将样本对象发生异常情况之前的图像确定为负样本。若目标对象为金属材料,目标处理过程为拉伸处理,那么异常情况可以是指金属材料在拉伸过程中出现裂纹。在一种可能的实施方式中,该图像检测模型可以为一个二分类模型,例如随机森林(Random Forest,RF)或逻辑回归(Logistics Regression,LR)等,本申请实施例对于图像检测模型的类型不作限定。
在一种可能的实施方式中,样本对象在被确定发生异常情况时一般已经是异常状态较为严重的时刻,而异常状态刚开始出现的时候实际上并不会具有很明显的现象,为了进一步提升训练出的图像检测模型的精准性,计算机设备可以对上述负样本图像进行筛选,将目标数量的拍摄时间靠近样本对象发生异常情况的时间点的图像删除,将剩余的图像作为负样本,通过这样的方式对负样本进行筛选,可以提升图像检测模型的精准性。例如,还是以目标对象为金属材料为例进行说明,在对金属材料实施拉伸处理的过程中共计获取了10张图像,在第六张图像上出现了裂纹,那么可以将第六张图像确定为出现异常情况的图像,第六张图像以及第六张图像之后的4张图像可以作为正样本图像,而计算机设备可以对第六张图像之前的5张图像进行筛选,比如说保留第一张、第二张以及第三张图像,删除第四张和第五张图像,将第一张、第二张以及第三张作为负样本图像。
在一种可能的实施方式中,计算机设备还可以获取样本对象的配准图像,配准图像为样本对象被确定发生异常情况后拍摄的分辨率高于目标阈值的图像。计算机设备可以对配准图像进行图像识别,在配准图像中确定样本对象发生异常情况的目标区域,确定该目标区域对应的像素点坐标。例如,如果拉伸设备安装在SEM中,计算机设备可以控制SEM以分辨率高于目标阈值的拍摄参数获取配准图像,对配准图像进行图像识别,在配准图像中确定金属材料出现裂纹的目标区域。
计算机设备可以用于对多个第一样本图像和配准图像进行形变配准,确定配准图像中每个像素点与多个第一样本图像中每个像素点的第二对应关系,多个第一样本图像为对象出现异常情况的图像。计算机设备可以对多个第二样本图像和配准图像进行形变配准,确定配准图像中每个像素点与多个第二样本图像中每个像素点的第三对应关系。
计算机设备还可以基于第二对应关系和第三对应关系,在多个第一样本图像和多个第二样本图像中确定目标区域,其中,多个第二样本图像为样本对象未出现异常情况的图像。具体来说,计算机设备可以确定多个第一样本图像和多个第二样本图像与配准图像中每个像素点的对应关系,并基于像素点的对应关系,在多个第一样本图像和多个第二样本图像中确定目标区域。
计算机设备可以将多个第一样本图像和多个第二样本图像中位于目标区域的图像作为正样本和负样本。具体来说,计算机设备可以在第一样本图像和第二样本图像中,将截取该目标区域对应的图像,将截取到的图像作为模型训练的正样本和负样本,在这种实现方式下,可以采用图片尺寸较小的样本进行模型训练,提升了模型的训练速度。
504、计算机设备将第一图像和第二图像输入图像检测模型,由图像检测模型对第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像特征和第二图像的第二影像特征,获取图像之间的差异信息。
在一种可能的实施方式中,计算机设备可以将第一图像和第二图像输入训练过后的图像检测模型中,由该图像检测模型对第一图像和第二图像分别进行特征提取,得到第一图像的第一影像特征和第二图像的第二影像特征,基于第一影像特征和第二影像特征之间的特征差异信息,获取图像之间的差异信息。
在一种可能的实施方式中,计算机设备可以将第一图像分割成目标数量的第一图块,对第一图块进行特征提取,得到第一影像特征。计算机设备可以在第二图像中确定与第一图块对应的第二图块,对第二图块进行特征提取,得到第二影像特征,基于第一影像特征和第二影像特征确定第一图块和第二图块之间的差异信息。
505、图像检测模型基于差异信息进行预测,得到第二图像的第一风险信息,若第一风险信息满足目标条件,则将第二图像确定为目标图像,目标图像用于表示目标对象发生异常情况。
在一种可能的实施方式中,图像检测模型可以基于第一差异信息进行预测,得到第二图像的第一风险信息,若第二图像的第一风险信息大于目标风险信息,确定第二图像为目标图像,目标图像用于表示目标对象发生异常情况。
在一种可能的实施方式中,图像检测模型基于第一图块和第二图块之间的差异信息进行预测,得到第二图块的第一风险信息。若第二图块的第一风险信息大于目标风险信息,确定第二图块为目标图像。具体来说,图像检测模型可以确定第一影像特征和第二影像特征之间的特征差异信息,该将特征差异信息作为第一图块和第二图块之间的第一差异信息。图像检测模型可以基于第一差异信息进行运算,得到第二图块的第一风险信息,若第二图块的第一风险信息大于目标风险信息,确定第二图块为目标图像,若第二图块的第一风险信息小于目标风险信息,确定第二图块不为目标图像。在这种实现方式下,计算机设备可以将第一图像和第二图像分割成相互对应的目标数量的第一图块和第二图块,图像检测模型可以基于第一图块和第二图块进行检测,可以基于检测结果确定第二图像中发生异常情况的位置。
506、计算机设备将第二图像的拍摄时间确定为异常情况的发生时间。
在一种可能的实施方式中,计算机设备可以基于目标图像的时间戳确定目标图像的拍摄时间,将目标图像的拍摄时间确定为异常情况的发生时间。在这种实现方式下,计算机设备可以实时确定异常情况的发生时间,便于相关人员采取相应的措施,可以提高目标处理的效果。
需要说明的是,上述是以金属材料为例进行说明,实际上可以根据实际情况对不同类型的目标对象实施本申请实施例提供的图像检测方法,本申请实施例对目标对象的类型不作限定。
通过本申请实施例提供的图像检测方法,可以将目标对象未出现异常情况时拍摄的第一图片作为基准,实时比较目标处理过程中获取的第二图像与第一图像,并基于比较的结果确定第二图像是否为出现异常情况的图片。由于第二图像是实时获取的,相关人员可以在图像检测模型的检测,第一时间获取目标对象出现异常情况的时间,并做出相应的处理方案调整,提高目标处理过程的可能性和安全性,提高处理效果。
图6是本申请实施例提供的一种图像检测模型训练方法的流程图,参见图6,方法包括:
601、计算机设备获取至少两张第三图像,每张第三图像基于拍摄设备在不同设备参数的设置下对同一对象的同一关注部位进行拍摄得到,将至少两张第三图像的图像特征之间的差别信息小于目标差别信息的图像特征,确定为待提取的影像特征。
其中,设备参数可以包括拍摄设备的获取图像的多个参数,例如光圈、感光度、曝光量、加速电压以及电子束强度等参数。
在一种可能的实施方式中,计算机设备可以控制拍摄设备对目标对象进行拍摄,获取第三图像。随后计算机设备可以对拍摄设备的设备参数进行变更,基于设备参数变更之后的拍摄设备对目标对象的同一关注部位进行拍摄,获取另一张第三图像。计算机设备可以对至少两张第三图像进行特征提取,得到至少两个第三影像特征。计算机设备可以确定多个第三影像特征之间的差别信息,若差别信息小于目标差别信息,则将该差别信息对应的影像特征确定为待提取的影像特征。在这种实现方式下,计算机设备可以获取设备参数变更之后仍能保持稳定的影像特征,基于较为稳定的影像特征训练出的模型,具有较高的鲁棒性。
602、计算机设备对多个正样本图像和多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征。
在一种可能的实施方式中,计算机设备可以基于步骤601中确定的待提取的影像特征,对多个正样本图像和多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征。
603、计算机设备将首个正样本影像特征与任一个负样本影像特征之间的第二差异信息,或首个正样本影像特征与目标正样本影像特征的第三差异信息输入第一模型,由第一模型基于第二差异信息或第三差异信息进行预测,输出第二风险信息,其中,目标正样本影像特征为除首个正样本影像特征之外的正样本影像特征。
其中,第一模型为待训练的图像检测模型,首个正样本影像特征为按照时间顺序排列获取的第一张样本图像,第一张样本图像反映了样本对象的初始状态。基于首个正样本影像特征和任一个负样本影像特征之间的第二差异信息训练第一模型,可以逐渐提高第一模型识别发生异常情况的图像;基于首个正样本影像特征与目标正样本影像特征的第三差异信息训练第一模型,可以逐渐提高第一模型识别未发生异常情况的图像。
604、计算机设备基于第二风险信息和初始阈值关系,预测任一个负样本影像特征对应的负样本图像是否为发生异常情况的图像,或目标正样本影像特征对应的正样本图像是否为发生异常情况的图像。
在一种可能的实施方式中,若第二风险信息大于初始阈值,则计算机设备可以确定该负样本影像特征对应的负样本图像为发生异常情况的图像,或目标正样本影像特征对应的正样本图像为发生异常情况的图像。若第二风险信息小于初始阈值,则计算机设备可以确定该负样本影像特征对应的负样本图像为未发生异常情况的图像,或目标正样本影像特征对应的正样本图像为未发生异常情况的图像。
605、计算机设备基于预测结果与实际结果的差异,调整第一模型的模型参数和初始阈值,直至第一模型的模型参数符合目标截止条件时,停止训练第一模型,将训练后的第一模型作为图像检测模型。
在一种可能的实施方式中,若预测结果与实际结果相符,则计算机设备可以不对第一模型的模型参数和初始阈值进行调整;若预测结果与实际结果不相符,则计算机设备可以对第一模型的模型参数和初始阈值进行调整。举例来说,对模型参数的调整可以采梯度下降法或梯度上升法来实现,对初始阈值的调整可以基于受试者工作特征曲线下的面积(Area Under Curve,AUC)来实现,当然,也可以采用其他的方法来对第一模型的模型参数和初始阈值进行调整,本申请实施例对此不做限定。若第一模型的损失函数的函数值小于目标函数值时,可以停止训练第一模型,将此时得到的第一模型作为图像检测模型,或若第一模型的训练次数达到目标训练次数时,停止训练第一模型,将此时得到的第一模型作为图像检测模型。
图7是本申请实施例提供的一种图像检测装置结构示意图,参见图7,装置包括:获取模块701、模型调用模块702、预测模型703以及确定模块704。
获取模块701,用于获取目标对象的第一图像,第一图像用于表示目标对象在被实施目标处理之前的原始状态;
获取模型701,还用于在对目标对象实施目标处理过程中,实时获取目标对象的第二图像;
模型调用模块702,用于调用图像检测模型,图像检测模型基于样本对象的目标处理过程所得到的正样本图像和负样本图像训练得到,正样本图像用于表示样本对象发生异常情况,负样本图像用于表示样本对象未发生异常情况;
预测模型703,用于将第一图像和第二图像输入图像检测模型,由图像检测模型对第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像特征和第二图像的第二影像特征,获取图像之间的差异信息,基于差异信息进行预测,得到第二图像的风险信息,若风险信息满足目标条件,则将第二图像确定为目标图像,目标图像用于表示目标对象发生异常情况;
确定模块704,用于将第二图像的拍摄时间确定为异常情况的发生时间。
在一种可能的实施方式中,预测模块还用于:
将第一图像分割成目标数量的第一图块,对第一图块进行特征提取,得到第一影像特征;
在第二图像中确定与第一图块对应的第二图块,对第二图块进行特征提取,得到第二影像特征。
在一种可能的实施方式中,所述装置还包括:
位置确定模块,用于将所述第二影像特征对应的第二图块确定为目标图块;将所述目标图块在所述第二图像中的位置确定为所述目标对象发生所述异常情况的位置。
在一种可能的实施方式中,预测模块还用于:
对第一图像和第二图像进行形变配准,确定第一图像中多个像素点与第二图像中多个像素点的第一对应关系;
基于第一对应关系,在第二图像中确定与第一图块对应的第二图块。
在一种可能的实施方式中,装置还包括:
第三图像获取模块,用于获取至少两张第三图像,每张第三图像基于拍摄设备在不同设备参数的设置下对同一对象的同一关注部位进行拍摄得到。
特征确定模块,用于将至少两张第三图像的图像特征之间的差别信息小于目标差别信息的图像特征,确定为待提取的影像特征。
在一种可能的实施方式中,装置还包括:
特征提取模块,用于对多个正样本图像和多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征。
第一风险信息输出模块,用于将首个正样本影像特征与任一个负样本影像特征之间的第二差异信息输入第一模型,由第一模型基于第二差异信息进行预测,输出第二风险信息。
第一预测模块,用于基于第二风险信息和初始阈值关系,预测任一个负样本影像特征对应的负样本图像是否为发生异常情况的图像。
调整模块,用于基于预测结果与实际结果的差异,调整第一模型的模型参数和初始阈值,直至第一模型的模型参数符合目标截止条件时,停止训练第一模型,将训练后的第一模型作为图像检测模型。
在一种可能的实施方式中,装置还包括:
特征提取模块,用于对多个正样本图像和多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征。
第二风险信息输出模块,用于将首个正样本影像特征与目标正样本影像特征的第三差异信息输入第一模型,由第一模型基于第三差异信息进行预测,输出第三风险信息,其中,目标正样本影像特征为除首个正样本影像特征之外的正样本影像特征。
第二预测模块,用于基于第三风险信息和初始阈值关系,预测目标正样本影像特征对应的正样本图像是否为发生异常情况的图像。
调整模块,用于基于预测结果与实际结果的差异,调整第一模型的模型参数和初始阈值,直至第一模型的模型参数符合目标截止条件时,停止训练第一模型,将训练后的第一模型作为图像检测模型。
在一种可能的实施方式中,装置还包括:
目标区域确定模块,用于确定配准图像中的目标区域,配准图像为分辨率高于目标阈值的图像,目标区域为发生异常情况的区域。
形变配准模块,用于对多个第一样本图像和配准图像进行形变配准,确定配准图像中每个像素点与多个第一样本图像中每个像素点的第二对应关系,多个第一样本图像为对象发生异常情况的图像。
形变配准模块还用于对多个第二样本图像和配准图像进行形变配准,确定配准图像中每个像素点与多个第二样本图像中每个像素点的第三对应关系,多个第二样本图像为对象未发生放异常情况的图像。
目标趋于确定模块还用于基于第二对应关系和第三对应关系,在多个第一样本图像和多个第二样本图像中确定目标区域。
样本确定模块,用于将多个第一样本图像和多个第二样本图像中位于目标区域的图像作为正样本图像和负样本图像。
需要说明的是:上述实施例提供的图像检测装置在检测图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像检测的装置与图像检测的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
通过本申请实施例提供的图像检测装置,可以将目标对象未出现异常情况时拍摄的第一图片作为基准,实时比较目标处理过程中获取的第二图像与第一图像,并基于比较的结果确定第二图像是否为出现异常情况的图片。由于第二图像是实时获取的,相关人员可以在图像检测模型的检测,第一时间获取目标对象出现异常情况的时间,并做出相应的处理方案调整,提高目标处理过程的可能性和安全性,提高处理效果。
图8是本申请实施例提供的一种计算机设备的结构示意图。该计算机设备800可以是:智能手机、平板电脑、笔记本电脑或台式电脑。计算机设备800还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。
通常,计算机设备800包括有:一个或多个处理器801和一个或多个存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个存储介质,该存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器801所执行以实现本申请中方法实施例提供的图像检测方法。
在一些实施例中,计算机设备800还可选包括有:***设备接口803和至少一个***设备。处理器801、存储器802和***设备接口803之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口803相连。具体地,***设备包括:射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
***设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和***设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和***设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置计算机设备800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在计算机设备800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在计算机设备800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在计算机设备的前面板,后置摄像头设置在计算机设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位计算机设备800的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源809用于为计算机设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以计算机设备800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测计算机设备800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对计算机设备800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在计算机设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在计算机设备800的侧边框时,可以检测用户对计算机设备800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时,由处理器801根据用户对显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置计算机设备800的正面、背面或侧面。当计算机设备800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制显示屏805的显示亮度。具体地,当环境光强度较高时,调高显示屏805的显示亮度;当环境光强度较低时,调低显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在计算机设备800的前面板。接近传感器816用于采集用户与计算机设备800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变小时,由处理器801控制显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与计算机设备800的正面之间的距离逐渐变大时,由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对计算机设备800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种存储介质,例如包括程序代码的存储器,上述程序代码可由处理器执行以完成上述实施例中的图像检测方法。例如,该存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,该程序可以存储于一种存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种图像检测方法,其特征在于,所述方法包括:
获取目标对象的第一图像,所述第一图像用于表示所述目标对象在被实施目标处理之前的原始状态;
在对所述目标对象实施所述目标处理过程中,实时获取所述目标对象的第二图像;
调用图像检测模型,所述图像检测模型基于样本对象的目标处理过程所得到的正样本图像和负样本图像训练得到,所述正样本图像用于表示所述样本对象发生异常情况,所述负样本图像用于表示所述样本对象未发生所述异常情况;
将所述第一图像和第二图像输入所述图像检测模型,由所述图像检测模型对所述第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像特征和第二图像的第二影像特征,获取图像之间的差异信息,基于所述差异信息进行预测,得到所述第二图像的第一风险信息,若所述第一风险信息满足目标条件,则将所述第二图像确定为目标图像,所述目标图像用于表示所述目标对象发生所述异常情况;
将所述第二图像的拍摄时间确定为所述异常情况的发生时间。
2.根据权利要求1所述的方法,其特征在于,所述由所述图像检测模型对所述第一图像和第二图像分别进行特征提取,包括:
将所述第一图像分割成目标数量的第一图块,对所述第一图块进行特征提取,得到所述第一影像特征;
在所述第二图像中确定与所述第一图块对应的第二图块,对所述第二图块进行特征提取,得到所述第二影像特征。
3.根据权利要求2所述的方法,其特征在于,所述则将所述第二图像确定为目标图像之后,所述方法还包括:
将所述第二影像特征对应的第二图块确定为目标图块;
将所述目标图块在所述第二图像中的位置确定为所述目标对象发生所述异常情况的位置。
4.根据权利要求2所述的方法,其特征在于,所述在所述第二图像中确定与所述第一图块对应的第二图块包括:
对所述第一图像和所述第二图像进行形变配准,确定所述第一图像中多个像素点与所述第二图像中多个像素点的第一对应关系;
基于所述第一对应关系,在所述第二图像中确定与所述第一图块对应的第二图块。
5.根据权利要求1所述的方法,其特征在于,所述由所述图像检测模型对所述第一图像和第二图像分别进行特征提取之前,所述方法还包括:
获取至少两张第三图像,每张所述第三图像基于拍摄设备在不同设备参数的设置下对同一对象的同一关注部位进行拍摄得到;
将所述至少两张第三图像的图像特征之间的差别信息小于目标差别信息的图像特征,确定为待提取的影像特征。
6.根据权利要求1所述的方法,其特征在于,所述调用图像检测模型之前,所述方法还包括:
对所述多个正样本图像和所述多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征;
将首个正样本影像特征与任一个负样本影像特征之间的第二差异信息输入第一模型,由所述第一模型基于所述第二差异信息进行预测,输出第二风险信息;
基于所述第二风险信息和初始阈值关系,预测所述任一个负样本影像特征对应的负样本图像是否为发生所述异常情况的图像;
基于预测结果与实际结果的差异,调整所述第一模型的模型参数和所述初始阈值,直至所述第一模型的模型参数符合目标截止条件时,停止训练所述第一模型,将训练后的第一模型作为所述图像检测模型。
7.根据权利要求1所述的方法,其特征在于,所述调用图像检测模型之前,所述方法还包括:
对所述多个正样本图像和所述多个负样本图像进行特征提取,得到多个正样本影像特征和多个负样本影像特征;
将首个正样本影像特征与目标正样本影像特征的第三差异信息输入第一模型,由所述第一模型基于所述第三差异信息进行预测,输出第三风险信息,其中,所述目标正样本影像特征为除所述首个正样本影像特征之外的正样本影像特征;
基于所述第三风险信息和初始阈值关系,预测所述目标正样本影像特征对应的正样本图像是否为发生所述异常情况的图像;
基于预测结果与实际结果的差异,调整所述第一模型的模型参数和所述初始阈值,直至所述第一模型的模型参数符合目标截止条件时,停止训练所述第一模型,将训练后的第一模型作为所述图像检测模型。
8.根据权利要求6或7任一项所述的方法,其特征在于,所述对所述多个正样本图像和所述多个负样本图像进行特征提取之前,所述方法还包括:
确定配准图像中的目标区域,所述配准图像为分辨率高于目标阈值的图像,所述目标区域为发生所述异常情况的区域;
对多个第一样本图像和所述配准图像进行形变配准,确定所述配准图像中每个像素点与所述多个第一样本图像中每个像素点的第二对应关系,所述多个第一样本图像为所述对象发生所述异常情况的图像;
对多个第二样本图像和所述配准图像进行形变配准,确定所述配准图像中每个像素点与所述多个第二样本图像中每个像素点的第三对应关系,所述多个第二样本图像为所述对象未发生放所述异常情况的图像;
基于所述第二对应关系和所述第三对应关系,在所述多个第一样本图像和所述多个第二样本图像中确定所述目标区域;
将所述多个第一样本图像和所述多个第二样本图像中位于所述目标区域的图像作为所述正样本图像和所述负样本图像。
9.根据权利要求1所述的方法,其特征在于,所述图像检测模型为二分类模型。
10.一种图像检测装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象的第一图像,所述第一图像用于表示所述目标对象在被实施目标处理之前的原始状态;
所述获取模型,还用于在对所述目标对象实施所述目标处理过程中,实时获取所述目标对象的第二图像;
模型调用模块,用于调用图像检测模型,所述图像检测模型基于样本对象的目标处理过程所得到的正样本图像和负样本图像训练得到,所述正样本图像用于表示所述样本对象发生异常情况,所述负样本图像用于表示所述样本对象未发生所述异常情况;
预测模型,用于将所述第一图像和第二图像输入所述图像检测模型,由所述图像检测模型对所述第一图像和第二图像分别进行特征提取,根据提取到的第一图像的第一影像特征和第二图像的第二影像特征,获取图像之间的差异信息,基于所述差异信息进行预测,得到所述第二图像的风险信息,若所述风险信息满足目标条件,则将所述第二图像确定为目标图像,所述目标图像用于表示所述目标对象发生所述异常情况;
确定模块,用于将所述第二图像的拍摄时间确定为所述异常情况的发生时间。
11.根据权利要求10所述的装置,其特征在于,所述预测模块还用于:
将所述第一图像分割成目标数量的第一图块,对所述第一图块进行特征提取,得到所述第一影像特征;
在所述第二图像中确定与所述第一图块对应的第二图块,对所述第二图块进行特征提取,得到所述第二影像特征。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
位置确定模块,用于将所述第二影像特征对应的第二图块确定为目标图块;将所述目标图块在所述第二图像中的位置确定为所述目标对象发生所述异常情况的位置。
13.根据权利要求11所述的装置,其特征在于,所述预测模块还用于:
对所述第一图像和所述第二图像进行形变配准,确定所述第一图像中多个像素点与所述第二图像中多个像素点的第一对应关系;
基于所述第一对应关系,在所述第二图像中确定与所述第一图块对应的第二图块。
14.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求9任一项所述的图像检测方法所执行的操作。
15.一种存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的图像检测方法所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010113011.6A CN111340774B (zh) | 2020-02-24 | 2020-02-24 | 图像检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010113011.6A CN111340774B (zh) | 2020-02-24 | 2020-02-24 | 图像检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340774A true CN111340774A (zh) | 2020-06-26 |
CN111340774B CN111340774B (zh) | 2023-03-21 |
Family
ID=71183693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010113011.6A Active CN111340774B (zh) | 2020-02-24 | 2020-02-24 | 图像检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340774B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5242014A (en) * | 1988-11-30 | 1993-09-07 | Nippon Steel Corporation | Continuous casting method and apparatus for implementing same method |
JP2003163928A (ja) * | 2001-11-22 | 2003-06-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視システム |
JP2006109251A (ja) * | 2004-10-07 | 2006-04-20 | Victor Co Of Japan Ltd | 画像認証方法及び画像認証装置 |
CN107292870A (zh) * | 2017-06-07 | 2017-10-24 | 复旦大学 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** |
JP2018084443A (ja) * | 2016-11-21 | 2018-05-31 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム |
WO2018167904A1 (ja) * | 2017-03-16 | 2018-09-20 | 三菱電機ビルテクノサービス株式会社 | 監視システム |
EP3379458A2 (en) * | 2017-03-23 | 2018-09-26 | Samsung Electronics Co., Ltd. | Facial verification method and apparatus |
JP2019077053A (ja) * | 2017-10-20 | 2019-05-23 | ウシオライティング株式会社 | 金型監視装置および金型監視方法 |
JP2019133306A (ja) * | 2018-01-30 | 2019-08-08 | 株式会社日立製作所 | 画像処理装置及び画像処理方法 |
US20200401981A1 (en) * | 2018-03-05 | 2020-12-24 | Hitachi, Ltd. | Work operation analysis system and work operation analysis method |
-
2020
- 2020-02-24 CN CN202010113011.6A patent/CN111340774B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5242014A (en) * | 1988-11-30 | 1993-09-07 | Nippon Steel Corporation | Continuous casting method and apparatus for implementing same method |
JP2003163928A (ja) * | 2001-11-22 | 2003-06-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視システム |
JP2006109251A (ja) * | 2004-10-07 | 2006-04-20 | Victor Co Of Japan Ltd | 画像認証方法及び画像認証装置 |
JP2018084443A (ja) * | 2016-11-21 | 2018-05-31 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム |
WO2018167904A1 (ja) * | 2017-03-16 | 2018-09-20 | 三菱電機ビルテクノサービス株式会社 | 監視システム |
EP3379458A2 (en) * | 2017-03-23 | 2018-09-26 | Samsung Electronics Co., Ltd. | Facial verification method and apparatus |
CN107292870A (zh) * | 2017-06-07 | 2017-10-24 | 复旦大学 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** |
JP2019077053A (ja) * | 2017-10-20 | 2019-05-23 | ウシオライティング株式会社 | 金型監視装置および金型監視方法 |
JP2019133306A (ja) * | 2018-01-30 | 2019-08-08 | 株式会社日立製作所 | 画像処理装置及び画像処理方法 |
US20200401981A1 (en) * | 2018-03-05 | 2020-12-24 | Hitachi, Ltd. | Work operation analysis system and work operation analysis method |
Non-Patent Citations (3)
Title |
---|
DOMEN TABERNIK 等: "Segmentation-based deep-learning approach for surface-defect detection" * |
李绍丽 等: "基于局部二值差异激励模式的木材缺陷分类" * |
王永利 等: "基于卷积神经网络的PCB缺陷检测与识别算法" * |
Also Published As
Publication number | Publication date |
---|---|
CN111340774B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210571B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
CN111091576B (zh) | 图像分割方法、装置、设备及存储介质 | |
EP3869456A1 (en) | Image segmentation method and apparatus, computer device and storage medium | |
CN110262947B (zh) | 阈值告警方法、装置、计算机设备及存储介质 | |
CN110555839A (zh) | 缺陷检测识别方法、装置、计算机设备及存储介质 | |
CN110110787A (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
CN111079576A (zh) | 活体检测方法、装置、设备及存储介质 | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN112257552B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN111192262A (zh) | 基于人工智能的产品缺陷分类方法、装置、设备及介质 | |
CN111178343A (zh) | 基于人工智能的多媒体资源检测方法、装置、设备及介质 | |
CN111738365B (zh) | 图像分类模型训练方法、装置、计算机设备及存储介质 | |
CN112749613A (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN110009599A (zh) | 肝占位检测方法、装置、设备及存储介质 | |
CN113627413A (zh) | 数据标注方法、图像比对方法及装置 | |
CN110647881A (zh) | 确定图像对应的卡片类型的方法、装置、设备及存储介质 | |
CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111598896A (zh) | 图像检测方法、装置、设备及存储介质 | |
CN110675473A (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
CN110166275B (zh) | 信息处理方法、装置及存储介质 | |
CN114093360A (zh) | 呼叫方法、装置、电子设备及存储介质 | |
CN111931712A (zh) | 人脸识别方法、装置、抓拍机及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024753 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |