CN111160460A - 对象识别方法和装置以及电子设备和介质 - Google Patents

对象识别方法和装置以及电子设备和介质 Download PDF

Info

Publication number
CN111160460A
CN111160460A CN201911390471.7A CN201911390471A CN111160460A CN 111160460 A CN111160460 A CN 111160460A CN 201911390471 A CN201911390471 A CN 201911390471A CN 111160460 A CN111160460 A CN 111160460A
Authority
CN
China
Prior art keywords
visible light
light image
image
images
dermatoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911390471.7A
Other languages
English (en)
Inventor
马骁
姜譞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201911390471.7A priority Critical patent/CN111160460A/zh
Publication of CN111160460A publication Critical patent/CN111160460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开提供了一种对象识别方法，包括：确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，可见光图像为使用第一镜头采集的图像，皮肤镜图像无需采集，但如果采集皮肤镜图像，则需要使用第二镜头进行采集，第二镜头的放大倍数大于第一镜头的放大倍数；基于针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及基于确定的第一映射关系和可见光图像特征信息，对第一对象进行识别。本公开还提供了一种对象识别装置、一种电子设备以及一种计算机可读存储介质。

Description

对象识别方法和装置以及电子设备和介质
技术领域
本公开涉及一种对象识别方法、一种对象识别装置、一种电子设备和一种计算机可读存储介质。
背景技术
使用计算机视觉技术对皮肤疾病进行鉴别时，通常会用到三种尺度模态的图像数据：可见光图像数据，皮肤镜图像数据和病理图像数据。
目前，在医生的工作流程中，首先会使用可见光图像进行病灶识别，若使用可见光图像识别不了，则会进一步使用皮肤镜图像进行病灶识别，若使用皮肤镜图像也识别不了，则会进一步使用病理图像进行病灶识别。
这是因为，在这三种尺度模态的图像数据中，可见光图像数据具有普适性，可见光图像具有无创采集和价格便宜的优势，但可见光图像数据由于信息量不足，因而在针对某些病种进行病灶识别时，存在准确率不高的缺点。虽然皮肤镜图像也具有无创采集的优势，但其价格昂贵且需要专业设备采集，很多医院都不具备实现条件。病理图像的采集会使皮肤受损，且具有价格昂贵、等待周期较长等缺点。
因此，针对某些疾病使用可见光图像进行病灶识别是目前最经济和省时的方法。但是由于可见光图像对某些病种进行病灶识别的不确定性，因此可见光图像需要结合高尺度模态的图像，以提高准确率。
发明内容
本公开的一个方面提供了一种对象识别方法，包括：确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，所述可见光图像为使用第一镜头采集的图像，所述皮肤镜图像无需采集，但如果采集所述皮肤镜图像，则需要使用第二镜头进行采集，所述第二镜头的放大倍数大于所述第一镜头的放大倍数；基于所述针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别。
可选地，所述确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，包括：确定所述可见光图像的可见光图像数据；将所述可见光图像数据输入第一编码器，以获取所述第一编码器的中间层输出的第一特征信息，其中，所述第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对所述目标对象的皮肤镜图像数据，所述目标对象包括所述第一对象；以及利用所述第一特征信息表征所述第一映射关系。
可选地，所述方法还包括：训练所述第一编码器；所述训练所述第一编码器，包括：获取针对多个第二对象的可见光图像和皮肤镜图像，其中，所述针对多个第二对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第二对象的皮肤镜图像为使用所述第二镜头采集的图像；以及基于所述针对多个第二对象的可见光图像和皮肤镜图像，训练所述第一编码器。
可选地，所述基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别，包括：基于所述第一映射关系和所述可见光图像特征信息，确定第一特征向量；将所述第一特征向量输入第一分类模型，以输出对应的分类结果；以及基于所述分类结果，对所述第一对象进行识别。
可选地，所述方法还包括：训练所述第一分类模型；所述训练所述第一分类模型，包括：获取针对多个第三对象的可见光图像和皮肤镜图像，其中，所述针对多个第三对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第三对象的皮肤镜图像为使用所述第二镜头采集的图像；确定针对所述多个第三对象的可见光图像和皮肤镜图像之间的多个第三映射关系；以及基于所述针对多个第三对象的可见光图像以及所述多个第三映射关系，训练所述第一分类模型。
本公开的另一个方面提供了一种对象识别装置，包括：第一确定模块，用于确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，所述可见光图像为使用第一镜头采集的图像，所述皮肤镜图像无需采集，但如果采集所述皮肤镜图像，则需要使用第二镜头进行采集，所述第二镜头的放大倍数大于所述第一镜头的放大倍数；第二确定模块，用于基于所述针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及识别模块，用于基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别。
可选地，所述第一确定模块包括：确定单元，用于确定所述可见光图像的可见光图像数据；第一获取单元，用于将所述可见光图像数据输入第一编码器，以获取所述第一编码器的中间层输出的第一特征信息，其中，所述第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对所述目标对象的皮肤镜图像数据，所述目标对象包括所述第一对象；以及处理单元，用于利用所述第一特征信息表征所述第一映射关系。
可选地，所述装置还包括：训练模块，用于训练所述第一编码器；所述训练模块包括：第二获取单元，用于获取针对多个第二对象的可见光图像和皮肤镜图像，其中，所述针对多个第二对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第二对象的皮肤镜图像为使用所述第二镜头采集的图像；以及训练单元，用于基于所述针对多个第二对象的可见光图像和皮肤镜图像，训练所述第一编码器。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本公开实施例的上述方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现本公开实施例的上述方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现本公开实施例的上述方法。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的对象识别方法和装置的应用场景；
图2示意性示出了根据本公开实施例的对象识别方法的流程图；
图3A示意性示出了根据本公开实施例的深度编码器的示意图；
图3B示意性示出了根据本公开实施例的从可见光图像中提取特征信息的示意图；
图3C示意性示出了根据本公开实施例的基于可见光图像进行对象识别的示意图；
图4示意性示出了根据本公开实施例的对象识别装置的框图；以及
图5示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。
本公开的实施例提供了一种免采集皮肤镜图像但能够达到基于皮肤镜图像进行病灶识别所能达到的识别精度的对象识别方法以及能够应用该方法的对象识别装置。该方法包括以下操作。确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，该可见光图像为使用第一镜头采集的图像，该皮肤镜图像无需采集，但如果采集该皮肤镜图像，则需要使用第二镜头进行采集，该第二镜头的放大倍数大于该第一镜头的放大倍数。基于该针对第一对象的可见光图像，确定对应的可见光图像特征信息。基于确定的该第一映射关系和该可见光图像特征信息，对该第一对象进行识别。
图1示意性示出了根据本公开实施例的对象识别方法和装置的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
目前，在医生的工作流程中，首先会使用如图1所示的可见光图像101进行皮肤病识别，若使用可见光图像101识别不了，则会进一步使用皮肤镜图像102进行皮肤病识别，若使用皮肤镜图像102也识别不了，则会进一步使用病理图像103进行皮肤病识别。
可见，在现有技术中可以只使用一种尺度模态的图像数据如可见光图像数据进行皮肤疾病判别，但是由于可见光图像中包含的信息量不足，因此只使用可见光图像数据这一种尺度模态的图像数据进行皮肤疾病判别，精度欠佳。
为了克服只使用一种尺度模态的图像数据如可见光图像数据进行皮肤疾病判别时存在精度欠佳的问题，相关技术中还提供了一种使用多尺度模态相融合的模型进行病灶识别的方案。但这种方案需要训练多尺度模态相融合的模型。
由于皮肤镜图像和病理图像都存在以上所描述的缺点，不具备普适性，且三种尺度模态的图像数据都齐全的情况只有在病情相当严重的病人身上才会出现，显然此方法对数据完整性要求太高，不符合临床需求。
对此，本公开实施例提供了一种改进型的对象识别方法。使用该方法只需要采集病人的可见光图像，无需进一步采集病人的皮肤镜图像，但是仅基于可见光图像也能够达到基于皮肤镜图像所能达到的识别精度。
以下将结合具体实施例详细阐述本公开。
图2示意性示出了根据本公开实施例的对象识别方法的流程图。
如图2所示，该方法例如可以包括操作S210～S230。
在操作S210，确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，可见光图像为使用第一镜头采集的图像，皮肤镜图像无需采集，但如果采集皮肤镜图像，则需要使用第二镜头进行采集，第二镜头的放大倍数大于第一镜头的放大倍数。
需要说明的是，在本公开实施例中，可见光图像可以使用第一设备采集，其中第一设备采集使用的光学镜头为第一镜头。皮肤镜图像在本公开实施例中是不需要专门采集的，但是如果采集这种图像，则需要使用专门的第二设备采集，其中第二设备采集使用的光学镜头为第二镜头。其中第二镜头的放大倍数大于第一镜头的放大倍数。
具体地，为了了解任何一个人的任何一处皮肤的皮肤状态，在本公开实施例中，可以针对这个人只采集对应皮肤处的可见光图像，而不必采集该皮肤处的皮肤镜图像。因为从可见光图像到皮肤镜图像的深度编码器的编码部分(即encoder部分)输出的信息中包含有融合了可见光图像和与其对应的皮肤镜图像共有的高阶语义信息，所以在采集到一个人的某处皮肤的可见光图像后，可以将该可见光图像输入该深度编码器，并从该深度编码器的编码部分输出的信息中提取相应的特征信息，进而将提取的特征信息作为这个人的某处皮肤的可见光图像和皮肤镜图像之间的映射关系。
图3A示意性示出了根据本公开实施例的深度编码器。
如图3A所示，对于该深度编码器31而言，其左端为可见光图像输入层311，其右端为皮肤镜图像输出层312，而其中间层313输出的信息即为该深度编码器的编码部分输出的信息。
由于本公开实施例只需要采集小尺度模态的图像，即只需要采集可见光图像，因此具有无创采集和价格便宜的优势，并且采集可见光图像并不需要特别专业的设备，因而很多医院都具备实现条件。
需要说明的是，在本公开实施例中，第一对象可以是任何一个人在任何一处皮肤上长出的色素痣、黑色素瘤、红色胎记、血管瘤等。其中，在本公开实施例中，色素痣、黑色素瘤、红色胎记、血管瘤等可以统称为病灶。
在操作S220，基于针对第一对象的可见光图像，确定对应的可见光图像特征信息。
需要说明的是，在本公开实施例中，可以使用任何图像特征提取方法从可见光图像中提取相应的图像特征，在此不做限定。
例如，图3B示意性示出了根据本公开实施例的从可见光图像中提取特征信息的示意图。如图3B所示，可以将一张可见光图像A输入神经网络32进行卷积运算和采样处理，并将该神经网络32输出的信息作为该张可见光图像的特征信息。
在操作S230，基于确定的第一映射关系和可见光图像特征信息，对第一对象进行识别。
具体地，可以将可见光图像的特征信息和用于表征基于该可见光图像确定的映射关系的映射信息进行融合(如进行拼接)，以获得融合后的特征信息，并将融合后的特征信息输入预先训练的分类器中进行分类，进而基于分类结果对第一对象进行病灶识别。例如，基于分类结果确定第一对象是色素痣还是黑色素瘤等。
通过本公开实施例，由于只需要采集小尺度模态的可见光图像，因此具有无创采集和价格便宜的优势，并且采集可见光图像并不需要特别专业的设备，因而很多医院都具备实现条件。
并且，通过本公开实施例，在对象识别过程中除了考虑了可见光图像的图像特征之外，还考虑了与该可见光图像对应的皮肤镜图像(即该皮肤镜图像与前述的可见光图像所针对的对象相同)之间的映射关系，即同时还考虑了与该可见光图像对应的皮肤镜图像的特征信息(相当于通过一种尺度模态的图像使用了两种尺度模态的图像数据)，因而与相关技术中通过一种尺度模态的图像只能使用一种尺度模态的图像数据相比，本公开实施例参考的信息量更足，识别精度更高。
此外，本公开实施例虽然涉及多尺度模态的图像数据的融合，但是并不需要采集多种尺度模态的图像，例如只需要采集可见光图像，而不需要采集皮肤镜图像，不需要多种尺度模态的图像数据都齐全，显然此方法对数据完整性要求不高，符合临床需求。
作为一种可选的实施例，确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系例如可以包括如下操作。
确定可见光图像的可见光图像数据。
将可见光图像数据输入第一编码器，以获取第一编码器的中间层输出的第一特征信息，其中，第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对目标对象的皮肤镜图像数据，目标对象包括第一对象。
利用第一特征信息表征第一映射关系。
具体地，返回参考图3A，为了获得一可见光图像与其对应的皮肤镜图像的映射关系，例如可将该可见光图像输入深度编码器31(如第一编码器)的可见光图像输入端311，并从深度编码器31的中间层313获得输出信息，进而利用该输出信息表征该可见光图像与其对应的皮肤镜图像的映射关系。
由于从可见光图像到与其对应的皮肤镜图像的深度编码器的中间层输出的信息中包含有可见光图像和与其对应的皮肤镜图像共有的高阶语义信息，因此在采集到一个人的某处皮肤的可见光图像后，可以将该可见光图像输入该深度编码器，并从该深度编码器的编码部分输出的信息中快速提取相应的特征信息，并以此作为这个人的该处皮肤的可见光图像和对应的皮肤镜图像之间的映射关系。
进一步，作为一种可选的实施例，该方法例如还可以包括训练第一编码器。
其中训练第一编码器例如可以包括如下操作。
获取针对多个第二对象的可见光图像和皮肤镜图像，其中，针对多个第二对象的可见光图像为使用第一镜头采集的图像，针对多个第二对象的皮肤镜图像为使用第二镜头采集的图像。
基于针对多个第二对象的可见光图像和皮肤镜图像，训练第一编码器。
在本公开实施例中，可以收集以往病人的可见光图像和皮肤镜图像作为本公开实施例的训练样本。需要说明的是，在该训练样本中，可见光图像和皮肤镜图像需要成对出现，并且成对出现的可见光图像和皮肤镜图像必须是同一个病人的同一处病灶采集的。并且在本公开实施例中，可见光图像和皮肤镜图像都需要实际采集得到。
具体地，在得到训练样本后，可以利用神经网络训练从可见光图像到皮肤镜图像的深度编码器，以学习从可见光图像到皮肤镜图像的映射关系。得到训练好的深度编码器后，使用时直接在该深度编码器的输入端输入可见光图像，并取出encoder部分输出的信息，此信息融合了可见光图像和与其对应的皮肤镜图像共有的高阶语义信息。返回参考图3A，其中，图中中间层313左边的网络为encoder部分，图中中间层313右边的网络为decoder部分。
此处需要说明的是，在预测可见光图像到皮肤镜图像的映射关系时，由于只使用encoder部分的输出信息(即中间层313输出的信息)，因此是不需要采集对应的皮肤镜图像，因而可以省去因采集皮肤镜图像而需要花费的高额费用。
作为一种可选的实施例，基于确定的第一映射关系和可见光图像特征信息对第一对象进行识别例如可以包括如下操作。
基于第一映射关系和可见光图像特征信息，确定第一特征向量。
将第一特征向量输入第一分类模型，以输出对应的分类结果。
基于分类结果，对第一对象进行识别。
具体地，可以将表征第一映射关系的特征信息与对应的可见光图像的特征信息进行融合(如进行拼接)，确定对应的第一特征向量。
例如，假设针对病人采集了其背部皮肤黑点的可见光图像A，根据前述本公开的实施例，由可见光图像A可以预测出可见光图像A与其对应的皮肤镜图像A之间的映射关系，其中特征信息X1用于表征该映射关系，用特征向量F1(H，W，T1)表示，T1例如可以包括512维特征。此外，对可见光图像A提取图像特征可以得到特征信息X2，用特征向量F2(H，W，T2)，T2例如可以包括1024维特征。则进行病灶识别时，可以将F1(H，W，T1)与F2(H，W，T2)拼接成F3(H，W，T3)，其中T3＝(T1+T2)，T3例如可以包括T1包括的512维特征以及T2包括的1024维特征共1536维特征，进而将F3(H，W，T3)作为第一特征向量输入预先训练的第一分类模型，以便上述病人的背部皮肤黑点是色素痣还是黑色素瘤。
图3C示意性示出了根据本公开实施例的基于可见光图像进行对象识别的示意图。
如图3C所示，可将上述的可见光图像A输入图中的深度编码器31，并从深度编码器31的中间层313(图中未示出)输出的信息中提取特征信息X1。同时可将上述的可见光图像A输入图中的神经网络32，以输出可见光图像A的特征信息X2。最后将由特征信息X1对应的特征向量F1(H，W，T1)以及由特征信息X2对应的特征向量F2(H，W，T2)融合得到的F3(H，W，T3)输入图中的第一分类模型33，得到第一分类模型33的输出信息(即分类结果)，进而根据第一分类模型33输出的信息确定上述病人的背部皮肤黑点是色素痣还是黑色素瘤。此外，如图3C所示，神经网络32包括卷积层321和池化层322，其中卷积层321用于实现卷积运算，池化层322用于实现采样运算。
进一步，作为一种可选的实施例，该方法例如还可以包括训练第一分类模型。
其中训练第一分类模型例如可以包括如下操作。
获取针对多个第三对象的可见光图像和皮肤镜图像，其中，针对多个第三对象的可见光图像为使用第一镜头采集的图像，针对多个第三对象的皮肤镜图像为使用第二镜头采集的图像。
确定针对多个第三对象的可见光图像和皮肤镜图像之间的多个第三映射关系。
基于针对多个第三对象的可见光图像以及多个第三映射关系，训练第一分类模型。
在本公开实施例中，与前述的训练第一编码器的实施例类似，具体地，可以将多个第三对象的可见光图像和皮肤镜图像作为样本，并将该样本分为训练样本和预测样本。其中可以按照前述的训练第一编码器的实施例提供的方法，使用该训练样本训练相应的深度编码器，进而将该预测样本输入该深度编码器，以预测该预测样本中各可见光图像与其对应的皮肤镜图像之间的映射关系。同时提取该预测样本中各可见光图像的特征信息。然后将该预测样本中各可见光图像的特征信息与用于表征与各可见光图像对应的映射关系的特征信息进行融合，得到融合后的特征信息。最后利用融合后的特征信息训练本公开实施例中的第一分类模型。
通过本公开实施例，训练可见光分类模型(即第一分类模型)时，将预测样本中各可见光图像经由深度编码器的encoder部分输出的特征信息，与由该预测样本中各可见光图像提取的特征信息进行融合，并基于融合后的特征信息进行训练，由此可以将通过深度编码器学到的相关皮肤镜图像的特征信息加入到可见光分类网络中去，从而能够提高可见光分类模型的准确性。
换言之，通过本公开实施例，在使用可见光图像进行分类鉴别时，通过映射关系加入了皮肤镜图像中所包含的信息，因而能够提高鉴别的准确性。并且在训练时通过映射关系将皮肤镜图像中的特征信息编码到可见光分类网络中，使得在测试时只需要采集可见光图像即可，符合医生的工作流程。
图4示意性示出了根据本公开实施例的对象识别装置的框图。
如图4所示，该对象识别装置400包括第一确定模块410、第二确定模块420和识别模块430。该对象识别装置400可以执行上面参考图2描述的方法，以实现免拍皮肤镜图像但是能够达到基于皮肤镜图像进行图像识别而达到的识别效果。
具体地，第一确定模块410，用于确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，可见光图像为使用第一镜头采集的图像，皮肤镜图像无需采集，但如果采集皮肤镜图像，则需要使用第二镜头进行采集，第二镜头的放大倍数大于第一镜头的放大倍数。
第二确定模块420，用于基于针对第一对象的可见光图像，确定对应的可见光图像特征信息。
识别模块430，用于基于确定的第一映射关系和可见光图像特征信息，对第一对象进行识别。
通过本公开实施例，由于只需要采集小尺度模态的可见光图像，因此具有无创采集和价格便宜的优势，并且采集可见光图像并不需要特别专业的设备，因而很多医院都具备实现条件。
并且，通过本公开实施例，在对象识别过程中除了考虑了可见光图像的图像特征之外，还考虑了与该可见光图像对应的皮肤镜图像(即该皮肤镜图像与前述的可见光图像所针对的对象相同)之间的映射关系，即同时还考虑了与该可见光图像对应的皮肤镜图像的特征信息(相当于通过一种尺度模态的图像使用了两种尺度模态的图像数据)，因而与相关技术中通过一种尺度模态的图像只能使用一种尺度模态的图像数据相比，本公开实施例参考的信息量更足，识别精度更高。
此外，本公开实施例虽然涉及多尺度模态的图像数据的融合，但是并不需要采集多种尺度模态的图像，例如只需要采集可见光图像，而不需要采集皮肤镜图像，不需要多种尺度模态的图像数据都齐全，显然此方法对数据完整性要求不高，符合临床需求。
作为一种可选的实施例，第一确定模块包括：确定单元，用于确定可见光图像的可见光图像数据。第一获取单元，用于将可见光图像数据输入第一编码器，以获取第一编码器的中间层输出的第一特征信息，其中，第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对目标对象的皮肤镜图像数据，目标对象包括第一对象。处理单元，用于利用第一特征信息表征第一映射关系。
进一步，作为一种可选的实施例，装置还包括：训练模块，用于训练第一编码器。训练模块包括：第二获取单元，用于获取针对多个第二对象的可见光图像和皮肤镜图像，其中，针对多个第二对象的可见光图像为使用第一镜头采集的图像，针对多个第二对象的皮肤镜图像为使用第二镜头采集的图像。训练单元，用于基于针对多个第二对象的可见光图像和皮肤镜图像，训练第一编码器。
需要说明的是，在本公开实施例中，装置部分的实施例与方法部分的实施例对应相同或类似，在此不再赘述。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一确定模块410、第二确定模块420和识别模块430中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一确定模块410、第二确定模块420和识别模块430中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一确定模块410、第二确定模块420和识别模块430中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图5示意性示出了根据本公开实施例的电子设备的框图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500包括处理器510、计算机可读存储介质520。该电子设备500可以执行根据本公开实施例的方法。
具体地，处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质520，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质520可以包括计算机程序521，该计算机程序521可以包括代码/计算机可执行指令，其在由处理器510执行时使得处理器510执行根据本公开实施例的方法或其任何变形。
计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序521中的代码可以包括一个或多个程序模块，例如包括521A、模块521B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器510执行时，使得处理器510可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例，第一确定模块410、第二确定模块420和识别模块430中的至少一个可以实现为参考图5描述的计算机程序模块，其在被处理器510执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种对象识别方法，包括：
确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，所述可见光图像为使用第一镜头采集的图像，所述皮肤镜图像无需采集，但如果采集所述皮肤镜图像，则需要使用第二镜头进行采集，所述第二镜头的放大倍数大于所述第一镜头的放大倍数；
基于所述针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及
基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别。
2.根据权利要求1所述的方法，其中，所述确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，包括：
确定所述可见光图像的可见光图像数据；
将所述可见光图像数据输入第一编码器，以获取所述第一编码器的中间层输出的第一特征信息，其中，所述第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对所述目标对象的皮肤镜图像数据，所述目标对象包括所述第一对象；以及
利用所述第一特征信息表征所述第一映射关系。
3.根据权利要求2所述的方法，其中，所述方法还包括：训练所述第一编码器；
所述训练所述第一编码器，包括：
获取针对多个第二对象的可见光图像和皮肤镜图像，其中，所述针对多个第二对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第二对象的皮肤镜图像为使用所述第二镜头采集的图像；以及
基于所述针对多个第二对象的可见光图像和皮肤镜图像，训练所述第一编码器。
4.根据权利要求1所述的方法，其中，所述基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别，包括：
基于所述第一映射关系和所述可见光图像特征信息，确定第一特征向量；
将所述第一特征向量输入第一分类模型，以输出对应的分类结果；以及
基于所述分类结果，对所述第一对象进行识别。
5.根据权利要求4所述的方法，其中，所述方法还包括：训练所述第一分类模型；
所述训练所述第一分类模型，包括：
获取针对多个第三对象的可见光图像和皮肤镜图像，其中，所述针对多个第三对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第三对象的皮肤镜图像为使用所述第二镜头采集的图像；
确定针对所述多个第三对象的可见光图像和皮肤镜图像之间的多个第三映射关系；以及
基于所述针对多个第三对象的可见光图像以及所述多个第三映射关系，训练所述第一分类模型。
6.一种对象识别装置，包括：
第一确定模块，用于确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，所述可见光图像为使用第一镜头采集的图像，所述皮肤镜图像无需采集，但如果采集所述皮肤镜图像，则需要使用第二镜头进行采集，所述第二镜头的放大倍数大于所述第一镜头的放大倍数；
第二确定模块，用于基于所述针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及
识别模块，用于基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别。
7.根据权利要求6所述的装置，其中，所述第一确定模块包括：
确定单元，用于确定所述可见光图像的可见光图像数据；
第一获取单元，用于将所述可见光图像数据输入第一编码器，以获取所述第一编码器的中间层输出的第一特征信息，其中，所述第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对所述目标对象的皮肤镜图像数据，所述目标对象包括所述第一对象；以及
处理单元，用于利用所述第一特征信息表征所述第一映射关系。
8.根据权利要求7所述的装置，其中，所述装置还包括：训练模块，用于训练所述第一编码器；
所述训练模块包括：
第二获取单元，用于获取针对多个第二对象的可见光图像和皮肤镜图像，其中，所述针对多个第二对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第二对象的皮肤镜图像为使用所述第二镜头采集的图像；以及
训练单元，用于基于所述针对多个第二对象的可见光图像和皮肤镜图像，训练所述第一编码器。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至5中任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至5中任一项所述的方法。
CN201911390471.7A 2019-12-27 2019-12-27 对象识别方法和装置以及电子设备和介质 Pending CN111160460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390471.7A CN111160460A (zh) 2019-12-27 2019-12-27 对象识别方法和装置以及电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390471.7A CN111160460A (zh) 2019-12-27 2019-12-27 对象识别方法和装置以及电子设备和介质

Publications (1)

Publication Number Publication Date
CN111160460A true CN111160460A (zh) 2020-05-15

Family

ID=70559197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390471.7A Pending CN111160460A (zh) 2019-12-27 2019-12-27 对象识别方法和装置以及电子设备和介质

Country Status (1)

Country Link
CN (1) CN111160460A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492666A (zh) * 2018-09-30 2019-03-19 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
WO2019102042A1 (en) * 2017-11-27 2019-05-31 Deciphex Automated screening of histopathology tissue samples via classifier performance metrics
CN110363296A (zh) * 2019-06-28 2019-10-22 腾讯科技（深圳）有限公司 任务模型获取方法和装置、存储介质及电子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102042A1 (en) * 2017-11-27 2019-05-31 Deciphex Automated screening of histopathology tissue samples via classifier performance metrics
CN109492666A (zh) * 2018-09-30 2019-03-19 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
CN110363296A (zh) * 2019-06-28 2019-10-22 腾讯科技（深圳）有限公司 任务模型获取方法和装置、存储介质及电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NILS GESSERT 等: "Skin Lesion Classiffication Using Ensembles of Multi-Resolution EfficientNets with Meta Data" *
NOEL CODELLA 等: "Skin Lesion Analysis Toward Melanoma Detection 2018: A Challenge Hosted by the International Skin Imaging Collaboration (ISIC)" *

Similar Documents

Publication Publication Date Title
Korfiatis et al. Automated segmentation of hyperintense regions in FLAIR MRI using deep learning
CN111816301A (zh) 医疗问诊辅助方法、装置、电子设备及介质
CN112927799B (zh) 融合多示例学习和多任务深度影像组学的生存期分析***
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN112862830A (zh) 一种多模态图像分割方法、***、终端及可读存储介质
Gaonkar et al. Quantitative analysis of neural foramina in the lumbar spine: an imaging informatics and machine learning study
JP2022516970A (ja) 画像処理方法及び装置、電子機器
CN113888470A (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
WO2023207416A1 (zh) 图像补全方法、装置、设备及存储介质
Alawad et al. Machine learning and deep learning techniques for optic disc and cup segmentation–a review
JP2019075097A (ja) ドライバ支援システムの特徴に基づく周辺情報のデータ低減方法および装置
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
CN116230245A (zh) 疾病病程预测方法、装置、电子设备及存储介质
US11120308B2 (en) Vehicle damage detection method based on image analysis, electronic device and storage medium
CN115546231A (zh) 一种基于半监督深度学习的自适应脑胶质瘤分割方法
EP4036867A2 (en) System and method for classifying dermatological images using machine learning
CN112102235A (zh) 人体部位识别方法、计算机设备和存储介质
Li et al. Automatic pixel-level detection method for concrete crack with channel-spatial attention convolution neural network
Lin et al. Measurement of Body Surface Area for Psoriasis Using U‐net Models
WO2018179219A1 (ja) コンピュータシステム、動物診断方法及びプログラム
CN108765399B (zh) 病变部位识别装置、计算机装置及可读存储介质
Liu et al. Automatic segmentation and measurement of pressure injuries using deep learning models and a LiDAR camera
CN111160460A (zh) 对象识别方法和装置以及电子设备和介质
CN116958679A (zh) 一种基于弱监督的目标检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination