CN114569065A - 一种基于光学相干层析成像的皮肤状态检测***及其方法 - Google Patents

一种基于光学相干层析成像的皮肤状态检测***及其方法 Download PDF

Info

Publication number
CN114569065A
CN114569065A CN202111661532.6A CN202111661532A CN114569065A CN 114569065 A CN114569065 A CN 114569065A CN 202111661532 A CN202111661532 A CN 202111661532A CN 114569065 A CN114569065 A CN 114569065A
Authority
CN
China
Prior art keywords
skin
image
data
network
thickness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111661532.6A
Other languages
English (en)
Inventor
董必勤
吴昊
于泽宽
戴月昊
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202111661532.6A priority Critical patent/CN114569065A/zh
Publication of CN114569065A publication Critical patent/CN114569065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于光学相干层析成像的皮肤状态检测***及其方法，该***包括依次连接的图像采集单元、图像预处理单元、皮肤参数测量单元和深度学习检测单元，图像采集单元获取被检测皮肤区域的原始三维OCT图像数据；图像预处理单元对原始三维OCT图像数据进行降噪和增强处理，得到高质量三维OCT图像；皮肤参数测量单元从高质量三维OCT图像中提取出厚度分层参数特征以及血管参数特征；深度学习检测单元融合厚度分层参数特征数据、血管参数特征数据、B‑scan断层图像的深度特征、en‑face图像的深度特征中的一种或多种，以输出得到被检测皮肤区域的状态信息。与现有技术相比，本发明结合光学相干层析成像与深度学习的方法，能够无创地检测得到皮肤深层的状态信息。

Description

一种基于光学相干层析成像的皮肤状态检测***及其方法
技术领域
本发明涉及皮肤状态检测技术领域，尤其是涉及一种基于光学相干层析成像的皮肤状态检测***及其方法。
背景技术
皮肤是人体最大的器官，也是最能够表征人类年龄的器官，然而由于工作和生活环境、护肤习惯等内外因素的影响，皮肤年龄往往与实足年龄存在差异。随着社会的发展，人们越来越注重自己的皮肤健康状态，皮肤科及医美领域也涌现出庞大的市场需求。目前亟需能够精准输出皮肤健康状态及其变化信息的技术方案，使得人们能够方便地获知自己目前的皮肤年龄以及其他各项肤质指标，并且能够辅助评估护肤品或化妆品的效果，从而灵活地调整护肤策略。
目前市面上已有的皮肤健康状态检测***，包括美国VISIA、日本资生堂IPSA 肌肤测试仪等，主要专注于对皮肤表层影像进行分析，仅仅能够获取皮肤皱纹、毛孔、色斑、弹力等信息，鲜有涉及皮肤基底层以下包括真皮层等更深层信息的提取和处理分析，同时由于分辨率的限制，想要通过上述皮肤状态检测***精准地测量皮肤年龄及干性油性等重要的皮肤状态信息是困难且不可靠的。与此同时，上述皮肤状态检测***主要局限于面部皮肤状态的检测，无法对身体其他部位例如手部等的皮肤状态进行检测。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于光学相干层析成像的皮肤状态检测***及其方法，通过非侵入地汲取皮肤深层超微结构信息，以输出当前皮肤状态信息。
本发明的目的可以通过以下技术方案来实现：一种基于光学相干层析成像的皮肤状态检测***，包括依次连接的图像采集单元、图像预处理单元、皮肤参数测量单元和深度学习检测单元，所述图像采集单元用于获取被检测皮肤区域的原始三维 OCT(OpticalCoherence Tomography，光学相干层析成像)图像数据，所述三维 OCT图像数据包括沿y轴方向堆叠的B-scan断层图像和沿z轴方向堆叠的en-face 图像；
所述图像预处理单元用于对原始三维OCT图像数据进行降噪和增强处理，以得到高质量三维OCT图像；
所述皮肤参数测量单元用于从高质量三维OCT图像中提取出厚度分层参数特征以及血管参数特征；
所述深度学习检测单元用于融合厚度分层参数特征数据、血管参数特征数据、 B-scan断层图像的深度特征、en-face图像的深度特征中的一种或多种，以输出得到被检测皮肤区域的状态信息。
进一步地，所述图像采集单元包括FD-OCT成像装置和存储装置。
进一步地，所述皮肤参数测量单元包括分层处理模块和OCTA血管造影模块，所述分层处理模块用于对高质量三维OCT图像进行分层，以区分三维皮肤数据中的角质层、表皮层、真皮层结构，确定出皮肤表皮层上界线、角质层下界线以及真皮层-表皮层连接线的位置，以获得包括皮肤角质层厚度、表皮层厚度、真皮层厚度参数中的一种或多种厚度分层参数特征；
所述OCTA血管造影模块用于对连续的B-scan图像使用OCTA血管造影算法，以得到皮肤各个分层的血管造影en-face图像，并根据各皮层OCTA图像，分别获取血管密度、血管灌注面积等血管参数中的一种或多种血管参数特征。
进一步地，所述深度学习检测单元包括B-scan特征提取网络、血管造影en-face图像特征提取网络中的一种或多种、融合网络和输出网络，所述B-scan特征提取网络用于从B-scan断层图像提取B-scan深度特征数据；
所述血管造影en-face图像特征提取网络用于从各皮层血管造影en-face图像提取深度特征数据；
所述融合网络用于融合B-scan深度特征数据、血管造影en-face深度特征数据、厚度分层参数特征数据、血管参数特征数据中的一种或多种，以得到融合特征数据；
输出网络根据融合特征数据，以确定并输出被检测皮肤区域的皮肤状态信息。
可选地，所述融合网络为全连接网络。
进一步地，所述皮肤状态信息包括皮肤年龄、皮肤肤质、胶原蛋白含量、弹性蛋白含量、皮肤粗糙程度、皮肤水分含量、皮肤透光程度、皮肤油脂分泌力、皮肤气血、角质层厚度、皮肤老化程度、毛囊健康情况中的一种或多种信息。
一种基于光学相干层析成像的皮肤状态检测方法，包括以下步骤：
S1、图像采集单元获取被检测皮肤区域的原始三维OCT图像数据，并输出给图像预处理单元；
S2、图像预处理单元对原始三维OCT图像依次进行降噪和增强处理，得到高质量三维OCT图像；
S3、皮肤参数测量单元对高质量三维OCT图像进行分割，确定出皮肤表面分割线，以获得包括皮肤角质层厚度、表皮层厚度、真皮层厚度参数的一种或多种厚度分层参数特征；
根据皮肤表面分割线，对分层后的高质量三维OCT图像进行拉平处理，使得拉平后的三维OCT图像数据具有统一的尺寸；
对连续的B-scan图像使用OCTA血管造影算法，以得到皮肤各个分层的血管造影en-face图像，并根据各皮层血管en-face图像，分别获取血管密度、血管灌注面积血管参数中的一种或多种血管参数特征；
S4、将上述步骤得到的图像、厚度分层参数特征、血管参数特征的一种或多种数据输入预先训练好的深度学习检测单元中，以输出得到被检测皮肤区域的状态信息。
进一步地，所述厚度分层参数特征具体是局部平均厚度、全局平均厚度或多个包含三维数据中所有A-line中厚度参数的矩阵；
所述血管参数特征中的血管密度包括血管面积密度和血管骨架密度。
进一步地，所述深度学习检测单元具体为卷积神经网络，包括但不限于Densenet、AlexNet、GoogleNet、VGG-19、VGG-16、ResNet等深度卷积CNN网络及优化网络结构；
所述深度学习检测单元包括依次连接的深度特征提取网络、融合网络和输出网络，所述深度特征提取网络包括B-scan特征提取网络、真皮层血管造影en-face图像特征提取网络中的一种或多种；
所述B-scan特征提取网络用于从B-scan断层图像提取B-scan深度特征数据；所述真皮层血管造影en-face图像特征提取网络用于从真皮层血管造影en-face图像提取深度特征数据。
进一步地，所述深度学习检测单元的训练过程具体为：利用图像采集单元、图像预处理单元和皮肤参数测量单元，以获取得到皮肤健康人群的皮肤数据样本集；
对皮肤数据样本集进行标注，标注内容包括但不限于皮肤年龄、皮肤肤质、胶原蛋白含量、弹性蛋白含量中的一种或多种特征，以得到训练数据集；
利用训练数据集对深度学习检测单元进行训练，根据深度学习检测单元输出的结果与训练数据集中皮肤状态信息之间的差异，以对深度学习检测单元中的网络参数进行优化。
与现有技术相比，本发明结合光学相干层析成像与深度学习的方法，提出一种非侵入地汲取皮肤深层超微结构信息，从而输出当前皮肤状态信息的皮肤检测方案，通过设置图像采集单元、图像预处理单元、皮肤参数测量单元和深度学习检测单元，利用图像采集单元获取被检测皮肤区域的原始三维OCT图像数据；利用图像预处理单元用于对原始三维OCT图像数据进行降噪和增强处理，以得到高质量三维 OCT图像；利用皮肤参数测量单元用于从高质量三维OCT图像中提取出厚度分层参数特征以及血管参数特征；利用深度学习检测单元通过特征融合，以输出得到被检测皮肤区域的状态信息，由此能够无创检测得到皮肤状态信息。
本发明中，皮肤参数测量单元通过对高质量三维OCT图像进行分层，能够区分出三维皮肤数据中的角质层、表皮层、真皮层等结构；通过使用OCTA血管造影算法，得到皮肤各个分层的血管造影en-face图像。由此实现对皮肤深层关键指标数据的量化分析，不再局限于面部皮肤表层状态的检测，还能够对身体其他部位皮肤状态进行检测。
附图说明
图1为本发明的***结构示意图；
图2为本发明的方法流程示意图；
图3为图像预处理单元的工作过程示意图；
图4为皮肤参数测量单元的工作过程示意图；
图5为实施例中图像预处理单元进行降噪操作的模型训练过程示意图；
图6为实施例中图像预处理单元进行降噪操作的模型测试过程示意图；
图7为实施例中图像预处理单元进行增强操作的模型训练过程示意图；
图8为实施例中皮肤参数测量单元进行分层操作的过程示意图；
图9为实施例中深度学习检测单元的网络结构示意图；
图中标记说明：1、图像采集单元，2、图像预处理单元，3、皮肤参数测量单元，4、深度学习检测单元。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本技术方案结合光学相干层析成像与深度学习的方法，以实现对皮肤状态的无创深层检测，其中，光学相干断层扫描(Optical Coherence Tomography，OCT)技术是一种非入侵、高分辨率、高灵敏度的光学成像技术，通过收集样品组织的背向散射光与参考光进行干涉，可以实时地得到样品组织深度方向的光散射率信息，分辨率可达1～10微米，成像深度可达2～5毫米。OCT能够获得高分辨率皮肤横断面光学图像，已经被应用于研究人类皮肤形态学和在体的皮肤下表面结构，如黑色素瘤成像、肿瘤微血管成像等，非常适合用于评估皮肤健康状态，量化皮肤变化，以及检查其它指征。此外，近年来对于皮肤烧伤组织成像、医学美容评估以及手持式的OCT探头研究也有了长足的进展。OCT为皮肤深度状态检测提供了一种快速有效的光学成像技术，在肤质检测等护肤领域具有强大的潜力与广阔的应用前景
如图1所示，本发明提出的一种基于光学相干层析成像的皮肤状态检测***，包括依次连接的图像采集单元1、图像预处理单元2、皮肤参数测量单元3和深度学习检测单元4，其中，图像采集单元用于获取被检测皮肤区域的原始三维OCT 图像数据，三维OCT图像数据包括沿y轴方向堆叠的B-scan断层图像和沿z轴方向堆叠的en-face图像；
图像预处理单元用于对原始三维OCT图像数据进行降噪和增强处理，以得到高质量三维OCT图像；
皮肤参数测量单元用于从高质量三维OCT图像中提取出厚度分层参数特征以及血管参数特征；
深度学习检测单元用于融合厚度分层参数特征数据、血管参数特征数据、 B-scan断层图像的深度特征、en-face图像的深度特征中的一种或多种，以输出得到被检测皮肤区域的状态信息。
上述***的具体工作过程如图2所示，本实施例中，光学相干层析图像采集单元包括FD-OCT成像装置和具有存储功能的计算机，用于获得被检测皮肤区域的原始三维光学相干层析图像数据，所获得的原始三维OCT图像数据具有统一的尺寸、分辨率。其中，原始三维OCT图像数据的采集和存储方法根据OCT成像***的不同，可以是沿y轴方向堆叠的B-scan断层图像，也可以是沿z轴方向堆叠的 en-face图像。
如图3所示，图像预处理单元主要是对原始三维OCT图像数据进行降噪处理，并对降噪后的三维OCT图像数据进行增强处理，得到高质量三维OCT图像。其中，降噪处理和增强处理可以采用对三维OCT图像数据中每一幅B-scan逐帧进行二维处理的方法，也可以采用对样本数据进行整体降噪和增强的三维处理方法。
降噪处理可以采用多帧平均方法；经典的高斯滤波、中值滤波、均值滤波方法；Lee滤波器、Kuan滤波器等空间自适应滤波方法；基于小波变换、维纳滤波等的频域滤波方法；各向异性扩散滤波器等基于扩散的滤波方法；基于散度正则化、贝叶斯估计等的统计学方法以及基于深度学习的降噪方法等方法中的一种或多种，从而消除图像的乘性散斑噪声以及背景噪声。
增强处理可以采用自适应对比度增强、反卷积方法、基于压缩感知的稀疏重构方法和基于生成式对抗网络(Generative Adversarial Networks，GAN)的深度学习超分辨重建方法等方法中的一种或多种，从而提高图像的对比度或分辨率。
如图4所示，皮肤参数测量单元主要包括以下步骤：
A)提取皮肤分层特征：
对高质量三维OCT图像进行分层，区分三维皮肤数据中的角质层、表皮层、真皮层等结构。在分层处理中可以采用包括但不限于基于梯度的边缘提取方法、基于深度学习的图像分割方法等。在基于深度学习的图像分割方法中，可以采用包括但不限于U-net、U2-net等深度学习网络模型。
通过分层处理，确定皮肤表皮层上界线、角质层下界线以及真皮层-表皮层连接线(Dermis-Epidermis Junction，DEJ)等分割线的位置，从而可以获得包括皮肤角质层厚度、表皮层厚度、真皮层厚度等厚度参数的一种或多种，厚度参数可以是局部平均厚度、全局平均厚度或者若干个包含三维数据中所有A-line中厚度参数的矩阵。为了提高B-scan图像信噪比，还根据皮肤表面分割线，以对分层后的高质量三维OCT图像进行拉平处理，使得拉平后的三维OCT图像数据具有统一的尺寸。
B)提取皮肤微血管特征：
对连续的B-scan图像使用OCTA血管造影算法，得到皮肤各个分层的血管造影en-face图像。根据各皮层血管en-face图像，分别获取血管密度、血管灌注面积等血管参数中的一种或多种，血管密度包括血管面积密度和血管骨架密度。
最后，深度学习检测单元将上述步骤获得的特征数据或图像数据输入深度学习检测模型，得到被检测皮肤区域的状态信息。其中，深度学习检测单元包括B-scan 特征提取网络、真皮层血管造影en-face图像特征提取网络中的一种或多种、融合网络和输出网络。B-scan特征提取网络用于对B-scan断层图像提取B-scan特征数据，真皮层血管造影en-face图像特征提取网络用于对真皮层血管造影en-face图像提取特征数据，融合网络用于融合B-scan特征数据、真皮层血管造影en face图像特征数据和皮肤分层厚度参数特征、真皮层血管参数特征中的至少一种得到融合特征数据，输出网络用于根据融合特征数据确定被检测皮肤区域的皮肤状态信息。可选地，融合网络为全连接网络。
在实际应用中，需要预先对深度学习检测单元进行模型训练：
利用图像采集单元、图像预处理单元以及皮肤参数测量单元获取大量皮肤健康人群的皮肤数据；
根据采集到的皮肤数据样本的实际情况，分别标注包括但不限于皮肤年龄(根据样本人群健康的皮肤状态，默认皮肤年龄为实足年龄)、皮肤肤质(干性皮、油性皮、中性或敏感肌等)、胶原蛋白含量、弹性蛋白含量等特征中的一种或多种，其中，胶原蛋白含量及弹性蛋白含量的数据可以由多光子激光扫描成像技术中的二次谐波(SHG)以及浅层真皮的自发荧光(AF)信号进行运算获得；
利用训练数据对皮肤OCT图像深度学习检测模型进行训练，根据输出网络输出的皮肤状态信息与训练数据中的皮肤状态信息的差异优化机器学习模型的参数。
此外，深度学习检测单元可以采用卷积神经网络，包括但不限于Densenet、AlexNet、GoogleNet、VGG-19、VGG-16、ResNet等深度卷积CNN网络及优化网络结构。利用深度学习检测单元对预处理获得的高质量B-scan图像以及皮肤参数测量单元获得的皮肤分层特征、皮肤各层血管造影en-face图像、皮肤微血管特征等数据中的一种或多种进行特征提取、融合，最后将融合所得数据作为深度学习模型的输入，得到最终的皮肤状态检测结果，皮肤状态检测结果至少包含以下的一种信息：皮肤年龄、皮肤肤质(干性皮、油性皮或敏感肌等)、胶原蛋白含量、弹性蛋白含量、皮肤粗糙程度、皮肤水分含量、皮肤透光程度、皮肤油脂分泌力、皮肤气血、角质层厚度、皮肤老化程度、毛囊健康情况。
本实施例应用上述技术方案，提供基于光学相干层析成像和深度学习的皮肤年龄测定***。目的是通过采集被试人员某一特定区域的皮肤光学相干层析成像数据，通过深度学习的方法测定被试人员在该特定皮肤区域的皮肤年龄。本实施例使用手部作为特定皮肤区域进行检测。
本实施例技术方案由四部分组成：光学相干层析图像采集单元、图像预处理单元、皮肤参数测量单元以及深度学习检测单元。
光学相干层析图像采集单元采用自主开发的OCT皮肤成像***。该***采用中心波长为840nm、带宽为100nm的弱相干SLED作为照明光源以及90:10宽带光纤耦合器作为迈克尔逊干涉仪的核心。***的样品臂由光纤准直器、一对二维扫描振镜和一个焦距为54mm的近红外物镜构成。成像光束的光功率设置为～800μW，远低于ANSI(美国国家标准协会)标准规定的最大允许曝光功率。***的参考臂由光纤准直器、色散补偿单元、中性密度滤光片和安装在微型手动平移台上的平面镜构成。附加的光纤偏振控制器用于优化***的干涉幅度。***由LabVIEW程序控制，并采用自主开发的光谱仪模块实现干涉光谱的采集。光谱仪模块采用最大读取速率为250kHz的2048像素单色行扫描CMOS相机(OCTOPLUS CL，e2v)，并配合高速图像采集卡实现高速OCT成像。最终实现的***能够获得轴向分辨率优于10μm(空气中)，成像深度>1mm，视场大于10mm x 10mm的OCT层析成像。成像速度能够达到最快500Hz二维线扫描和1Hz三维体扫描。通过所述图像采集单元获取500名不同年龄段皮肤健康的被试人员的皮肤区域的三维原始OCT 皮肤图像数据作为训练数据集。
图像预处理单元包括以下步骤：
步骤一、对图像采集单元得到的B-scan断层图像进行降噪处理
降噪方法为采用一种一维均值滤波器在z轴方向对B-scan图像进行自适应空间滤波，该均值滤波器掩模尺寸为4个像素，使得随机噪音得以降低。为了消除散斑噪音，对B-scan图像的灰度进行归一化处理。具体的处理方法为设置一个灰度上界Ub和一个灰度下界Lb，使用以下灰度变换公式来降低散斑噪音：
Figure RE-GDA0003628437700000091
其中XN为变换后的灰度值，XR为变换前的灰度值。
采用一种基于噪声对噪声(Noise2Noise，N2N)的无监督的深度学习降噪策略对OCT图像进行降噪，降噪策略包含模型训练步骤以及模型测试步骤。
如图5所示，在降噪模型训练过程中，将带有噪声的B-scan图像输入深度神经网络，生成一幅预测的B-scan图像。将预测的B-scan图像与相同部位采集到的另外一幅带有噪声的B-scan图像进行比较得到损失函数，最后使用损失值计算梯度并更新网络参数。如图6所示，在降噪模型测试步骤中，将带有噪声的测试集 B-scan图像输入优化后的深度神经网络，得到最终的降噪后的B-scan图像。
步骤二、对步骤一经过降噪后的B-scan图像进行增强
使用自适应对比度增强算法(ACE)对图像对比度进行增强。自适应对比度增强算法的核心原理是反锐化掩模技术(Unsharp mask)，反锐化掩模技术是指将图片通过低通滤波得到低频的反锐化掩模部分，再通过将原图与低频部分逐点相减得到高频部分。由于图像的细节往往包含在高频成分中，因此将高频成分乘以对比度增益(Contrast gain)再加上低频掩模成分所得到的合成图像就是图像增强的结果。
f(i,j)＝ml(i,j)+CG·mh(i,j)
式中，mh(i,j)表示高频成分，ml(i,j)表示低频成分，CG表示对比度增益。
自适应对比度增强算法与普通的线性锐化掩模技术的区别在于对比度增益CG 的选取。线性锐化掩模技术往往采用固定的常数作为对比度增益系数。而ACE算法中CG的值由以下公式给出：
Figure RE-GDA0003628437700000092
式中，D为全局标准差，σx(i,j)为原图像在x(i,j)为中心，尺寸为(2n+1)× (2n+1)的区域内的局部标准差。
本实施例使用基于GAN的深度学习方法或基于稀疏表示的字典学习方法对 OCT图像进行超分辨率重构，从而增强皮肤OCT图像的分辨率。基于GAN的深度学习超分辨重构模型训练过程如图7所示，其中，高分辨率OCT图采用OCT 图像采集单元能够采集到的采样率最大的样本数据，训练集所用低分辨率OCT图像由上述高分辨率OCT图像下采样获得。
皮肤参数测量单元包括以下步骤：
步骤一、提取皮肤分层特征：
在本实施例中，该参数特征提取步骤的皮肤分层流程如图8所示。
使用卷积神经网络对经过降噪和增强的高质量B-scan图像进行分割，从而获得皮肤表面以及DEJ的位置，获得皮肤样本的表皮层厚度。该分割方法包括数据筛选、模型训练以及模型优化三个步骤，数据筛选是随机抽取20份样本体数据的所有B-scan图像进行人工标注皮肤表面分割线及真皮层-表皮层分割线，其余样本作为测试集数据；
本实施例中模型训练步骤采用U-net网络进行训练，U-net是一种全卷积网络(Fully Connected Network，FCN)，被广泛应用于图像分割。和其他神经网络相比， FCN网络只包含卷积层和池化层，卷积层相比于全连接层只反映卷积核内部的信息，因此它具有更少的参数。为了更好地利用三维OCT数据提高训练效率，使用一种多方向的训练方式。这种方式通过沿x轴和y轴两个方向分别衡量三维OCT 的横截面图像来增加训练集的数据量。
模型优化步骤采用(adaptive momentum estimation，Adam)优化器，Adam是一个具有随机目标函数的基于梯度的优化器，经过优化以后的U-net模型被用于预测B-scan测试集的皮肤表面分割线和真皮层-表皮层连接线。
对于每一个测试集体数据，首先沿着y方向预测每个像素点属于皮肤组织的可能性，随后再沿着x方向重复这一过程。通过多方向的U-net网络，可以得到两个输出体数据，随后将这些体数据中的B-scan转化为无方向的图，权重由两个体数据分别决定。将体数据中的每一个像素点视为一个八连通的节点，随后使用迪杰斯特拉最短路径算法得到皮肤表面分割线和真皮层-表皮层连接线。最后根据整个三维OCT样本图像的分层情况，获取样本的平均表皮层厚度、角质层厚度等皮肤分层参数。
步骤二、对分层后的高质量三维OCT图像根据皮肤表面分割线进行拉平处理，并使得拉平后的三维OCT图像数据具有统一的尺寸。具体的拉伸方法为：
皮肤表面分割线表示成一系列垂直坐标Y＝[Y1,Y2,...,Yn]，其中n代表B-scan的宽度，归一化的图像由以下公式得到：
Imflatten(x,y)＝Imoriginal(x,y-Yx)
式中，Imflatten(x,y)表示拉伸后的像素，Imoriginal(x,y)表示原图像素，Yx表示分割线在第x列的垂直坐标。
步骤三、提取皮肤微血管特征：
对连续的B-scan图像使用OCTA血管造影算法，得到真皮层中的血管造影 en-face图像。根据OCTA血管造影算法得到的真皮层血管en-face图像，获取血管密度、血管灌注面积等血管参数中的一种或多种，血管密度包括血管面积密度和血管骨架密度。
OCTA血管造影算法通过连续扫描以重复获得皮肤区域相同位置的B-scan图像，通过分离光谱振幅去相关方法(SSADA)获取该位置皮肤横截面中的去相关信息，从而获得低信噪比的OCTA三维血管数据。
血管参数的衡量方法可以是对获得的真皮层血管造影en-face图像进行边缘检测，从而获取单位面积内的血管数量。
深度学习检测单元将上述操作得到的OCT皮肤图像或特征数据中的至少一种作为输入，通过深度学习检测模型估计被检测皮肤区域的皮肤年龄。
其中，深度学习检测单元的训练方法如下：
第一步，根据样本实际情况对采集到的500份健康OCT皮肤图像进行年龄标注。在经过标注的OCT三维数据样本中随机选择400个样本作为训练数据集，另外100个数据样本作为测试数据集。400份训练数据样本要求涵盖10岁到80岁的所有样本且每个年龄的样本数量要求平衡。此外，还可以通过改变OCT图像对比度等方式进行数据增强，从而扩大训练数据集。
第二步，利用训练数据集通过前述步骤得到的高质量B-scan图像、皮肤表皮层厚度信息、真皮层OCTA血管造影en-face图像以及血管信息作为输入对皮肤 OCT图像深度学习检测模型进行训练。根据输出网络输出的皮肤年龄与训练数据中的皮肤年龄的差异优化机器学习模型的参数。
在本发明实施例中，利用深度学习检测单元对经过预处理的高质量B-scan图像、经过参数特征提取获得的表皮层厚度参数、真皮层血管造影en-face图像以及真皮层血管参数等数据中的一种或多种进行特征融合，最后将融合所得特征数据作为深度学习模型的输入，得到最终的皮肤病检测结果。
深度学习检测单元可以采用卷积神经网络，包括但不限于Densenet、AlexNet、GoogleNet、VGG-19、VGG-16、ResNet等深度卷积CNN网络及优化网络结构。
深度学习检测单元包括B-scan特征提取网络、真皮层血管造影en-face图像特征提取网络中的一种或多种以及融合网络和输出网络。
B-scan提取网络用于对B-scan断层图像提取B-scan特征数据，真皮层血管造影en-face图像皮肤参数测量网络用于对真皮层血管造影en-face图像提取特征数据，融合网络用于融合B-scan特征数据、真皮层血管造影en-face图像特征数据和皮肤分层厚度参数特征、真皮层血管参数特征中的至少一种得到融合特征数据，输出网络用于根据融合特征数据确定被检测皮肤区域的皮肤年龄。本发明实施例所使用的深度学习检测单元的网络结构如图9所示。
综上可知，本技术方案结合光学相干层析成像与深度学习的方法，提供一种非侵入地汲取皮肤深层超微结构信息，从而输出当前皮肤状态信息的皮肤检测方案。让使用者能够准确地掌握自己当前的皮肤状态，同时评估化妆品或护肤品对皮肤状态的影响，从而灵活地调整护肤方法，提升皮肤健康。光学相干断层扫描皮肤影像技术可以无创地获取皮肤状态信息；人工智能皮肤影像处理和分析技术，能够增强图像质量、提取皮肤结构和组织成分信息、获得血管层析影像，实现关键指标的量化分析；利用皮肤状态临床数据实现具有高敏感性和特异性的皮肤状态检测技术，更加方便快捷准确地检测受试者被检皮肤区域的各种皮肤状态参数，可以为消费者调整护肤方法、以及衡量护肤产品的使用效果提供参考。

Claims (10)

1.一种基于光学相干层析成像的皮肤状态检测***，其特征在于，包括依次连接的图像采集单元(1)、图像预处理单元(2)、皮肤参数测量单元(3)和深度学习检测单元(4)，所述图像采集单元(1)用于获取被检测皮肤区域的原始三维OCT图像数据，所述三维OCT图像数据包括沿y轴方向堆叠的B-scan断层图像和沿z轴方向堆叠的en-face图像；
所述图像预处理单元(2)用于对原始三维OCT图像数据进行降噪和增强处理，以得到高质量三维OCT图像；
所述皮肤参数测量单元(3)用于从高质量三维OCT图像中提取出厚度分层参数特征以及血管参数特征；
所述深度学习检测单元(4)用于融合厚度分层参数特征数据、血管参数特征数据、B-scan断层图像的深度特征、en-face图像的深度特征中的一种或多种，以输出得到被检测皮肤区域的状态信息。
2.根据权利要求1所述的一种基于光学相干层析成像的皮肤状态检测***，其特征在于，所述图像采集单元(1)包括FD-OCT成像装置和存储装置。
3.根据权利要求1所述的一种基于光学相干层析成像的皮肤状态检测***，其特征在于，所述皮肤参数测量单元(3)包括分层处理模块和OCTA血管造影模块，所述分层处理模块用于对高质量三维OCT图像进行分层，以区分三维皮肤数据中的角质层、表皮层、真皮层结构，确定出皮肤表皮层上界线、角质层下界线以及真皮层-表皮层连接线的位置，以获得包括皮肤角质层厚度、表皮层厚度、真皮层厚度参数的一种或多种厚度分层参数特征；
所述OCTA血管造影模块用于对连续的B-scan图像使用OCTA血管造影算法，以得到皮肤各个分层的血管造影en-face图像，并根据各皮层OCTA图像，分别获取血管密度、血管灌注面积血管参数中的一种或多种血管参数特征。
4.根据权利要求3所述的一种基于光学相干层析成像的皮肤状态检测***，其特征在于，所述深度学习检测单元(4)包括B-scan特征提取网络、血管造影en-face图像特征提取网络中的一种或多种、融合网络和输出网络，所述B-scan特征提取网络用于从B-scan断层图像提取B-scan深度特征数据；
所述血管造影en-face图像特征提取网络用于从各皮层血管造影en-face图像提取深度特征数据；
所述融合网络用于融合B-scan深度特征数据、血管造影en-face深度特征数据、厚度分层参数特征数据、血管参数特征数据中的一种或多种，以得到融合特征数据；
输出网络根据融合特征数据，以确定并输出被检测皮肤区域的皮肤状态信息。
5.根据权利要求4所述的一种基于光学相干层析成像的皮肤状态检测***，其特征在于，所述融合网络为全连接网络。
6.根据权利要求1所述的一种基于光学相干层析成像的皮肤状态检测***，其特征在于，所述皮肤状态信息包括皮肤年龄、皮肤肤质、胶原蛋白含量、弹性蛋白含量、皮肤粗糙程度、皮肤水分含量、皮肤透光程度、皮肤油脂分泌力、皮肤气血、角质层厚度、皮肤老化程度、毛囊健康情况中的一种或多种信息。
7.一种应用如权利要求1所述基于光学相干层析成像的皮肤状态检测***的皮肤状态检测方法，其特征在于，包括以下步骤：
S1、图像采集单元获取被检测皮肤区域的原始三维OCT图像数据，并输出给图像预处理单元；
S2、图像预处理单元对原始三维OCT图像依次进行降噪和增强处理，得到高质量三维OCT图像；
S3、皮肤参数测量单元对高质量三维OCT图像进行分割，确定出皮肤表面分割线，以获得包括皮肤角质层厚度、表皮层厚度、真皮层厚度参数的一种或多种厚度分层参数特征；
根据皮肤表面分割线，对分层后的高质量三维OCT图像进行拉平处理，使得拉平后的三维OCT图像数据具有统一的尺寸；
对连续的B-scan图像使用OCTA血管造影算法，以得到皮肤各个分层的血管造影en-face图像，并根据各皮层血管en-face图像，分别获取血管密度、血管灌注面积血管参数中的一种或多种血管参数特征；
S4、将上述步骤得到的图像、厚度分层参数特征、血管参数特征的一种或多种数据输入预先训练好的深度学习检测单元中，以输出得到被检测皮肤区域的状态信息。
8.根据权利要求7所述的一种皮肤状态检测方法，其特征在于，所述厚度分层参数特征具体是局部平均厚度、全局平均厚度或多个包含三维数据中所有A-line中厚度参数的矩阵；
所述血管参数特征中的血管密度包括血管面积密度和血管骨架密度。
9.根据权利要求8所述的一种皮肤状态检测方法，其特征在于，所述深度学习检测单元具体为卷积神经网络，包括但不限于Densenet、AlexNet、GoogleNet、VGG-19、VGG-16、ResNet深度卷积CNN网络及优化网络结构。
所述深度学习检测单元包括依次连接的深度特征提取网络、融合网络和输出网络，所述深度特征提取网络包括B-scan特征提取网络、真皮层血管造影en-face图像特征提取网络中的一种或多种；
所述B-scan特征提取网络用于从B-scan断层图像提取B-scan深度特征数据；所述真皮层血管造影en-face图像特征提取网络用于从真皮层血管造影en-face图像提取深度特征数据。
10.根据权利要求9所述的一种皮肤状态检测方法，其特征在于，所述深度学习检测单元的训练过程具体为：利用图像采集单元、图像预处理单元和特征提取单元，以获取得到皮肤健康人群的皮肤数据样本集；
对皮肤数据样本集进行标注，标注内容包括但不限于皮肤年龄、皮肤肤质、胶原蛋白含量、弹性蛋白含量中的一种或多种特征，以得到训练数据集；
利用训练数据集对深度学习检测单元进行训练，根据深度学习检测单元输出的结果与训练数据集中皮肤状态信息之间的差异，以对深度学习检测单元中的网络参数进行优化。
CN202111661532.6A 2021-12-31 2021-12-31 一种基于光学相干层析成像的皮肤状态检测***及其方法 Pending CN114569065A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111661532.6A CN114569065A (zh) 2021-12-31 2021-12-31 一种基于光学相干层析成像的皮肤状态检测***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111661532.6A CN114569065A (zh) 2021-12-31 2021-12-31 一种基于光学相干层析成像的皮肤状态检测***及其方法

Publications (1)

Publication Number Publication Date
CN114569065A true CN114569065A (zh) 2022-06-03

Family

ID=81769930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111661532.6A Pending CN114569065A (zh) 2021-12-31 2021-12-31 一种基于光学相干层析成像的皮肤状态检测***及其方法

Country Status (1)

Country Link
CN (1) CN114569065A (zh)

Similar Documents

Publication Publication Date Title
Aguirre et al. Precision assessment of label-free psoriasis biomarkers with ultra-broadband optoacoustic mesoscopy
Corcuff et al. Morphometry of human epidermis in vivo by real-time confocal microscopy
CN107595250B (zh) 基于运动与图形混合对比度的血流成像方法与***
Ford et al. Structural and functional analysis of intact hair follicles and pilosebaceous units by volumetric multispectral optoacoustic tomography
Das et al. Unsupervised super-resolution of OCT images using generative adversarial network for improved age-related macular degeneration diagnosis
De Martino et al. Predicting EEG single trial responses with simultaneous fMRI and relevance vector machine regression
CN107862724B (zh) 一种改进的微血管血流成像方法
Askaruly et al. Quantitative evaluation of skin surface roughness using optical coherence tomography in vivo
CN114209278B (zh) 一种基于光学相干层析成像的深度学习皮肤病诊断***
De Martino et al. Multimodal imaging: an evaluation of univariate and multivariate methods for simultaneous EEG/fMRI
Cheng et al. High-resolution photoacoustic microscopy with deep penetration through learning
EP2563220B1 (en) Skin profiling and its use in testing cosmetics
Hu et al. Opto‐Physiological Modeling Applied to Photoplethysmographic Cardiovascular Assessment
CN108135477A (zh) 处理光学相干断层扫描
Kainerstorfer et al. Quantitative principal component model for skin chromophore mapping using multi-spectral images and spatial priors
Ma et al. Quantitative and anatomical imaging of dermal angiopathy by noninvasive photoacoustic microscopic biopsy
Liu et al. Real-time deep learning assisted skin layer delineation in dermal optical coherence tomography
Ma et al. Multiscale confocal photoacoustic dermoscopy to evaluate skin health
Jüstel et al. Spotlight on nerves: portable multispectral optoacoustic imaging of peripheral nerve vascularization and morphology
Hu et al. Deep learning-based inpainting of saturation artifacts in optical coherence tomography images.
CN111436909A (zh) 一种活体组织的光学相干层析成像***及方法
Turani et al. Optical radiomic signatures derived from OCT images to improve identification of melanoma
CN114569065A (zh) 一种基于光学相干层析成像的皮肤状态检测***及其方法
Dhinagar et al. Early diagnosis and predictive monitoring of skin diseases
JP2022063800A (ja) 肌の評価方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination