CN113537057A - 一种基于改进CycleGAN的面部穴位自动定位检测***及方法 - Google Patents

一种基于改进CycleGAN的面部穴位自动定位检测***及方法 Download PDF

Info

Publication number
CN113537057A
CN113537057A CN202110803402.5A CN202110803402A CN113537057A CN 113537057 A CN113537057 A CN 113537057A CN 202110803402 A CN202110803402 A CN 202110803402A CN 113537057 A CN113537057 A CN 113537057A
Authority
CN
China
Prior art keywords
image
acupuncture point
calibration
point calibration
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110803402.5A
Other languages
English (en)
Other versions
CN113537057B (zh
Inventor
杨婕
闫敬来
上官宏
高阳
张�雄
贺文彬
田雅娟
李钦青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University of Chinese Mediciine
Taiyuan University of Science and Technology
Original Assignee
Shanxi University of Chinese Mediciine
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University of Chinese Mediciine, Taiyuan University of Science and Technology filed Critical Shanxi University of Chinese Mediciine
Priority to CN202110803402.5A priority Critical patent/CN113537057B/zh
Publication of CN113537057A publication Critical patent/CN113537057A/zh
Application granted granted Critical
Publication of CN113537057B publication Critical patent/CN113537057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于改进CycleGAN的面部穴位自动定位检测***及方法，方法包括如下步骤：生成训练数据集，包括采集人体面部图像构成没有穴位标定图像数据集，在人体面部图像上标注穴位构成有穴位标定图像数据集；构件循环生成对抗网络模型，所述生成对抗网络模型通过输入训练数据集对循环生成对抗网络模型进行训练、收敛；穴位自动标定、输出，输入面部图像信息，通过训练后的循环生成对抗网络模型将没有穴位标定的面部图像转换为有穴位标定的面部图像，而后对有穴位标定的面部图像进行输出，以自动根据不同面部图像对应标定穴位。本发明依照上述***及方法能够自动标定穴位，降低了穴位标定难度，提高了穴位标定准确度。

Description

一种基于改进CycleGAN的面部穴位自动定位检测***及方法
技术领域
本发明涉及面部穴位定位技术领域，特别涉及一种基于改进CycleGAN的面部穴位自动定位检测***及方法。
背景技术
针灸医学对很多面部疾病，如青少年近视眼、干眼症、过敏性鼻炎和周围性面瘫都具有显著的治疗效果，世界卫生组织和美国国立卫生研究院等对其有效性、安全性和科学性给予了充分肯定，已成为世界医学的重要组成部分。
针灸医学讲究“理”“法”“方”“穴”“术”的有机配合。其中“穴”包含对穴位的准确定位，历代医家都对此十分重视，《太平圣惠方》曰：“穴点以差讹，治病全然纰缪”。穴位的正确定位是针灸治疗的基础，能确保治疗的安全性和有效性。中医传统穴位定位方法可追溯到公元前2900年，经过历代中医先辈的共同努力，目前在临床上有体表解剖标志定位法、“骨度”折量定位法、指寸定位法三种穴位定位方法。这三种方法在应用时相结合，即以体表解剖标志为主，折量各部位的距离分寸，并用手指比量，从而确定穴位位置。但这种传统的点穴法是一种较为主观的点穴方法，需要较长时间的学习和实践才能正确掌握。面部穴位多且较为集中，对于施针者的技术要求非常高，初学针刺者不敢轻易尝试，不利于面部针刺技能的学习传承与推广应用。
由此，面部穴位自动取位技术孕育而生：(1)以面部特征的位置作为参考坐标的自动取穴技术：学者赵阳根据中国美术理论中最基本的人脸结构理论“三庭五眼”规则，对面部特征进行分区，采用Minimum Eigenvalue算子检测面部特征的角点、Log算子检测面部特征的边缘，综合应用角点和边缘信息，定位各面部特征的位置，最后以面部特征的位置作为参考坐标，完成面部穴位的定位。学者常梦龙基于特征点定位算法加同身寸法实现了面部穴位自动定位。(2)以信息融合算法获取面部穴位的技术：学者叶毅君等人和学者杨旭明等人采集多位专家面部穴位定位的数据信息并运用“逐点变精度”的信息融合算法获取面部穴位点的最佳“精准性”数据值，实现了对新治疗对象相关疾病的处方穴位自动化定位。(3)以电生理实现的自动取穴技术：学者陈正亮等人和学者林东东等人通过电生理技术，探究了穴位的电学特性，利用不同组织的电学特性，进行穴位定位。
虽然国内外学者采用各种信息技术对中医面部穴位的自动定位进行了探索，为取穴的自动化技术做出了贡献，但以上技术仍存在一些不足，其成果在应用推广上仍存在一定的限制和困难：(1)以面部特征的位置作为参考坐标的自动取穴技术当目标面部图像不规范时，会导致某些穴位定位准确率较低；(2)以信息融合算法获取面部穴位技术的自动取穴技术需用将采样脸型与数据库中的脸型进行匹配，若匹配失败则无法得到精确的穴位，且可识别的面部穴位较少；(3)以电生理实现的自动取穴技术虽然测量过程安全，快速，准确，但是对设备人员要求高，很难普及。
基于此，现有技术有待改进，寻找适合临床研究和日常保健的自动取穴技术，仍是目前亟待解决的问题，本方案由此产生。
发明内容
本发明的目的在于提供一种基于改进CycleGAN的面部穴位自动定位检测***及方法，克服上述缺陷，自动根据面部图像标定穴位，降低穴位标定难度，提高穴位标定准确度。
为达成上述目的，本发明的解决方案为：
一种基于改进CycleGAN的面部穴位自动定位检测***，包括：面部信息输入模块、穴位标定模块、输出模块；
所述面部信息输入模块，用以输入面部图像信息；
所述穴位标定模块包括循环生成对抗网络，所述循环生成对抗网络包括：用于将没有穴位标定图像转换为有穴位标定图像的生成器G、用于将有穴位标定图像转换为没有学位标定图像的生成器F，所述生成器G和生成器F均包括双通道串行注意力网络，所述双通道串行注意力网络由输入端到输出端依次包括用于Shearlet变换的Shearlet图像分解子网、高频通道或低频通道，所述高频通道和低频通道由输入端到输出端均依次包括编码器、CA注意力模块、SA注意力模块、解码器；所述循环生成对抗网络还包括用于判断没有穴位标定图像的判别器DA、用于判断有穴位标定图像的判别器DB，所述判别器DA与判别器DB包括用于获得不同分辨率有穴位标定图像和没有学位标定图像的Shuffle函数、对于不同分辨率有穴位标定图像和没有学位标定图像进行特征提取并融合降维后对结果进行输出的Sigmoid激活函数，从而循环生成对抗网络在训练收敛后将没有穴位标定图像转换为有穴位标定图像；
所述信息输出模块，输出有穴位标定面部图像信息。
一种基于改进CycleGAN的面部穴位自动定位检测方法，包括如下步骤：
S1、生成训练数据集，包括采集人体面部图像构成没有穴位标定图像数据集，在人体面部图像上标注穴位构成有穴位标定图像数据集；
S2、构件循环生成对抗网络模型，所述生成对抗网络模型通过输入训练数据集对循环生成对抗网络模型进行训练、收敛；
S3、穴位自动标定、输出，输入没有穴位标定图像数据集以外的没有穴位标定图像，通过训练后的循环生成对抗网络模型将没有穴位标定图像转换为对应有穴位标定图像，而后对有穴位标定图像进行输出，以自动根据输入的不同的没有穴位标定图像对应生成有穴位标定图像。
进一步，所述循环生成对抗网络模型包括生成器G、生成器F、判别器DA、判别器DB，步骤S2中的训练、收敛过程包括如下步骤：
由生成器G将没有穴位标定图像转换为有穴位标定生成图像，生成器F将有穴位标定生成图像转换为没有穴位标定循环图像；同时，由生成器F将有穴位标定图像转换为没有穴位标定生成图像，生成器G将没有穴位标定生成图像转换为有穴位标定循环图像；
然后，由判别器DA判定没有穴位标定生成图像和没有穴位标定循环图像是否为没有穴位标定图像；由判别器DB判定有穴位标定生成图像和有穴位标定循环图像是否为有穴位标定图像；
最后，利用梯度优化算法迭代优化。
进一步，所述生成器G和生成器F包括双通道串行注意力网络，所述双通道串行注意力网络包括shearlet图像分解子网、编码器、CA注意力模块、SA空间注意力模块、解码器，所述双通道串行注意力网络首先通过shearlet图像分解子网将输入生成器G或生成器F的面部图像信息分解为低频部分和高频部分，然后分别通过编码器提取特征，并进行卷积后依次通过CA注意力模块和SA空间注意力模块最终输入解码器形成生成图像。
进一步，所述CA注意力模块将特征进行最大池化和平均池化并求和，如下式所示：
CA(M)＝sigmoid(AvgPool(M)+MaxPool(M))；
其中M表示特征，AvgPool表示平均池化，MaxPool表示最大池化。
进一步，SA空间注意力模块对CA注意力模块进行卷积操作，如下式所示：
SA(M)＝sigmoid(f(CA(M)))；
其中f表示卷积操作。
进一步，所述判别器DA和判别器DB先通过shuffle操作把输入判别器DA和判别器DB的对应分辨率没有穴位标定图像、没有穴位标定生成图像、没有穴位标定循环图像、有穴位标定图像、有穴位标定生成图像、有穴位标定循环图像进行调整，以获得不同分辨率的输入图像，然后在各个不同分辨率的输入图像上进行特征提取，将各个不同分辨率的输入图像融合后的特征通过级联的卷积层进行通道降维，最后通过sigmoid激活函数获得输出结果。
进一步，所述判别器DA的损失函数为：
Figure BDA0003162576290000051
所述判别器DB的损失函数为：
Figure BDA0003162576290000052
所述生成器G和生成器F的损失函数之和表示为：
Figure BDA0003162576290000053
最终整个循环生成对抗网络的损失函数表示为：
L(G，F，DA，DB)＝LGAN(G，DB，X，Y)+LGAN(F，DA，Y，X)+λLcyc(G，F)；
式中F表示生成器F，G表示生成器G，DA表示判别器DA，DB表示判别器DB，y表示有穴位标定图像，x表示没有穴位标定图像，λ为可设定参数。
进一步，步骤S1中通过数码相机或手机前置摄像头采集人体面部图像，在人体面部图像上人工标注穴位构成有穴位标定图像。
采用上述方案后，本发明的有益效果在于：
(1)输入面部图像信息，通过训练后的循环生成对抗网络模型将没有穴位标定的面部图像转换为有穴位标定的面部图像，而后对图像进行输出；通过循环生成对抗网络根据患者的面部图像信息自动进行面部穴位的标注，降低了穴位标定难度，提高了穴位标定准确度，提升了学位标定过程的效率；
(2)生成器G和生成器F均包括双通道串行注意力网络，通过用于Shearlet变换的Shearlet图像分解子网，将图像分解为低频部分与高频部分，低频部分反映了图像的概貌信息，而图像细节信息主要集中在高频部分，低频部分进入低频通道，高频部分进入高频通道，高频通道和低频通道中分别引入注意力模块CA和空间注意力模块SA的串行结构，从而克服传统循环生成对抗网络中，由于卷积算子接受域是局部的，从而使表征能力存在局限性，提高网络对不同语义信息的敏感度，提高面部穴位定位准确率。
(3)所述判别器DA与判别器DB包括用于获得不同分辨率的图像Shuffle函数、特征提取并融合降维后对结果进行输出的Sigmoid激活函数，减小了判别器的图像接受范围，相较于传统循环生成对抗网络中的判别器，节省了时间成本与硬件资源，提高了判别器的判别能力。
附图说明
图1为本发明一种基于改进CycleGAN的面部穴位自动定位检测***的结构示意图；
图2为本发明循环生成对抗网络的处理流程示意图；
图3为生成器G和生成器F的结构示意图；
图4为判别器DA和判别器DB的结构示意图。
具体实施方式
以下结合附图及具体实施例对本发明做详细的说明。
本发明提供一种基于改进CycleGAN的面部穴位自动定位检测***，如图1所示，包括：面部信息输入模块、穴位标定模块、信息输出模块；
所述面部信息输入模块，用以输入面部图像信息，所述面部图像信息包括没有穴位标定图像和有穴位标定图像；
如图2、图3、图4所示，所述穴位标定模块包括循环生成对抗网络，所述循环生成对抗网络包括：用于将没有穴位标定图像转换为有穴位标定图像的生成器G、用于将有穴位标定图像转换为没有学位标定图像的生成器F，所述没有穴位标定图像为通过数码相机、摄像头等获得的人体面部图像，所述有穴位标定图像即在对应的没有穴位标定图像上，根据不同个体的面部特征进行过面部穴位位置标注的图像，所述生成器G和生成器F均包括双通道串行注意力网络，所述双通道串行注意力网络由输入端到输出端依次包括用于Shearlet变换的Shearlet图像分解子网、高频通道或低频通道，所述高频通道与低频通道并行，所述Shearlet变换的Shearlet图像分解子网将输入生成器G或生成器F的没有穴位标定图像或有穴位标定图像分解为低频部分和高频部分，低频部分反映图像的概貌信息，对应进入低频通道，高频部分反映图像的细节信息，对应进入高频通道，所述高频通道和低频通道由输入端到输出端均依次包括编码器、CA注意力模块、SA注意力模块、解码器，所述编码器通过卷积操作对应从高频部分或低频部分提取特征，CA注意力模块分别将特征进行最大池化和平均池化后求和，从而更多的保留图像的特征纹理和保留图像的背景信息，而后所述SA注意力模块对CA注意力模块处理后的特征进行卷积操作，并通过所述解码器生成图像；所述循环生成对抗网络还包括用于判断没有穴位标定图像的判别器DA、用于判断有穴位标定图像的判别器DB，所述判别器DA与判别器DB包括用于获得不同分辨率有穴位标定图像和没有学位标定图像的Shuffle函数、对于不同分辨率有穴位标定图像和没有学位标定图像进行特征提取并融合降维后对结果进行输出的Sigmoid激活函数，Shuffle函数对输入判别器DA或判别器DB的没有穴位标定生成图像或有穴位标定生成图像进行调整，以获得不同分辨率的输入图像，在各个分辨率输入图像上进行特征提取，并形成自上而下的融合模式，融合后的特征通过级联的卷积层进行通道降维，最后送入sigmoid激活函数中获得输出结果，减小了判别器接收的图像范围，提高了判别器的判别效果，从而循环生成对抗网络在训练收敛后将没有穴位标定的图像转换为有穴位标定的图像；
所述信息输出模块，输出具有穴位标定的面部图像信息。
本发明还包括一种基于改进CycleGAN的面部穴位自动定位检测方法，包括如下步骤：
S1、生成训练数据集，包括采集人体面部图像构成没有穴位标定图像数据集，在人体面部图像上标注穴位构成有穴位标定图像数据集；本实施例中，通过数码相机或手机前置摄像头采集人体面部图像，在人体面部图像上人工标注穴位构成有穴位标定图像，所述采集人体面部图像可以通过任意能抓取人体面部信息，形成数码图像的方式进行，不具体限定；
S2、构件循环生成对抗网络模型，所述循环生成对抗网络模型通过输入训练数据集对循环生成对抗网络模型进行训练、收敛；具体地，如图2所示，所述循环生成对抗网络模型包括生成器G、生成器F、判别器DA、判别器DB；
所述判别器DA的损失函数为：
Figure BDA0003162576290000081
所述判别器DB的损失函数为：
Figure BDA0003162576290000082
所述生成器G和生成器F的损失函数之和表示为：
Figure BDA0003162576290000083
最终整个循环生成对抗网络的损失函数表示为：
L(G，F，DA，DB)＝LGAN(G，DB，X，Y)+LGAN(F，DA，Y，x)+λLcyc(G，F)；
式中F表示生成器F，G表示生成器G，DA表示判别器DA，DB表示判别器DB，y表示有穴位标定图像，x表示没有穴位标定图像，λ为可设定参数；
继续参阅图2，训练、收敛过程包括如下步骤：由生成器G将没有穴位标定图像(real_A)转换为有穴位标定生成图像(fake_B)，通过生成器F将有穴位标定生成图像(fake_B)转换为没有穴位标定循环图像(cyc_A)；同时，由生成器F将有穴位标定图像(real_B)转换为没有穴位标定生成图像(fake_A)，生成器G将没有穴位标定生成图像(fake_A)转换为有穴位标定循环图像(cyc_B)；由判别器DA判定没有穴位标定生成图像(fake_A)和没有穴位标定循环图像(cyc_A)是否为没有穴位标定图像(real_A)；由判别器DB判定有穴位标定生成图像(fake_B)和有穴位标定循环图像(cyc_B)是否为有穴位标定图像(real_B)；然后利用梯度优化算法迭代优化，直至整个循环生成对抗网络的损失函数最小为止；
S3、穴位自动标定、输出，输入没有穴位标定图像数据集以外的没有穴位标定图像，通过训练后的循环生成对抗网络模型将没有穴位标定图像转换为对应有穴位标定图像，而后对有穴位标定图像进行输出，以自动根据输入的不同的没有穴位标定图像对应生成有穴位标定图像。
进一步地实施例，如图3所示，S2中所述生成器G和生成器F包括双通道串行注意力网络，所述双通道串行注意力网络包括shearlet图像分解子网、编码器、CA注意力模块、SA空间注意力模块、解码器，所述双通道串行注意力网络首先通过shearlet图像分解子网将输入生成器G或生成器F的面部图像信息分解为低频部分和高频部分，低频部分反映了图像的概貌信息，高频部分反映图像的细节信息，然后分别通过编码器提取特征，并进行卷积后依次通过CA注意力模块和SA空间注意力模块最终输入解码器形成生成图像，其中所述CA注意力模块为了更多的保留图像的特征纹理和背景信息，分别将特征进行最大池化和平均池化并求和，如下式所示：
CA(M)＝sigmoid(AvgPool(M)+MaxPool(M))；
其中M表示特征，AvgPool表示平均池化，MaxPool表示最大池化；
所述SA空间注意力模块作为CA注意力模块的补充，进一步对CA注意力模块进行卷积操作，如下式所示：
SA(M)＝sigmoid(f(CA(M)))；
其中f表示卷积操作。
如图4所示，所述判别器DA和判别器DB先通过shuffle操作把输入判别器DA和判别器DB的对应分辨率没有穴位标定图像、没有穴位标定生成图像、没有穴位标定循环图像、有穴位标定图像、有穴位标定生成图像、有穴位标定循环图像进行调整，以自下而上获得不同分辨率的输入图像，然后在各个不同分辨率的输入图像上进行特征提取，形成自上而下的融合模式，将各个不同分辨率的输入图像融合后的特征通过级联的卷积层进行通道降维，最后通过sigmoid激活函数获得输出结果，避免因判别器输入图像为整张图像，导致判别器接收的图像范围过大，造成图像生成时分辨率较低。
以上所述仅为本发明的较佳实施例，并非对本案设计的限制，凡依本案的设计关键所做的等同变化，均落入本案的保护范围。

Claims (9)

1.一种基于改进CycleGAN的面部穴位自动定位检测***，其特征在于，包括：面部信息输入模块、穴位标定模块、信息输出模块；
所述面部信息输入模块，用以输入面部图像信息；
所述穴位标定模块包括循环生成对抗网络，所述循环生成对抗网络包括：用于将没有穴位标定图像转换为有穴位标定图像的生成器G、用于将有穴位标定图像转换为没有学位标定图像的生成器F，所述生成器G和生成器F均包括双通道串行注意力网络，所述双通道串行注意力网络由输入端到输出端依次包括用于Shearlet变换的Shearlet图像分解子网、高频通道或低频通道，所述高频通道和低频通道由输入端到输出端均依次包括编码器、CA注意力模块、SA注意力模块、解码器；所述循环生成对抗网络还包括用于判断没有穴位标定图像的判别器DA、用于判断有穴位标定图像的判别器DB，所述判别器DA与判别器DB包括用于获得不同分辨率有穴位标定图像和没有学位标定图像的Shuffle函数、对于不同分辨率有穴位标定图像和没有学位标定图像进行特征提取并融合降维后对结果进行输出的Sigmoid激活函数，从而循环生成对抗网络在训练收敛后将没有穴位标定图像转换为有穴位标定图像；
所述信息输出模块，输出有穴位标定图像信息。
2.一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于，包括如下步骤：
S1、生成训练数据集，包括采集人体面部图像构成没有穴位标定图像数据集，在人体面部图像上标注穴位构成有穴位标定图像数据集；
S2、构件循环生成对抗网络模型，所述生成对抗网络模型通过输入训练数据集对循环生成对抗网络模型进行训练、收敛；
S3、穴位自动标定、输出，输入没有穴位标定图像数据集以外的没有穴位标定图像，通过训练后的循环生成对抗网络模型将没有穴位标定图像转换为对应有穴位标定图像，而后对有穴位标定图像进行输出，以自动根据输入的不同的没有穴位标定图像对应生成有穴位标定图像。
3.如权利要求2所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：所述循环生成对抗网络模型包括生成器G、生成器F、判别器DA、判别器DB，步骤S2中的训练、收敛过程包括如下步骤：
由生成器G将没有穴位标定图像转换为有穴位标定生成图像，生成器F将有穴位标定生成图像转换为没有穴位标定循环图像；同时，由生成器F将有穴位标定图像转换为没有穴位标定生成图像，生成器G将没有穴位标定生成图像转换为有穴位标定循环图像；
然后，由判别器DA判定没有穴位标定生成图像和没有穴位标定循环图像是否为没有穴位标定图像；由判别器DB判定有穴位标定生成图像和有穴位标定循环图像是否为有穴位标定图像；
最后，利用梯度优化算法迭代优化。
4.如权利要求3所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：所述生成器G和生成器F包括双通道串行注意力网络，所述双通道串行注意力网络包括shearlet图像分解子网、编码器、CA注意力模块、SA空间注意力模块、解码器，所述双通道串行注意力网络首先通过shearlet图像分解子网将输入生成器G或生成器F的面部图像信息分解为低频部分和高频部分，然后分别通过编码器提取特征，并进行卷积后依次通过CA注意力模块和SA空间注意力模块最终输入解码器形成生成图像。
5.如权利要求4所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：所述CA注意力模块将特征进行最大池化和平均池化并求和，如下式所示：
CA(M)＝sigmoid(AvgPool(M)+MaxPool(M))；
其中M表示特征，AvgPool表示平均池化，MaxPool表示最大池化。
6.如权利要求4所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：SA空间注意力模块对CA注意力模块进行卷积操作，如下式所示：
SA(M)＝sigmoid(f(cA(M)))；
其中f表示卷积操作。
7.如权利要求3所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：所述判别器DA和判别器DB先通过shuffle操作把输入判别器DA和判别器DB的对应分辨率没有穴位标定图像、没有穴位标定生成图像、没有穴位标定循环图像、有穴位标定图像、有穴位标定生成图像、有穴位标定循环图像进行调整，以获得不同分辨率的输入图像，然后在各个不同分辨率的输入图像上进行特征提取，将各个不同分辨率的输入图像融合后的特征通过级联的卷积层进行通道降维，最后通过sigmoid激活函数获得输出结果。
8.如权利要求3所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：
所述判别器DA的损失函数为：
Figure FDA0003162576280000031
所述判别器DB的损失函数为：
Figure FDA0003162576280000032
所述生成器G和生成器F的损失函数之和表示为：
Figure FDA0003162576280000033
最终整个循环生成对抗网络的损失函数表示为：
L(G，F，DA，DB)＝LGAN(G，DB，X，Y)+LGAN(F，DA，Y，X)+λLcyc(G，F)；
式中F表示生成器F，G表示生成器G，DA表示判别器DA，DB表示判别器DB，y表示有穴位标定图像，x表示没有穴位标定图像，λ为可设定参数。
9.如权利要求2所述一种基于改进CycleGAN的面部穴位自动定位检测方法，其特征在于：步骤S1中通过数码相机或手机前置摄像头采集人体面部图像，在人体面部图像上人工标注穴位构成有穴位标定图像。
CN202110803402.5A 2021-07-14 2021-07-14 一种基于改进CycleGAN的面部穴位自动定位检测***及方法 Active CN113537057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803402.5A CN113537057B (zh) 2021-07-14 2021-07-14 一种基于改进CycleGAN的面部穴位自动定位检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803402.5A CN113537057B (zh) 2021-07-14 2021-07-14 一种基于改进CycleGAN的面部穴位自动定位检测***及方法

Publications (2)

Publication Number Publication Date
CN113537057A true CN113537057A (zh) 2021-10-22
CN113537057B CN113537057B (zh) 2022-11-01

Family

ID=78128196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803402.5A Active CN113537057B (zh) 2021-07-14 2021-07-14 一种基于改进CycleGAN的面部穴位自动定位检测***及方法

Country Status (1)

Country Link
CN (1) CN113537057B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780250A (zh) * 2021-11-11 2021-12-10 四川大学 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN113990520A (zh) * 2021-11-05 2022-01-28 天津工业大学 一种基于可控生成对抗网络的中医药处方生成方法
CN116188816A (zh) * 2022-12-29 2023-05-30 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN117636446A (zh) * 2024-01-25 2024-03-01 江汉大学 脸部穴位定位方法、针灸方法、针灸机器人及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097885A1 (en) * 2013-10-08 2015-04-09 Seiko Epson Corporation Printing apparatus and method of controlling printing apparatus
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
US20190339688A1 (en) * 2016-05-09 2019-11-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN111222515A (zh) * 2020-01-06 2020-06-02 北方民族大学 一种基于上下文感知注意力的图像翻译方法
CN111382601A (zh) * 2018-12-28 2020-07-07 河南中原大数据研究院有限公司 生成对抗网络模型的光照人脸图像识别预处理***及方法
US20200364860A1 (en) * 2019-05-16 2020-11-19 Retrace Labs Artificial Intelligence Architecture For Identification Of Periodontal Features
CN112508083A (zh) * 2020-12-02 2021-03-16 南京邮电大学 基于无监督注意力机制的图像去雨雾方法
CN112926743A (zh) * 2019-12-05 2021-06-08 三星电子株式会社 计算设备，计算设备的操作方法及存储介质
CN113067653A (zh) * 2021-03-17 2021-07-02 北京邮电大学 一种频谱感知方法、装置、电子设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097885A1 (en) * 2013-10-08 2015-04-09 Seiko Epson Corporation Printing apparatus and method of controlling printing apparatus
US20190339688A1 (en) * 2016-05-09 2019-11-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN111382601A (zh) * 2018-12-28 2020-07-07 河南中原大数据研究院有限公司 生成对抗网络模型的光照人脸图像识别预处理***及方法
US20200364860A1 (en) * 2019-05-16 2020-11-19 Retrace Labs Artificial Intelligence Architecture For Identification Of Periodontal Features
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN112926743A (zh) * 2019-12-05 2021-06-08 三星电子株式会社 计算设备，计算设备的操作方法及存储介质
CN111222515A (zh) * 2020-01-06 2020-06-02 北方民族大学 一种基于上下文感知注意力的图像翻译方法
CN112508083A (zh) * 2020-12-02 2021-03-16 南京邮电大学 基于无监督注意力机制的图像去雨雾方法
CN113067653A (zh) * 2021-03-17 2021-07-02 北京邮电大学 一种频谱感知方法、装置、电子设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHUN ZHONG等: ""Camera Style Adaptation for Person Re-identification"", 《CVPR》, 31 December 2018 (2018-12-31), pages 5157 - 5166 *
林振峰等: ""基于条件生成式对抗网络的图像转换综述"", 《小微型计算机***》, 31 December 2020 (2020-12-31), pages 2569 - 2581 *
郭静: ""基于对抗性深度学习的图像处理算法研究"", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》, 15 March 2021 (2021-03-15), pages 138 - 568 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990520A (zh) * 2021-11-05 2022-01-28 天津工业大学 一种基于可控生成对抗网络的中医药处方生成方法
CN113990520B (zh) * 2021-11-05 2024-06-07 天津工业大学 一种基于可控生成对抗网络的中医药处方生成方法
CN113780250A (zh) * 2021-11-11 2021-12-10 四川大学 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN113780250B (zh) * 2021-11-11 2022-01-28 四川大学 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN116188816A (zh) * 2022-12-29 2023-05-30 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN116188816B (zh) * 2022-12-29 2024-05-28 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN117636446A (zh) * 2024-01-25 2024-03-01 江汉大学 脸部穴位定位方法、针灸方法、针灸机器人及存储介质
CN117636446B (zh) * 2024-01-25 2024-05-07 江汉大学 脸部穴位定位方法、针灸方法、针灸机器人及存储介质

Also Published As

Publication number Publication date
CN113537057B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN113537057B (zh) 一种基于改进CycleGAN的面部穴位自动定位检测***及方法
WO2019052063A1 (zh) 基于人工智能的医学影像分类处理***及方法
CN109859203B (zh) 基于深度学习的缺陷牙齿图像识别方法
CN107137225B (zh) 个性化头面部穴位识别模型建立、定位的方法和***
WO2018196371A1 (zh) 一种三维手指静脉识别方法及***
WO2019052062A1 (zh) 基于人工智能的医学影像报告生成***及方法
CN107016721A (zh) 人体三维模型的建模方法
CN104207931B (zh) 人脸面部穴位精准定位和针灸处方学习方法
CN110348375A (zh) 一种基于神经网络的手指静脉感兴趣区域检测方法
CN108154503A (zh) 一种基于图像处理的白癜风病情诊断***
CN111914925B (zh) 一种基于深度学习的患者行为多模态感知与分析***
CN105740779A (zh) 人脸活体检测的方法和装置
CN103984922B (zh) 一种基于稀疏表示和形状约束的人脸识别方法
CN109544606A (zh) 基于多个Kinect的快速自动配准方法及***
CN101828905B (zh) 中医色诊***
CN116189884B (zh) 一种基于面部视觉的多模态融合中医体质判别方法及***
CN109242011A (zh) 一种识别图像差异的方法及装置
CN114612532A (zh) 一种三维牙齿配准方法、***、计算机设备及存储介质
Bumacod et al. Image-processing-based digital goniometer using OpenCV
CN110338759A (zh) 一种正面疼痛表情数据采集方法
CN110477921B (zh) 基于骨架折线Ridge回归的身高测量方法
CN106447664A (zh) 确定匹配点对的方法及图像获取方法
CN111312363B (zh) 一种基于虚拟现实的双手协调性增强***
CN210250543U (zh) 一种人体穴位显示仪
Oliveira et al. Is kinect depth data accurate for the aesthetic evaluation after breast cancer surgeries?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant