CN116311234A - 一种基于深度学习的***质量评估方法 - Google Patents

一种基于深度学习的***质量评估方法 Download PDF

Info

Publication number
CN116311234A
CN116311234A CN202310021210.8A CN202310021210A CN116311234A CN 116311234 A CN116311234 A CN 116311234A CN 202310021210 A CN202310021210 A CN 202310021210A CN 116311234 A CN116311234 A CN 116311234A
Authority
CN
China
Prior art keywords
network
training
sperm
deep learning
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310021210.8A
Other languages
English (en)
Inventor
张崇明
虞汐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN202310021210.8A priority Critical patent/CN116311234A/zh
Publication of CN116311234A publication Critical patent/CN116311234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及***质量评估技术领域，且公开了一种基于深度学习的***质量评估方法，包括以下操作步骤：S1、预处理数据集、选取85名18岁或以上男性参与者的数据，数据包含了每个参与者的活的***样本的视频，将数据集的60％用于训练，20％作为验证集，20％作为测试集，对训练集视频进行预处理，截取连续的9帧作为一次样本输入。该基于深度学习的***质量评估方法，使用轻量化的MobileNet对***视频直接进行视频信息提取，并且对卷积神经网络进行改进，加入除了视频信息以为的其他数据，增加网络预测的准确性，使用前后端分离的Web端部署神经网络，解决预测的效率问题，使得整个***更好操作，更好的展示预测结果。

Description

一种基于深度学习的***质量评估方法
技术领域
本发明涉及***质量评估技术领域，具体为一种基于深度学习的***质量评估方法。
背景技术
男性的生育能力取决于***浓度，***运动的方向及其形态(***头部的形状和尾巴的大小)，基于这些生育因素，***的运动分析对于确定男性生育能力非常重要，如更准确地检测和跟踪***，或者直接对***动态视频进行视频信息提取，从而更准确地诊断***症问题，分析***的最常见方法是通过专家通过显微镜观察***并报告它们的运动质量、数量和形态，这很困难，除了手动方式，计算机辅助***分析(CASA)***也被用于***分析，在过去的几十年里，CASA***得到了很大的改进，现在性能更快、更准确比人工观察，CASA***使用不同的算法从***的图像或视频样本，检测***的数量、形态，尤其是运动能力，CASA***主要使用经典的图像处理算法，成本高且精度不够，对样本的纯净度要求很高，在过去的几年里，深度学习已经成为计算机视觉领域的最新技术，人们开始将深度学习人工智能算法应用于***目标检测与追踪，从而达到检测***活性与运动指标的目的，一般步骤都是第一步通过深度学习算法检测***细胞的静态坐标位置，第二部使用各种滤波器跟踪***细胞，最后使用运动距离和时间计算细胞运动的速度。
80年代和90年代开始有一些关于***追踪的早期研究，在一项研究中，提出了一种单***跟踪算法，该算法通过以下方式跟踪***：在它们周围创建一个区域，并使用修改后的四类阈值，然后执行碰撞后分析以确定图像中跟踪的***，这种方法还使用速度检查功能来跟踪靠近他***或颗粒的***，还有一项研究旨在开发一种用于固定活动的***的机器人***(为了临床注射，人工授精)跟踪单个***的头部，该研究提出了另一种使用改进的高斯混合滤波器(GM-PHD)的方法，同时跟踪多个***，还有研究使用高斯算子的拉普拉斯算子来检测***的头部，然后，用粒子和卡尔曼滤波器的组合跟踪运动的***，过去几十年中关于***追踪的大多数工作都是基于单***追踪，当***相互碰撞时，效果不佳，会发送跟踪对象错误，或跟丢的情况，从而对后续***运动指标的计算产生误差，尽管近年来也有对多***跟踪进行的研究，但其中许多研究都只在一个小数据集上进行了评估，研究只停留在算法的精度改进上，没有应用到实际的***样本指标检测中，随着人工智能算法的普及与应用，有研究提出了自动检测和跟踪***的方法，通过应用词袋方法和SVM分类在视频的第一帧中执行检测，然后通过使用平均移位方法，检测到的***将在其他帧中跟踪，虽然这项研究取得了不错的结果，但它的缺点是使用了小的树数据集，模型泛化能力不足，在中密度或高密度细胞的样品中效果不佳，故而提出一种基于深度学习的***质量评估方法来解决上述所提出的问题。
发明内容
(一)解决的技术问题
本发明的目的是为了解决上述的问题，而提出的一种基于深度学习的***质量评估方法。
(二)技术方案
本发明解决上述技术问题的技术方案如下：
一种基于深度学习的***质量评估方法，包括以下操作步骤：
S1、预处理数据集、选取85名18岁或以上男性参与者的数据，数据包含了每个参与者的活的***样本的视频，将数据集的60％用于训练，20％作为验证集，20％作为测试集，对训练集视频进行预处理，截取连续的9帧作为一次样本输入；
S2、训练改进的卷积神经网络、使用轻量化卷积网络MobileNet作为主干网络，在最后的全连接层串联加入***中几种脂肪酸的水平，磷脂脂肪酸的血清水平，之后使用改进的轻量化卷积网络对输入的连续图像帧进行信息提取，前向传播计算损失函数，反向传播使用梯度下降法调整卷积神经网络的参数，使损失函数的结果下降，当损失函数的在训练集和验证集上的计算结果趋于稳定，微调学***稳，使用测试集测试网络训练的结果，并且给出评价卷积神经网络的评价指标；
S3、样本推理、包含前端设计和后端设计，前端设计为两个网页，分别为加载视频界面和结果展示界面，后端设计为将训练好的深度学习网络，以及训练好的权重参数打包，写入后端框架，加载任意的***样本视频，调用训练好的卷积神经网络，预测***的运动活性指标以及***的形态指标，传递到前端页面。
在上述技术方案的基础上，本发明还可以做如下改进。
优选地，所述在步骤S1中其中的数据集还包括参与者***中几种脂肪酸的水平，磷脂脂肪酸的血清水平，与者血液中测量的性激素血清水平，参与者的年龄，禁欲时间和体重指数。
优选地，所述在步骤S1中该数据集包含超过35GB的视频，每个视频持续两到七分钟，帧速率为每秒50帧，数据集有专业的医疗机构制作整理，具有效性。
优选地，所述在训练过程中的参数设置为：对训练集输入的视频图像进行预处理，调整为224×224×3大小，取连续的9帧图像作为改进的轻量化网络的输入，之后将输入的***图像随机反转并且裁剪为16×112×112，以实现空间和时间抖动，选用Adam作为优化器完成，0.0001为初始学习率为，当损失函数结果不再下降学习率除以2，预先在UCF101经典动作分类数据集进行预训练。
优选地，所述卷积神经网络参数设置为：整个网络有28层，首先是一个3x3的标准卷积，然后堆积深度卷积模块，深度卷积模块有两种，bottleneck_1是步长为1的深度卷积模块，不改变特征图的大小，bottleneck_2是步长为2的深度卷积模块，将输入的特征图下采样，减小输入的特征图的长与宽，网络由多个深度可分离卷积模块堆叠，提取视频图像的时间与空间信息，然后采用平均卷积层将特征图变成1x1，然后连接全连接层，将除视频信息以外的医学健康信息：脂肪酸的水平，磷脂脂肪酸的血清水平，血液中性激素血清水平，样本的年龄，禁欲时间和体重指数这些参数归一化，堆叠在全连接层，最后用softmax层输出预测结果。
(三)有益效果
与现有技术相比，本申请的技术方案具有以下有益技术效果：
本发明直接使用轻量化的MobileNet对***视频直接进行视频信息提取，并且对卷积神经网络进行改进，加入除了视频信息以为的其他数据，增加网络预测的准确性，使用前后端分离的Web端部署神经网络，解决预测的效率问题，使得整个***更好操作，更好的展示预测结果。
附图说明
图1为本发明一种基于深度学习的***质量评估方法流程框图；
图2为本发明一种基于深度学习的***质量评估方法的与此***或许形态指标框图；
图3为本发明一种基于深度学习的***质量评估方法的前向传播计算损失函数；
图4为本发明一种基于深度学习的***质量评估方法的卷积神经网络的评价指标。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例中，由图1-4给出，一种基于深度学习的***质量评估方法，包括以下操作步骤：
S1、预处理数据集、选取85名18岁或以上男性参与者的数据，数据包含了每个参与者的活的***样本的视频，将数据集的60％用于训练，20％作为验证集，20％作为测试集，对训练集视频进行预处理，截取连续的9帧作为一次样本输入，数据集还包括参与者***中几种脂肪酸的水平，磷脂脂肪酸的血清水平，与者血液中测量的性激素血清水平，参与者的年龄，禁欲时间和体重指数，该数据集包含超过35GB的视频，每个视频持续两到七分钟，帧速率为每秒50帧，数据集有专业的医疗机构制作整理，具有效性；
S2、训练改进的卷积神经网络、使用轻量化卷积网络MobileNet作为主干网络，在最后的全连接层串联加入***中几种脂肪酸的水平，磷脂脂肪酸的血清水平，之后使用改进的轻量化卷积网络对输入的连续图像帧进行信息提取，前向传播计算损失函数，反向传播使用梯度下降法调整卷积神经网络的参数，使损失函数的结果下降，当损失函数的在训练集和验证集上的计算结果趋于稳定，微调学***稳，使用测试集测试网络训练的结果，并且给出评价卷积神经网络的评价指标；
S3、样本推理、包含前端设计和后端设计，前端设计为两个网页，分别为加载视频界面和结果展示界面，后端设计为将训练好的深度学习网络，以及训练好的权重参数打包，写入后端框架，加载任意的***样本视频，调用训练好的卷积神经网络，预测***的运动活性指标以及***的形态指标，传递到前端页面。
在训练过程中的参数设置为：对训练集输入的视频图像进行预处理，调整为224×224×3大小，取连续的9帧图像作为改进的轻量化网络的输入，之后将输入的***图像随机反转并且裁剪为16×112×112，以实现空间和时间抖动，选用Adam作为优化器完成，0.0001为初始学习率为，当损失函数结果不再下降学习率除以2，预先在UCF101经典动作分类数据集进行预训练
卷积神经网络参数设置为：整个网络有28层，首先是一个3x3的标准卷积，然后堆积深度卷积模块，深度卷积模块有两种，bottleneck_1是步长为1的深度卷积模块，不改变特征图的大小，bottleneck_2是步长为2的深度卷积模块，将输入的特征图下采样，减小输入的特征图的长与宽，网络由多个深度可分离卷积模块堆叠，提取视频图像的时间与空间信息，然后采用平均卷积层将特征图变成1x1，然后连接全连接层，将除视频信息以外的医学健康信息：脂肪酸的水平，磷脂脂肪酸的血清水平，血液中性激素血清水平，样本的年龄，禁欲时间和体重指数这些参数归一化，堆叠在全连接层，最后用softmax层输出预测结果。
预期效果：本发明提出使用一种改进的轻量化卷积神经网络，预测***中的***的运动参数和形态参数，改进点：将视频信息以外的医学健康参数归一化处理，以特征值的方式叠加在卷积神经网络最后一层，提高了网络预测的准确性，提高了模型的泛化能力。解决从***样本视频中预测形态和运动的这种新的回归问题。并使用前端：html、css、js，后端：python、flask等技术将训练好的卷积神经网络部署到Web端，实现端到端的视频信息预测，使得预测过程更简洁，成本更低廉，结果更好展示。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于深度学习的***质量评估方法，其特征在于，包括以下操作步骤：
S1、预处理数据集、选取85名18岁或以上男性参与者的数据，数据包含了每个参与者的活的***样本的视频，将数据集的60％用于训练，20％作为验证集，20％作为测试集，对训练集视频进行预处理，截取连续的9帧作为一次样本输入；
S2、训练改进的卷积神经网络、使用轻量化卷积网络MobileNet作为主干网络，在最后的全连接层串联加入***中几种脂肪酸的水平，磷脂脂肪酸的血清水平，之后使用改进的轻量化卷积网络对输入的连续图像帧进行信息提取，前向传播计算损失函数，反向传播使用梯度下降法调整卷积神经网络的参数，使损失函数的结果下降，当损失函数的在训练集和验证集上的计算结果趋于稳定，微调学***稳，使用测试集测试网络训练的结果，并且给出评价卷积神经网络的评价指标；
S3、样本推理、包含前端设计和后端设计，前端设计为两个网页，分别为加载视频界面和结果展示界面，后端设计为将训练好的深度学习网络，以及训练好的权重参数打包，写入后端框架，加载任意的***样本视频，调用训练好的卷积神经网络，预测***的运动活性指标以及***的形态指标，传递到前端页面。
2.根据权利要求1所述的一种基于深度学***，磷脂脂肪酸的血清水平，与者血液中测量的性激素血清水平，参与者的年龄，禁欲时间和体重指数。
3.根据权利要求1所述的一种基于深度学习的***质量评估方法，其特征在于，所述在步骤S1中该数据集包含超过35GB的视频，每个视频持续两到七分钟，帧速率为每秒50帧，数据集有专业的医疗机构制作整理，具有效性。
4.根据权利要求1所述的一种基于深度学习的***质量评估方法，其特征在于，所述在训练过程中的参数设置为：对训练集输入的视频图像进行预处理，调整为224×224×3大小，取连续的9帧图像作为改进的轻量化网络的输入，之后将输入的***图像随机反转并且裁剪为16×112×112，以实现空间和时间抖动，选用Adam作为优化器完成，0.0001为初始学习率为，当损失函数结果不再下降学习率除以2，预先在UCF101经典动作分类数据集进行预训练。
5.根据权利要求1所述的一种基于深度学***均卷积层将特征图变成1x1，然后连接全连接层，将除视频信息以外的医学健康信息：脂肪酸的水平，磷脂脂肪酸的血清水平，血液中性激素血清水平，样本的年龄，禁欲时间和体重指数这些参数归一化，堆叠在全连接层，最后用softmax层输出预测结果。
CN202310021210.8A 2023-01-07 2023-01-07 一种基于深度学习的***质量评估方法 Pending CN116311234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310021210.8A CN116311234A (zh) 2023-01-07 2023-01-07 一种基于深度学习的***质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310021210.8A CN116311234A (zh) 2023-01-07 2023-01-07 一种基于深度学习的***质量评估方法

Publications (1)

Publication Number Publication Date
CN116311234A true CN116311234A (zh) 2023-06-23

Family

ID=86787739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310021210.8A Pending CN116311234A (zh) 2023-01-07 2023-01-07 一种基于深度学习的***质量评估方法

Country Status (1)

Country Link
CN (1) CN116311234A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114749A (zh) * 2023-10-16 2023-11-24 吉林省农业科学院(中国农业科技东北创新中心) 一种智能化猪冷冻***管理方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114749A (zh) * 2023-10-16 2023-11-24 吉林省农业科学院(中国农业科技东北创新中心) 一种智能化猪冷冻***管理方法及***
CN117114749B (zh) * 2023-10-16 2024-01-12 吉林省农业科学院(中国农业科技东北创新中心) 一种智能化猪冷冻***管理方法及***

Similar Documents

Publication Publication Date Title
US10881382B2 (en) Method and system for determining quality of semen sample
CN109544512A (zh) 一种基于多模态的胚胎妊娠结果预测装置
CN110648303B (zh) 眼底图像分析方法、计算机设备和存储介质
JP2021507367A (ja) 胚の生存率を推定するためのシステムおよび方法
CN110236483B (zh) 一种基于深度残差网络的糖尿病性视网膜病变检测的方法
CN110363218B (zh) 一种胚胎无创评估方法及装置
CN109102515A (zh) 一种基于多列深浅卷积神经网络的细胞计数方法
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
CN116311234A (zh) 一种基于深度学习的***质量评估方法
Ferlaino et al. Towards deep cellular phenotyping in placental histology
CN113435355A (zh) 多目标奶牛身份识别方法及***
CN111680575A (zh) 一种人类上皮细胞染色分类装置、设备及存储介质
Aristoteles et al. Identification of human sperm based on morphology using the you only look once version 4 algorithm
CN116863388A (zh) 一种基于神经网络的***活力确定方法及***
Leopold et al. Segmentation and feature extraction of retinal vascular morphology
Srivastava et al. Unsupervised deep learning based longitudinal follicular growth tracking during IVF cycle using 3D transvaginal ultrasound in assisted reproduction
Gunawan Automated detection of human blastocyst quality using convolutional neural network and edge detector
Mashaal et al. Classification of human sperms using ResNet-50 deep neural network
CN114330484A (zh) 弱监督学习糖尿病视网膜病变分级与病灶识别方法及***
CN113888318A (zh) 风险检测方法及***
CN113537375A (zh) 一种基于多尺度级联的糖尿病视网膜病变分级方法
Liu et al. Study on Pig Body Condition Scoring Based on Deep Learning Model EfficientNet-B0
Diyasa et al. Abnormality Determination of Spermatozoa Motility Using Gaussian Mixture Model and Matching-based Algorithm
Lockhart et al. Human embryo cell centroid localization and counting in time-lapse sequences
CN113256609B (zh) 一种基于改进型Unet的CT图脑出血自动检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination