CN110751605A - 一种图像处理方法、装置和电子设备及可读存储介质 - Google Patents

一种图像处理方法、装置和电子设备及可读存储介质 Download PDF

Info

Publication number
CN110751605A
CN110751605A CN201910983689.7A CN201910983689A CN110751605A CN 110751605 A CN110751605 A CN 110751605A CN 201910983689 A CN201910983689 A CN 201910983689A CN 110751605 A CN110751605 A CN 110751605A
Authority
CN
China
Prior art keywords
image
boundary
point
value
numerical value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910983689.7A
Other languages
English (en)
Other versions
CN110751605B (zh
Inventor
余力
冯能云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonoscape Medical Corp
Original Assignee
Sonoscape Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonoscape Medical Corp filed Critical Sonoscape Medical Corp
Priority to CN201910983689.7A priority Critical patent/CN110751605B/zh
Publication of CN110751605A publication Critical patent/CN110751605A/zh
Priority to PCT/CN2020/092220 priority patent/WO2021073101A1/zh
Application granted granted Critical
Publication of CN110751605B publication Critical patent/CN110751605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)

Abstract

本申请提供一种图像处理方法，包括：获取时序采样视频中的彩色内窥镜图像；提取彩色内窥镜图像中的边界区域图像，并根据边界区域图像确定边界点；利用边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息得到边界点的修复数值，其中，像素点信息包括贡献值、距离信息，梯度信息包括x方向梯度信息、y方向梯度信息；将所有的修复数值替换边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。本申请解决了由于体内器械或内脏移动造成的彩色边界的图像修复问题，图像更加直观清晰，便于医疗人员利用修复后图像进行观测。本申请同时还提供了图像处理装置、电子设备和计算机可读存储介质，均具有上述有益效果。

Description

一种图像处理方法、装置和电子设备及可读存储介质
技术领域
本申请涉及内窥镜技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
背景技术
时序采样是内窥镜领域的核心技术之一。通过时序采样得到的图像相比通过拜耳模板得到的图像具有更高的清晰度，且在染色模式下具有更高的亮度。但其由于成像模式造成的彩色边界却是一个有待解决的问题。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质，图像更加直观清晰，便于医疗人员利用修复后图像进行观测。其具体方案如下：
本申请提供一种图像处理方法，包括：
获取时序采样视频中的彩色内窥镜图像；
提取所述彩色内窥镜图像中的边界区域图像，并根据所述边界区域图像确定边界点；
利用所述边界点的预设区域范围内的像素点信息和根据所述边界点确定的梯度信息得到所述边界点的修复数值，其中，所述像素点信息包括贡献值、距离信息，所述梯度信息包括x方向梯度信息、y方向梯度信息；
将所有的所述修复数值替换所述边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
可选的，提取所述彩色内窥镜图像中的边界区域图像，并根据所述边界区域图像确定边界点，包括：
提取所述彩色内窥镜图像的彩色边界区域；
对所述彩色边界区域进行二值化和膨胀处理，得到所述边界区域图像；
判断所述边界区域图像中的像素点的灰度值是否为0；
若是，则确定灰度值为0的像素点为所述边界点。
可选的，提取所述彩色内窥镜图像的彩色边界区域，包括：
判断所述彩色内窥镜图像中的像素点的R分量是否大于G分量乘以第一预设倍数，或，判断所述彩色内窥镜图像中的像素点的R分量是否大于B分量乘以第二预设倍数；
若是，则将R分量是G分量的第一预设倍数的像素点或者R分量是B分量的第二预设倍数的像素点确定为边界区域点，得到由所有的所述边界区域点构成的所述彩色边界区域。
可选的，对所述彩色边界区域进行二值化和膨胀处理与所述得到所述边界区域图像之间，还包括：
进行腐蚀处理。
可选的，利用所述边界点的预设区域范围内的像素点信息和根据所述边界点确定的梯度信息得到所述边界点的修复数值，包括：
确定参考通道，得到由第一通道数值除以所述参考通道对应的参考通道数据得到的数据构成的第一图像，同时得到第二通道数值除以所述参考通道数据得到的数据构成的第二图像；
利用所有所述边界点的所述预设区域范围内的所述边界区域图像中的所述像素点信息和根据所述边界点确定的梯度信息，确定所述第一图像的第一数值和所述第二图像的第二数值；
将所述第一数值乘以所述参考通道对应的参考数值得到第一修复数值，并将所述第二数值乘以所述参考通道对应的参考数值得到第二修复数值，以便得到由所述参考数值、所述第一修复数值和所述第二修复数值构成的所述修复数值。
可选的，利用所有所述边界点的所述预设区域范围内的所述边界区域图像中的所述像素点信息和根据所述边界点确定的梯度信息，确定所述第一图像的第一数值和所述第二图像的第二数值，包括：
确定所述边界点的所述预设区域范围内的多个不需要修复点；
利用第一预设算法计算各个所述不需要修复点的贡献值；
基于各个所述不需要修复点的贡献值，根据第二预设算法确定所述边界点的数值，以便得到所述第一图像的所述第一数值和所述第二图像的所述第二数值；
所述第一预设算法是ω＝dir*abs(cosθ)，所述第二预设算法是
Figure BDA0002236021580000031
其中，
ω是不需要修复点的贡献值，Δx是不需要修复点与边界点间的x距离，Δy是不需要修复点与边界点间的y距离，gradx是x方向梯度信息，grady是y方向梯度信息，IKnow是不需要修复点在彩色内窥镜图像中的数值。
可选的，所述参考通道是G通道。
本申请提供一种图像处理装置，包括：
彩色内窥镜图像获取模块，用于获取时序采样视频中的彩色内窥镜图像；
边界点提取模块，用于提取所述彩色内窥镜图像中的边界区域图像，并根据所述边界区域图像确定边界点；
修复数值确定模块，用于利用所述边界点的预设区域范围内的像素点信息和根据所述边界点确定的梯度信息确定所述边界点的修复数值，其中，所述像素点信息包括贡献值、距离信息，所述梯度信息包括x方向梯度信息、y方向梯度信息；
修复模块，用于将所有的所述修复数值替换所述边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
可选的，所述边界点提取模块，包括：
彩色边界区域提取单元，用于提取所述彩色内窥镜图像的彩色边界区域；
边界区域图像获取单元，用于对所述彩色边界区域进行二值化和膨胀处理，得到所述边界区域图像；
判断单元，用于判断所述边界区域图像中的像素点的灰度值是否为0；
边界点确定单元，用于若是，则确定灰度值为0的像素点为所述边界点。
可选的，所述彩色边界区域提取单元，包括：
判断子单元，用于判断所述彩色内窥镜图像中的像素点的R分量是否大于G分量乘以第一预设倍数，或，判断所述彩色内窥镜图像中的像素点的R分量是否大于B分量乘以第二预设倍数；
彩色边界区域确定单元，用于若是，则将R分量是G分量的第一预设倍数的像素点或者R分量是B分量的第二预设倍数的像素点确定为边界区域点，得到由所有的所述边界区域点构成的所述彩色边界区域。
可选的，所述边界区域图像获取单元，还包括：
腐蚀子单元，用于进行腐蚀处理。
可选的，所述修复数值确定模块，包括：
第一图像与第二图像获得单元，用于确定参考通道，得到由第一通道数值除以所述参考通道对应的参考通道数据得到的数据构成的第一图像，同时得到第二通道数值除以所述参考通道数据得到的数据构成的第二图像；
第一数值与第二数值获得单元，用于利用所有所述边界点的所述预设区域范围内的所述边界区域图像中的所述像素点信息和根据所述边界点确定的梯度信息，确定所述第一图像的第一数值和所述第二图像的第二数值；
修复数值确定单元，用于将所述第一数值乘以所述参考通道对应的参考数值得到第一修复数值，并将所述第二数值乘以所述参考通道对应的参考数值得到第二修复数值，以便得到由所述参考数值、所述第一修复数值和所述第二修复数值构成的所述修复数值。
可选的，所述第一数值与第二数值获得单元，包括：
不需要修复点确定子单元，用于确定所述边界点的所述预设区域范围内的多个不需要修复点；
贡献值确定子单元，用于利用第一预设算法计算各个所述不需要修复点的贡献值；
第一数值与第二数值获得子单元，用于基于各个所述不需要修复点的贡献值，根据第二预设算法确定所述边界点的数值，以便得到所述第一图像的所述第一数值和所述第二图像的所述第二数值；
所述第一预设算法是ω＝dir*abs(cosθ)，所述第二预设算法是
Figure BDA0002236021580000051
其中，
Figure BDA0002236021580000052
ω是不需要修复点的贡献值，Δx是不需要修复点与边界点间的x距离，Δy是不需要修复点与边界点间的y距离，gradx是x方向梯度信息，grady是y方向梯度信息，IKnow是不需要修复点在彩色内窥镜图像中的数值。
本申请提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述图像处理方法的步骤。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像处理方法的步骤。
本申请提供一种图像处理方法，包括：获取时序采样视频中的彩色内窥镜图像；提取彩色内窥镜图像中的边界区域图像，并根据边界区域图像确定边界点；利用边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息得到边界点的修复数值，其中，像素点信息包括贡献值、距离信息，梯度信息包括x方向梯度信息、y方向梯度信息；将所有的修复数值替换边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
可见，本申请通过提取时序采样视频中的彩色内窥镜图像的边界区域图像，并确定边界点，根据边界点的预设区域范围内的像素点信息和边界点确定的梯度信息得到修复数值，以便将原始的彩色内窥镜图像中的边界点数值替换为修复数值，实现图像的修复，能够解决由于体内器械或者内脏移动造成的彩色边界的图像修复问题，图像更加直观清晰，便于医疗人员利用修复后图像进行观测。本申请同时还提供了一种图像处理装置、电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种图像处理方法的流程图；
图2为本申请实施例所提供的另一种图像处理方法中的提取彩色边界区域的流程图；
图3为本申请实施例所提供的另一种图像处理方法中的确定修复数值的流程图；
图4为本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种图像处理方法的流程图，具体包括：
S110、获取时序采样视频中的彩色内窥镜图像。
在内窥镜技术领域中，利用时序采样得到时序采样视频中的图像比通过拜耳模板得到的视频中的图像具有更高的清晰度，并且在染色模式下具有更高的亮度，但是在手术中由于体内器械或者内脏移动会产生彩色边界，不利于医疗人员进行观测，进而影响手术效果。基于此，本实施例提供一种图像处理方法，能够解决由于体内器械或者内脏移动造成的彩色边界的图像修复问题，图像更加直观清晰，便于医疗人员利用修复后图像进行观测。
S120、提取彩色内窥镜图像中的边界区域图像，并根据边界区域图像确定边界点。
本实施例不对提取边界区域图像的方式进行限定，只要是能够实现本实施例的目的即可，可以理解的是，边界区域图像中包括多个像素点，进而，根据边界区域图像确定边界点。本实施例不对边界点的确定方式进行限定，用户可自定义设置。
在一种可实现的实施方式中，请参考图2，图2为本申请实施例所提供的另一种图像处理方法中的提取彩色边界区域的流程图，具体的，提取彩色内窥镜图像中的边界区域图像，并根据边界区域图像确定边界点，包括：
S121、提取彩色内窥镜图像的彩色边界区域。
在一种可实现的实施方式中，提取彩色内窥镜图像的彩色边界区域，包括：
判断彩色内窥镜图像中的像素点的R分量是否大于G分量乘以第一预设倍数，或，判断彩色内窥镜图像中的像素点的R分量是否大于B分量乘以第二预设倍数；若是，则将R分量是G分量的第一预设倍数的像素点或者R分量是B分量的第二预设倍数的像素点确定为边界区域点，得到由所有的边界区域点构成的彩色边界区域。
可以理解的是，应用于内窥镜技术领域中，彩色内窥镜图像中，由于血红蛋白较多，因而红色较多造成R分量含量高。针对彩色内窥镜图像中的像素点来说，当R分量大于G分量乘以第一预设倍数时，证明该像素点是边界区域点，或者，当R分量大于B分量乘以第二预设倍数时，证明该像素点是边界区域点。此时，通过阈值的方式确定得到所有边界区域点，进一步得到由所有的边界区域点构成的彩色边界区域。
S122、对彩色边界区域进行二值化和膨胀处理，得到边界区域图像。
对彩色边界区域进行二值化处理，得到二值化图像即黑白图像，并对二值化图像进行膨胀处理。膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程，保证边界区域图像更加完整。
在一种可实现的实施方式中，对彩色边界区域进行二值化和膨胀处理与得到边界区域图像之间，还包括：进行腐蚀处理。腐蚀是一种消除边界点，使边界向内部收缩的过程，先腐蚀后膨胀的过程称为开运算。用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同一时候并不明显改变其面积。
S123、判断边界区域图像中的像素点的灰度值是否为0。
S124、若是，则确定灰度值为0的像素点为边界点。
其中，当边界区域图像中的像素点的灰度值是0时，证明该点是边界点。可以理解的是，边界区域图形包括黑色部分即像素值是255和白色部分像素值是0，像素值为0的点为边界点。通过这种方式确定边界点，效率更高。
S130、利用边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息得到边界点的修复数值。
其中，像素点信息包括贡献值、距离信息，梯度信息包括x方向梯度信息、y方向梯度信息。
本实施例不对预设区域范围进行限定，可以是5*5，可以是3*3，也可以是4*4，只要是能够实现本实施例的目的即可。
在一种可实现的实施方式中，请参考图3，图3为本申请实施例所提供的另一种图像处理方法中的确定修复数值的流程图，具体的，利用边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息得到边界点的修复数值，包括：
S131、确定参考通道，得到由第一通道数值除以参考通道对应的参考通道数据得到的数据构成的第一图像，同时得到第二通道数值除以参考通道数据得到的数据构成的第二图像。
本实施例不对参考通道进行限定，可以是R通道、G通道、B通道中的任意一个。其中，第一通道数值和第二通道数值均是彩色内窥镜图像中的对应的数据。当参考通道时R通道时，在一种可实现的实施方式中，第一通道是G通道，同时第二通道是B通道，第一图像是G通道数据除以R通道数据得到的数据构成的图像，第二图像是B通道数据除以R通道数据得到的数据构成的图像；在另一种可实现的实施方式中，第一通道是B通道，第二通道是G通道，第一图像是B通道数据除以R通道数据得到的数据构成的图像，第二图像是G通道数据除以R通道数据得到的数据构成的图像。当参考通道时G通道时，在一种可实现的实施方式中，第一通道是R通道，同时第二通道是B通道，第一图像是R通道数据除以G通道数据得到的数据构成的图像，第二图像是B通道数据除以G通道数据得到的数据构成的图像；在另一种可实现的实施方式中，第一通道是B通道，第二通道是R通道，第一图像是B通道数据除以G通道数据得到的数据构成的图像，第二图像是R通道数据除以G通道数据得到的数据构成的图像。当参考通道时B通道时，在一种可实现的实施方式中，第一通道是G通道，同时第二通道是R通道，第一图像是G通道数据除以B通道数据得到的数据构成的图像，第二图像是R通道数据除以B通道数据得到的数据构成的图像；在另一种可实现的实施方式中，第一通道是R通道，第二通道是G通道，第一图像是R通道数据除以B通道数据得到的数据构成的图像，第二图像是G通道数据除以B通道数据得到的数据构成的图像。优选地，参考通道是G通道。
S132、利用所有边界点的预设区域范围内的边界区域图像中的像素点信息和根据边界点确定的梯度信息，确定第一图像的第一数值和第二图像的第二数值。
在一种可实现的实施方式中，利用所有边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息，确定第一图像的第一数值和第二图像的第二数值，包括：确定边界点的预设区域范围内的多个不需要修复点；利用第一预设算法计算各个不需要修复点的贡献值；基于各个不需要修复点的贡献值，根据第二预设算法确定边界点的数值，以便得到第一图像的第一数值和第二图像的第二数值；第一预设算法是ω＝dir*abs(cosθ)，第二预设算法是
Figure BDA0002236021580000091
其中，
Figure BDA0002236021580000092
是不需要修复点的贡献值，Δx是不需要修复点与边界点间的x距离，Δy是不需要修复点与边界点间的y距离，gradx是x方向梯度信息，grady是y方向梯度信息，IKnow是不需要修复点在彩色内窥镜图像中的数值。
其中，不需要修复点是在预设区域范围内的除边界点之外的点，即在边界区域图像中，在边界点预设区域范围内的像素点的灰度值为255的像素点。利用第一预设算法计算各个不需要修复点的贡献值，基于该贡献值利用第二预设算法得到该边界点的数值，最终得到第一数值和第二数值。例如，当第一图像是R/G图像(R通道数据除以G通道数据得到的数据构成的图像)时，该图像中边界点b的预设区域范围内的的不需要修复点为b1、b2、b3，则针对b1来说，ω1＝dir1*abs(cosθ1)、
Figure BDA0002236021580000101
Figure BDA0002236021580000102
Figure BDA0002236021580000103
是b1与边界点间的x距离，
Figure BDA0002236021580000104
是b1与边界点间的y距离，IKnow1是b1在彩色内窥镜图像中的R数值；针对b2来说，ω2＝dir2*abs(cosθ2)、
Figure BDA0002236021580000105
Figure BDA0002236021580000106
Figure BDA0002236021580000107
是b2与边界点间的x距离，
Figure BDA0002236021580000108
是b2与边界点间的y距离，IKnow2是b2在彩色内窥镜图像中的R数值；针对b3来说，ω3＝dir3*abs(cosθ3)、
Figure BDA0002236021580000109
Figure BDA00022360215800001010
是b3与边界点间的x距离，
Figure BDA00022360215800001012
是b3与边界点间的y距离，IKnow3是b3在彩色内窥镜图像中的R数值；最终边界点b在第一图像中的数值为
Figure BDA00022360215800001013
将所有的边界点的图像进行上述处理，得到第一图像的所有边界点的数值，所有边界点的数值构成第一图像的第一数值，同理，得到第二图像的第二数值。
S133、将第一数值乘以参考通道对应的参考数值得到第一修复数值，并将第二数值乘以参考通道对应的参考数值得到第二修复数值，以便得到由参考数值、第一修复数值和第二修复数值构成的修复数值。
在一种可实现的实施方式中，当第一图像是R/G图像(R通道数据除以G通道数据得到的数据构成的图像)时，得到第一数值，此时所有的第一数值可以看成是R/G数值，乘以参考通道G通道对应的参考数值G，得到R修复数值即第一修复数值；当第二图像是B/G图像(R通道数据除以G通道数据得到的数据构成的图像)时，得到第二数值，此时所有的第二数值可以看成是B/G数值，乘以参考通道G通道对应的参考数值G，得到B修复数值即第二修复数值，最终，修复数值是包括R修复数值、参考数值G、B修复数值。
在另一种可实现的实施方式中，当第一图像是R/B图像(R通道数据除以B通道数据得到的数据构成的图像)时，得到第一数值，此时所有的第一数值可以看成是R/B数值，乘以参考通道B通道对应的参考数值B，得到R修复数值即第一修复数值；当第二图像是G/B图像(G通道数据除以B通道数据得到的数据构成的图像)时，得到第二数值，此时所有的第二数值可以看成是G/B数值，乘以参考通道B通道对应的参考数值B，得到G修复数值即第二修复数值，最终，修复数值是包括R修复数值、G修复数值、参考数值B。
在另一种可实现的实施方式中，当第一图像是G/R图像(G通道数据除以R通道数据得到的数据构成的图像)时，得到第一数值，此时所有的第一数值可以看成是G/R数值，乘以参考通道R通道对应的参考数值R，得到G修复数值即第一修复数值；当第二图像是B/R图像(B通道数据除以R通道数据得到的数据构成的图像)时，得到第二数值，此时所有的第二数值可以看成是B/R数值，乘以参考通道R通道对应的参考数值R，得到B修复数值即第二修复数值，最终，修复数值是包括参考数值R、G修复数值、B修复数值。
S140、将所有的修复数值替换边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
基于上述技术方案，本实施例通过提取时序采样视频中的彩色内窥镜图像的边界区域图像，并确定边界点，根据边界点的预设区域范围内的像素点信息和边界点确定的梯度信息得到修复数值，以便将原始的彩色内窥镜图像中的边界点数值替换为修复数值，实现图像的修复，能够解决由于体内器械或者内脏移动造成的彩色边界的图像修复问题，图像更加直观清晰，便于医疗人员利用修复后图像进行观测。
基于上述技术方案，本实施例提供一种具体的图像处理方法，包括：
1、获取时序采样视频中的彩色内窥镜图像。
2、判断彩色内窥镜图像中的像素点的R分量是否大于G分量乘以第一预设倍数，或，判断彩色内窥镜图像中的像素点的R分量是否大于B分量乘以第二预设倍数。
3、若是，则将R分量是G分量的第一预设倍数的像素点或者R分量是B分量的第二预设倍数的像素点确定为边界区域点，得到由所有的边界区域点构成的彩色边界区域。
4、对彩色边界区域进行二值化和膨胀处理，得到边界区域图像。
5、判断边界区域图像中的像素点的灰度值是否为0。
6、若是，则确定灰度值为0的像素点为边界点。
7、确定参考通道为G通道，得到由R通道数据除以G通道数据得到的数据构成的第一图像即R/G图像，同时得到B通道数据除以G通道数据得到的数据构成的第二图像即B/G图像。
8、确定边界点的预设区域范围内的多个不需要修复点。
9、利用第一预设算法计算各个不需要修复点的贡献值。第一预设算法是ω＝dir*abs(cosθ)，其中，
Figure BDA0002236021580000121
Figure BDA0002236021580000122
Δx是不需要修复点与边界点间的x距离，Δy是不需要修复点与边界点间的y距离，gradx是x方向梯度信息，grady是y方向梯度信息。
10、基于各个不需要修复点的贡献值，根据第二预设算法确定边界点的数值，以便得到R/G图像的R/G数值和B/G图像的B/G数值。
第二预设算法是ω是不需要修复点的贡献值，IKnow是不需要修复点在彩色内窥镜图像中的数值。
11、将R/G数值乘以G通道对应的G数值得到R修复数值，并将B/G数值乘以G通道对应的G数值得到B修复数值，以便得到由G数值、R修复数值和B修复数值构成的修复数值。
12、将所有的修复数值替换边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
下面对本申请实施例提供的一种图像处理装置进行介绍，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照，参考图4，图4为本申请实施例所提供的一种图像处理装置的结构示意图，包括：
彩色内窥镜图像获取模块100，用于获取时序采样视频中的彩色内窥镜图像；
边界点提取模块200，用于提取彩色内窥镜图像中的边界区域图像，并根据边界区域图像确定边界点；
修复数值确定模块300，用于利用边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息确定边界点的修复数值，其中，像素点信息包括贡献值、距离信息，梯度信息包括x方向梯度信息、y方向梯度信息；
修复模块400，用于将所有的修复数值替换边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
在一些具体的实施例中，边界点提取模块200，包括：
彩色边界区域提取单元，用于提取彩色内窥镜图像的彩色边界区域；
边界区域图像获取单元，用于对彩色边界区域进行二值化和膨胀处理，得到边界区域图像；
判断单元，用于判断边界区域图像中的像素点的灰度值是否为0；
边界点确定单元，用于若是，则确定灰度值为0的像素点为边界点。
在一些具体的实施例中，彩色边界区域提取单元，包括：
判断子单元，用于判断彩色内窥镜图像中的像素点的R分量是否大于G分量乘以第一预设倍数，或，判断彩色内窥镜图像中的像素点的R分量是否大于B分量乘以第二预设倍数；
彩色边界区域确定单元，用于若是，则将R分量是G分量的第一预设倍数的像素点或者R分量是B分量的第二预设倍数的像素点确定为边界区域点，得到由所有的边界区域点构成的彩色边界区域。
在一些具体的实施例中，边界区域图像获取单元，还包括：
腐蚀子单元，用于进行腐蚀处理。
在一些具体的实施例中，修复数值确定模块300，包括：
第一图像与第二图像获得单元，用于确定参考通道，得到由第一通道数值除以参考通道对应的参考通道数据得到的数据构成的第一图像，同时得到第二通道数值除以参考通道数据得到的数据构成的第二图像；
第一数值与第二数值获得单元，用于利用所有边界点的预设区域范围内的像素点信息和根据边界点确定的梯度信息，确定第一图像的第一数值和第二图像的第二数值；
修复数值确定单元，用于将第一数值乘以参考通道对应的参考数值得到第一修复数值，并将第二数值乘以参考通道对应的参考数值得到第二修复数值，以便得到由参考数值、第一修复数值和第二修复数值构成的修复数值。
在一些具体的实施例中，第一数值与第二数值获得单元，包括：
不需要修复点确定子单元，用于确定边界点的预设区域范围内的多个不需要修复点；
贡献值确定子单元，用于利用第一预设算法计算各个不需要修复点的贡献值；
第一数值与第二数值获得子单元，用于基于各个不需要修复点的贡献值，根据第二预设算法确定边界点的数值，以便得到第一图像的第一数值和第二图像的第二数值；
第一预设算法是ω＝dir*abs(cosθ)，第二预设算法是
Figure BDA0002236021580000141
其中，
Figure BDA0002236021580000142
ω是不需要修复点的贡献值，Δx是不需要修复点与边界点间的x距离，Δy是不需要修复点与边界点间的y距离，gradx是x方向梯度信息，grady是y方向梯度信息，IKnow是不需要修复点在彩色内窥镜图像中的数值。
由于图像处理装置部分的实施例与图像处理方法部分的实施例相互对应，因此图像处理装置部分的实施例请参见图像处理方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的图像处理方法可相互对应参照。
本实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述图像处理方法的步骤。
由于电子设备部分的实施例与图像处理方法部分的实施例相互对应，因此电子设备部分的实施例请参见图像处理方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的图像处理方法可相互对应参照。
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述图像处理方法的步骤。
由于计算机可读存储介质部分的实施例与图像处理方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见图像处理方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取时序采样视频中的彩色内窥镜图像；
提取所述彩色内窥镜图像中的边界区域图像，并根据所述边界区域图像确定边界点；
利用所述边界点的预设区域范围内的像素点信息和根据所述边界点确定的梯度信息得到所述边界点的修复数值，其中，所述像素点信息包括贡献值、距离信息，所述梯度信息包括x方向梯度信息、y方向梯度信息；
将所有的所述修复数值替换所述边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
2.根据权利要求1所述的图像处理方法，其特征在于，提取所述彩色内窥镜图像中的边界区域图像，并根据所述边界区域图像确定边界点，包括：
提取所述彩色内窥镜图像的彩色边界区域；
对所述彩色边界区域进行二值化和膨胀处理，得到所述边界区域图像；
判断所述边界区域图像中的像素点的灰度值是否为0；
若是，则确定灰度值为0的像素点为所述边界点。
3.根据权利要求2所述的图像处理方法，其特征在于，提取所述彩色内窥镜图像的彩色边界区域，包括：
判断所述彩色内窥镜图像中的像素点的R分量是否大于G分量乘以第一预设倍数，或，判断所述彩色内窥镜图像中的像素点的R分量是否大于B分量乘以第二预设倍数；
若是，则将R分量是G分量的第一预设倍数的像素点或者R分量是B分量的第二预设倍数的像素点确定为边界区域点，得到由所有的所述边界区域点构成的所述彩色边界区域。
4.根据权利要求2所述的图像处理方法，其特征在于，对所述彩色边界区域进行二值化和膨胀处理与所述得到所述边界区域图像之间，还包括：
进行腐蚀处理。
5.根据权利要求2所述的图像处理方法，其特征在于，利用所述边界点的预设区域范围内的像素点信息和根据所述边界点确定的梯度信息得到所述边界点的修复数值，包括：
确定参考通道，得到由第一通道数值除以所述参考通道对应的参考通道数据得到的数据构成的第一图像，同时得到第二通道数值除以所述参考通道数据得到的数据构成的第二图像；
利用所有所述边界点的所述预设区域范围内的所述边界区域图像中的所述像素点信息和根据所述边界点确定的梯度信息，确定所述第一图像的第一数值和所述第二图像的第二数值；
将所述第一数值乘以所述参考通道对应的参考数值得到第一修复数值，并将所述第二数值乘以所述参考通道对应的参考数值得到第二修复数值，以便得到由所述参考数值、所述第一修复数值和所述第二修复数值构成的所述修复数值。
6.根据权利要求5所述的图像处理方法，其特征在于，利用所有所述边界点的所述预设区域范围内的所述边界区域图像中的所述像素点信息和根据所述边界点确定的梯度信息，确定所述第一图像的第一数值和所述第二图像的第二数值，包括：
确定所述边界点的所述预设区域范围内的多个不需要修复点；
利用第一预设算法计算各个所述不需要修复点的贡献值；
基于各个所述不需要修复点的贡献值，根据第二预设算法确定所述边界点的数值，以便得到所述第一图像的所述第一数值和所述第二图像的所述第二数值；
所述第一预设算法是ω＝dir*abs(cosθ)，所述第二预设算法是
其中，
ω是不需要修复点的贡献值，Δx是不需要修复点与边界点间的x距离，Δy是不需要修复点与边界点间的y距离，gradx是x方向梯度信息，grady是y方向梯度信息，IKnow是不需要修复点在彩色内窥镜图像中的数值。
7.根据权利要求5所述的图像处理方法，其特征在于，所述参考通道是G通道。
8.一种图像处理装置，其特征在于，包括：
彩色内窥镜图像获取模块，用于获取时序采样视频中的彩色内窥镜图像；
边界点提取模块，用于提取所述彩色内窥镜图像中的边界区域图像，并根据所述边界区域图像确定边界点；
修复数值确定模块，用于利用所述边界点的预设区域范围内的像素点信息和根据所述边界点确定的梯度信息确定所述边界点的修复数值，其中，所述像素点信息包括贡献值、距离信息，所述梯度信息包括x方向梯度信息、y方向梯度信息；
修复模块，用于将所有的所述修复数值替换所述边界点的在彩色内窥镜图像中的数值，以便得到修复后图像。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法的步骤。
CN201910983689.7A 2019-10-16 2019-10-16 一种图像处理方法、装置和电子设备及可读存储介质 Active CN110751605B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910983689.7A CN110751605B (zh) 2019-10-16 2019-10-16 一种图像处理方法、装置和电子设备及可读存储介质
PCT/CN2020/092220 WO2021073101A1 (zh) 2019-10-16 2020-05-26 一种图像处理方法、装置和电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910983689.7A CN110751605B (zh) 2019-10-16 2019-10-16 一种图像处理方法、装置和电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110751605A true CN110751605A (zh) 2020-02-04
CN110751605B CN110751605B (zh) 2022-12-23

Family

ID=69278571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910983689.7A Active CN110751605B (zh) 2019-10-16 2019-10-16 一种图像处理方法、装置和电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN110751605B (zh)
WO (1) WO2021073101A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288718A (zh) * 2020-10-29 2021-01-29 推想医疗科技股份有限公司 图像处理方法及装置，电子设备及计算机可读存储介质
CN112561830A (zh) * 2020-12-23 2021-03-26 安徽大学 一种内窥镜图像高亮点修复方法及装置
WO2021073101A1 (zh) * 2019-10-16 2021-04-22 深圳开立生物医疗科技股份有限公司 一种图像处理方法、装置和电子设备及可读存储介质
CN113132705A (zh) * 2021-04-20 2021-07-16 Oppo广东移动通信有限公司 图像色边的校正方法、校正装置、电子设备及存储介质
WO2023093693A1 (zh) * 2021-11-23 2023-06-01 上海微觅医疗器械有限公司 医疗工具检测方法、***、计算机设备和存储介质
CN116309160A (zh) * 2023-03-10 2023-06-23 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012076B (zh) * 2021-04-27 2023-06-23 广东工业大学 一种基于邻近像素点和自编码器的敦煌壁画修复方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783861A (zh) * 2010-02-09 2010-07-21 腾讯科技（深圳）有限公司 一种美化图像的方法和装置
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN105957027A (zh) * 2016-04-22 2016-09-21 西南石油大学 一种基于所需方向结构特征统计的mrf样图像修复方法
CN107146229A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 基于元胞自动机模型的结肠息肉图像分割方法
CN108830780A (zh) * 2018-05-09 2018-11-16 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN109903322A (zh) * 2019-01-24 2019-06-18 江苏大学 一种深度摄像头深度图像修复方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194179A1 (ja) * 2015-06-03 2016-12-08 オリンパス株式会社 撮像装置、内視鏡装置及び撮像方法
CN110751605B (zh) * 2019-10-16 2022-12-23 深圳开立生物医疗科技股份有限公司 一种图像处理方法、装置和电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783861A (zh) * 2010-02-09 2010-07-21 腾讯科技（深圳）有限公司 一种美化图像的方法和装置
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN105957027A (zh) * 2016-04-22 2016-09-21 西南石油大学 一种基于所需方向结构特征统计的mrf样图像修复方法
CN107146229A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 基于元胞自动机模型的结肠息肉图像分割方法
CN108830780A (zh) * 2018-05-09 2018-11-16 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN109903322A (zh) * 2019-01-24 2019-06-18 江苏大学 一种深度摄像头深度图像修复方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073101A1 (zh) * 2019-10-16 2021-04-22 深圳开立生物医疗科技股份有限公司 一种图像处理方法、装置和电子设备及可读存储介质
CN112288718A (zh) * 2020-10-29 2021-01-29 推想医疗科技股份有限公司 图像处理方法及装置，电子设备及计算机可读存储介质
CN112561830A (zh) * 2020-12-23 2021-03-26 安徽大学 一种内窥镜图像高亮点修复方法及装置
CN112561830B (zh) * 2020-12-23 2022-11-18 安徽大学 一种内窥镜图像高亮点修复方法及装置
CN113132705A (zh) * 2021-04-20 2021-07-16 Oppo广东移动通信有限公司 图像色边的校正方法、校正装置、电子设备及存储介质
WO2023093693A1 (zh) * 2021-11-23 2023-06-01 上海微觅医疗器械有限公司 医疗工具检测方法、***、计算机设备和存储介质
CN116309160A (zh) * 2023-03-10 2023-06-23 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质
CN116309160B (zh) * 2023-03-10 2024-04-12 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021073101A1 (zh) 2021-04-22
CN110751605B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN110751605B (zh) 一种图像处理方法、装置和电子设备及可读存储介质
US20220237811A1 (en) Method for Testing Skin Texture, Method for Classifying Skin Texture and Device for Testing Skin Texture
EP2188779B1 (en) Extraction method of tongue region using graph-based approach and geometric properties
JP4891637B2 (ja) 画像解析装置
JP5094036B2 (ja) 内視鏡挿入方向検出装置
JP5871325B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
WO2013187206A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断***
CN108294728A (zh) 伤口状态分析方法与***
CN108615045B (zh) 筛选胶囊内镜拍摄的图像的方法、装置及设备
CN110855889A (zh) 图像处理方法、装置、图像处理设备及存储介质
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
JP7075773B2 (ja) 画像処理装置、顕微鏡システム、画像処理方法および画像処理プログラム
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
CN115797276A (zh) 用于内窥镜的病灶图像处理方法、装置、电子设备及介质
JP2018171516A (ja) 画像処理方法、診断装置、並びにプログラム
CN113496470B (zh) 一种图像处理方法、装置、电子设备及存储介质
Tie-Rui et al. The research of X-ray bone fracture image enhancement algorithms
WO2021009804A1 (ja) 閾値の学習方法
CN111563839A (zh) 眼底图像转换方法及设备
CN110140150B (zh) 一种图像处理方法、装置以及终端设备
CN113221909B (zh) 图像处理方法、装置及计算机可读存储介质
CN114418920B (zh) 一种内窥镜多焦点图像融合方法
CN117974475B (zh) 四维超声内镜观测下病灶影像融合方法及***
JP6662246B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant