CN116721175B - 一种图像显示方法、图像显示装置以及胶囊内窥镜*** - Google Patents
一种图像显示方法、图像显示装置以及胶囊内窥镜*** Download PDFInfo
- Publication number
- CN116721175B CN116721175B CN202310993367.7A CN202310993367A CN116721175B CN 116721175 B CN116721175 B CN 116721175B CN 202310993367 A CN202310993367 A CN 202310993367A CN 116721175 B CN116721175 B CN 116721175B
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- tissue
- value
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000002775 capsule Substances 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 500
- 239000003086 colorant Substances 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims description 119
- 230000003902 lesion Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims 1
- 210000002784 stomach Anatomy 0.000 description 19
- 210000000813 small intestine Anatomy 0.000 description 8
- 238000000338 in vitro Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000001035 gastrointestinal tract Anatomy 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 210000002429 large intestine Anatomy 0.000 description 4
- 210000002318 cardia Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002183 duodenal effect Effects 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- GPRLSGONYQIRFK-UHFFFAOYSA-N hydron Chemical compound [H+] GPRLSGONYQIRFK-UHFFFAOYSA-N 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000002255 anal canal Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 210000003767 ileocecal valve Anatomy 0.000 description 1
- 210000003405 ileum Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001630 jejunum Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 210000001187 pylorus Anatomy 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像显示方法、图像显示装置以及胶囊内窥镜***,所述图像显示方法包括:在部位位置信息检测步骤中检测出检测图像归属的第一组织部位及其对应的第一组织区域,在部位位置颜色信息检测步骤中根据检测图像归属的第一组织部位及其对应的第一组织区域计算得到所述检测图像的部位位置颜色信息,最后在部位位置颜色显示控制步骤中使与所述检测图像的部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条。本发明提供的图像显示方法获取的部位颜色条,简单易实现,检索和查阅检测图像的准确性高、速度快、效率高,易识别出不同的组织部位。
Description
技术领域
本发明涉及医疗设备成像领域,尤其涉及一种图像显示方法、图像显示装置以及胶囊内窥镜***。
背景技术
在医疗设备成像领域,图像显示装置应用广泛,比如胶囊内窥镜就是一种可以将拍摄到的图像传输到终端进行图像显示的医疗设备,胶囊内窥镜将摄像头、无线传输天线和传感器等核心器件集成于一个可被人体吞咽的胶囊内,在进行检查过程中,胶囊内窥镜通常利用各种传感器记录体内的各种特征。比如,CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)传感器记录消化道影像特征,pH(hydrogen ionconcentration,氢离子浓度指数)值传感器记录消化道的pH值,温度传感器记录消化道的温度等,在胶囊内窥镜记录的这些特征中,消化道影像特征是医生作出诊断的最主要依据。
内窥镜在体内采集不同组织区域或不同组织部位的图像并同步传送到体外,再根据获得的图像数据进行医疗检查,但是大量的内窥镜图像给医生带来了图像阅片的不便。在现有技术中,一般通过使用内窥镜图像的平均颜色值生成颜色滚动条,再通过控制颜色滚动条来检索和显示内窥镜图像。
以上通过图像的平均颜色值生成颜色滚动条存在两个层面的问题:一是使用平均颜色值生成的颜色滚动条并没有考虑图像之间的明暗区别,也没有办法排除人体组织区域内的食物残渣或其他异物引起的干扰,导致生成的颜色滚动条存在较大偏差;二是通过平均颜色值生成的颜色滚动条,不能区分某些组织部位,比如小肠和结肠,它们的颜色都偏黄,采用平均颜色生成的颜色条很难区分出这两个组织部位,从而影响阅片过程中对组织部位的检索和显示,准确性低、误差大、体验效果差。
发明内容
本发明的目的之一在于提供一种图像显示方法,以解决现有技术中颜色滚动条无法精准地区分人体组织区域中不同组织部位的技术问题。
本发明的目的之一在于提供一种图像显示装置。
本发明的目的之一在于提供一种胶囊内窥镜***。
为了实现上述发明目的之一,本发明提供一种图像显示方法,包括:
输入步骤,输入由胶囊内窥镜按时间序列拍摄的检测图像;
刻度轴显示控制步骤,进行控制,使对刻度轴进行显示,并对能够在所述刻度轴上移动的标尺进行显示,其中,所述刻度轴表示由前述输入步骤输入的按时间序列拍摄的检测图像的整个摄像期间;
图像显示控制步骤,进行控制,使所述刻度轴上的所述标尺的移动与显示在图像显示单元上的图像的切换进行联动,将与所述标尺的位置对应的摄像时刻的检测图像显示在图像显示单元上;
部位位置信息检测步骤,将由所述输入步骤输入的所述检测图像分别输入到部位位置图像识别模型中进行组织部位信息检测,所述组织部位信息包括所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值以及第一组织部位归属的第一组织区域;
部位位置颜色信息检测步骤,根据所述部位位置信息检测步骤检测出的所述检测图像的组织部位信息,计算得到所述检测图像的部位位置颜色信息;
部位位置颜色显示控制步骤,进行控制,使与由所述部位位置颜色信息检测步骤计算出的所述检测图像的部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条;
分段位置信息检测步骤,将由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域;
分段位置颜色信息检测步骤,根据所述分段位置信息检测步骤输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息;
分段位置颜色显示控制步骤,进行控制,使与由所述分段位置颜色信息检测步骤设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条。
作为本发明一实施方式的进一步改进,所述部位颜色条形成在所述刻度轴的上方,所述分段颜色条形成在所述刻度轴的下方。
作为本发明一实施方式的进一步改进,所述部位位置信息检测步骤具体包括:
将所述输入步骤输入的所述检测图像输入到部位位置图像识别模型中,计算得到所述检测图像归属于任一组织部位的若干概率值;遍历筛选所述若干概率值,以其中最高的概率值作为所述第一概率值,并以所述第一概率值/>对应的组织部位作为所述检测图像归属的所述第一组织部位。
作为本发明一实施方式的进一步改进,所述部位位置信息检测步骤具体包括:
将所述检测图像归属的所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述检测图像归属的第一组织区域。
作为本发明一实施方式的进一步改进,根据所述部位位置颜色信息检测步骤计算得到的所述检测图像的部位位置颜色信息包括亮度值、色调值/>和饱和度值/>;
其中,所述检测图像对应的所述亮度值的计算步骤包括:
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始亮度值;
根据所述检测图像对应的亮度分布系数和所述第一概率值/>,计算得到所述检测图像对应的附加亮度值/>,所述检测图像对应的所述附加亮度值/>;
根据所述检测图像对应的所述初始亮度值和所述附加亮度值/>计算得到所述检测图像对应的所述亮度值/>,所述检测图像对应的所述亮度值/>;
其中,所述检测图像对应的色调值的计算步骤包括:
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始色调值;
根据所述检测图像对应的所述初始色调值计算得到所述检测图像对应的所述色调值/>,所述检测图像对应的所述色调值/>;
其中,所述检测图像对应的所述饱和度值的计算步骤包括:
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始饱和度值;
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的位置系数;
根据所述检测图像归属的所述第一组织部位,确定所述检测图像对应的饱和度分布值;
根据所述检测图像对应的所述位置系数和所述饱和度分布值/>,计算得到所述检测图像对应的附加饱和度值/>,所述检测图像对应的所述附加饱和度值/>;
根据所述检测图像对应的所述初始饱和度值和所述附加饱和度值/>计算得到所述检测图像对应的所述饱和度值/>,所述检测图像对应的所述饱和度值/>。
作为本发明一实施方式的进一步改进,同一组织区域内拍摄的所有检测图像对应的初始亮度值、初始色调值/>、初始饱和度值/>、位置系数/>相同;所有检测图像对应的亮度分布系数/>相同;同一组织部位内拍摄的所有检测图像对应的饱和度分布值/>相同。
作为本发明一实施方式的进一步改进,所述分段位置信息检测步骤具体包括:
获取由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位;
根据所述第一组织部位,采用分段位置图像识别模型计算所述第一组织部位的分段临界点;
根据所述分段临界点,将所述检测图像归属的第一组织部位进行分段,得到所述检测图像归属的分段区域。
作为本发明一实施方式的进一步改进,所述图像显示方法还包括:
病灶信息检测步骤,将由所述输入步骤输入的所述检测图像分别输入到图像病灶识别模型中进行病灶信息检测,所述病灶信息包括所述检测图像中是否存在病灶区域;
标记点显示控制步骤,进行控制,对由所述病灶信息检测步骤检测出的存在病灶区域的检测图像,分别在所述刻度轴上时间对应的位置上显示标记点。
作为本发明一实施方式的进一步改进,所述病灶信息检测步骤具体包括:
将由所述输入步骤输入的所述检测图像分别输入到图像病灶识别模型中,得到所述检测图像中是否存在病灶区域的第二概率值;比较所述检测图像的所述第二概率值是否在预设概率范围内;若是,则检测出所述检测图像中存在病灶区域。
作为本发明一实施方式的进一步改进,所述标记点形成在所述分段颜色条的下方。
为实现上述发明目的之一,本发明一实施方式提供一种图像显示装置,包括:
输入单元,输入由胶囊内窥镜按时间序列拍摄的检测图像;
刻度轴显示控制单元,进行控制,使对刻度轴进行显示,并对能够在所述刻度轴上移动的标尺进行显示,其中,所述刻度轴表示由所述输入单元输入的按时间序列拍摄的检测图像的整个摄像期间;
图像显示控制单元,进行控制,使与所述刻度轴上的所述标尺的移动与显示在图像显示单元中的检测图像的切换同步联动,将与所述标尺的位置对应的摄像时刻的检测图像显示在图像显示单元上;
部位位置信息检测单元,将由所述输入单元输入的所述检测图像分别输入到部位位置图像识别模型中进行组织部位信息检测,所述组织部位信息包括所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值以及第一组织部位对应的第一组织区域;
部位位置颜色信息检测单元,根据所述部位位置信息检测单元检测出的所述检测图像的组织部位信息,计算得到所述检测图像的部位位置颜色信息;
部位位置颜色显示控制单元,进行控制,使与由所述部位位置颜色信息检测单元计算出的所述检测图像的所述部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条;
分段位置信息检测单元,将由所述部位位置信息检测单元输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域;
分段位置颜色信息检测单元,根据所述分段位置信息检测单元输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息;
分段位置颜色显示控制单元,进行控制,使与由所述分段位置颜色信息检测单元设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条。
作为本发明一实施方式的进一步改进,所述部位颜色条形成在所述刻度轴的上方,所述分段颜色条形成在所述刻度轴的下方。
作为本发明一实施方式的进一步改进,所述部位位置信息检测单元包括第一组织部位检测单元,所述第一组织部位检测单元可将所述输入单元输入的所述检测图像输入到部位位置图像识别模型中,计算得到所述检测图像归属于任一组织部位的若干概率值;所述第一组织部位检测单元遍历筛选所述若干概率值,以其中最高的概率值作为所述第一概率值,并以所述第一概率值/>对应的组织部位作为所述检测图像归属的所述第一组织部位。
作为本发明一实施方式的进一步改进,所述部位位置信息检测单元包括第一组织区域检测单元,所述第一组织区域检测单元可将所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述检测图像归属的所述第一组织区域。
作为本发明一实施方式的进一步改进,所述检测图像的部位位置颜色信息包括亮度值、色调值/>和饱和度值/>,所述部位位置颜色信息检测单元包括亮度值检测单元、色调值检测单元、饱和度值检测单元;
所述亮度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始亮度值;所述亮度值检测单元根据所述检测图像对应的亮度分布系数/>和所述部位位置信息检测单元检测出的所述检测图像的所述第一概率值/>,计算得到所述检测图像对应的附加亮度值/>,所述检测图像对应的所述附加亮度值/>;所述亮度值检测单元根据所述检测图像对应的所述初始亮度值/>和所述附加亮度值/>计算得到所述检测图像对应的所述亮度值/>,所述检测图像对应的所述亮度值/>;
所述色调值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始色调值;所述色调值检测单元根据所述检测图像对应的所述初始色调值/>计算得到所述检测图像对应的所述色调值/>,所述检测图像对应的所述色调值/>;
所述饱和度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始饱和度值;所述饱和度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的位置系数/>;所述饱和度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织部位,确定所述检测图像对应的饱和度分布值/>;所述饱和度值检测单元根据所述检测图像对应的所述位置系数/>和所述饱和度分布值/>,计算得到所述检测图像对应的附加饱和度值/>,所述检测图像对应的所述附加饱和度值/>;所述饱和度值检测单元根据所述检测图像对应的所述初始饱和度值/>和所述附加饱和度值/>计算得到所述检测图像对应的所述饱和度值/>,所述检测图像对应的所述饱和度值/>。
作为本发明一实施方式的进一步改进,其特征在于,同一组织区域内拍摄的所有检测图像对应的初始亮度值、初始色调值/>、初始饱和度值/>、位置系数/>相同;所有检测图像对应的亮度分布系数/>相同;同一组织部位内拍摄的所有检测图像对应的饱和度分布值/>相同。
作为本发明一实施方式的进一步改进,所述分段位置信息检测单元获取由所述部位位置信息检测单元输出的所述检测图像归属的第一组织部位;所述分段位置信息检测单元根据所述第一组织部位,采用分段位置图像识别模型计算所述第一组织部位的分段临界点;所述分段位置信息检测单元根据所述分段临界点,将所述检测图像归属的第一组织部位进行划分,得到所述检测图像归属的分段区域。
作为本发明一实施方式的进一步改进,所述图像显示装置还包括:
病灶信息检测单元,将由所述输入单元输入的所述检测图像分别输入到图像病灶识别模型中进行病灶信息检测,所述病灶信息包括所述检测图像中是否存在病灶区域;
标记点显示控制单元,进行控制,对由所述病灶信息检测单元检测出的存在病灶区域的检测图像,分别在所述刻度轴上时间对应的位置上显示标记点。
作为本发明一实施方式的进一步改进,所述病灶信息检测单元将由所述输入单元输入的所述检测图像分别输入到图像病灶识别模型中,得到所述检测图像中是否存在病灶区域的第二概率值;比较所述检测图像的所述第二概率值是否在预设概率范围内;若是,则检测出所述检测图像中存在病灶区域。
作为本发明一实施方式的进一步改进,所述标记点形成在所述分段颜色条的下方。
为了实现上述发明目的之一,本发明提供一种胶囊内窥镜***,包括:
胶囊内窥镜、数据接收终端以及如前所述的图像显示装置。
与现有技术相比,本发明实施例具有如下至少一种有益效果:
本发明采用的图像显示方法,在部位位置信息检测步骤中检测出所述检测图像在人体内的拍摄位置所在的组织部位以及对应的组织区域,接着在部位位置颜色信息检测步骤中根据部位位置信息检测步骤中检测出的所述组织部位以及对应的组织区域计算出所述检测图像对应的部位位置颜色信息,最后将所述部位位置颜色信息对应的颜色显示在刻度轴上时间对应的位置上,形成部位颜色条,实现了将所述检测图像在人体内的拍摄位置所在的组织部位以部位颜色条的形式显示出来,从而医生可以直接通过辨识部位颜色条上的颜色来知晓所述检测图像在人体内的拍摄位置所在的组织部位,本发明中的部位颜色条,简单易实现,检索和查阅检测图像的准确性高、速度快、效率高,易识别出不同的组织部位。
附图说明
图1是本发明一实施方式中图像显示方法的步骤示意图。
图2是本发明一实施方式中图像显示方法的步骤S4的具体步骤示意图。
图3是本发明一实施方式中图像显示方法的步骤S5的第一实施例的部分步骤示意图。
图4是本发明一实施方式中图像显示方法的步骤S5的第二实施例的部分步骤示意图。
图5是本发明一实施方式中图像显示方法的步骤S5的第三实施例的部分步骤示意图。
图6是本发明一实施方式中图像显示方法的步骤S7的具体步骤示意图。
图7是本发明一实施方式中胶囊内窥镜***的结构示意图。
图8是本发明一实施方式中图像显示装置的结构示意图。
图9是本发明一实施方式中播放操作单元的结构示意图。
图10是本发明一实施方式中颜色滚动条单元的结构示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
需要说明的是,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外,术语“第一”、“第二”、“第三”、等仅用于描述目的,而不能理解为指示或暗示相对重要性。
在医疗设备成像领域,人体不同组织区域的影像特征是医生做出诊断的最主要依据,通常,所述影像特征可通过胶囊内窥镜按照时序拍摄获得,而一次拍摄的图像可能多达到上万张,为了便于医生快速有效地检索和查阅图像,需对所述拍摄得到的大量图像进行处理。
基于此,本发明一实施方式提供一种图像显示方法,如图1所示,所述方法可以包括:
步骤S1,输入步骤,输入由胶囊内窥镜按时间序列拍摄的检测图像;
步骤S2,刻度轴显示控制步骤,进行控制,使对刻度轴进行显示,并对能够在所述刻度轴上移动的标尺进行显示,其中,所述刻度轴表示由前述输入步骤输入的按时间序列拍摄的检测图像的整个摄像期间;
步骤S3,图像显示控制步骤,进行控制,使所述刻度轴上的所述标尺的移动与显示在图像显示单元上的图像的切换进行联动,将与所述标尺的位置对应的摄像时刻的检测图像显示在图像显示单元上;
步骤S4,部位位置信息检测步骤,将由所述输入步骤输入的所述检测图像分别输入到部位位置图像识别模型中进行组织部位信息检测,所述组织部位信息包括所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值以及第一组织部位归属的第一组织区域;
步骤S5,部位位置颜色信息检测步骤,根据所述部位位置信息检测步骤检测出的所述检测图像的组织部位信息,计算得到所述检测图像的部位位置颜色信息;
步骤S6,部位位置颜色显示控制步骤,进行控制,使与由所述部位位置颜色信息检测步骤计算出的所述检测图像的所述部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条;
步骤S7,分段位置信息检测步骤,将由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域;
步骤S8,分段位置颜色信息检测步骤,根据所述分段位置信息检测步骤输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息;
步骤S9,分段位置颜色显示控制步骤,进行控制,使与由所述分段位置颜色信息检测步骤设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条。
如此,通过控制部位颜色条和/或分段颜色条与检测图像的联动关系,可快速精准地定位到不同组织部位和/或分段区域,简单易实现。
进一步的,所述部位颜色条形成在所述刻度轴的上方,所述分段颜色条形成在所述刻度轴的下方。
如图2所示,在一种实施方式中,所述部位位置信息检测步骤(对应步骤S4)可具体包括下述步骤:
步骤S41,检测得到所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值;
步骤S42,根据所述检测图像归属的第一组织部位得到所述检测图像归属的第一组织区域。
如此,计算过程简单易实现,通过分析识别模型,根据概率值确定检测图像所归属的组织部位,能快速、直观地检索到对应的检测图像,操作简单,方便医生随时检索和查阅。
其中,对于所述第一组织区域和所述第一组织部位,并非特指人体组织结构的某个组织区域和某个组织部位,所述第一组织区域还可指体外区域。具体而言,所述第一组织区域为体外区域、食道区域、胃部区域、小肠区域和大肠区域其中之一。在所述第一组织区域为体外区域时,所述第一组织部位为体外和口腔其中之一;在所述第一组织区域为食道区域时,所述第一组织部位为食道和齿状线其中之一;在所述第一组织区域为胃部区域时,所述第一组织部位为胃底、贲门、胃体前后壁、胃小弯、胃大弯、胃角、胃角前后壁、胃窦、胃窦小弯、幽门、胃窦未张开其中之一;在所述第一组织区域为小肠区域时,所述第一组织部位为十二指肠球部、十二指肠降部、小肠、空肠、回肠其中之一;在所述第一组织区域为大肠区域时,所述第一组织部位为回盲瓣、阑尾开口、结肠、直肠、肛管其中之一。
综上所述,所述组织区域为5个,每个所述组织区域都有一个与其对应的ID标识,通过所述ID标识/>可唯一确定对应的组织区域,其中,/>的取值范围为/>,例如,当/>时,对应的所述组织区域为体外区域。所述组织部位为25个,每个所述组织部位都有一个与其对应的ID标识/>,通过所述ID标识/>可唯一确定对应的组织部位,其中,/>的取值范围是,例如,当/>时,对应的所述组织部位为体外。
如此,对人体组织结构进行区域划分和部位划分,可方便医生预先快速定位至组织区域,缩短检索时间;再进一步准确定位至组织部位,以保证用户在进行图像检索和查阅时,兼顾时效性和准确性,有利于提高工作效率。
对于所述步骤S41,可具体包括:将所述输入步骤输入的所述检测图像输入到部位位置图像识别模型中,计算得到所述检测图像归属于任一组织部位的若干概率值;遍历筛选所述若干概率值,以其中最高的概率值作为所述第一概率值,并以所述第一概率值/>对应的组织部位作为所述检测图像归属的所述第一组织部位。
其中,所述第一概率值范围为/>,其中,/>为人体所有组织区域中所有组织部位的部位个数。优选地,将所述组织部位划分为25时,即/>为25,所述第一概率值/>在范围之间。
如此,在步骤S41中,通过部位位置图像识别模型计算出检测图像归属于任一组织部位的若干概率值,并以所述若干概率值中的最高概率值对应的组织部位作为所述检测图像的第一组织部位,这样确定的检测图像在人体内拍摄位置对应的组织部位准确率高、可靠程度高。
对于所述步骤S42,可具体包括:
将所述检测图像归属的所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述检测图像归属的第一组织区域。例如,检测得到所述第一组织部位为胃角时,将所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述第一组织区域为胃部区域。
对于所述步骤S5,所述检测图像的部位位置颜色信息包括亮度值、色调值/>和饱和度值/>。
其中,如图3所示,在第一实施例中,所述检测图像对应的所述亮度值的计算步骤包括:
步骤S511,根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始亮度值;
步骤S512,根据所述检测图像对应的亮度分布系数和所述第一概率值/>,计算得到所述检测图像对应的附加亮度值/>,所述检测图像对应的所述附加亮度值/>;
步骤S513,根据所述检测图像对应的所述初始亮度值和所述附加亮度值/>计算得到所述检测图像对应的所述亮度值/>,所述检测图像对应的所述亮度值/>。
其中,如图4所示,在第二实施例中,所述检测图像对应的色调值的计算步骤包括:
步骤S521,根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始色调值;
步骤S522,根据所述检测图像对应的所述初始色调值计算得到所述检测图像对应的所述色调值/>,所述检测图像对应的所述色调值/>。
其中,如图5所示,在第三实施例中,所述检测图像对应的所述饱和度值的计算步骤包括:
步骤S531,根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始饱和度值;
步骤S532,根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的位置系数;
步骤S533,根据所述检测图像归属的所述第一组织部位,确定所述检测图像对应的饱和度分布值;
步骤S534,根据所述检测图像对应的所述位置系数和所述饱和度分布值/>,计算得到所述检测图像对应的附加饱和度值/>,所述检测图像对应的所述附加饱和度值;
步骤S535,根据所述检测图像对应的所述初始饱和度值和所述附加饱和度值/>计算得到所述检测图像对应的所述饱和度值/>,所述检测图像对应的所述饱和度值。
对应地,可用以下公式(1)、公式(2)和公式(3)来表达上述步骤S5中所述检测图像的部位位置颜色信息的计算过程:
其中,同一组织区域内拍摄的所有检测图像对应的初始亮度值、初始色调值/>、初始饱和度值/>、位置系数/>相同;所有检测图像对应的亮度分布系数/>相同;同一组织部位内拍摄的所有检测图像对应的饱和度分布值/>相同。
为了方便医生区分、识别步骤S6中形成的部位颜色条上的各个组织部位对应的颜色,以下为一种优选的实施例中各参数的取值设置:
所述组织区域的ID标识的取值范围为/>,所述组织部位的ID标识/>的取值范围是/>,亮度分布系数/>取值为/>;
当时,即所述组织区域为体外区域,/>取0或1,/>设为0.5,/>和/>设为0,/>设为0.02,饱和度分布值/>设为/>,也即,
当时,即所述组织区域为食道区域,/>取2或3,/>设为0.75,/>设为15,/>设为0.35,/>设为0.1,饱和度分布值/>设为/>,也即,
当时,即所述组织区域为胃部区域,/>取4至14,/>设为0.65,/>设为5,/>设为0.26,/>设为0.02,饱和度分布值/>设为/>,也即,
当时,即所述组织区域为小肠区域,/>取15至19,/>设为0.75,/>设为50,/>设为0.35,/>设为0.03,饱和度分布值/>设为/>,也即,
/>
当时,即所述组织区域为大肠区域,/>取20至24,/>设为0.55,/>设为30,/>设为0.6,/>设为0.02,饱和度分布值/>设为/>,也即,
如此,由于不同组织区域内的检测图像设置的初始色调值不同,不同组织区域内的检测图像计算得到的色调值/>不同,同时,由于同一组织区域内不同组织部位内的检测图像设置的饱和度分布值/>不同,同一组织区域内不同组织部位内的检测图像计算得到的饱和度值/>不同,从而方便医生区分、识别步骤S6中形成的部位颜色条上的同一个组织区域内不同组织部位内的检测图像对应的颜色,从而步骤S6中形成的部位颜色条形象直观、辨识度高、误差小、效率高。
对于步骤S6,部位位置颜色显示控制步骤,进行控制,使与由所述部位位置颜色信息检测步骤计算出的所述检测图像的所述部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条。
如此,首先在步骤S4中检测出所述检测图像在人体内的拍摄位置所在的组织部位以及对应的组织区域,接着在步骤S5中根据步骤S4中检测出的所述组织部位以及对应的组织区域计算出所述检测图像对应的部位位置颜色信息(包括亮度值、色调值/>和饱和度值),最后将所述部位位置颜色信息对应的颜色显示在刻度轴上时间对应的位置上,形成部位颜色条,实现了将所述检测图像在人体内的拍摄位置所在的组织部位以部位颜色条的形式显示出来,从而医生可以直接通过辨识部位颜色条上的颜色来知晓所述检测图像在人体内的拍摄位置所在的组织部位,本发明中的部位颜色条,简单易实现,检索和查阅检测图像的准确性高、速度快、效率高,易识别出不同的组织部位。
需说明地,同一个组织区域可对应多个不同的组织部位,为了准确快速地在刻度轴上定位到归属于某个组织部位对应的检测图像,优选地,可先在刻度轴上定位到所述组织部位对应的分段区域。
为此,所述图像显示方法还包括步骤S7,分段位置信息检测步骤,对由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域。
如图6所示,所述分段位置信息检测步骤(步骤S7)具体可以包括:
步骤S71,获取由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位;
步骤S72,根据所述第一组织部位,采用分段位置图像识别模型计算所述第一组织部位的分段临界点;
步骤S73,根据所述分段临界点,将所述检测图像归属的第一组织部位进行分段,得到所述检测图像归属的分段区域。
具体地,将输入步骤输入的检测图像输入至部位位置图像识别模型进行图像识别,假设得到第一组织部位识别结果为{A,A,…,A,B,B,…,B,C,…,C},接着将该第一组织部位识别结果输入至分段位置图像识别模型,分段位置图像识别模型通过统计分布规律,分析其位置分布情况,确定分段区域的分界点分别是最后一次出现A、B和C的位置,对所述第一组织部位进行分段,得到所述检测图像归属的分段区域。
如此,基于第一组织部位的识别结果进行划界分段,得到分段区域,方便医生查看和分析。
进一步地,还可通过所述分段位置颜色检测步骤(对应步骤S8)、分段位置颜色显示控制步骤(对应步骤S9),构建对应于不同分段区域的分段颜色条。
具体地,所述步骤S8包括:分段位置颜色信息检测步骤,根据所述分段位置信息检测步骤输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息。
所述步骤S9包括:分段位置颜色显示控制步骤,进行控制,使与由所述分段位置颜色信息检测步骤设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条。
优选地,对应于所述分段区域的分段位置颜色信息是预先设置好的,即在所述分段颜色条上的颜色以及颜色顺序是固定的,区别只是在于针对不同的患者进行的胶囊内窥镜体检所显示的分段颜色条上的各个颜色之间的分界点所在的位置可能不同。
优选地,可以将所述预先设置好的对应于所述分段区域的分段位置颜色信息作为所述第一组织区域的所述初始亮度值、初始色调值/>、初始饱和度值/>。例如,可预先设置分段颜色条上胃部区域的颜色为蓝色,将该蓝色的亮度值、色调值、饱和度值作为所述第一组织区域的所述初始亮度值/>、初始色调值/>、初始饱和度值/>,计算得到的胃底、贲门等胃部组织部位对应的部位颜色条的颜色为淡蓝色、深蓝色等接近蓝色的颜色,这样部位颜色条与分段颜色条在刻度轴上相同位置上对应的颜色是相近的,以方便医生在阅片时将部位颜色条与分段颜色条进行对照查阅分析。
因此,医生在进行阅片时想要快速的定位到组织部位A内的检测图像时,可先根据分段颜色条上的不同颜色定位到该组织部位A对应的分段区域B,接着在该分段区域B对应的刻度轴范围内,根据部位颜色条上的不同颜色定位到该组织部位A,最后将刻度轴上的标尺移动到该组织部位A对应的刻度轴范围内,即可显示该组织部位A内的检测图像。
关于所述第一组织区域、所述分段区域,需说明地,在检测图像的组织部位识别过程中,若所述部位位置图像识别模型识别的结果都是正确的,则根据所述部位位置信息检测步骤(即步骤S4)检测出的某张检测图像归属的所述第一组织区域、根据所述分段位置信息检测步骤(即步骤S7)检测出的该张检测图像归属的所述分段区域可理解为指向相同的区域;但是当所述部位位置图像识别模型识别的结果出现错误时,该张检测图像对应的所述第一组织区域和所述分段区域可指向不同的区域。
举例而言,假设某张检测图像是对应于十二指肠降部这个组织部位的,但是经所述部位位置信息检测步骤(即步骤S4)检测后,误识别为胃底,此时根据映射关系可知该组织部位(胃底)对应的第一组织区域是胃,但是在所述分段位置信息检测步骤(即步骤S7)中可根据第一组织部位识别结果进行统计计算,能够得到该组织部位应该位于小肠分段区域,此时第一组织区域和分段区域指向不同的区域,所述第一组织区域为错误的检测结果,所述分段区域为正确的检测结果。检测图像的部位位置检测结果最终是以部位颜色条的形式进行显示,由于部位位置图像识别模型的误识别为偶然的情况,少量的部位位置图像识别模型的部位位置误识别情况对部位颜色条的不会产生较大的影响,不会影响医生的操作使用,无需进行纠正。
检测图像的分段位置检测结果最终是以分段颜色条的形式进行显示,由于需要知晓检测图像对应的各分段区域之间的准确分界点才能得到准确的分段颜色条,一张检测图像的分段位置误识别结果将会对分段区域的划分造成重大影响(即对分段颜色条造成重大影响),如果直接采用通过部位位置图像识别模型获取的检测图像对应的第一组织部位对应的第一组织区域进行分段区域边界划分,部位位置图像识别模型出现的误识别结果会导致分段区域的边界划分出现重大误差,从而得到错误的分段颜色条,因此,需要设置分段位置信息检测步骤(即步骤S7)找到准确的分段区域的分界点,以纠正部位位置信息检测步骤(即步骤S4)中的第一组织区域误识别,从而通过分段位置信息检测步骤(即步骤S7)检测得到正确的分段区域边界划分,最终得到正确的分段颜色条。
如此,本发明通过分段位置信息检测步骤,可以纠正部位位置信息检测步骤中出现的误识别情况,从而通过分段位置颜色信息检测步骤、分段位置颜色显示控制步骤获取的分段颜色条简单易实现,检索和查阅检测图像的准确性高、速度快、效率高,易识别出不同的分段区域。
在检索或查阅指向不同组织部位的检测图像时,还可进一步判断所述检测图像是否存在病灶。具体地,所述图像显示方法还可包括:
步骤S10,病灶信息检测步骤,将由所述输入步骤输入的所述检测图像分别输入到图像病灶识别模型中进行病灶信息检测,所述病灶信息包括所述检测图像中是否存在病灶区域。具体地,所述步骤S10可以具体包括以下步骤:
步骤S101,将由所述输入步骤输入的所述检测图像分别输入到图像病灶识别模型中,得到所述检测图像中是否存在病灶区域的第二概率值;
步骤S102,比较所述检测图像的所述第二概率值是否在预设概率范围内;
若是,则跳转步骤S103,检测出所述检测图像中存在病灶区域。
具体地,所述预设概率范围为,即当所述检测图像的所述第二概率值位于)之间时,检测出所述检测图像为正常图像,不存在病灶区域,当所述第二概率值位于/>之间时,检测出所述检测图像为异常图像,存在病灶区域。
进一步地,所述图像显示方法还可包括步骤S11,标记点显示控制步骤,进行控制,对由所述病灶信息检测步骤检测出的存在病灶区域的检测图像,分别在所述刻度轴上时间对应的位置上显示标记点。
进一步地,所述标记点形成在所述分段颜色条的下方。
如此,可将所述检测图像的病灶信息以标记点的形式显示在所述刻度轴的下方,医生在进行阅片时,将所述刻度轴上的标尺移动到所述标记点对应的刻度轴位置上,即可快速定位、查阅存在病灶区域的检测图像,以便于作出及时有效的诊断。
进一步地,所述图像显示方法还包括步骤S12,播放操作控制步骤,进行操作控制,以调整显示所述检测图像的阅片模式(比如自动播放、跳转首位/末位图像)、播放速度等。
进一步地,所述图像显示方法还包括步骤S13,3D位置显示控制步骤,进行控制,以将在所述图像显示控制步骤中显示的检测图像的摄像位置(体内位置)以3D(3维)显示。
进一步地,所述图像显示方法还包括步骤S14,摘要显示控制步骤,进行控制,以在摘要显示单元中显示包括指向特殊分段区域或指向特殊组织部位或指向具有病灶区域的检测图像,选定所述摘要显示单元中显示的检测图像,可控制图像显示控制步骤中的图像显示单元快速关联输出显示对应选定的检测图像。
至此,对于本实施方式提供的图像显示方法已经描述完毕,下面将继续说明本发明提供的图像显示装置。
需说明地,所述图像显示装置可以独立实施,所述图像显示装置也可以与所述图像显示方法对应,相应的描述和配置可以相互实施,在此不赘述。
如图7所示,本发明还提供一种胶囊内窥镜***,所述胶囊内窥镜***包括:胶囊式内窥镜1,数据接收终端2和图像显示装置3。其中,所述胶囊式内窥镜1可通过无线通信模式将采集到的图像数据进行压缩后发送至数据接收终端2,所述数据接收终端2也可通过无线通信模式或有线通信模式将接收的图像数据发送至图像显示装置3。
详细而言,被检测者从口中吞服所述胶囊式内窥镜1,从而通过食道,利用消化管腔的蠕动在体腔内前进,按照时间序列依次拍摄得到体腔内的检测图像;这些检测图像通过输入单元输入到图像显示装置3;所述图像显示装置3对所述内窥镜图像数据进行图像解码和图像识别,至少确定内窥镜图像数据所对应的组织区域、组织部位以及病灶情况,并通过图像显示控制单元输出显示所述胶囊内窥镜图像。
具体地,如图8所示,所述图像显示装置3包括:
输入单元(图8中未显示),所述输入单元输入由胶囊内窥镜按时间序列拍摄的检测图像。
图像显示单元10,所述图像显示单元10用于显示所述检测图像。
播放操作单元20,所述播放操作单元20用于调整显示胶囊内窥镜图像的阅片模式(比如自动播放、跳转首位/末位图像)、播放速度等。
如图9所示,所述播放操作单元20可具体包括:播放速度调节201、首位图像跳转按钮202、向前播放一组图像按钮203、向前自动播放按钮204、向后自动播放按钮205、向后播放一组图像按钮206和末位图像跳转按钮207。其中,所述向前或向后都是根据排列顺序,输出显示位于当前播放的内窥镜图像的前一组内窥镜图像或后一组内窥镜图像。
颜色滚动条单元30,所述颜色滚动条单元30用于显示与所述检测图像在人体内的拍摄位置所在的组织部位、分段区域对应的颜色,以及标记存在病灶区域的检测图像。
如图10所示,所述颜色滚动条单元30可具体包括:标尺301、部位颜色条302、分段颜色条303、标记点304、刻度轴305(时间轴)。
所述刻度轴305(时间轴)表示由所述输入单元输入的按时间序列拍摄的检测图像的整个摄像期间,所述标尺301能够在刻度轴305上移动的显示,所述标尺301在刻度轴305上的移动与显示在所述图像显示单元10中的检测图像的切换同步联动,将与所述标尺301的位置对应的摄像时刻的检测图像显示在图像显示单元10上。
所述部位颜色条302用于显示与所述检测图像在人体内的拍摄位置所在的组织部位对应的颜色。
所述分段颜色条303用于显示与所述检测图像在人体内的拍摄位置所在的分段区域对应的颜色。
所述标记点304用来标记所述检测图像中是否存在病灶区域。
3D位置显示单元40,用于将显示在所述图像显示单元10上的检测图像的摄像位置(体内位置)以3D(3维)显示。
摘要显示单元50,用于显示包括指向特殊分段区域或指向特殊组织部位或指向具有病灶区域的检测图像,选定所述摘要显示单元50中的图像,可控制图像显示单元10快速关联输出显示对应选定的检测图像,方便医生快速查看组织部位和病灶区域。
检测单元(图8中未显示),包括部位位置检测单元和分段位置检测单元。
所述部位位置检测单元包括部位位置信息检测单元和部位位置颜色信息检测单元。
所述部位位置信息检测单元,将由所述输入单元输入的所述检测图像分别输入到部位位置图像识别模型中进行组织部位信息检测,所述组织部位信息包括所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值以及第一组织部位对应的第一组织区域。
所述部位位置颜色信息检测单元,根据所述部位位置信息检测单元检测出的所述检测图像的组织部位信息,计算得到所述检测图像的部位位置颜色信息。
所述分段位置检测单元包括分段位置信息检测单元和分段位置颜色信息检测单元。
所述分段位置信息检测单元,将由所述部位位置信息检测单元输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域。
所述分段位置颜色信息检测单元,根据所述分段位置信息检测单元输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息。
控制单元(图8中未显示),包括刻度显示控制单元、图像显示控制单元、部位位置颜色显示控制单元、分段位置颜色显示控制单元。
所述刻度轴显示控制单元,进行控制,使对刻度轴305进行显示,并对能够在所述刻度轴305上移动的标尺301进行显示,其中,所述刻度轴305表示由所述输入单元输入的按时间序列拍摄的检测图像的整个摄像期间。
图像显示控制单元,进行控制,使与所述刻度轴305上的所述标尺301的移动与显示在所述图像显示单元10中的检测图像的切换同步联动,将与所述标尺301的位置对应的摄像时刻的检测图像显示在图像显示单元10上。
所述部位位置颜色显示控制单元,进行控制,使与由所述部位位置颜色信息检测单元计算出的所述检测图像的所述部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条302。
所述分段位置颜色显示控制单元,进行控制,使与由所述分段位置颜色信息检测单元设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条303。
优选地,所述部位颜色条302形成在所述刻度轴305的上方,所述分段颜色条303形成在所述刻度轴305的下方。
具体而言,在所述刻度轴305的对应位置上形成所述部位颜色条302、所述分段颜色条303,通过所述控制所述刻度轴305上的所述标尺301的移动与显示在所述图像显示单元10中的检测图像的切换同步联动,将与所述标尺301的位置对应的摄像时刻的检测图像显示在图像显示单元10上,便于快速、准确地检索图像、效率高、灵活性强。
进一步地,所述部位位置信息检测单元还包括第一组织部位检测单元和第一组织区域检测单元。
关于所述第一组织部位检测单元,所述第一组织部位检测单元可将所述输入单元输入的所述检测图像输入到部位位置图像识别模型中,计算得到所述检测图像归属于任一组织部位的若干概率值;所述第一组织部位检测单元遍历筛选所述若干概率值,以其中最高的概率值作为所述第一概率值,并以所述第一概率值/>对应的组织部位作为所述检测图像归属的所述第一组织部位。
关于所述第一组织区域检测单元,所述第一组织区域检测单元可将所述第一组织部位检测单元检测出的所述检测图像归属的所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述检测图像归属的所述第一组织区域。
如此,通过识别分析检测图像,通过最高概率值确定该检测图像对应的组织部位,方法简单、易实现、识别准确率高。
进一步地,所述检测图像的部位位置颜色信息包括亮度值、色调值/>和饱和度值,所述部位位置颜色信息检测单元包括亮度值检测单元、色调值检测单元、饱和度值检测单元。
关于所述亮度值检测单元,所述亮度值检测单元根据所述第一组织区域检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始亮度值;所述亮度值检测单元根据所述检测图像对应的亮度分布系数/>和所述第一组织部位检测单元检测出的所述检测图像的所述第一概率值/>,计算得到所述检测图像对应的附加亮度值/>,所述检测图像对应的所述附加亮度值/>;所述亮度值检测单元根据所述检测图像对应的所述初始亮度值/>和所述附加亮度值/>计算得到所述检测图像对应的所述亮度值/>,所述检测图像对应的所述亮度值/>。
关于所述色调值检测单元,所述色调值检测单元根据所述第一组织区域检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始色调值;所述色调值检测单元根据所述检测图像对应的所述初始色调值/>计算得到所述检测图像对应的所述色调值/>,所述检测图像对应的所述色调值/>。
关于所述饱和度值检测单元,所述饱和度值检测单元根据所述第一组织区域检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始饱和度值;所述饱和度值检测单元根据所述第一组织区域检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的位置系数/>;所述饱和度值检测单元根据所述第一组织部位检测单元检测出的所述检测图像归属的所述第一组织部位,确定所述检测图像对应的饱和度分布值/>;所述饱和度值检测单元根据所述检测图像对应的所述位置系数/>和所述饱和度分布值/>,计算得到所述检测图像对应的附加饱和度值/>,所述检测图像对应的所述附加饱和度值/>;所述饱和度值检测单元根据所述检测图像对应的所述初始饱和度值/>和所述附加饱和度值/>计算得到所述检测图像对应的所述饱和度值/>,所述检测图像对应的所述饱和度值/>。
对应地,可用以下公式(1)、公式(2)和公式(3)来表达所述部位位置颜色信息检测单元中所述检测图像的部位位置颜色信息的计算过程:
其中,同一组织区域内拍摄的所有检测图像对应的初始亮度值、初始色调值/>、初始饱和度值/>、位置系数/>相同;所有检测图像对应的亮度分布系数/>相同;同一组织部位内拍摄的所有检测图像对应的饱和度分布值/>相同。
为了方便医生区分、识别通过所述部位位置颜色显示控制单元形成的部位颜色条302上的各个组织部位对应的颜色,以下为一种优选的实施例中各参数的取值设置:
所述组织区域的ID标识的取值范围为/>,所述组织部位的ID标识/>的取值范围是/>,亮度分布系数/>取值为/>;
当时,即所述组织区域为体外区域,/>取0或1,/>设为0.5,/>和/>设为0,/>设为0.02,饱和度分布值/>设为/>,也即,
当时,即所述组织区域为食道区域,/>取2或3,/>设为0.75,/>设为15,/>设为0.35,/>设为0.1,饱和度分布值/>设为/>,也即,
当时,即所述组织区域为胃部区域,/>取4至14,/>设为0.65,/>设为5,/>设为0.26,/>设为0.02,饱和度分布值/>设为/>,也即,/>
当时,即所述组织区域为小肠区域,/>取15至19,/>设为0.75,/>设为50,/>设为0.35,/>设为0.03,饱和度分布值/>设为/>,也即,
当时,即所述组织区域为大肠区域,/>取20至24,/>设为0.55,/>设为30,/>设为0.6,/>设为0.02,饱和度分布值/>设为/>,也即,
如此,由于不同组织区域内的检测图像设置的初始色调值不同,不同组织区域内的检测图像计算得到的色调值/>不同,同时由于同一组织区域内不同组织部位内的检测图像设置的饱和度分布值/>不同,同一组织区域内不同组织部位内的检测图像计算得到的饱和度值/>不同,从而方便医生区分、识别通过所述部位位置颜色显示控制单元形成的部位颜色条302上的同一个组织区域内不同组织部位内的检测图像对应的颜色,从而通过所述部位位置颜色显示控制单元形成的部位颜色条302形象直观、辨识度高、误差小、效率高。
如上所述,首先通过所述部位位置信息检测单元检测出所述检测图像在人体内的拍摄位置所在的组织部位以及对应的组织区域,接着所述部位位置颜色信息检测单元计算出所述检测图像对应的部位位置颜色信息(包括亮度值、色调值/>和饱和度值/>),最后通过所述部位位置颜色显示控制单元将所述部位位置颜色信息对应的显示在刻度轴上时间对应的位置上,形成部位颜色条302,实现了将所述检测图像在人体内的拍摄位置所在的组织部位以部位颜色条302的形式显示出来,从而医生可以直接通过辨识部位颜色条302上的颜色来知晓所述检测图像在人体内的拍摄位置所在的组织部位,本发明中的部位颜色条302,简单易实现,检索和查阅检测图像的准确性高、速度快、效率高,易识别出不同的组织部位。
需说明地,同一个组织区域可对应多个不同的组织部位,为了准确快速地在刻度轴上定位到归属于某个组织部位对应的检测图像,优选地,可先在刻度轴上定位到该组织部位对应的分段区域。
进一步地,关于所述分段位置信息检测单元,所述分段位置信息检测单元获取由所述第一组织部位检测单元输出的所述检测图像归属的第一组织部位;所述分段位置信息检测单元根据所述第一组织部位,采用分段位置图像识别模型计算所述第一组织部位的分段临界点;所述分段位置信息检测单元根据所述分段临界点,将所述检测图像归属的第一组织部位进行划分,得到所述检测图像归属的分段区域。
具体地,将输入单元输入的所述检测图像输入至部位位置图像识别模型进行图像识别,假设得到若干第一组织部位识别结果为{A,A,…,A,B,B,…,B,C,…,C},接着将所述第一组织部位识别结果输入至分段位置图像识别模型,分段位置图像识别模型通过统计分布规律,分析其位置分布情况,确定分段区域的分界点分别是最后一次出现A、B和C的位置,对所述第一组织部位进行分段,得到所述检测图像归属的分段区域。
如此,基于第一组织部位的识别结果进行划界分段,得到分段区域,方便医生查看和分析。
进一步地,所述分段位置颜色信息检测单元,根据所述分段位置信息检测单元输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息。
进一步地,所述分段位置颜色显示控制单元,进行控制,使与由所述分段位置颜色信息检测单元设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条303。
优选地,对应于所述分段区域的分段位置颜色信息是预先设置好的,即在所述分段颜色条303上的颜色以及颜色顺序是固定的,区别只是在于针对不同的患者进行的胶囊内窥镜体检所显示的分段颜色条303上的各个颜色之间的分界点所在的位置可能不同。
优选地,可以将所述预先设置好的对应于所述分段区域的分段位置颜色信息作为所述第一组织区域的所述初始亮度值、初始色调值/>、初始饱和度值/>。例如,可预先设置分段颜色条303上胃部区域的颜色为蓝色,将该蓝色的亮度值、色调值、饱和度值作为所述第一组织区域的所述初始亮度值/>、初始色调值/>、初始饱和度值/>,计算得到的胃底、贲门等胃部组织部位对应的部位颜色条302的颜色为淡蓝色、深蓝色等接近蓝色的颜色,这样部位颜色条302与分段颜色条303在刻度轴上相同位置上对应的颜色是相近的,以方便医生在阅片时将部位颜色条302与分段颜色条303进行对照查阅分析。
因此,医生在进行阅片时想要快速的定位到组织部位A内的检测图像时,可先根据分段颜色条303上的不同颜色定位到该组织部位A对应的分段区域B,接着在该分段区域B对应的刻度轴范围内,根据部位颜色条302上的不同颜色定位到该组织部位A,最后将刻度轴上的标尺移动到该组织部位A对应的刻度轴范围内,即可显示该组织部位A内的检测图像。
关于所述第一组织区域、所述分段区域,需说明地,在检测图像的组织部位识别过程中,若所述部位位置图像识别模型识别的结果都是正确的,则根据所述部位位置信息检测单元检测出的某张检测图像归属的所述第一组织区域、根据所述分段位置信息检测单元检测出的该张检测图像归属的所述分段区域可理解为指向相同的区域;但是当所述部位位置图像识别模型识别的结果出现错误时,该张检测图像对应的所述第一组织区域和所述分段区域可指向不同的区域。
举例而言,假设某张检测图像是对应于十二指肠降部这个组织部位的,但是经部位位置信息检测单元检测后,误识别为胃底,此时根据映射关系可知该组织部位(胃底)对应的第一组织区域是胃,但是所述分段位置信息检测单元根据第一组织部位识别结果进行统计计算,能够得到该组织部位应该位于小肠分段区域,此时第一组织区域和分段区域指向不同的区域,所述第一组织区域为错误的检测结果,所述分段区域为正确的检测结果。检测图像的部位位置检测结果最终是以部位颜色条302的形式进行显示,由于部位位置图像识别模型的误识别为偶然的情况,少量的部位位置图像识别模型的部位位置误识别情况对部位颜色条302的不会产生较大的影响,不会影响医生的操作使用,无需进行纠正。
检测图像的分段位置检测结果最终是以分段颜色条303的形式进行显示,由于需要知晓检测图像对应的各分段区域之间的准确分界点才能得到准确的分段颜色条303,一张检测图像的分段位置误识别结果将会对分段区域的划分造成重大影响(即对分段颜色条303造成重大影响),如果直接采用通过部位位置图像识别模型获取的检测图像对应的第一组织部位对应的第一组织区域进行分段区域边界划分,部位位置图像识别模型出现的误识别结果会导致分段区域的边界划分出现重大误差,从而得到错误的分段颜色条303,因此,需要设置分段位置检测单元找到准确的分段区域的分界点,以纠正部位位置检测单元中的第一组织区域误识别,从而通过分段位置检测单元检测得到正确的分段区域边界划分,最终得到正确的分段颜色条303。
如此,本发明通过分段位置信息检测单元,可以纠正部位位置信息检测单元中出现的误识别情况,从而通过分段位置颜色信息检测单元、分段位置颜色显示控制单元获取的分段颜色条303简单易实现,检索和查阅检测图像的准确性高、速度快、效率高,易识别出不同的分段区域。
在检索或查阅指向不同组织部位的检测图像时,还可进一步判断所述检测图像是否存在病灶。
进一步地,所述检测单元还包括病灶信息检测单元。所述病灶信息检测单元将由所述输入单元输入的所述检测图像分别输入到图像病灶识别模型中进行病灶信息检测,所述病灶信息包括所述检测图像中是否存在病灶区域。
具体地,所述病灶信息检测单元将由所述输入单元输入的所述检测图像分别输入到图像病灶识别模型中,得到所述检测图像中是否存在病灶区域的第二概率值;比较所述检测图像的所述第二概率值是否在预设概率范围内;若是,则检测出所述检测图像中存在病灶区域。
具体地,所述预设概率范围为,即当所述检测图像的所述第二概率值位于)之间时,检测出所述检测图像为正常图像,不存在病灶区域,当所述第二概率值位于/>之间时,检测出所述检测图像为异常图像,存在病灶区域。
进一步地,所述控制单元还包括标记点显示控制单元,进行控制,对由所述病灶信息检测单元检测出的存在病灶区域的检测图像,分别在所述刻度轴上时间对应的位置上显示标记点304。
进一步地,所述标记点304形成在所述分段颜色条303的下方。
如此,可将所述检测图像的病灶信息以标记点304的形式显示在所述刻度轴的下方,医生在进行阅片时,将所述刻度轴305上的标尺301移动到所述标记点304对应的刻度轴位置上,即可快速定位、查阅存在病灶区域的检测图像,以便于作出及时有效的诊断。
可以理解地,本申请中的所述图像显示方法、所述图像显示装置可以分别独立地实施,也可以在对方的基础上进行实施,相应的描述和配置可以相互实施,在此不赘述。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (21)
1.一种图像显示方法,其特征在于,所述方法包括:
输入步骤,输入由胶囊内窥镜按时间序列拍摄的检测图像;
刻度轴显示控制步骤,进行控制,使对刻度轴进行显示,并对能够在所述刻度轴上移动的标尺进行显示,其中,所述刻度轴表示由前述输入步骤输入的按时间序列拍摄的检测图像的整个摄像期间;
图像显示控制步骤,进行控制,使所述刻度轴上的所述标尺的移动与显示在图像显示单元上的图像的切换进行联动,将与所述标尺的位置对应的摄像时刻的检测图像显示在图像显示单元上;
部位位置信息检测步骤,将由所述输入步骤输入的所述检测图像分别输入到部位位置图像识别模型中进行组织部位信息检测,所述组织部位信息包括所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值以及第一组织部位归属的第一组织区域;
部位位置颜色信息检测步骤,根据所述部位位置信息检测步骤检测出的所述检测图像的组织部位信息,计算得到所述检测图像的部位位置颜色信息;
部位位置颜色显示控制步骤,进行控制,使与由所述部位位置颜色信息检测步骤计算出的所述检测图像的部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条;
分段位置信息检测步骤,将由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域;
分段位置颜色信息检测步骤,根据所述分段位置信息检测步骤输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息;
分段位置颜色显示控制步骤,进行控制,使与由所述分段位置颜色信息检测步骤设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条。
2.根据权利要求1所述的图像显示方法,其特征在于,所述部位颜色条形成在所述刻度轴的上方,所述分段颜色条形成在所述刻度轴的下方。
3.根据权利要求1所述的图像显示方法,其特征在于,所述部位位置信息检测步骤具体包括:
将所述输入步骤输入的所述检测图像输入到部位位置图像识别模型中,计算得到所述检测图像归属于任一组织部位的若干概率值;遍历筛选所述若干概率值,以其中最高的概率值作为所述第一概率值,并以所述第一概率值/>对应的组织部位作为所述检测图像归属的所述第一组织部位。
4.根据权利要求1所述的图像显示方法,其特征在于,所述部位位置信息检测步骤具体包括:
将所述检测图像归属的所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述检测图像归属的第一组织区域。
5.根据权利要求1所述的图像显示方法,其特征在于,根据所述部位位置颜色信息检测步骤计算得到的所述检测图像的部位位置颜色信息包括亮度值、色调值/>和饱和度值/>;
其中,所述检测图像对应的所述亮度值的计算步骤包括:
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始亮度值;
根据所述检测图像对应的亮度分布系数和所述第一概率值/>,计算得到所述检测图像对应的附加亮度值/>,所述检测图像对应的所述附加亮度值/>;
根据所述检测图像对应的所述初始亮度值和所述附加亮度值/>计算得到所述检测图像对应的所述亮度值/>,所述检测图像对应的所述亮度值/>;
其中,所述检测图像对应的色调值的计算步骤包括:
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始色调值;
根据所述检测图像对应的所述初始色调值计算得到所述检测图像对应的所述色调值/>,所述检测图像对应的所述色调值/>;
其中,所述检测图像对应的所述饱和度值的计算步骤包括:
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始饱和度值;
根据所述检测图像归属的所述第一组织区域,确定所述检测图像对应的位置系数;
根据所述检测图像归属的所述第一组织部位,确定所述检测图像对应的饱和度分布值;
根据所述检测图像对应的所述位置系数和所述饱和度分布值/>,计算得到所述检测图像对应的附加饱和度值/>,所述检测图像对应的所述附加饱和度值/>;
根据所述检测图像对应的所述初始饱和度值和所述附加饱和度值/>计算得到所述检测图像对应的所述饱和度值/>,所述检测图像对应的所述饱和度值/>。
6.根据权利要求5所述的图像显示方法,其特征在于,同一组织区域内拍摄的所有检测图像对应的初始亮度值、初始色调值/>、初始饱和度值/>、位置系数/>相同;所有检测图像对应的亮度分布系数/>相同;同一组织部位内拍摄的所有检测图像对应的饱和度分布值/>相同。
7.根据权利要求1所述的图像显示方法,其特征在于,所述分段位置信息检测步骤具体包括:
获取由所述部位位置信息检测步骤输出的所述检测图像归属的第一组织部位;
根据所述第一组织部位,采用分段位置图像识别模型计算所述第一组织部位的分段临界点;
根据所述分段临界点,将所述检测图像归属的第一组织部位进行分段,得到所述检测图像归属的分段区域。
8.根据权利要求1所述的图像显示方法,其特征在于,所述图像显示方法还包括:
病灶信息检测步骤,将由所述输入步骤输入的所述检测图像分别输入到图像病灶识别模型中进行病灶信息检测,所述病灶信息包括所述检测图像中是否存在病灶区域;
标记点显示控制步骤,进行控制,对由所述病灶信息检测步骤检测出的存在病灶区域的检测图像,分别在所述刻度轴上时间对应的位置上显示标记点。
9.根据权利要求8所述的图像显示方法,其特征在于,所述病灶信息检测步骤具体包括:
将由所述输入步骤输入的所述检测图像分别输入到图像病灶识别模型中,得到所述检测图像中是否存在病灶区域的第二概率值;比较所述检测图像的所述第二概率值是否在预设概率范围内;若是,则检测出所述检测图像中存在病灶区域。
10.根据权利要求8所述的图像显示方法,其特征在于,所述标记点形成在所述分段颜色条的下方。
11.一种图像显示装置,其特征在于,所述图像显示装置包括:
输入单元,输入由胶囊内窥镜按时间序列拍摄的检测图像;
刻度轴显示控制单元,进行控制,使对刻度轴进行显示,并对能够在所述刻度轴上移动的标尺进行显示,其中,所述刻度轴表示由所述输入单元输入的按时间序列拍摄的检测图像的整个摄像期间;
图像显示控制单元,进行控制,使与所述刻度轴上的所述标尺的移动与显示在图像显示单元中的检测图像的切换同步联动,将与所述标尺的位置对应的摄像时刻的检测图像显示在图像显示单元上;
部位位置信息检测单元,将由所述输入单元输入的所述检测图像分别输入到部位位置图像识别模型中进行组织部位信息检测,所述组织部位信息包括所述检测图像归属的第一组织部位、所述检测图像归属于第一组织部位的第一概率值以及第一组织部位对应的第一组织区域;
部位位置颜色信息检测单元,根据所述部位位置信息检测单元检测出的所述检测图像的组织部位信息,计算得到所述检测图像的部位位置颜色信息;
部位位置颜色显示控制单元,进行控制,使与由所述部位位置颜色信息检测单元计算出的所述检测图像的所述部位位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成部位颜色条;
分段位置信息检测单元,将由所述部位位置信息检测单元输出的所述检测图像归属的第一组织部位输入到分段位置图像识别模型中进行分段位置信息检测,所述分段位置信息包括所述检测图像归属的分段区域;
分段位置颜色信息检测单元,根据所述分段位置信息检测单元输出的所述检测图像归属的分段区域,设置所述检测图像归属的分段区域对应的分段位置颜色信息;
分段位置颜色显示控制单元,进行控制,使与由所述分段位置颜色信息检测单元设置的所述检测图像归属的分段区域对应的分段位置颜色信息对应的颜色,分别显示在所述刻度轴上时间对应的位置上,形成分段颜色条。
12.根据权利要求11所述的图像显示装置,其特征在于,所述部位颜色条形成在所述刻度轴的上方,所述分段颜色条形成在所述刻度轴的下方。
13.根据权利要求11所述的图像显示装置,其特征在于,所述部位位置信息检测单元包括第一组织部位检测单元,所述第一组织部位检测单元可将所述输入单元输入的所述检测图像输入到部位位置图像识别模型中,计算得到所述检测图像归属于任一组织部位的若干概率值;所述第一组织部位检测单元遍历筛选所述若干概率值,以其中最高的概率值作为所述第一概率值,并以所述第一概率值/>对应的组织部位作为所述检测图像归属的所述第一组织部位。
14.根据权利要求11所述的图像显示装置,其特征在于,所述部位位置信息检测单元包括第一组织区域检测单元,所述第一组织区域检测单元可将所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织部位输入到人体组织部位-组织区域的映射表中得到所述检测图像归属的所述第一组织区域。
15.根据权利要求11所述的图像显示装置,其特征在于,所述检测图像的部位位置颜色信息包括亮度值、色调值/>和饱和度值/>,所述部位位置颜色信息检测单元包括亮度值检测单元、色调值检测单元、饱和度值检测单元;
所述亮度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始亮度值;所述亮度值检测单元根据所述检测图像对应的亮度分布系数/>和所述部位位置信息检测单元检测出的所述检测图像的所述第一概率值/>,计算得到所述检测图像对应的附加亮度值/>,所述检测图像对应的所述附加亮度值/>;所述亮度值检测单元根据所述检测图像对应的所述初始亮度值/>和所述附加亮度值/>计算得到所述检测图像对应的所述亮度值/>,所述检测图像对应的所述亮度值/>;
所述色调值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始色调值;所述色调值检测单元根据所述检测图像对应的所述初始色调值/>计算得到所述检测图像对应的所述色调值/>,所述检测图像对应的所述色调值/>;
所述饱和度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的初始饱和度值;所述饱和度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织区域,确定所述检测图像对应的位置系数/>;所述饱和度值检测单元根据所述部位位置信息检测单元检测出的所述检测图像归属的所述第一组织部位,确定所述检测图像对应的饱和度分布值/>;所述饱和度值检测单元根据所述检测图像对应的所述位置系数/>和所述饱和度分布值/>,计算得到所述检测图像对应的附加饱和度值/>,所述检测图像对应的所述附加饱和度值;所述饱和度值检测单元根据所述检测图像对应的所述初始饱和度值/>和所述附加饱和度值/>计算得到所述检测图像对应的所述饱和度值/>,所述检测图像对应的所述饱和度值/>。
16.根据权利要求14所述的图像显示装置,其特征在于,同一组织区域内拍摄的所有检测图像对应的初始亮度值、初始色调值/>、初始饱和度值/>、位置系数/>相同;所有检测图像对应的亮度分布系数/>相同;同一组织部位内拍摄的所有检测图像对应的饱和度分布值/>相同。
17.根据权利要求11所述的图像显示装置,其特征在于,所述分段位置信息检测单元获取由所述部位位置信息检测单元输出的所述检测图像归属的第一组织部位;所述分段位置信息检测单元根据所述第一组织部位,采用分段位置图像识别模型计算所述第一组织部位的分段临界点;所述分段位置信息检测单元根据所述分段临界点,将所述检测图像归属的第一组织部位进行划分,得到所述检测图像归属的分段区域。
18.根据权利要求11所述的图像显示装置,其特征在于,所述图像显示装置还包括:
病灶信息检测单元,将由所述输入单元输入的所述检测图像分别输入到图像病灶识别模型中进行病灶信息检测,所述病灶信息包括所述检测图像中是否存在病灶区域;
标记点显示控制单元,进行控制,对由所述病灶信息检测单元检测出的存在病灶区域的检测图像,分别在所述刻度轴上时间对应的位置上显示标记点。
19.根据权利要求18所述的图像显示装置,其特征在于,所述病灶信息检测单元将由所述输入单元输入的所述检测图像分别输入到图像病灶识别模型中,得到所述检测图像中是否存在病灶区域的第二概率值;比较所述检测图像的所述第二概率值是否在预设概率范围内;若是,则检测出所述检测图像中存在病灶区域。
20.根据权利要求18所述的图像显示装置,其特征在于,所述标记点形成在所述分段颜色条的下方。
21.一种胶囊内窥镜***,包括胶囊内窥镜和数据接收终端,其特征在于,所述胶囊内窥镜***还包括如权利要求11-20任一项所述的图像显示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310993367.7A CN116721175B (zh) | 2023-08-09 | 2023-08-09 | 一种图像显示方法、图像显示装置以及胶囊内窥镜*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310993367.7A CN116721175B (zh) | 2023-08-09 | 2023-08-09 | 一种图像显示方法、图像显示装置以及胶囊内窥镜*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116721175A CN116721175A (zh) | 2023-09-08 |
CN116721175B true CN116721175B (zh) | 2023-10-10 |
Family
ID=87873754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310993367.7A Active CN116721175B (zh) | 2023-08-09 | 2023-08-09 | 一种图像显示方法、图像显示装置以及胶囊内窥镜*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116721175B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1703711A (zh) * | 2002-10-03 | 2005-11-30 | 西门子共同研究公司 | 利用延迟增强磁共振成像和人工智能识别无活性心肌组织的***和方法 |
CN101133935A (zh) * | 2003-04-25 | 2008-03-05 | 奥林巴斯株式会社 | 图像显示装置、图像显示方法及图像显示程序 |
JP2010115243A (ja) * | 2008-11-11 | 2010-05-27 | Hoya Corp | 電子内視鏡用画像信号処理装置 |
WO2013126780A1 (en) * | 2012-02-23 | 2013-08-29 | Smith & Nephew, Inc. | Video endoscopic system |
CN104116485A (zh) * | 2013-04-26 | 2014-10-29 | Hoya株式会社 | 损伤评估信息生成器及其方法 |
WO2018043550A1 (ja) * | 2016-08-31 | 2018-03-08 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
CN113052956A (zh) * | 2021-03-19 | 2021-06-29 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
CN113905653A (zh) * | 2019-05-21 | 2022-01-07 | 富士胶片株式会社 | 内窥镜***、内窥镜***的工作方法、图像处理装置及图像处理装置用程序 |
CN114648525A (zh) * | 2022-05-10 | 2022-06-21 | 深圳市一图智能科技有限公司 | 基于流域分析的器官分段方法及*** |
CN115049666A (zh) * | 2022-08-16 | 2022-09-13 | 浙江卡易智慧医疗科技有限公司 | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 |
CN116350177A (zh) * | 2021-12-28 | 2023-06-30 | 北京与光科技有限公司 | 基于光谱的医疗图像处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6581923B2 (ja) * | 2016-03-03 | 2019-09-25 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム |
-
2023
- 2023-08-09 CN CN202310993367.7A patent/CN116721175B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1703711A (zh) * | 2002-10-03 | 2005-11-30 | 西门子共同研究公司 | 利用延迟增强磁共振成像和人工智能识别无活性心肌组织的***和方法 |
CN101133935A (zh) * | 2003-04-25 | 2008-03-05 | 奥林巴斯株式会社 | 图像显示装置、图像显示方法及图像显示程序 |
JP2010115243A (ja) * | 2008-11-11 | 2010-05-27 | Hoya Corp | 電子内視鏡用画像信号処理装置 |
WO2013126780A1 (en) * | 2012-02-23 | 2013-08-29 | Smith & Nephew, Inc. | Video endoscopic system |
CN104116485A (zh) * | 2013-04-26 | 2014-10-29 | Hoya株式会社 | 损伤评估信息生成器及其方法 |
WO2018043550A1 (ja) * | 2016-08-31 | 2018-03-08 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
CN113905653A (zh) * | 2019-05-21 | 2022-01-07 | 富士胶片株式会社 | 内窥镜***、内窥镜***的工作方法、图像处理装置及图像处理装置用程序 |
CN113052956A (zh) * | 2021-03-19 | 2021-06-29 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
CN116350177A (zh) * | 2021-12-28 | 2023-06-30 | 北京与光科技有限公司 | 基于光谱的医疗图像处理方法 |
CN114648525A (zh) * | 2022-05-10 | 2022-06-21 | 深圳市一图智能科技有限公司 | 基于流域分析的器官分段方法及*** |
CN115049666A (zh) * | 2022-08-16 | 2022-09-13 | 浙江卡易智慧医疗科技有限公司 | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 |
Non-Patent Citations (1)
Title |
---|
潘国兵 ; 颜国正 ; 张明卿 ; 邱祥玲 ; .概率神经网络与差异演化在胶囊内窥图像出血识别中的应用.光学精密工程.(06),第1429-1435页. * |
Also Published As
Publication number | Publication date |
---|---|
CN116721175A (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3810381B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP4493386B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
US7684599B2 (en) | System and method to detect a transition in an image stream | |
JP6346576B2 (ja) | 画像処理装置 | |
US8353816B2 (en) | Endoscopy system and method therefor | |
US20040225223A1 (en) | Image display apparatus, image display method, and computer program | |
KR102287364B1 (ko) | 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 | |
EP3366191B1 (en) | Endoscope system | |
JP6774552B2 (ja) | プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法 | |
JP4554647B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP6688243B2 (ja) | 内視鏡システム及びその作動方法 | |
JP2018139848A (ja) | 内視鏡システム及びその作動方法 | |
JP4547401B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP4547402B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
CN116721175B (zh) | 一种图像显示方法、图像显示装置以及胶囊内窥镜*** | |
JP2018126632A (ja) | 画像処理装置 | |
AU2008200088B2 (en) | Image Display Apparatus, Image Display Method and Image Display Program | |
US20240000299A1 (en) | Image processing apparatus, image processing method, and program | |
CA2614635C (en) | Image display apparatus, image display method, and image display program | |
CN113747825A (zh) | 电子内窥镜*** | |
JP2023106327A (ja) | 検査支援装置、検査支援方法および検査支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |