CN117796745B - 一种估计消化内镜镜头进退距离的方法 - Google Patents

一种估计消化内镜镜头进退距离的方法 Download PDF

Info

Publication number
CN117796745B
CN117796745B CN202410226117.5A CN202410226117A CN117796745B CN 117796745 B CN117796745 B CN 117796745B CN 202410226117 A CN202410226117 A CN 202410226117A CN 117796745 B CN117796745 B CN 117796745B
Authority
CN
China
Prior art keywords
frame
displacement
lens
digestive endoscope
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410226117.5A
Other languages
English (en)
Other versions
CN117796745A (zh
Inventor
宋万忠
贾涵
胡兵
陈欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202410226117.5A priority Critical patent/CN117796745B/zh
Publication of CN117796745A publication Critical patent/CN117796745A/zh
Application granted granted Critical
Publication of CN117796745B publication Critical patent/CN117796745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)

Abstract

本发明提供一种估计消化内镜镜头进退距离的方法,该方法包括步骤:(1)获取具有定位功能的消化内镜输出的以10mm为最小度量单位的相机位置;(2)采用屏幕录像设备实时获取消化内镜的每帧图像;(3)任选一帧图像作为当前帧图像,并提取要追踪的特征点;(4)使用L‑K光流计算相邻帧图像的光流;(5)计算一段内镜视频的开始帧和结束帧中间所有帧的位移的比值关系;(6)根据计算得到的比值关系分配求解位移量;(7)对所有帧做上述操作,即可得到每一帧的进退量。本发明基于现有具有定位功能的消化内镜输出的相机位置,结合L‑K光流等算法处理,实现了对消化内镜镜头位移的精确定位,为精准医疗提供了精准的数据支持。

Description

一种估计消化内镜镜头进退距离的方法
技术领域
本发明涉及消化内镜定位领域,尤其是涉及一种估计消化内镜镜头进退距离的方法。
背景技术
精准医疗已经是目前的医疗趋势,在采用消化内镜进行消化道检查或手术时,有时需要根据消化内镜镜头在消化道内的实际位置同步显示该位置的其它医学影像(包括:CT、MRI、超声等等),这就需要获取消化内镜镜头离开某个固定位置(如:食管顶部、贲门、幽门、***等)的距离。目前,具有定位功能的消化内镜,可显示消化内镜镜头在消化道内的前进距离,但其最小可显示的距离通常为10mm,也就是说每10mm才显示一个距离数字。然而,每10mm才输出一个镜头的位置信息不能满足内镜个性化精准诊疗的要求,因此需要找到一种能对消化内镜位置进行精确定位的方法或装置。
发明内容
本发明的目的在于:针对现有技术存在的问题,提供一种估计消化内镜镜头进退距离的方法,解决不能对现有的消化内镜位置进行精确定位的问题。
本发明的发明目的通过以下技术方案来实现:
一种估计消化内镜镜头进退距离的方法,该方法包括步骤:
(1)获取具有定位功能的消化内镜输出的以10mm为最小度量单位的相机位置;
(2)采用屏幕录像设备实时获取消化内镜的每帧图像;
(3)任选一帧图像作为当前帧图像,并提取要追踪的特征点;
(4)使用L-K光流计算相邻帧图像的光流;
(5)计算一段内镜视频的开始帧和结束帧中间所有帧的位移的比值关系;
(6)根据计算得到的比值关系分配求解位移量;
(7)对所有帧做上述操作,即可得到每一帧的进退量。
作为进一步的技术方案,步骤(3)具体为:对当前帧图像使用特征点检测算法提取要追踪的特征点集合。
作为进一步的技术方案,步骤(5)具体包括步骤:
(51)同一空间点在两个镜头位姿下的投影点的像素坐标的差OF
其中为镜头绕z轴的旋转角度,/>为镜头沿z轴位移量,/>为相机镜头在x方向的焦距,/>为相机镜头在y方向的焦距,/>为主点的像素坐标x分量,/>主点的像素坐标y分量,/>为三维点在前一帧镜头坐标系的坐标,并记
;式中/>是为了方便描述的记法,无实际意义;
(52)简化前述公式后得到内镜镜头在z轴上的位移量与光流的关系如下:,其中/>为常数,OF x OF y 分别是光流在x和y方向的分量;
(53)根据步骤(52)的公式得到第个特征点的的比值/>,式中表示第i个特征点在第一帧相机坐标系的z坐标,/>是第m帧相对于第一帧的z方向位移,m表示以10mm为最小度量单位内的帧总数;然后将所有项与第1项/>做比,得到;再对所有追踪的特征点平均,得到每一帧权重的集合,其中/>即第1帧到第m帧的位移和第1帧到第2帧的位移的比值。
作为进一步的技术方案,步骤(6)具体包括步骤:根据公式计算所有中间帧相对于第一帧的位移,其中/>是第m帧相对第1帧的z方向位移,/>是以10mm为最小度量单位的相机位移量。
与现有技术相比,本发明基于现有具有定位功能的消化内镜输出的相机位置,结合L-K光流等算法处理,实现了对消化内镜镜头位移的精确定位,为精准医疗提供了非常精准的数据支持。
附图说明
图1为坐标系的定义;
图2为镜头坐标系的定义;
图3为本方法估计的进镜过程中对应内镜视频各帧的镜头位置(离起始点的距离);
图4为本方法估计的退镜过程中对应内镜视频各帧的镜头位置(离起始点的距离);
图5为根据估计的消化内镜位置同步显示的内镜图像和CT图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本实施例提供了一种估计消化内镜镜头进退距离的方法,该方法采用光流法估计消化内镜镜头在消化道内的前进和后退位移量。具体步骤如下:
1 、获取具有定位功能的消化内镜输出的以10mm为最小度量单位的相机位置。
获取方法可以为直接从消化内镜主机输出或采用光学字符识别技术,从消化内镜主机显示屏上实时识别显示的镜头行进的距离。
2 、采用屏幕录像设备实时获取消化内镜的每帧图像。
3、任选一帧图像作为当前帧图像,在当前帧图像上提取要追踪的特征点。
当前帧图像中使用特征点检测算法提取要追踪的特征点集合,定义为。特征点检测算法可以选择SIFT、ORB或者SURF等传统特征点检测算法,也可以选择SuperPoint等基于深度学习的特征点检测算法。
4、使用L-K(Lucas–Kanade)光流计算相邻帧内镜图像的光流,具体计算过程为:
根据场景中目标图像的像素在帧间光度保持不变这一亮度恒定假设,我们有公式:
公式中,是当前帧图像,/>是当前帧图像中某个像素的坐标,/>是当前的时间,分别是坐标/>和时间/>的微分。
对公式(1)左边进行泰勒展开,保留一阶项,得:
假设消化道器官内壁上某一点,在相邻两帧的内镜图像中光度值保持不变,从而有:
其中为点在x轴上运动速度,而/>为点在y轴上运动速度,把它们记为/>。同时为图像在该点处/>方向的梯度,另一项/>则是在/>方向的梯度,记为/>。/>是I对时间t的导数,记为/>。写成矩阵形式,有:/>
方程(5)有两个未知数,需要至少2个方程才能够解出。根据相同表面的相邻点具有相似的运动这一空间一致性假设,我们认为在该像素周围的一个窗口/>内的像素与该像素具有相同的运动状态。因此,可以构建/>个方程,即:
基于最小二乘求解,我们得到:
公式(6)中表示窗口内第k个点对时间t的导数。
5、计算一段内镜视频的开始帧和结束帧中间所有帧的位移的比值关系。
首先定义轴的方向如图1所示,镜头坐标系如图2所示:
假设是一段内镜视频所有帧的集合,在开始帧/>时追踪的特征点集合为/>,第/>帧中每个特征点的光流分别为/>。按照光流的定义,通过如下推导可得到内镜镜头位移量与光流间的关系:
假设相机只有绕z轴的旋转,且只有沿z轴的平移(即进退量),这时光流定义为同一空间点在两个相机位姿下的投影点的像素坐标的差,即,
式中,表示将空间点投影到像素坐标系的投影函数,/>表示两帧的相机位姿。
根据我们的假设(相机只有绕轴的旋转和平移量),因此/>的定义如公式(11)所示:/>
其中为绕z轴的旋转角度,/>为相机几何内参矩阵;将公式(11)代入公式(10),展开计算得到/>,如公式(12)所示:
为沿z轴平位移量,/>为相机镜头在x方向的焦距,/>为相机镜头在y方向的焦距,/>为主点的像素坐标x分量,/>主点的像素坐标y分量,/>是描述相机属性的常数,可以通过相机标定得到, />为三维点在前一帧相机坐标系的坐标,并记
式中是为了方便描述的记法,并无实际意义。
化简公式(12)后,可以得到内镜镜头在z轴上的位移量与光流的关系如下:
由于为常数,因此我们将相机z轴位移量/>和特征点的光流OF联系起来,可以使用特征点光流的比值(上式右侧)来近似表示位移量的比值(上式左侧),OF x OF y 分别是光流在x和y方向的分量。
使用上面的方法得到第个特征点的的比值/>,式中/>表示第i个特征点在第一帧相机坐标系的z坐标,m表示以10mm为最小度量单位内的帧总数;然后将所有项与第1项/>做比,得到/>;再对所有追踪的特征点平均,得到每一帧权重的集合/>,其中/>即第1帧到第m帧的位移和第1帧到第2帧的位移的比值。
6、根据计算得到的比值关系分配求解位移量。
在步骤5中,我们注意到,而/>,/>为以10mm为最小度量单位的相机位移量,其中/>是第m帧相对于第一帧的z方向位移,因此容易求得/>进而得到所有中间帧相对于第一帧的位移,如式(14)所示。/>
其中其中是第m帧相对第1帧的z方向位移。
7、对所有帧做上述操作,即可得到每一帧的进退量。
图3和图4是基于本发明方法估计的消化内镜的位置,图3对应进镜、图4对应退镜两种情况。由图可以看出,本发明方法能精确连续的确定消化内镜镜头的位移,为精准医疗提供了非常精准的数据支持。
图5是本发明方法的一个应用实施例,其根据本发明估计的消化内镜位置同步显示的内镜图像和CT图像,图中数字32.67439表示根据本发明方法计算的某一帧镜头的位置(离起始点的距离)。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,应当指出的是,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种估计消化内镜镜头进退距离的方法,其特征在于,该方法包括步骤:
(1)获取具有定位功能的消化内镜输出的以10mm为最小度量单位的相机位置;
(2)采用屏幕录像设备实时获取消化内镜的每帧图像;
(3)任选一帧图像作为当前帧图像,并提取要追踪的特征点;
(4)使用L-K光流计算相邻帧图像的光流;
(5)计算一段内镜视频的开始帧和结束帧中间所有帧的位移的比值关系;
(6)根据计算得到的比值关系分配求解位移量;
(7)对所有帧做上述操作,即可得到每一帧的进退量;
步骤(5)具体包括步骤:
(51)同一空间点在两个镜头位姿下的投影点的像素坐标的差OF
其中为镜头绕z轴的旋转角度,/>为镜头沿z轴位移量,/>为相机镜头在x方向的焦距,/>为相机镜头在y方向的焦距,/>为主点的像素坐标x分量,/>主点的像素坐标y分量,为三维点在前一帧镜头坐标系的坐标,并记
;式中/>是为了方便描述的记法,无实际意义;
(52)简化前述公式后得到内镜镜头在z轴上的位移量与光流的关系如下:
,其中/>为常数,OF x OF y 分别是光流在x和y方向的分量;
(53)根据步骤(52)的公式得到第个特征点的的比值/>,式中/>表示第i个特征点在第一帧相机坐标系的z坐标,/>是第m帧相对于第一帧的z方向位移,m表示以10mm为最小度量单位内的帧总数;然后将所有项与第1项/>做比,得到;再对所有追踪的特征点平均,得到每一帧权重的集合,其中/>即第1帧到第m帧的位移和第1帧到第2帧的位移的比值。
2.根据权利要求1所述的一种估计消化内镜镜头进退距离的方法,其特征在于,步骤(3)具体为:对当前帧图像使用特征点检测算法提取要追踪的特征点集合。
3.根据权利要求1所述的一种估计消化内镜镜头进退距离的方法,其特征在于,步骤(6)具体包括步骤:根据公式计算所有中间帧相对于第一帧的位移,其中是第m帧相对第1帧的z方向位移,/>是以10mm为最小度量单位的相机位移量。
CN202410226117.5A 2024-02-29 2024-02-29 一种估计消化内镜镜头进退距离的方法 Active CN117796745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410226117.5A CN117796745B (zh) 2024-02-29 2024-02-29 一种估计消化内镜镜头进退距离的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410226117.5A CN117796745B (zh) 2024-02-29 2024-02-29 一种估计消化内镜镜头进退距离的方法

Publications (2)

Publication Number Publication Date
CN117796745A CN117796745A (zh) 2024-04-02
CN117796745B true CN117796745B (zh) 2024-05-03

Family

ID=90433821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410226117.5A Active CN117796745B (zh) 2024-02-29 2024-02-29 一种估计消化内镜镜头进退距离的方法

Country Status (1)

Country Link
CN (1) CN117796745B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001161711A (ja) * 1999-12-14 2001-06-19 Olympus Optical Co Ltd 内視鏡手術システム
WO2017054817A1 (de) * 2015-10-01 2017-04-06 Olaf Christiansen Endoskopisches bildverarbeitungssystem für die chirurgie mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische distanzinformation erzeugen
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜***
JP2017185212A (ja) * 2016-03-31 2017-10-12 国立大学法人浜松医科大学 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置
CN109523589A (zh) * 2018-11-13 2019-03-26 浙江工业大学 一种更鲁棒的视觉里程计的设计方法
JP2019219719A (ja) * 2018-06-15 2019-12-26 株式会社デンソーテン 異常検出装置および異常検出方法
CN111291677A (zh) * 2020-02-05 2020-06-16 吉林大学 一种动态视频触觉特征提取及渲染的方法
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
CN112766416A (zh) * 2021-02-10 2021-05-07 中国科学院深圳先进技术研究院 一种消化内镜导航方法和***
CN113786239A (zh) * 2021-08-26 2021-12-14 哈尔滨工业大学(深圳) 胃部消化道下手术器械追踪和实时预警的方法和***
CN114359406A (zh) * 2021-12-30 2022-04-15 像工场(深圳)科技有限公司 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
WO2022170562A1 (zh) * 2021-02-10 2022-08-18 中国科学院深圳先进技术研究院 一种消化内镜导航方法和***
CN115294128A (zh) * 2022-10-08 2022-11-04 四川大学 一种用于消化内镜的单目结构三维成像方法及装置
CN115830122A (zh) * 2022-12-21 2023-03-21 北京理工大学 连续帧内窥镜定位方法及装置
CN115844317A (zh) * 2022-12-29 2023-03-28 四川大学华西医院 消化内镜可视化方法、***及设备
WO2023126999A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 画像処理装置、画像処理方法、及び、記憶媒体
CN116542952A (zh) * 2023-05-17 2023-08-04 四川大学 一种基于三维重建的内镜检查覆盖率评估方法及***
CN116721128A (zh) * 2023-05-24 2023-09-08 上海大学 基于机器视觉实现内窥镜进退镜速度的检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155975A1 (en) * 2002-09-17 2004-08-12 Hart Douglas P. 3-D imaging system
EP2984628B1 (en) * 2013-04-10 2019-03-27 Auckland Uniservices Limited Head and eye tracking
US20220383588A1 (en) * 2019-10-07 2022-12-01 S&N Orion Prime, S.A. Systems And Methods For Changing The Direction Of View During Video Guided Clinical Procedures Using Real-Time Image Processing
JP7254742B2 (ja) * 2020-03-26 2023-04-10 Hoya株式会社 プログラム、情報処理方法、情報処理装置及び診断支援システム

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001161711A (ja) * 1999-12-14 2001-06-19 Olympus Optical Co Ltd 内視鏡手術システム
WO2017054817A1 (de) * 2015-10-01 2017-04-06 Olaf Christiansen Endoskopisches bildverarbeitungssystem für die chirurgie mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische distanzinformation erzeugen
JP2017185212A (ja) * 2016-03-31 2017-10-12 国立大学法人浜松医科大学 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜***
JP2019219719A (ja) * 2018-06-15 2019-12-26 株式会社デンソーテン 異常検出装置および異常検出方法
CN109523589A (zh) * 2018-11-13 2019-03-26 浙江工业大学 一种更鲁棒的视觉里程计的设计方法
CN111291677A (zh) * 2020-02-05 2020-06-16 吉林大学 一种动态视频触觉特征提取及渲染的方法
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
CN112766416A (zh) * 2021-02-10 2021-05-07 中国科学院深圳先进技术研究院 一种消化内镜导航方法和***
WO2022170562A1 (zh) * 2021-02-10 2022-08-18 中国科学院深圳先进技术研究院 一种消化内镜导航方法和***
CN113786239A (zh) * 2021-08-26 2021-12-14 哈尔滨工业大学(深圳) 胃部消化道下手术器械追踪和实时预警的方法和***
WO2023126999A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 画像処理装置、画像処理方法、及び、記憶媒体
CN114359406A (zh) * 2021-12-30 2022-04-15 像工场(深圳)科技有限公司 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN115294128A (zh) * 2022-10-08 2022-11-04 四川大学 一种用于消化内镜的单目结构三维成像方法及装置
CN115830122A (zh) * 2022-12-21 2023-03-21 北京理工大学 连续帧内窥镜定位方法及装置
CN115844317A (zh) * 2022-12-29 2023-03-28 四川大学华西医院 消化内镜可视化方法、***及设备
CN116542952A (zh) * 2023-05-17 2023-08-04 四川大学 一种基于三维重建的内镜检查覆盖率评估方法及***
CN116721128A (zh) * 2023-05-24 2023-09-08 上海大学 基于机器视觉实现内窥镜进退镜速度的检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Gastrointestinal Endoscopy‑Associated Infections: Update on an Emerging Issue;Anasua Deb, Abhilash Perisetti等;Digestive Diseases and Sciences;20220309(第2022年67期);1718-1732 *
光学三维传感中多视点距离像配准与复杂曲面展平;宋万忠;中国博士学位论文全文数据库(信息科技辑);20020228(第2002/02期);I140-12 *
基于计算机视觉的人体内腔三维重建技术综述;吴海斌,徐若彤等;计算机工程;20211015;第47卷(第10期);1-15 *
结肠内窥镜视觉导航***中光流寻径算法的研究;李晗;中国优秀硕士学位论文全文数据库(医药卫生科技辑);20170430(第2017/04期);E064-21 *

Also Published As

Publication number Publication date
CN117796745A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
Helferty et al. Computer-based system for the virtual-endoscopic guidance of bronchoscopy
US7922652B2 (en) Endoscope system
US20100149183A1 (en) Image mosaicing systems and methods
Ciuti et al. Intra-operative monocular 3D reconstruction for image-guided navigation in active locomotion capsule endoscopy
Deguchi et al. Selective image similarity measure for bronchoscope tracking based on image registration
JP2016519968A (ja) 生体内マルチカメラカプセルからの画像再構築
US20130002842A1 (en) Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
WO2009063423A1 (en) Interventional navigation using 3d contrast-enhanced ultrasound
CN111035351B (zh) 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
Seshamani et al. Real-time endoscopic mosaicking
US20220398771A1 (en) Luminal structure calculation apparatus, creation method for luminal structure information, and non-transitory recording medium recording luminal structure information creation program
Yao et al. Motion-based camera localization system in colonoscopy videos
Lapeer et al. Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking
Merritt et al. Real-time CT-video registration for continuous endoscopic guidance
CN114010314A (zh) 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及***
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
Turan et al. A fully dense and globally consistent 3d map reconstruction approach for gi tract to enhance therapeutic relevance of the endoscopic capsule robot
JP2020014711A (ja) 検査支援装置、方法およびプログラム
CN117796745B (zh) 一种估计消化内镜镜头进退距离的方法
CN116324897A (zh) 用于重建管状器官的三维表面的方法和***
CN116898586A (zh) 一种应用于插管机器人的自主插管方法
Lerotic et al. Dynamic view expansion for enhanced navigation in natural orifice transluminal endoscopic surgery
JP4540124B2 (ja) 投影画像生成装置、方法およびそのプログラム
Hackner et al. Panorama mapping of the colon–a phantom study with robotic endoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant