CN109008909A - 一种低功耗胶囊内窥镜图像采集及三维重建*** - Google Patents

一种低功耗胶囊内窥镜图像采集及三维重建*** Download PDF

Info

Publication number
CN109008909A
CN109008909A CN201810770217.9A CN201810770217A CN109008909A CN 109008909 A CN109008909 A CN 109008909A CN 201810770217 A CN201810770217 A CN 201810770217A CN 109008909 A CN109008909 A CN 109008909A
Authority
CN
China
Prior art keywords
module
image
capsule endoscope
mcu control
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810770217.9A
Other languages
English (en)
Other versions
CN109008909B (zh
Inventor
蔡乐才
刘鑫
张超洋
刘川莉
阳万安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yibin University
Original Assignee
Yibin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yibin University filed Critical Yibin University
Priority to CN201810770217.9A priority Critical patent/CN109008909B/zh
Publication of CN109008909A publication Critical patent/CN109008909A/zh
Application granted granted Critical
Publication of CN109008909B publication Critical patent/CN109008909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/07—Endoradiosondes
    • A61B5/073—Intestinal transmitters

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种低功耗胶囊内窥镜图像采集及三维重建***，包括胶囊内窥镜本体和图像接收端；胶囊内窥镜本体包括分别与CMOS图像传感器、图像压缩模块和无线发射模块连接的第一MCU控制模块，CMOS图像传感器、无线发射模块和MCU控制模块分别与第一电源管理模块连接，图像接收端包括分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接的第二MCU控制模块，第二MCU控制模块与第二电源管理模块连接，无线发射模块和无线接收模块均为双向无线通讯模块。本发明的***图像采集功能完善，体积紧凑，***工作稳定，可以很好的完成图像采集发送、接收、存储功能，软件上编写的循环工作状态大大降低了功耗，延长了***工作时间。

Description

一种低功耗胶囊内窥镜图像采集及三维重建***
技术领域
本发明属于图像采集和处理技术领域，具体涉及一种低功耗胶囊内窥镜图
像采集及三维重建***。
背景技术
胶囊内窥镜主要依靠其内部的摄像装置完成受检者体内图像的拍摄，并通过数据处理装置对图像进行压缩等处理，由无线发送方式传到体外，所有这些设备均由胶囊内部电池供电。一方面，现有的胶囊内窥镜持续的拍摄肠道图片，并发送外部监控设备中，直到电池耗尽，这样的工作模式，使得整个胶囊内窥镜处于高功耗高耗电的状态；另一方面，胶囊内窥镜完成一次完整拍摄过程大约会拍摄大量的图像，而在拍摄过程中往往会存在很多的重复图像，这种重复图像的存在浪费胶囊有限的电量。因此需要降低功耗，延长胶囊内窥工作时长；另一方面给会使医生增加了工作负担，降低诊疗效率。
专利CN 102973236B公开了一种通过检测电池电压是否小于门限值来决定是不是要RF进入窄带、间隔发送低功耗工作模式的方法，该方法并没有解决胶囊内窥镜的重复图像问题；
专利CN201710979327公开了一种图像帧率自适应的无线胶囊内窥镜***及帧率自适应方法，通过胶囊内窥镜的第一姿态信息和便携式记录器的第二姿态信息得到的结果判断是否存在相对运动，来生成相应指令信号调整胶囊内窥镜的拍摄帧率。目前低功耗内窥镜与所接收到图片直接进行三维重建实现起来比较困难，目前的胶囊内窥镜存在采样帧率较低，被动前行、随机拍摄、不能对可以病灶部位进行重点的拍摄观察问题，并且由于图像数量大会导致诊疗效率的降低，因此，在低功耗胶囊内窥镜采集完图像后所接收的图片直接三维重建，构建成三维数据，直接供医师快速的诊断是有必要的。
发明内容
本发明的目的在于：解决上述现有技术中的不足，提供一种低功耗胶囊内窥镜图像采集及三维重建***，减少拍摄过程中无效重复图像的张数，提高胶囊的工作效率，节省胶囊内部有限的电量，通过疑似病灶区域的三维重建减少医生的阅片数量，提高诊疗效率。
为了实现上述目的，本发明采用的技术方案为：
一种低功耗胶囊内窥镜图像采集及三维重建***，包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块，所述的第一MCU控制模块分别与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的无线发射模块和MCU控制模块分别与第一电源管理模块连接，所述的电源管理模块还与所述的CMOS图像传感器连接，所述的CMOS图像传感器还包括短焦镜头；所述的图像接收端包括第二MCU控制模块，所述的第二MCU控制模块分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接，所述的第二MCU控制模块还与第二电源管理模块连接，所述的无线发射模块和无线接收模块均为双向无线通讯模块。
进一步的，上述的电源管理模块包括2.5V电源和1.2V电源，所述的2.5V电源分别与所述的第一MCU控制模块和无线发射模块连接，所述的1.2V电源与所述的CMOS图像传感器连接。
进一步的，上述的第一MCU控制模块分别通过第一SPI总线与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的第二MCU控制模块通过第二SPI总线与所述的无线接收模块连接，所述的第二MCU控制模块通过SDIO接口与SD卡存储模块连接。
进一步的，上述的CMOS图像传感器还通过I2C总线与LED照明模块连接。
进一步的，上述的第一MCU控制模块通过单端零欧姆电阻共地方式分别与CMOS图像传感器、图像压缩模块和无线发射模块连接。
进一步的，上述的无线接收模块的信号输入端还连接有接收前端放大单元。
一种低功耗胶囊内窥镜图像采集及三维重建方法，应用上述的一种低功耗胶囊内窥镜图像采集及三维重建***，包括以下步骤：
步骤一：将胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一MCU控制模块、CMOS图像传感器和无线发射模块正常工作，CMOS图像传感器拍摄肠道内的影像并通过无线发射模块传输至图像接收端中保存；
步骤二：***对影像进行三维重建。
进一步的，上述的步骤一中：
胶囊内窥镜本体启动时，CMOS图像传感器和LED照明模块开始工作，无线发射模块处于断电状态；拍摄完成并通过CMOS图像传感器内置的图像压缩模块将图片压缩完成后，CMOS图像传感器和LED照明模块断电，同时启动无线发射模块将图片发送至图像接收端；图像接收端中的第二MCU控制模块检测到SD卡存储模块将图片保存完成后，通过无线发射模块通知第一MCU控制模块，第一MCU控制模块收到通知后，控制无线发射模块进入断电状态且控制CMOS图像传感器和LED照明模块开始工作；
所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成。
进一步的，上述的步骤二具体为：
步骤201：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；
步骤202：对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；
步骤203：从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；
步骤204：对相邻两帧序列图像进行匹配，得到CMOS图像传感器的运动参数和三维坐标；
步骤205：根据CMOS图像传感器的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像。
进一步的，上述的步骤203中对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；
若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建。
由于采用了上述技术方案，本发明的有益效果是：
本发明的一种低功耗胶囊内窥镜图像采集及三维重建***选用低功耗的MCU控制胶囊内窥镜本体，拍照时无线收发模块处于断电状态-拍照后CMOS图像传感器和LED照明断电—MCU控制启动无线发送模块和无线接收模块发送且接收图片完成后断电—MCU控制SD卡存储图片—MCU控制启动CMOS图像传感器和LED照明工作，循环工作状态下平均电流大大减小，低功耗效果明显。
本发明的***由胶囊内窥镜本体和体外的图像接收端两部分组成。胶囊内窥镜本体硬件电路在电路设计选型的时候都尽量选用低功耗、小封装的器件。胶囊图像接收端能移动接收SD卡存储图片，可与电脑USB口通讯，以拷贝图片且在电脑上位机软件上实时显示所得图片。
本发明的***图像采集功能完善，体积紧凑，***工作稳定，可以很好的完成图像采集发送、接收、存储功能，软件上编写的循环工作状态大大降低了功耗，延长了***工作时间。
对于重建的结果图，从光面光滑程度、凸起以及凹陷的检测率、肠道边缘清晰程度、是否接近真实表面等方面对比，可明显获得形状不一、大小不一的凹陷，褶皱在三维图中显示效果明显，形状各异的凸起均得到明显三维显示。同时，结果图的毛刺锯齿状现象得到改善，轮廓清晰，边缘表面比较光滑，有效的反映出肠道内部的基本特征。
附图说明
图1为本发明的图像采集控制流程示意图。
图2为本发明的胶囊内窥镜本体结构示意图。
图3为本发明的图像接收端结构示意图。
图4为图像采集模块内部结构示意图。
图5为本发明的重建方法流程示意图。
具体实施方式
参照附图1-5，对本发明的实施方式做具体的说明。
如图1-2所示，一种低功耗胶囊内窥镜图像采集及三维重建***，包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块1，所述的第一MCU控制模块1分别与CMOS图像传感器5、图像压缩模块6和无线发射模块8连接，所述的无线发射模块8和第一MCU控制模块1分别与第一电源管理模块2连接，所述的第一电源管理模块2还与所述的CMOS图像传感器5连接，所述的CMOS图像传感器5还包括短焦镜头3；所述的图像接收端包括第二MCU控制模块9，所述的第二MCU控制模块9分别与无线接收模块12、SD卡存储模块13、串口通讯模块14和USB通讯模块15连接，所述的第二MCU控制模块9还与第二电源管理模块10连接，所述的无线发射模块8和无线接收模块12均为双向无线通讯模块。所述图像接收端中的无线通讯模块与胶囊内窥镜本体无线通讯模块区别在于胶囊内窥镜本体无线通讯模块添加了RFX2401C无线接收前端来提高接收灵敏度。
第一MCU控制模块1采用低功耗MCU，MCU控制电路负责CMOS图像传感器5时序操作及数据获取、灯光照明***和无线通讯模块控制、***的电源管理。
进一步的，上述的第一电源管理模块2包括2.5V电源和1.2V电源，所述的2.5V电源分别与所述的第一MCU控制模块1和无线发射模块8连接，所述的1.2V电源与所述的CMOS图像传感器5连接，所述的第一电源管理模块2选用TI公司DSBGA封装的超低噪声线性稳压器LP5907，所述的CMOS图像传感器5选用的是带有压缩引擎的CMOS图像传感器，通过CMOS图像传感器5直接完成图片采集和压缩输出，无需再增加其他***电路。
所述第一电源管理模块2采用超低噪声线性稳压器，一路输出2.5V给第一MCU控制模块1和无线发射模块8供电；另一路输出1.2V单独给CMOS图像传感器5供电。这样设计保证模拟信号和数字信号的隔离，CMOS图像传感器5电源与其他电路模块的电源隔离开，免受其他电路电源的纹波对传感器采集的图像干扰，以及可减少无线通讯的丢包率。
进一步的，上述的第一MCU控制模块1分别通过第一SPI总线与CMOS图像传感器5、图像压缩模块6和无线发射模块8连接，所述的第二MCU控制模块9通过第二SPI总线与所述的无线接收模块12连接，所述的第二MCU控制模块9通过SDIO接口与SD卡存储模块13连接。
进一步的，上述的CMOS图像传感器5还通过I2C总线与LED照明模块4连接。
所述胶囊内窥镜本体的LED照明模块采用带反射器的白色高亮LED对称布局为***拍摄光源，胶囊内镜的图像质量除了与光源的选择有关外还与其位置和周围的环境有关，同一对象在不同的照明条件下产生不同质量的图像。低照度可能导致图像较暗，过度照明可能导致过曝现象，平衡的照明条件能更好的获得图像的信息和细节。所以***光源设计重点在于保证***照明的均匀度。拍摄物体的亮度主要依赖于以下几个因素：胶囊本身的位置、拍摄物的距离、物体的反光程度、LED光源的数量、LED照明的角度。设计的照明***必须能根据拍摄环境自动调节亮度，减少***拍摄图像过度曝光或者图像过于黑暗，实现平衡照明，也可以最大限度的节省功耗。
当***电压低于白色LED的工作电压2.7V而高于***可工作最小电压2.5V这区间内LED灯还能继续工作，本***采用了可以升压，驱动电流可编程的闪光灯控制芯片LM3643延长***拍摄时间。
所述胶囊内窥镜图像采集***的胶囊内窥镜本体照明***与CMOS图像传感器同步，在拍摄图像之前开启LED照明模块4，拍摄完之后停止触发来关闭LED照明模块4。
进一步的，上述的第一MCU控制模块1通过单端零欧姆电阻共地方式分别与CMOS图像传感器5、图像压缩模块6和无线发射模块8连接。
进一步的，上述的无线接收模块12的信号输入端还连接有接收前端放大单元11。
一种低功耗胶囊内窥镜图像采集及三维重建方法，应用上述的一种低功耗胶囊内窥镜图像采集及三维重建***，包括以下步骤：
步骤一：将胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一MCU控制模块1、CMOS图像传感器5和无线发射模块8正常工作，CMOS图像传感器5拍摄肠道内的影像并通过无线发射模块8传输至图像接收端中保存；
步骤二：***对影像进行三维重建。
进一步的，上述的步骤一中：
胶囊内窥镜本体启动时，CMOS图像传感器5和LED照明模块4开始工作，无线发射模块8处于断电状态；拍摄完成并通过CMOS图像传感器5内置的图像压缩模块6将图片压缩完成后，CMOS图像传感器5和LED照明模块4断电，同时启动无线发射模块8将图片发送至图像接收端；图像接收端中的第二MCU控制模块9检测到SD卡存储模块13将图片保存完成后，通过无线接收模块12通知第一MCU控制模块1，第一MCU控制模块1收到通知后，控制无线发射模块8进入断电状态且控制CMOS图像传感器5和LED照明模块4开始工作；
所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成。
当CMOS图像传感器5采集完一张图片后，第一MCU控制模块1发送停止采集命令，CMOS图像传感器5断电停止拍照，同时第一MCU控制模块1发送传送数据命令，无线发射模块8开始供电并将CMOS图像传感器5采集到的图片数据发送出去，当图像接收端的无线接收模块12成功接收到CMOS图像传感器采集的图片数据，此时向第二MCU控制模块9发送接收完图片数据信号，第二MCU控制模块9就发送命令控制无线发射模块12和无线接收模块8断电，并且同时向CMOS图像传感器5发送拍照命令，这时CMOS图像传感器5获得供电并开始拍照。当CMOS图像传感器5在拍照状态时，无线发射模块8和无线接收模块12都是出于断电状态。也就是相机只在需要拍照时才供电，拍照过程中无线发射模块8和无线接收模块12都处于断电状态，相机拍完照片后就断电。相机拍完照片断电的同时，给无线发射模块8和无线接收模块12供电，当无线接收模块12接收完图片数据后，再次控制相机拍照。如此循环工作，达到降低功耗，节省电源的目的。
CMOS图像传感器5采集到的图片是压缩后的JPEG图片再经无线发射模块8发送到图像接收端中的SD卡存储模块13存储起来。也可在无线接收模块12接收完图片数据后将图片实时显示在上位机软件中，在CMOS图像传感器5采集图片时，同时用磁感器阵列调整体内胶囊的状态，从而得到精度更高的图片，这种方式获得的图片对于诊断更加准确。所述胶囊内窥镜本体的CMOS图像传感器5自带压缩引擎，可支持整帧、子采样、缩放和取窗口等方式下各种分辨率8位或者10位影像数据输出。还可以通过SCCB接口控制，实现自动曝光控制、白平衡、对比度调节、色饱和度调节等功能。通过该传感器直接完成图片采集和压缩输出，无需再增加其他***电路。
进一步的，上述的步骤二具体为：
步骤201：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；
步骤202：对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；
步骤203：从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；
步骤204：对相邻两帧序列图像进行匹配，得到CMOS图像传感器5的运动参数和三维坐标；
步骤205：根据CMOS图像传感器5的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像。
进一步的，上述的步骤203中对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；
若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建。
在基于栅格区域的ORB特征随机选取方法，使得在特征数目稳定同时，在二维图像上的映射点均匀的在分布在图像中。
基于栅格区域的ORB特征随机选取方法如下：
首先，把预处理后的图像划分为指定大小的栅格区域如M＊N个，M、N为常数；
利用ORB特征提取算法检测出整幅图像的特征点，则这些ORB特征点会随机地分布在M＊N个栅格区域中。
记特征点在区域中的位置坐标fi(uj，vj)，i＝1，2...，M*N，j＝1，2，...ni。
然后计算n个ORB特征点位置坐标均值、方差，从而统计出区域内分布参数值：按照特征分布值从大到小来对栅格区域进行重新排序，然后从特征分布指数值较大的前k个栅格区域中提取n个随机特征点，并且每个像素间的距离要大于所设定的阈值保证提取特征点不重叠，这样将在某个区域内提取的紧凑的特征点很可能对区域图像的特征描述没有实际意义，而某些特征点少的区域可能对整个图像的描述很有必要，通过这样筛选特征随机选取提升了算法的效率与准确性。
对于特征匹配，在特种匹配区域用主动搜索方法，减小特征匹配复杂度，提升匹配的效率。对于可能存在的误匹配，通过改进扩展的扩展卡尔曼滤波算法，删除误匹配，同时补救有用特征信息。
对所接收储存的肠胃道图像特征分析，对于肠胃道中残存的气泡或肠道自身的粘液，导致胶囊内镜在拍摄中严重反光，输出图像出现的高亮区域，采用“临近像素点的特征近似”思路引入光滑迭代算法与数字形态学方法对图像进行去除反光区域。
对于存在噪声的图像或分辨率较低的问题，用差值处理。
由于胶囊内窥镜图像采集获取特征的二维信息，需通过多次观测得到其深度信息。利用不同位置的视角差，根据三角测量原理选择合理的优化算法及表面约束条件进行求解得到图像深度信息。
同时，为确保三维重建的结果最大化的接近真实的肠胃道表面，在基本的明暗恢复形状的基础上融入八点法，在三维表面的光滑处理中采用NURBS曲线的立方插值算法，结合曲面光顺的能量法的思想，采用更加贴合实际表面的控制点求解法来改善重建结果可能存在不光滑现象，增强三维显示效果。

Claims (10)

1.一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于：包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块，所述的第一MCU控制模块分别与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的无线发射模块和第一MCU控制模块分别与第一电源管理模块连接，所述的第一电源管理模块还与所述的CMOS图像传感器连接，所述的CMOS图像传感器还包括短焦镜头；所述的图像接收端包括第二MCU控制模块，所述的第二MCU控制模块分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接，所述的第二MCU控制模块还与第二电源管理模块连接，所述的无线发射模块和无线接收模块均为双向无线通讯模块。
2.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于：所述的第一电源管理模块包括2.5V电源和1.2V电源，所述的2.5V电源分别与所述的第一MCU控制模块和无线发射模块连接，所述的1.2V电源与所述的CMOS图像传感器连接。
3.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于：所述的第一MCU控制模块分别通过第一SPI总线与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的第二MCU控制模块通过第二SPI总线与所述的无线接收模块连接，所述的第二MCU控制模块通过SDIO接口与SD卡存储模块连接。
4.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于：所述的CMOS图像传感器还通过I2C总线与LED照明模块连接。
5.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于：所述的第一MCU控制模块通过单端零欧姆电阻共地方式分别与CMOS图像传感器、图像压缩模块和无线发射模块连接。
6.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于：所述的无线接收模块的信号输入端还连接有接收前端放大单元。
7.一种低功耗胶囊内窥镜图像采集及三维重建方法，应用权利要求1-6中任一项所述的一种低功耗胶囊内窥镜图像采集及三维重建***，其特征在于包括以下步骤：
步骤一：将胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一MCU控制模块、CMOS图像传感器和无线发射模块正常工作，CMOS图像传感器拍摄肠道内的影像并通过无线发射模块传输至图像接收端中保存；
步骤二：***对影像进行三维重建。
8.根据权利要求7所述的一种低功耗胶囊内窥镜图像采集及三维重建方法，其特征在于：所述的步骤一中：
胶囊内窥镜本体启动时，CMOS图像传感器和LED照明模块开始工作，无线发射模块处于断电状态；拍摄完成并通过CMOS图像传感器内置的图像压缩模块将图片压缩完成后，CMOS图像传感器和LED照明模块断电，同时启动无线发射模块将图片发送至图像接收端；图像接收端中的第二MCU控制模块检测到SD卡存储模块将图片保存完成后，通过无线接收模块通知第一MCU控制模块，第一MCU控制模块收到通知后，控制无线发射模块进入断电状态且控制CMOS图像传感器和LED照明模块开始工作；
所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成。
9.根据权利要求7所述的一种低功耗胶囊内窥镜图像采集及三维重建方法，其特征在于：所述的步骤二具体为：
步骤201：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；
步骤202：对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；
步骤203：从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；
步骤204：对相邻两帧序列图像进行匹配，得到CMOS图像传感器的运动参数和三维坐标；
步骤205：根据CMOS图像传感器的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像。
10.根据权利要求9所述的一种低功耗胶囊内窥镜图像采集及三维重建方法，其特征在于：所述的步骤203中对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；
若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建。
CN201810770217.9A 2018-07-13 2018-07-13 一种低功耗胶囊内窥镜图像采集及三维重建*** Active CN109008909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810770217.9A CN109008909B (zh) 2018-07-13 2018-07-13 一种低功耗胶囊内窥镜图像采集及三维重建***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810770217.9A CN109008909B (zh) 2018-07-13 2018-07-13 一种低功耗胶囊内窥镜图像采集及三维重建***

Publications (2)

Publication Number Publication Date
CN109008909A true CN109008909A (zh) 2018-12-18
CN109008909B CN109008909B (zh) 2024-01-26

Family

ID=64642455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810770217.9A Active CN109008909B (zh) 2018-07-13 2018-07-13 一种低功耗胶囊内窥镜图像采集及三维重建***

Country Status (1)

Country Link
CN (1) CN109008909B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801360A (zh) * 2018-12-24 2019-05-24 北京理工大学 基于图像的胃肠三维重构和可视化方法
CN110236473A (zh) * 2019-05-23 2019-09-17 昌乐县人民医院 一种能自动调节位置的自清洁胶囊腹腔镜
CN110245671A (zh) * 2019-06-17 2019-09-17 艾瑞迈迪科技石家庄有限公司 一种内窥镜图像特征点匹配方法及***
CN110367912A (zh) * 2019-07-12 2019-10-25 深圳先进技术研究院 一种内窥镜及内窥镜***

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1000408A1 (de) * 1998-01-13 2000-05-17 Koninklijke Philips Electronics N.V. Computertomographie-verfahren mit helixförmiger abtastung eines untersuchungsbereichs
US6628819B1 (en) * 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
CN1864623A (zh) * 2006-05-23 2006-11-22 重庆大学 基于jpeg2000的按需式无线内窥镜胶囊
CN101110126A (zh) * 2007-06-19 2008-01-23 北京大学 一种三维模型网格重建方法
CN101536895A (zh) * 2009-04-09 2009-09-23 上海交通大学 胶囊内镜自动调焦***
US20090285366A1 (en) * 2008-05-15 2009-11-19 Robert Essenreiter Determining calibration information for an x-ray apparatus
US20120235998A1 (en) * 2011-03-18 2012-09-20 Siemens Corporation Three-Dimensional Reconstruction for Irregular Ultrasound Sampling Grids
CN204181577U (zh) * 2014-10-23 2015-03-04 宜宾学院 一种胶囊内窥镜驱动***
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜***
CN106682592A (zh) * 2016-12-08 2017-05-17 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别***及方法
US20170171525A1 (en) * 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
US20170180704A1 (en) * 2014-03-28 2017-06-22 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
CN106983487A (zh) * 2017-03-14 2017-07-28 宜宾学院 无线胶囊内窥镜三维位置和三维姿态的定位***及其定位方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术（武汉）有限公司 胶囊内窥镜图像预处理***及方法
WO2018002677A1 (en) * 2016-06-27 2018-01-04 Balázs Ferenc István Method for 3d reconstruction with a mobile device
US20180053293A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method and System for Image Registrations
CN108010045A (zh) * 2017-12-08 2018-05-08 福州大学 基于orb的视觉图像特征点误匹配提纯方法
CN108171787A (zh) * 2017-12-18 2018-06-15 桂林电子科技大学 一种基于orb特征检测的三维重建方法
CN209122167U (zh) * 2018-07-13 2019-07-19 宜宾学院 一种低功耗胶囊内窥镜图像采集及三维重建***

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1000408A1 (de) * 1998-01-13 2000-05-17 Koninklijke Philips Electronics N.V. Computertomographie-verfahren mit helixförmiger abtastung eines untersuchungsbereichs
US6628819B1 (en) * 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
CN1864623A (zh) * 2006-05-23 2006-11-22 重庆大学 基于jpeg2000的按需式无线内窥镜胶囊
CN101110126A (zh) * 2007-06-19 2008-01-23 北京大学 一种三维模型网格重建方法
US20090285366A1 (en) * 2008-05-15 2009-11-19 Robert Essenreiter Determining calibration information for an x-ray apparatus
CN101536895A (zh) * 2009-04-09 2009-09-23 上海交通大学 胶囊内镜自动调焦***
US20120235998A1 (en) * 2011-03-18 2012-09-20 Siemens Corporation Three-Dimensional Reconstruction for Irregular Ultrasound Sampling Grids
US20170180704A1 (en) * 2014-03-28 2017-06-22 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
CN204181577U (zh) * 2014-10-23 2015-03-04 宜宾学院 一种胶囊内窥镜驱动***
US20170171525A1 (en) * 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
WO2018002677A1 (en) * 2016-06-27 2018-01-04 Balázs Ferenc István Method for 3d reconstruction with a mobile device
US20180053293A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method and System for Image Registrations
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜***
CN106682592A (zh) * 2016-12-08 2017-05-17 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别***及方法
CN106983487A (zh) * 2017-03-14 2017-07-28 宜宾学院 无线胶囊内窥镜三维位置和三维姿态的定位***及其定位方法
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术（武汉）有限公司 胶囊内窥镜图像预处理***及方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN108010045A (zh) * 2017-12-08 2018-05-08 福州大学 基于orb的视觉图像特征点误匹配提纯方法
CN108171787A (zh) * 2017-12-18 2018-06-15 桂林电子科技大学 一种基于orb特征检测的三维重建方法
CN209122167U (zh) * 2018-07-13 2019-07-19 宜宾学院 一种低功耗胶囊内窥镜图像采集及三维重建***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
潘盼: "一种改进的ORB算法", 《微型机与应用》, vol. 36, no. 20, pages 23 - 26 *
秦红星;胡勇强;: "基于区域生长的稠密三维点云重建方法", 计算机工程与设计, no. 02, pages 465 - 469 *
罗肖: "序列内窥镜图像的三维结构重建", no. 9, pages 138 - 757 *
蔡振宇: "基于全六维位姿定位的肠胃道胶囊内窥镜图像三维重建技术研究", no. 3, pages 138 - 6240 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801360A (zh) * 2018-12-24 2019-05-24 北京理工大学 基于图像的胃肠三维重构和可视化方法
CN110236473A (zh) * 2019-05-23 2019-09-17 昌乐县人民医院 一种能自动调节位置的自清洁胶囊腹腔镜
CN110245671A (zh) * 2019-06-17 2019-09-17 艾瑞迈迪科技石家庄有限公司 一种内窥镜图像特征点匹配方法及***
CN110245671B (zh) * 2019-06-17 2021-05-28 艾瑞迈迪科技石家庄有限公司 一种内窥镜图像特征点匹配方法及***
CN110367912A (zh) * 2019-07-12 2019-10-25 深圳先进技术研究院 一种内窥镜及内窥镜***

Also Published As

Publication number Publication date
CN109008909B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN109008909A (zh) 一种低功耗胶囊内窥镜图像采集及三维重建***
CN109544618B (zh) 一种获取深度信息的方法及电子设备
CN101464947B (zh) 基于指纹和手指静脉的双模态生物图像采集装置
CN105957090B (zh) 一种基于达芬奇技术的单目视觉位姿测量方法及***
WO2018161289A1 (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
CN106934394A (zh) 双波长图像采集***及方法
CN108135455A (zh) 内窥镜***
CN110718008A (zh) 3d人脸识别模组、门锁及门
CN106817794A (zh) Tof电路模块及其应用
CN110897596A (zh) 自动调节胶囊拍摄速率的方法、内窥镜、记录仪及***
CN106484113A (zh) 屏幕唤醒装置和方法
CN106934349B (zh) 双摄像头成像及虹膜采集识别一体化设备
EP4242961A1 (en) Image processing method and apparatus, and electronic device
CN209122167U (zh) 一种低功耗胶囊内窥镜图像采集及三维重建***
KR100928660B1 (ko) 이미지 평가 정보를 제공하는 이미지 처리 장치 및 방법
CN113747044B (zh) 一种全景拍摄方法及设备
CN112906682A (zh) 控制光源亮度的方法、装置及计算机存储介质
CN107423733A (zh) 基于标记点身份识别的动作捕捉***
CN100352400C (zh) 便携式虹膜图像采集装置
CN1672626A (zh) 立体成像的智能胶囊式消化道内窥镜
CN206147768U (zh) 一种基于生物特征识别的一体考勤***
CN215642742U (zh) 多模态生物识别模块与多模态生物识别设备
CN114827442B (zh) 生成图像的方法和电子设备
CN109600531A (zh) 双目视觉扫描***及扫描方法
CN105120143B (zh) 电子***镜消除图像光斑的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant