CN115462735A - 一种高精度单目内窥立体成像***及成像方法 - Google Patents
一种高精度单目内窥立体成像***及成像方法 Download PDFInfo
- Publication number
- CN115462735A CN115462735A CN202110649512.0A CN202110649512A CN115462735A CN 115462735 A CN115462735 A CN 115462735A CN 202110649512 A CN202110649512 A CN 202110649512A CN 115462735 A CN115462735 A CN 115462735A
- Authority
- CN
- China
- Prior art keywords
- infrared
- structured light
- visible light
- light
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 230000010363 phase shift Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本发明公开了一种高精度单目内窥立体成像***及成像方法，包括前控***、可见光光源、红外结构光投射器、分束镜、可见光接收器、红外结构光接受器、可见光处理模块、红外结构光处理模块、图像处理融合模块，所述前控***发出工作指令控制***工作；所述可见光光源发射可见光；所述红外结构光投射器提供红外结构光；所述分束镜将可见光与红外结构光分离开；所述可见光接收器接收可见光；所述红外结构光接收器接收红外结构光；所述可见光处理模块对可见光进行预处理；所述红外结构光处理模块对红外结构光进行预处理；所述图像处理融合模块将彩色图像和深度图进行融合处理，得到最终3D图像。
Description
技术领域
本发明涉及医学成像领域，特别涉及一种高精度单目内窥立体成像***及成像方法。
背景技术
目前市面上主流的用于腹腔镜内窥手术的深度相机一般是双目成像的，通过两个相机拍摄两张具有视差的图片，对两张图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图，这种方法不仅计算复杂而且会造成一定的分辨率损失。为了提高精度，简化计算流程，提高立体图像的准确性，研制一种高精度视场匹配单目立体成像***具有重要意义。
发明内容
为了解决现有技术所存在的问题，本发明提供一种高精度单目内窥立体成像***及成像方法，提高了成像精度，解决了双目相机视差图导致的分辨率损失的问题将双目相机简化成单目，优化了***结构，可用于在腹腔镜内窥手术过程中的立体成像。
为了实现上述的目标，本发明提供一种高精度单目内窥立体成像***及成像方法，具体的技术方案如下：
成像***包括：前控***、可见光光源、红外3D结构光投射器、分束镜、可见光接收器、红外结构光接受器、可见光处理模块、红外结构光处理模块、图像处理融合模块。
所述前控***发出工作指令，控制***工作；
所述可见光光源为高精度单目内窥立体成像***提供可见光照明；
所述红外3D结构光发射器，对红外光进行编码，使其成为具有空间信息的红外结构光并发射到物体表面；所述分束镜将接受到的可见光和红外光分成两束，可见光进入可见光接收器，红外光进入红外结构光接收器；所述可见光接受器将接收到的可见光信息转化为数字图像信号，并传输到可见光处理模块；所述红外结构光接收器将接收到的红外结构光信息转化为数字图像信号，并传输到红外结构光处理模块；所述可见光处理模块将接收到的可见光数字图像进行预处理，得到彩色2D图，并将彩色2D图传输到图像处理融合模块；
所述红外结构光处理模块将接收到的具有空间信息的红外结构光数字图像进行预处理，得到具有空间信息的深度图，并将具有空间信息的深度图传输到图像处理融合模块；
所述图像处理融合模块将接收到的彩色2D图和具有空间信息的深度图进行图像融合，得到最终的3D立体图像。
附图说明
图1是本发明单目内窥立体成像***的结构示意图。
图2是本发明单目内窥立体成像***的工作原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
如图1所示，一种高精度单目内窥立体成像***，包括前控***（1）、可见光光源（2）、红外3D结构光投射器（3）、分束镜（4）、可见光接收器（5）、红外结构光接受器（6）、可见光处理模块（7）、红外结构光处理模块（8）、图像处理融合模块（9）。
所述前控***（1）发出工作指令，控制***工作；
所述可见光光源（2）为高精度视场匹配单目立体成像***提供可见光照明；
所述红外3D结构光投射器（3），对红外光进行编码，使其成为具有空间信息的红外结构光并发射到物体表面；
所述分束镜（4）将接受到的可见光和红外光分成两束，可见光进入可见光接收器（5），红外光进入红外结构光接收器（6）；所述可见光接受器（5）将接收到的可见光信息转化为数字图像信号，并传输到可见光处理模块（7）；所述红外结构光接收器（6）将接收到的红外结构光信息转化为数字图像信号，并传输到红外结构光处理模块（8）；
所述可见光处理模块（7）将接收到的可见光数字图像进行预处理，得到彩色2D图，并将彩色2D图传输到图像处理融合模块（9）；所述红外结构光处理模块（8）将接收到的具有空间信息的红外结构光数字图像进行预处理，得到具有空间信息的深度图，并将具有空间信息的深度图传输到图像处理融合模块（9）；所述图像处理融合模块（9）将接收到的彩色2D图和具有空间信息的深度图进行图像融合，得到最终的3D立体图像；
一种高精度单目内窥立体成像方法,所述方法基于权利要求1-4所述的处理***,其特征在于，包括如下步骤:
步骤一，前控***发出工作指令，可见光光源和红外3D结构光投射器接收工作指令；
步骤二，可见光光源发出可见光；红外3D结构光投射器接收指令后，红外激光器发出红外激光经过准直原件进行准直，然后通过衍射元件进行衍射，最后聚合元件对衍射后的激光进行聚合并传送至空间光调制器。空间光调制器将红外激光调制成具有空间信息的结构光；
步骤三，可见光和红外结构光投射到待测物体上；
步骤四，可见光和红外结构光经过待测物体后，反射回***，并经过分束镜；
步骤五，分束镜将返回***的混合光分离开，分别进入可见光接收器和红外结构光接收器；可见光接收器和红外结构光接收器将接收到的图像信息转化为数字图像信号并传输到相应的处理模块；
步骤六，可见光处理模块将接收到的数字图像进行预处理，并输出彩色2D图；红外结构光处理模块利用红外结构光的相位，可以得出待测物体表面的三维信息；
公式如下：
式中，L为红外结构光接收器到参考平面的距离，T为条纹结构光在参考平面的频率，
为***获取的结构光的相位差，d为红外3D结构光投射器与红外结构光接收器的距离；
其中m为相移步长数，
为第m步（x，y）点的光强。
Claims (5)
1.一种高精度单目内窥立体成像***，其特征在于，包括前控***（1）、可见光光源（2）、红外3D结构光投射器（3）、分束镜（4）、可见光接收器（5）、红外结构光接受器（6）、可见光处理模块（7）、红外结构光处理模块（8）、图像处理融合模块（9）。
2.根据权利要求1所述的高精度单目内窥立体成像***，其特征在于，所述红外3D结构光投射器（3）组成有：发射红外激光的激光器、对红外激光进行编码的空间光调制器、用于对出射激光进行准直的准直元件、衍射元件和减小激光发散度的聚合元件，红外3D结构光投射器（3）发出的具有空间信息的激光打到物体表面后反射，经过扩束镜到达红外结构光接收器（6）后，再传送至红外结构光处理模块（8）。
3.根据权利要求书2所述的高精度单目内窥立体成像***，其特征在于，上述红外结构光处理模块（8）能够通过计算结构光的相位变化，从而得出待测物体的表面三维信息。
4.根据权利要求书1所述的高精度单目内窥立体成像***，其特征在于，所述分束镜（4）能够将物体表面反射回来的可见光与具有空间信息的红外结构光分开，分别进入可见光处理模块和红外结构光处理模块。
5.一种高精度单目内窥立体成像方法,所述方法基于权利要求1-4所述的处理***,其特征在于，包括如下步骤:
步骤一，前控***发出工作指令，可见光光源和红外3D结构光投射器接收工作指令；
步骤二，可见光光源发出可见光；红外3D结构光投射器接收指令后，红外激光器发出红外激光经过准直原件进行准直，然后通过衍射元件进行衍射，最后聚合元件对衍射后的激光进行聚合并传送至空间光调制器，空间光调制器将红外激光调制成具有空间信息的结构光；
步骤三，可见光和红外结构光投射到待测物体上；
步骤四，可见光和红外结构光经过待测物体后，反射回***，并经过分束镜；
步骤五，分束镜将返回***的混合光分离开，分别进入可见光接收器和红外结构光接收器；可见光接收器和红外结构光接收器将接收到的图像信息转化为数字图像信号并传输到相应的处理模块；
步骤六，可见光处理模块将接收到的数字图像进行预处理，并输出彩色2D图；红外结构光处理模块利用红外结构光的相位，可以得出待测物体表面的三维信息；
公式如下：
式中，L为红外结构光接收器到参考平面的距离，T为条纹结构光在参考平面上的空间频率，
为***获取的结构光的相位差，d为红外3D结构光投射器与红外结构光接收器的距离；
的计算方法为用待测物体的相位
减去参考平面的相位，其中某点的相位
计算公式为：
其中m为相移步长数，
为第m步（x，y）点的光强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110649512.0A CN115462735A (zh) | 2021-06-10 | 2021-06-10 | 一种高精度单目内窥立体成像***及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110649512.0A CN115462735A (zh) | 2021-06-10 | 2021-06-10 | 一种高精度单目内窥立体成像***及成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115462735A true CN115462735A (zh) | 2022-12-13 |
Family
ID=84364454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110649512.0A Pending CN115462735A (zh) | 2021-06-10 | 2021-06-10 | 一种高精度单目内窥立体成像***及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115462735A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117768634A (zh) * | 2024-02-22 | 2024-03-26 | 长春市榣顺科技有限公司 | 基于双目相机与激光雷达的车载立体视觉相机及成像方法 |
-
2021
- 2021-06-10 CN CN202110649512.0A patent/CN115462735A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117768634A (zh) * | 2024-02-22 | 2024-03-26 | 长春市榣顺科技有限公司 | 基于双目相机与激光雷达的车载立体视觉相机及成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3531066B1 (en) | Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner | |
| CN107093195B (zh) | 一种激光测距与双目相机结合的标记点定位方法 | |
| CN105066909A (zh) | 一种手持式多激光条纹快速三维测量方法 | |
| CN111121722A (zh) | 结合激光点阵和偏振视觉的双目三维成像方法 | |
| CN109889809A (zh) | 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法 | |
| CN108050958B (zh) | 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法 | |
| CN110044300A (zh) | 基于激光器的两栖三维视觉探测装置及探测方法 | |
| CN104634276A (zh) | 三维测量***、拍摄设备和方法、深度计算方法和设备 | |
| US9621872B1 (en) | Systems and methodologies related to formatting data for 3-D viewing | |
| US10648789B2 (en) | Method for monitoring linear dimensions of three-dimensional objects | |
| CN101788274B (zh) | 一种彩色复合光栅的三维面形测量方法 | |
| KR20120058828A (ko) | 3차원 좌표 추출 시스템 및 그 방법 | |
| CN104335005A (zh) | 3d扫描以及定位*** | |
| CN108362228B (zh) | 一种基于双光机的光刀光栅混合式三维测量装置及测量方法 | |
| CN209676383U (zh) | 深度相机模组、深度相机、移动终端以及成像装置 | |
| CN104251995A (zh) | 彩色激光三维扫描技术 | |
| CN110471083A (zh) | 一种纵向距离的激光三维成像装置及方法 | |
| CN112602118B (zh) | 图像处理装置和三维测量*** | |
| CN207751449U (zh) | 一种基于视场匹配的单目深度相机 | |
| US9354606B1 (en) | Systems and methodologies related to generating projectable data for 3-D viewing | |
| CN115462735A (zh) | 一种高精度单目内窥立体成像***及成像方法 | |
| CN104296681B (zh) | 基于激光点阵标识的三维地形传感方法 | |
| CN202406199U (zh) | 一种基于双阵列图像传感器的三维测量芯片及*** | |
| CN113311451B (zh) | 一种激光散斑投射ToF深度感知方法及装置 | |
| KR102085705B1 (ko) | 3차원 카메라 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |