CN108175522A - 一种头戴式三维电子手术显微镜*** - Google Patents
一种头戴式三维电子手术显微镜*** Download PDFInfo
- Publication number
- CN108175522A CN108175522A CN201711396574.5A CN201711396574A CN108175522A CN 108175522 A CN108175522 A CN 108175522A CN 201711396574 A CN201711396574 A CN 201711396574A CN 108175522 A CN108175522 A CN 108175522A
- Authority
- CN
- China
- Prior art keywords
- image processing
- fpga
- way
- video
- cmos sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种头戴式三维电子手术显微镜***，包括FPGA图像处理板，FPGA图像处理板输入端有两路输入，一路由体式显微镜左镜头通过其内置的CMOS传感器A与FPGA图像处理板输入端A连接，另一路由体式显微镜右镜头通过其内置的CMOS传感器B与FPGA图像处理板输入端B连接；FPGA图像处理板输出端分两路输出，一路通过HDMI与3D显示器连接，另一路通过多路HDMI与VR显示器连接。本发明通过软硬件结合以及光学方式，使人们能通过头盔式显示***清晰的显示三维立体图像，成像效果非常明显，且显示速度能达到实时的效果。
Description
技术领域
本发明属于医用设备技术领域，特别涉及一种头戴式三维电子手术显微镜***。
背景技术
显微镜是一种由透镜或多透镜组合所组成的光学仪器，用于对微小物体放大成象。平面体视显微镜经多年发展，许多技术已经非常成熟，但均为观察样品只能是垂直方向，不能从多角度观察样品。显微外科是现代外科手术的重要组成部分，显微外科(包括耳科、眼科、神经外科和整形外科等)的关键设备是手术显微镜，术者必须经过专业训练，要求长时间固定头位，近距离对准并凝视目镜进行显微操作，这不仅使操作者容易疲劳，还常造成颈椎腰椎劳损。
传统3D手术显微镜功能单一，只适合人眼直接通过显微镜的光学目镜观察物体，存在以下技术缺陷：该显微镜的灵活度较低，医生在长时间做手术过程中，姿势不能做大的调整，通长做一次手术需要花费两三个小时，这样很不利于医生的身体健康。
传统手术显微镜通常只能一个人或者两个人同时观看，存在以下技术缺陷：要求做手术的医生要有丰富的经验，对新上任的医生来说，观察真实的案例遥遥无期；在信息时代飞速发展的今天，信息传播尤为重要，互联网作为最大的载体，如果不加以利用，将是医疗界的一大损失。
发明内容
本发明的目的要解决上述技术问题。
本发明的目的是这样实现的：一种头戴式三维电子手术显微镜***，包括FPGA图像处理板，其特征在于：所述的FPGA图像处理板输入端有两路输入，一路由体式显微镜左镜头通过其内置的CMOS传感器A与FPGA图像处理板输入端A连接，另一路由体式显微镜右镜头通过其内置的CMOS传感器B与FPGA图像处理板输入端B连接；
FPGA图像处理板输出端分两路输出，一路通过HDMI与3D显示器连接，另一路通过多路HDMI与VR显示器连接。
所述的CMOS传感器A、CMOS传感器B均采用两路200万像素的高清CMOS芯片且均采用SCCB的配置协议，并且均内置PLL锁相环，能够产生严格精准相位的控制时钟，采集手术显微镜目镜中的图像时达到高速高精度的目的。
所述的CMOS传感器A、CMOS传感器B均通过LVDS信号将视频信号传输给FPGA图像处理板的处理模块；FPGA图像处理板的FPGA芯片先对CMOS采集到的BAYER格式图像进行图像前期处理，同时对两路视频的时钟控制信号进行同步处理，保证两路视频同时输出视频。
所述的FPGA图像处理板上设置有图像合成中央处理器，图像合成中央处理器由视频解码模块、视频处理模块、数据传输模块3个模块组成，其中，视频解码模块用于实现对双摄像机的同步采集，形成立体图像对；视频处理模块则利用FPGA的并行性计算体系结构及其合理的流水线设计来实现立体视觉的并行算法；数据传输模块则借助PCI总线线性突发传输的特点，以实现数据的高速传输。
本发明解决了传统的显示区域小，医生容易疲劳，不能多人同时学习的问题；通过VR显示***或者3D显示器，投射大屏幕，方便了医生以及工作人员观看，减轻了医生做手术时的疲劳，医生能更好的观察病人的伤口，提高了手术的成功率；增添了拍照录像功能，方便医生在手术后分析研究手术中的不足，为以后的手术工作汲取经验，该录像也能做成教学案例，加强了医疗知识的传播学习与交流；能实时的显示视频流，解决了传统DSP算法导致的高延时的视频效果，客户的体验度好，推广应用具有良好的经济和社会效益。
附图说明
图1是本发明的结构示意图。
图2是本发明的3D成像原理示意图。
具体实施方式
下面结合附图对本发明作进一步说明，但不作为对本发明的限制：
一种头戴式三维电子手术显微镜***，包括FPGA图像处理板，其特征在于：所述的FPGA图像处理板输入端有两路输入，一路由体式显微镜左镜头通过其内置的CMOS传感器A与FPGA图像处理板输入端A连接，另一路由体式显微镜右镜头通过其内置的CMOS传感器B与FPGA图像处理板输入端B连接；FPGA图像处理板输出端分两路输出，一路通过HDMI与3D显示器连接，另一路通过多路HDMI与VR显示器连接；所述的CMOS传感器A、CMOS传感器B均采用两路200万像素的高清CMOS芯片且均采用SCCB的配置协议，并且均内置PLL锁相环，能够产生严格精准相位的控制时钟，采集手术显微镜目镜中的图像时达到高速高精度的目的；所述的CMOS传感器A、CMOS传感器B均通过LVDS信号将视频信号传输给FPGA图像处理板的处理模块；FPGA图像处理板的FPGA芯片先对CMOS采集到的BAYER格式图像进行图像前期处理，同时对两路视频的时钟控制信号进行同步处理，保证两路视频同时输出视频；所述的FPGA图像处理板上设置有图像合成中央处理器，图像合成中央处理器由视频解码模块、视频处理模块、数据传输模块3个模块组成，其中，视频解码模块用于实现对双摄像机的同步采集，形成立体图像对；视频处理模块则利用FPGA的并行性计算体系结构及其合理的流水线设计来实现立体视觉的并行算法；数据传输模块则借助PCI总线线性突发传输的特点，以实现数据的高速传输。
本发明采用以下技术方案：1）采用两路200万像素的高清CMOS芯片（OV公司的OV7620 CMOS图像传感器），该传感器采用SCCB的配置协议，并且内置PLL锁相环，能够产生严格精准相位的控制时钟，采集手术显微镜目镜中的图像时达到高速高精度的目的；
2）CMOS芯片通过LVDS信号将视频信号传输给FPGA图像处理模块；FPGA芯片采用Xilinx公司的Spartan-6 LX45，先对CMOS采集到的BAYER格式图像进行图像前期处理，包括白平衡、自动曝光、gamma调整、降噪、锐化、LSC等处理。另外，由于存在双路视频，因此有必要对两路视频的时钟控制信号进行同步处理，保证两路视频同时输出视频；
3）传入图像合成中央处理器，对双路图像进行3D合成处理后，在图像处理过程中对图像的大小做了进一步的放大，方便观察，具体按功能可划分为视频解码模块、视频处理模块、数据传输模块3个模块；其中，视频解码模块用于实现对双摄像机的同步采集，形成立体图像对；视频处理模块则利用FPGA的并行性计算体系结构及其合理的流水线设计来实现立体视觉的并行算法；数据传输模块则借助PCI总线线性突发传输的特点,以实现数据的高速传输；
4）投显到3D高清显示器或者3D显示头盔中，清晰度不亚于传统手术显微镜所看到的。
具体实施时，本发明有几个技术要点：
1）、保证2个CMOS摄像头采集图像同步，本发明是通过FPGA芯片同步双摄像头的PCLK时钟，从而保证摄像头图像输出同步，简化了通过SDRAM来同步视频流的方法；
2）、图像校正处理，由于摄像头由于安装装配的原因，不会再同一个水平面上，那么必然会导致物体在2个CMOS芯片上成像的图像不在一个平面上，那么在合成3D图像上就会出现偏差，如何处理是一个难题；本发明是通过仿射投影和特征点匹配的方法来处理这一技术问题的，通过这种方法标定的参数有很好的鲁棒性；
3）、合成实时3D图像并显示到3D显示器，本发明采用偏光式3D技术也叫偏振式3D 技术，配合使用的是被动式偏光眼镜来看3D显示器；偏光式3D技术的图像效果比色差式好，眼镜成本也不算高；目前较多电影院采用是该类技术；偏光式 3D 是利用光线有“振动方向振动方向”的原理来分解始图像，先把图像分为垂直偏振光和水平偏振光两组画面，然后3D眼镜左右分别采用不同方向的偏光镜片方向的偏光镜片进行接收，这样人的左右眼就能接收两组画面再经过大脑合成3D图像，本发明采用的是左右格式的3D视频；
4）、投射到3D显示头盔中，采用新的显示方法，在FPGA图像处理模块中，将左右两路矫正好的视频，分成2路HDMI视频流，分别输入到LCOS显示器中，形成立体视觉，立体视觉形成效果和FPGA图像处理模块的矫正效果有一定的影响。
本发明是在传统手术显微镜的基础上，添加双路CMOS芯片，增加了CMOS图像传感器与3D显示器，通过CMOS芯片对显微镜目镜中的图像进行光电采集，然后通过FPGA对采集的图像进行合成处理，之后将合成的图像投影到3D显示屏中。
本发明解决了传统的显示区域小，医生容易疲劳，不能多人同时学习的问题；通过VR显示***或者3D显示器，投射大屏幕，方便医生以及工作人员观看，减轻医生做手术时的疲劳，医生能更好的观察病人的伤口，提高手术的成功率；本发明增添有拍照录像功能，方便医生在手术后分析研究手术中的不足，为以后的手术工作汲取经验，该录像也能做成教学案例，加强医疗知识的传播学习与交流。
本发明采用专用的FPGA图像处理***加上图像软件处理，很好的还原了3D效果，不仅能在3D电视或者显示器上显示图像，还能在VR显示器上显示图像；同时因为采用FPGA的高速并行图像处理算法，能实时的显示视频流，图像延时有效控制在100ms左右，解决了传统DSP算法导致的高延时的视频效果。
本发明的上述实施例，仅仅是清楚地说明本发明所做的举例，但不用来限制本发明的保护范围，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由各项权利要求限定。
Claims (4)
1.一种头戴式三维电子手术显微镜***，包括FPGA图像处理板，其特征在于：所述的FPGA图像处理板输入端有两路输入，一路由体式显微镜左镜头通过其内置的CMOS传感器A与FPGA图像处理板输入端A连接，另一路由体式显微镜右镜头通过其内置的CMOS传感器B与FPGA图像处理板输入端B连接；
FPGA图像处理板输出端分两路输出，一路通过HDMI与3D显示器连接，另一路通过多路HDMI与VR显示器连接。
2.根据权利要求1所述的一种头戴式三维电子手术显微镜***，其特征在于：所述的CMOS传感器A、CMOS传感器B均采用两路200万像素的高清CMOS芯片且均采用SCCB的配置协议，并且均内置PLL锁相环，能够产生严格精准相位的控制时钟，采集手术显微镜目镜中的图像时达到高速高精度的目的。
3.根据权利要求1所述的一种头戴式三维电子手术显微镜***，其特征在于：所述的CMOS传感器A、CMOS传感器B均通过LVDS信号将视频信号传输给FPGA图像处理板的处理模块；FPGA图像处理板的FPGA芯片先对CMOS采集到的BAYER格式图像进行图像前期处理，同时对两路视频的时钟控制信号进行同步处理，保证两路视频同时输出视频。
4.根据权利要求3所述的一种头戴式三维电子手术显微镜***，其特征在于：所述的FPGA图像处理板上设置有图像合成中央处理器，图像合成中央处理器由视频解码模块、视频处理模块、数据传输模块3个模块组成，其中，视频解码模块用于实现对双摄像机的同步采集，形成立体图像对；视频处理模块则利用FPGA的并行性计算体系结构及其合理的流水线设计来实现立体视觉的并行算法；数据传输模块则借助PCI总线线性突发传输的特点，以实现数据的高速传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711396574.5A CN108175522A (zh) | 2017-12-21 | 2017-12-21 | 一种头戴式三维电子手术显微镜*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711396574.5A CN108175522A (zh) | 2017-12-21 | 2017-12-21 | 一种头戴式三维电子手术显微镜*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108175522A true CN108175522A (zh) | 2018-06-19 |
Family
ID=62546945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711396574.5A Withdrawn CN108175522A (zh) | 2017-12-21 | 2017-12-21 | 一种头戴式三维电子手术显微镜*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108175522A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285413A (zh) * | 2018-12-10 | 2019-01-29 | 福州大学 | 一种基于vr的生物显微镜三维仿真方法 |
| CN109521556A (zh) * | 2018-12-07 | 2019-03-26 | 歌尔科技有限公司 | 一种电子显微可穿戴设备 |
| CN110687669A (zh) * | 2019-11-13 | 2020-01-14 | 深圳市新致维科技有限公司 | 一种基于体式显微镜的跟踪式裸眼3d显示***及方法 |
| WO2022170928A1 (zh) * | 2021-02-10 | 2022-08-18 | 苏州速迈医学科技股份有限公司 | 一种牙科显微诊疗*** |
-
2017
- 2017-12-21 CN CN201711396574.5A patent/CN108175522A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521556A (zh) * | 2018-12-07 | 2019-03-26 | 歌尔科技有限公司 | 一种电子显微可穿戴设备 |
| CN109285413A (zh) * | 2018-12-10 | 2019-01-29 | 福州大学 | 一种基于vr的生物显微镜三维仿真方法 |
| CN110687669A (zh) * | 2019-11-13 | 2020-01-14 | 深圳市新致维科技有限公司 | 一种基于体式显微镜的跟踪式裸眼3d显示***及方法 |
| WO2022170928A1 (zh) * | 2021-02-10 | 2022-08-18 | 苏州速迈医学科技股份有限公司 | 一种牙科显微诊疗*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2177051C (en) | Synthesized stereoscopic imaging system and method | |
| CN108175522A (zh) | 一种头戴式三维电子手术显微镜*** | |
| US9389409B2 (en) | Imaging system for digital stereo microscope | |
| WO2017173735A1 (zh) | 一种基于视频透视的智能眼镜***及其透视方法 | |
| US9699438B2 (en) | 3D graphic insertion for live action stereoscopic video | |
| CN201804154U (zh) | 体视显微镜的3d观察装置 | |
| WO2016045425A1 (zh) | 一种两视点立体图像合成方法及*** | |
| CN102566027A (zh) | 立体成像光学组件及基于单物镜的数字三维立体显微*** | |
| CN2860384Y (zh) | 视频立体成像手术显微装置 | |
| US20110254918A1 (en) | Stereoscopic system, and image processing apparatus and method for enhancing perceived depth in stereoscopic images | |
| WO2023040637A1 (zh) | 一种显示3d图像的手术显微镜*** | |
| WO2023029849A1 (zh) | 一种ar眼镜 | |
| CN109428987A (zh) | 一种头戴式全景360度立体摄像装置及摄像处理方法 | |
| Gilson et al. | High fidelity immersive virtual reality | |
| Kwon et al. | High-definition 3D stereoscopic microscope display system for biomedical applications | |
| CN102525396A (zh) | 立体腹腔镜 | |
| US10330945B2 (en) | Medical image display apparatus, medical information processing system, and medical image display control method | |
| US10855980B2 (en) | Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method | |
| CN202891888U (zh) | 硬质多通道3d关节镜*** | |
| CN103767667A (zh) | 硬质多通道3d胆囊镜*** | |
| WO2021090335A1 (en) | An apparatus for a real time 3d view of an operating site | |
| CN202891884U (zh) | 硬质多通道3d肛肠镜*** | |
| Song et al. | Design of the computerized 3D endoscopic imaging system for delicate endoscopic surgery | |
| WO2023137808A1 (zh) | 视觉增强的智能穿戴设备及实现立体视觉换位的方法 | |
| CN103767668A (zh) | 硬质多通道3d脑室镜*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180619 |
|
| WW01 | Invention patent application withdrawn after publication |