CN115914809A - 一种幽光高温工业立体内窥镜 - Google Patents
一种幽光高温工业立体内窥镜 Download PDFInfo
- Publication number
- CN115914809A CN115914809A CN202211188880.0A CN202211188880A CN115914809A CN 115914809 A CN115914809 A CN 115914809A CN 202211188880 A CN202211188880 A CN 202211188880A CN 115914809 A CN115914809 A CN 115914809A
- Authority
- CN
- China
- Prior art keywords
- optical imaging
- image
- module
- endoscope
- imaging systems
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012634 optical imaging Methods 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 32
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000001816 cooling Methods 0.000 claims description 38
- 238000004140 cleaning Methods 0.000 claims description 37
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 31
- 239000000498 cooling water Substances 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 239000007921 spray Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 229910052757 nitrogen Inorganic materials 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 210000001187 pylorus Anatomy 0.000 claims 2
- 239000000428 dust Substances 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 5
- 239000007789 gas Substances 0.000 description 5
- 238000003723 Smelting Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000002366 time-of-flight method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000002341 toxic gas Substances 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 206010039509 Scab Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000002912 waste gas Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/20—Recycling
Landscapes
- Endoscopes (AREA)
Abstract
本发明公开了一种幽光高温工业立体内窥镜包括耐高温壳体组件、安装于耐高温壳体组件内的立体光学成像***和图像处理模块，其中立体光学成像***，用于采用多组光学成像***采集原始视频流；图像处理模块，用于对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并根据亮度增强输出视频流，构建虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像，解决了在极弱光条件下难以获得高清晰度和高亮度的三维料面图像的技术问题，通过对多组光学成像***采集的视频流进行高亮合成以及构建虚实多目内窥镜阵列重构高炉料面，大大提高了输出的高炉料面图像亮度，实现了幽光环境下高炉料面图像的三维高亮成像。
Description
技术领域
本发明主要涉及高温工业内窥镜技术领域，特指一种幽光高温工业立体内窥镜。
背景技术
高炉是钢铁冶炼的一套关键设备，高炉的稳定高效运行对整个钢铁冶炼都有着很大的影响。此外，其能源消耗和废气废料的排放也是整个冶炼过程中占比最大的。因此，对高炉的精准控制是实现效率提升、节能减排的重要手段。而要实现对高炉的精准控制，就必须要能够获得高炉内的足够信息，才能为高炉的精准控制提供足够的依据。图像信息作为一种重要的信息种类，可以为高炉的控制提供丰富的信息支撑。然而，由于高炉内环境复杂，长时间处在一种高温高腐蚀的状态，同时，炉内充斥着大量的粉尘和有毒气体，使得整个高炉内呈现一种密封的能见度极低的环境，内部光线极弱，是一个照度低于0.0001Lux的幽光环境。因此，高炉内的可见光成像十分困难，利用可见光进行立体成像更是寸步难行；同时，高炉内其他的复杂条件也对成像设备提出了非常苛刻的要求。
目前的高炉料面的立体成像主要依靠雷达扫描成像，还有利用红外图像进行立体成像的方法，而在可见光领域的高炉料面立体成像则十分空缺。
雷达扫描立体成像通过装在炉顶的雷达装置对高炉内进行扫描，得到高炉内的雷达反射数据，在数据处理模块上对这些数据进行处理得到炉内的料面高度信息，进而可以重构出高炉内的料面立体图像。然而，通过这种方法仅能得到高炉料面的高度信息，而对于料面的细节纹理则无从感知，此外，炉内的复杂环境对于雷达探测器的精度也会产生影响，因此这种方法所提供的信息较为有限，不适合进行进一步的应用。
红外成像则通过红外热成像传感器对高炉内进行红外图像采集，高炉内不同的温度会呈现出不同的色彩和灰度值，通过温度和料面高度的映射关系可以获得料面的高度信息，进而得到料面的立体图像。然而，料面的温度和高度并不存在绝对的映射关系，此外，炉内存在的大量粉尘也势必会对红外成像造成干扰，因此通过这种方式获得的料面立体图像较为粗糙，难以进行广泛地应用。
公开号为CN111273272A的发明专利公开了一种用于高炉料面成像的3D雷达扫描器。该雷达扫描器安装在炉顶，设有隔热防护罩，该发明装置的雷达探头通过多位机械臂与安装底座相连，在工作时通过多维机械臂带动雷达探头对高炉内进行连续扫描成像。然而，通过扫描的方式获得内的料面三维信息，需要获得大量的扫描数据，才能较好地将高炉内的料面复现出来，为了保证精度，需要消耗大量的时间进行扫面和计算。同时，由于雷达扫描只能够得到料面的高度信息，因此料面的更多细节信息并不会在其三维重构的图像中显示出来。此外，机械臂的使用在多粉尘的高炉环境内也面临着很多的困难。
公开号为CN112714303A的发明专利公开了一种红外立体成像的方法、***及设备。其特点在于通过对已知距离的两点的距离数据，来增强所获得的红外图像的景深，并获得视察图像，并以此得到红外立体图像。然而这一方法需要得知图像中两点的距离，但在高炉料面中这并不好获取，因此这不适用于高炉料面的立体成像。此外，红外立体图像虽然能在光照不足的情况成像，但是其中包含的信息也较为有限。此外，多粉尘的炉内环境也会对红外传感器的成像带来一定的干扰。
发明内容
本发明提供的幽光高温工业立体内窥镜，解决了在极弱光条件下难以获得高清晰度和高亮度的三维料面图像的技术问题。
为解决上述技术问题，本发明提出的幽光高温工业立体内窥镜包括耐高温壳体组件、安装于耐高温壳体组件内的立体光学成像***和图像处理模块，其中：
立体光学成像***，用于采用多组光学成像***采集原始视频流；
图像处理模块，与立体光学成像***连接，用于接收立体光学成像***采集的原始视频流，对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并根据布料周期内料面下降运动过程中的亮度增强输出视频流，构建虚实多目相机阵列，基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。
进一步地，耐高温壳体组件包括前端外壳组件和后端外壳组件，其中：
前端外壳组件为双层结构，且双层结构中铺设由进冷却水回路和出冷却水回路构成的水冷***，以及由供工业氮气流通的气冷流通通道构成的气冷***；
后端外壳组件，用于安装CCD成像芯片、成像驱动电路和图像处理模块，且后端外壳组件上开设气冷进气口、水冷进水口以及水冷出水口。
进一步地，立体光学成像***包括依次连接的取像物镜组、中继透镜组、调焦镜组以及CCD成像芯片，其中：
取像物镜组采用大视场角、大孔径、反射远结构，用于大视场成像；
中继透镜组，用于将取像物镜组获取的炉内图像传送到CCD成像芯片；
调焦镜组，用于在CCD成像芯片模糊时，对焦距进行调节，从而保证成像清晰；
CCD成像芯片，用于将经过调焦镜组传输的清晰图像，转换为数字图像。
进一步地，图像处理模块包括依次连接的原始视频流采集模块、高亮视频合成模块、虚拟内窥镜位置获取模块、虚实多目相机阵列构建模块以及立体图像重构模块，其中：
原始视频流采集模块，用于获取光学成像***采集的原始视频流，且光学成像***的组数大于1；
高亮视频合成模块，用于对光学成像***采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流；
虚拟内窥镜位置获取模块，用于提取布料周期内料面下降运动过程中的亮度增强输出视频流的关键帧图像，通过对关键帧图像的时空匹配，获得料面－内窥镜相对位置估计，并根据料面－内窥镜相对位置估计，反推虚拟内窥镜的空间位置；
虚实多目相机阵列构建模块，用于根据虚拟内窥镜的空间位置，构建虚实多目相机阵列；
立体图像重构模块，用于基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。
进一步地，高亮视频合成模块包括依次连接的保真函数计算模块、一致性函数计算模块、正则化函数计算模块、亮度增强视频帧获取模块、多组保真函数计算模块以及亮度增强输出视频帧获取模块，其中:
保真函数计算模块，用于根据亮度增强视频帧估计和输入的原始视频流中的弱光图像之间的相似性，计算保真函数；
一致性函数计算模块，用于根据亮度增强视频帧估计与前一帧的亮度增强视频帧估计之间的时间一致性，计算一致性函数；
正则化函数计算模块，用于根据亮度增强视频帧估计，计算正则化函数；
亮度增强视频帧获取模块，用于采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像***中与亮度增强视频帧估计对应的亮度增强视频帧；
多组保真函数计算模块，用于根据亮度增强输出视频帧估计和每一组亮度增强视频帧之间的相似性，计算多组保真函数；
亮度增强输出视频帧获取模块，用于采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧。
进一步地，亮度增强视频帧获取模块采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像***中与亮度增强视频帧估计对应的亮度增强视频帧的计算公式为：
其中，i表示光学成像***的组编号，
和
分别表示第i组光学成像***在t时刻和t-1时刻的亮度增强视频帧估计，Yit表示第i组光学成像***在t时刻的亮度增强视频帧，Iij表示第i组光学成像***在j时刻的弱光图像，
以及
分别表示保真函数，一致性函数及正则化函数，
表示
的后验概率，D和B分别表示模糊矩阵和下采样矩阵，
表示联合分布方差，
表示
到Iij的运动补偿矩阵，且
其中ρ为标量，
表示
和
的运动补偿矩阵，
和
分别表示将图像
在水平和垂直方向上分别移动l和h像素，Wide是移动窗口的大小，r为亮度增强视频帧估计使用的原始视频流在t时刻前的弱光图像帧数，b为亮度增强视频帧估计使用的原始视频流在t时刻后的弱光图像帧数。
进一步地，亮度增强输出视频帧获取模块采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧的计算公式为：
其中，光学成像***的组数为三，且呈“品”字形状分布，
以及
分别表示第一组至第三组光学成像***的亮度增强输出视频帧估计的后验概率，O1t、O2t以及O3t分别表示第一组至第三组光学成像***的亮度增强输出视频帧的计算结果，D和B分别表示模糊矩阵和下采样矩阵，σ1、σ2和σ3分别为三组光学成像***的联合分布标准差，
和
分别为
到
和
的运动补偿矩阵，
和
分别为
到
和
的运动补偿矩阵，
和
分别为
到
和
的运动补偿矩阵，μ1、μ2以及μ3分别为自定义的合成权值，且三个合成权值均大于0，小于1。
进一步地，虚拟内窥镜位置获取模块根据料面－内窥镜相对位置估计，反推虚拟内窥镜的空间位置的计算公式为：
其中，
为第i组光学成像***输出的亮度增强输出视频流中的关键帧图像中任一像素点P在虚拟内窥镜坐标系中的坐标，
为像素点P在世界坐标系中的坐标，ci和wi分别为第i组光学成像***的虚拟内窥镜坐标系和世界坐标系，Ki和Mi分别为第i组光学成像***的内窥镜内参矩阵和外参矩阵，
为第i组光学成像***的真实内窥镜焦距，x为物体在关键帧图像中的宽度，y为物体在关键帧图像中的高度，si为第i组光学成像***的倾斜因子，(ui,vi)为第i组光学成像***的真实内窥镜主轴与关键帧图像的平面交点，Ri和Ti为第i组光学成像***的世界坐标系到内窥镜坐标系的旋转变换矩阵和平移变换矩阵。
进一步地，立体图像重构模块包括依次连接的视差值获取模块、重构点坐标获取模块以及重构模块，其中：
视差值获取模块，用于利用滑动窗匹配法，基于马氏距离计算任意两个光学成像***输出的亮度增强输出视频流中的关键帧图像的像素点的视差值，具体计算公式为：
其中，P1、P2和P3分别为两个不同光学成像***在t时刻输出的亮度增强输出视频流中的关键帧图像之间的视差值，P0为不同光学成像***之间的视差平均值与所选第i组光学成像***前后关键帧的视差值之和，W为一维窗宽度，d为滑动窗的平移距离，m和n分别为关键帧图像的像素点的列号和行号，Vit为第i组光学成像***在t时刻输出的亮度增强输出视频流中的关键帧图像，且i的取值范围为i∈{1，2，3}，s0表示滑动窗范围，∑是协方差矩阵；
重构点坐标获取模块，用于利用三角测量法获取重构点的空间位置坐标，具体计算公式为：
其中，(X,Y,Z)为重构点的空间位置坐标，重构点的空间位置坐标所在坐标系的坐标原点为与重构关键帧图像对应的虚拟内窥镜中心，且重构关键帧图像为与重构点对应的光学成像***输出的亮度增强输出视频流中的关键帧图像，dL为相邻光学成像***的虚实内窥镜的间距，XL和YL分别为重构关键帧图像中与重构点对应的像素点到重构关键帧图像中心的水平距离和垂直距离，F为与重构点对应的光学成像***中的真实内窥镜到CCD成像芯片的距离；
重构模块，用于基于重构点的空间位置坐标，对工业炉窑内料面进行重构。
进一步地，幽光高温工业立体内窥镜还包括对内窥镜进行清洁维护的清洁维护模块，且清洁维护模块包括安装于图像处理模块内的清洁控制模块和安装于后端外壳组件内的清洁执行模块，其中：
清洁执行模块包括舵机模组、与舵机模组连接的连接杆以及安装在连接杆前端的遮光罩和清洗喷头；
清洁控制模块，用于检测到镜头模糊时，控制舵机模组带动连接杆前端的遮光罩转动到镜头前进行遮挡，关闭气冷-水冷双冷却***中的水冷***，控制清洗喷头喷射出的高压水流，对镜头进行清洁，以及清洁完成后，打开水冷***，控制舵机模组带动连接杆将遮光罩转动至一旁，打开通光孔，使镜头能够正常成像。
与现有技术相比，本发明的优点在于：
本发明提供的幽光高温工业立体内窥镜包括耐高温壳体组件、安装于耐高温壳体组件内的立体光学成像***和图像处理模块，其中立体光学成像***，用于采用多组光学成像***采集原始视频流；图像处理模块，与立体光学成像***连接，用于接收立体光学成像***采集的原始视频流，对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并根据布料周期内料面下降运动过程中的亮度增强输出视频流，构建虚实多目相机阵列，基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像，解决了在极弱光条件下难以获得高清晰度和高亮度的三维料面图像的技术问题，通过对多组光学成像***采集的视频流进行高亮合成以及构建虚实多目内窥镜阵列重构高炉料面，大大提高了输出的高炉料面图像亮度，从而实现了幽光环境下高炉料面图像的三维高亮成像。
本发明的目的：
本发明的目的在于设计了一个幽光级立体成像的光学成像***，为极弱光环境下(照度低于0.0001Lux)的工业窑炉炉内信息采集，提供了一种可行、可靠的光学成像硬件方案。
本发明的目的在于基于海思Hi3516DV300的嵌入式平台，以鸿蒙作为操作***，设计了图像亮度处理模块，将采集的图像通过预处理与亮度合成算法，转换为高亮图像帧，并进行三维重构得到高炉料面立体图像。
本发明的目的在于设计一种幽光高温工业立体内窥镜，解决高温密闭、光照度低的高炉内部，获取的图像亮度不足、细节模糊、轮廓不清无法进行立体成像的问题。
本发明的优点：
1、在光学成像***上，采用了具有大视场角、大孔径的反射远结构的镜组构成取像物镜，能够采集高炉内大范围区域的图像信息；采用霍普金斯棒构成终极透镜，能够无损地传输取像物镜获得的图像信息；采用大像元的弱光成像芯片，将镜头捕获的光线转化为数字图像，实现宽视场的幽光级成像。
2、在设备防护上，采用了水-气双冷却***，将冷却水通过水冷通道，带走设备中的大部分热量，保证设备的正常运行，同时，将工业氮气通入设备之中，在带走设备中热量的同时在设备内形成高压，防止外部粉尘进入设备中损坏部件；采用智能清洁维护***，在图像处理模块检测出镜头模糊时，进行镜头清洁，保证设备的正常成像，同时延长设备的使用寿命。
3、在图像处理平台上，选择基于海思Hi3516DV300的嵌入式***作为本发明的图像处理模块，并选择鸿蒙***作为开发平台进行图像处理程序的开发。
4、在立体成像方法上，通过料面和镜头的相对运动构造了虚拟内窥镜，并选取虚拟内窥镜阵列和真实内窥镜组成虚实内窥镜阵列，通过单个内窥镜达到了多目成像的目的。
附图说明
图1为本发明实施例二的幽光高温工业立体内窥镜的设备总图；
图2为本发明实施例二的幽光高温工业立体内窥镜的单镜组构成图；
图3为本发明实施例二的幽光高温工业立体内窥镜的图像处理模块的硬件工作流程图；
图4为本发明实施例三的图像处理模块的图像处理流程图。
附图标记：
U1、气冷流通通道；U2、清洗喷头；U3、“品”形成像镜组；U4、出冷却水回路；U5、进冷却水回路；U6、耐高温壳体组件；U7、连接杆；U8、镜组固定组件；U9、大像元弱光成像芯片CCD；U10、成像驱动电路；U11、进气口；U12、出水口；U13、进水口；U14、舵机模组；U15、图像处理模块；U16、电源接口；U17、输出接口；M1、取像物镜组；M2、霍普金斯透镜棒；M3、中继透镜组；M4、海思Hi3516DV300处理器；M5、***接口；M6、内部总线；M7、DDR SDRAM；M8、Flash。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
实施例一
本实施例的幽光高温工业立体内窥镜包括耐高温壳体组件U6、安装于耐高温壳体组件U6内的立体光学成像***和图像处理模块U15，其中：
立体光学成像***，用于采用多组光学成像***采集原始视频流；
图像处理模块U15，与立体光学成像***连接，用于接收立体光学成像***采集的原始视频流，对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并根据布料周期内料面下降运动过程中的亮度增强输出视频流，构建虚实多目相机阵列，基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。
本发明提供的幽光高温工业立体内窥镜包括耐高温壳体组件U6、安装于耐高温壳体组件U6内的立体光学成像***和图像处理模块U15，其中立体光学成像***，用于采用多组光学成像***采集原始视频流；图像处理模块U15，与立体光学成像***连接，用于接收立体光学成像***采集的原始视频流，对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并根据布料周期内料面下降运动过程中的亮度增强输出视频流，构建虚实多目相机阵列，基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像，解决了在极弱光条件下难以获得高清晰度和高亮度的三维料面图像的技术问题，通过对多组光学成像***采集的视频流进行高亮合成以及构建虚实多目内窥镜阵列重构高炉料面，大大提高了输出的高炉料面图像亮度，从而实现了幽光环境下高炉料面图像的三维高亮成像。
具体地，本实施例采用包含多组光学成像***的立体光学成像***对采集的视频流进行高亮合成的原因是在高炉内幽光环境下，单组光学成像***所合成的图像亮度提升有限，料面图像许多细节处仍然十分昏暗，人眼难以辨别，而通过对多组光学成像***采集的视频流图像进行高亮合成，能够成倍提升所拍摄图像亮度及清晰度，从而看清炉内大部分料面细节轮廓，满足幽光环境下的料面成像；单组光学成像***只能拍摄部分料面信息，多组光学成像***由于安装位置不同，拍摄的视场角更为宽广，因此所拍摄的图像包含更多方位的料面信息，能够看到更多的料面纹理、轮廓等细节，更易于及时发现异常炉况；此外相较于单组光学成像***，多组光学成像***能够获取多维料面视频流，基于此获取图像视差信息，从而构建虚实多目阵列并获取料面图像的深度信息，最终获取料面的立体深度图像，为现场工人提供更为直观丰富的光学图像信息。效果是合成的图像亮度和清晰化相较于单组光学***更高，能够在炉内的幽光环境下输出高亮图像；图像视场也大于单组光学***所采集的图像，能够获取更全的料面信息；多维的视频流图像经计算能够获取图像深度信息，为实现立体成像奠定了基础。
实施例二
如图1所示，本发明实施例的幽光高温工业立体内窥镜由耐高温双层壳体、水-气双冷却***、“品”形立体光学成像***、图像处理模块U15和清洁维护模块组成。其具体工作流程为：首先，启动水-气双冷却***，确保内窥镜能够在高炉的高温环境下正常工作，随后打开快门通过取像镜组和中继镜组对高炉内进行取像，将光线无损传输到后部的大像元弱光成像芯CCD上进行数字成像，之后将所成的图像送至图像处理模块U15进行图像的高亮合成，然后再利用高亮合成的图像进行三维立体成像，得到高炉料面的立体图像。下面对各个组件进行详细的说明：
1、耐高温壳体组件U6：
本设备壳体主要由耐高温的镍基高温合金材料组成，如图1所示。设备壳体为双层结构，在两层壳体之间设有水冷通道，同时在两层壳体之间构成一个气流通道，为冷却***提供通道。在壳体的前端，内壳包裹着三个相同镜组组成的“品”形成像镜组U3，在壳体后端则设有进气口U11、进水口U13和出水口U12，内部主要为大像元弱光成像芯片CCD U9、成像驱动电路U10、图像处理模块U15、输出接口U17和电源接口U16。
2、水-气双冷却***：
壳体后端的进出水口U12、两层壳体之间铺设的进冷却水回路U5和出冷却水回路U4构成的水冷通道共同组成水冷部分。当冷却水不断从进水口U13通入后，经过水冷通道从出水口U12排出，带走内壳上的温度，保证内壳内部的镜组工作在正常温度范围中。同时，工业氮气从壳体后端的进气口U11经过气冷流通通道U1通入向壳体之间并从通光孔排出，也可以带走附着在壳体上的热量，和水冷共同组成本设备的水-气双冷却***。此外，气冷部分除了可以冷却带走热量之外，还可以在壳内形成高压，避免炉内的粉尘进入壳体磨损腐蚀内部的元件，可以延长内窥镜的使用寿命。
3、“品”形立体光学成像***：
“品”形立体光学成像***由“品”形成像镜组U3、大像元弱光成像芯片CCD U9和成像驱动电路U10组成。“品”形成像镜组U3由三个规格相同的幽光级成像镜组组成成像镜组，每个镜组如图2所示。
在每个镜组的前端为一个大视场角、大孔径、反射远结构的取像物镜组M1，对高炉内进行大视场角的取像。其原理如下：
其中E'0为像面中心的照度，τ为空间介质透射率，L为目标物质亮度，D/f'为光学***相对孔径，w为光学***视场角，E'w为轴外w视场的照度。
中段为一个中继透镜组M3，采用霍普金斯透镜棒M2构成，可以将取像物镜捕获的大视场角的像无损传输到后端。其原理如下：
其中f'e为转像***的焦距，βe为转像***的横向放大率。
成像***的后端是一个大像元的弱光成像芯片CCD，通过这一芯片可以将采集到的光线信号转化为电信号，并在成像驱动电路U10作用下进行数字成像并进行视频流解码。成像后，成像驱动电路U10会向图像处理模块U15的处理器发送信号，通知图像处理模块U15进行图像处理。
4、图像处理模块U15：
本实施例的图像处理模块U15包括依次连接的原始视频流采集模块、高亮视频合成模块、料面－内窥镜相对位置估计模块、虚拟内窥镜位置获取模块、虚实多目相机阵列构建模块以及立体图像重构模块。具体地，图像处理模块U15采用基于海思Hi3516DV300处理器M4的嵌入式平台进行搭建，并采用鸿蒙***作为程序开发平台。内部采用海思Hi3516DV300作为模块的处理器，其内核为两个Cortex A7处理器组成，具备强大处理能力的同时兼顾优秀的视频编解码能力，并配有丰富的***接口M5，可以通过***接口M5和内部总线M6与外部进行通信。成像***成像后成像驱动电路U10会通过接口向处理器发送信号，通知图像处理模块U15进行图像存储并处理。在有处理任务时，处理器会通过总线向DDRSDRAM M7写入图像数据，并通过总线读取Flash M8中预设的图像处理程序，随后对视频流进行处理并对处理后的视频流进行编码，具体参照图3。
本实施例的高亮视频合成模块基于时空域自适应的视频高亮合成算法，对光学成像***采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流的具体步骤为：
(1)根据亮度增强视频帧估计和输入的原始视频流中的弱光图像之间的相似性，计算保真函数。保真函数
度量了当前光学成像***的亮度增强帧图像
和输入的弱光图像Iij之间的相似性，定义为：
其中D和B分别表示模糊矩阵和下采样矩阵，
表示联合分布方差，
表示
到Iij的运动补偿矩阵。
(2)根据亮度增强视频帧估计与前一帧的亮度增强视频帧估计之间的时间一致性，计算一致性函数。一致性项
用于控制亮度增强帧估计
和
之间的时间一致性，定义为：
其中ρ为标量，
(3)根据亮度增强视频帧估计，计算正则化函数。正则化函数
为双边总变差的先验函数，抑制图像的噪声信息：
(4)采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像***中与亮度增强视频帧估计对应的亮度增强视频帧。具体地，本实施例采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像***中与亮度增强视频帧估计对应的亮度增强视频帧的计算公式为：
其中，i表示光学成像***的组编号，
和
分别表示第i组光学成像***在t时刻和t-1时刻的亮度增强视频帧估计，Yit表示第i组光学成像***在t时刻的亮度增强视频帧，Iij表示第i组光学成像***在j时刻的弱光图像；
以及
分别表示保真函数，一致性函数及正则化函数，
表示
的后验概率，D和B分别表示模糊矩阵和下采样矩阵，
表示联合分布方差，
表示
到Iij的运动补偿矩阵，且
其中ρ为标量，
表示
到
的运动补偿矩阵，
和
分别表示将图像
在水平和垂直方向上分别移动l和h像素，Wide是移动窗口的大小，r为亮度增强视频帧估计使用的原始视频流在t时刻前的弱光图像帧数，b为亮度增强视频帧估计使用的原始视频流在t时刻后的弱光图像帧数。
(5)根据亮度增强输出视频帧估计和每一组亮度增强视频帧之间的相似性，计算多组保真函数。
(6)采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧。
具体地，本实施例采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧的计算公式为：
其中，光学成像***的组数为三，
以及
分别表示第一组至第三组光学成像***的亮度增强输出视频帧估计的后验概率，O1t、O2t以及O3t分别表示第一组至第三组光学成像***的亮度增强输出视频帧的计算结果，D和B分别表示模糊矩阵和下采样矩阵，σ1、σ2和σ3分别为三组光学成像***的联合分布标准差，
和
分别为
到
和
的运动补偿矩阵，
和
分别为
到
和
的运动补偿矩阵，
和
分别为
到
和
的运动补偿矩阵，μ1、μ2以及μ3分别为自定义的合成权值，且三个合成权值均大于0，小于1。
本实施例通过高亮视频合成模块获得亮度增强输出视频流后，通过虚拟内窥镜位置获取模块提取布料周期内料面下降运动过程中的亮度增强输出视频流的关键帧图像，并对关键帧图像的时空匹配，获得料面－内窥镜相对位置估计，从而反推出虚拟内窥镜的空间位置，通过虚实多目相机阵列构建模块构建虚实多目相机阵列，以及通过立体图像重构模块对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。本实施例的立体图像重构模块包括依次连接的视差值获取模块、重构点坐标获取模块以及重构模块。下面对每一个模块进行具体介绍：
(1)虚拟内窥镜位置获取模块：
具体地，本实施例对三个光学成像***进行分时复用，以炉顶料面与内窥镜相对运动时的视差为线索，提取布料周期内料面下降运动过程中的三维高清高亮视频流的关键帧，通过对关键帧时空匹配，获得料面－内窥镜相对位置估计，结合空间三角变换，即可反推出虚拟内窥镜的空间位置。即取第i组光学成像***输出的亮度增强输出视频流中的关键帧图像中任一像素点P，则虚拟内窥镜相对位置估计为：
其中，
为第i组光学成像***输出的亮度增强输出视频流中的关键帧图像中任一像素点P在虚拟内窥镜坐标系中的坐标，
为像素点P在世界坐标系中的坐标，ci和wi分别为第i组光学成像***的虚拟内窥镜坐标系和世界坐标系，Ki和Mi分别为第i组光学成像***的内窥镜内参矩阵和外参矩阵，
为第i组光学成像***的真实内窥镜焦距，x为物体在关键帧图像中的宽度，y为物体在关键帧图像中的高度，si为第i组光学成像***的倾斜因子，(ui,vi)为第i组光学成像***的真实内窥镜主轴与关键帧图像的平面交点，Ri和Ti为第i组光学成像***的世界坐标系到内窥镜坐标系的旋转变换矩阵和平移变换矩阵。
(2)虚实多目相机阵列构建模块：
本实施例的虚实多目相机阵列构建模块，通过优选具有视差信息的虚拟内窥镜构建虚拟内窥镜阵列，并融合真实内窥镜相机的位姿信息，构建虚实多目相机阵列。本实施例的视差信息具体是指不同内窥镜拍摄同一目标所产生的方向差异。
(3)视差值获取模块：
具体地，本实施例的视差值获取模块利用滑动窗匹配法，基于马氏距离计算任意两个光学成像***输出的亮度增强输出视频流中的关键帧图像的像素点的视差值，具体计算公式为：
其中，P1、P2和P3分别为两个不同光学成像***在t时刻输出的亮度增强输出视频流中的关键帧图像之间的视差值，P0为不同光学成像***之间的视差平均值与所选第i组光学成像***前后关键帧的视差值之和，W为一维窗宽度，d为滑动窗的平移距离，m和n分别为关键帧图像的像素点的列号和行号，Vit为第i组光学成像***在t时刻输出的亮度增强输出视频流中的关键帧图像，且i的取值范围为i∈{1，2，3}，s0表示滑动窗范围，∑是协方差矩阵。
(4)重构点坐标获取模块：
具体地，本实施例的重构点坐标获取模块利用三角测量法获取重构点的空间位置坐标，具体计算公式为：
其中，(X,Y,Z)为重构点的空间位置坐标，重构点的空间位置坐标所在坐标系的坐标原点为与重构关键帧图像对应的虚拟内窥镜中心，且所述重构关键帧图像为与重构点对应的光学成像***输出的亮度增强输出视频流中的关键帧图像，dL为相邻光学成像***的虚实内窥镜的间距，XL和YL分别为重构关键帧图像中与重构点对应的像素点到重构关键帧图像中心的水平距离和垂直距离，F为与重构点对应的光学成像***中的真实内窥镜到CCD成像芯片的距离。
(5)重构模块：
本实施例的重构模块基于重构点的空间位置坐标，对工业炉窑内料面进行重构。
采用本实施例二的工业立体内窥镜，能实现在幽光环境下获取高清、高亮的高炉料面三维形貌立体视频，从而为反映高炉内部冶炼状态、指导布料操作、提高炼铁效率提供可靠的料面形貌信息。
当前主流的立体成像技术包括TOF法、结构光法、立体视觉法、三角测量法等。然而高炉整体密闭，内部充满一氧化碳等有毒气体，为保证高炉气密性，炉顶开孔数量需受到严格限制，且高炉炉顶安装空间也极为有限。TOF法、结构光法、三角测量法所需要的探测***、投影***及激光仪器在高炉炉顶安装难度大，且需要开多个安装孔，不利于整体密闭性，同时设备易受粉尘水汽的干扰，影响图像重构精度。因此采用多目立体视觉法能够在现有设备的基础上，最有效实现立体图像的重构，同时立体视觉法具有速度快、实时性好等优点。相较于传统的立体视觉法，在构建虚拟多目阵列的基础上，本发明实施例添加了真实多目内窥镜阵列，以真实多目阵列为主，虚拟多目阵列为辅，两相结合，重构精度远高于传统的虚拟多目重构技术，能够输出更为精确的图像深度信息，便于现场工作人员实时监视高炉全方位料面变化，从而更好指导布料操作。
5、清洁维护***
本实施例的清洁维护模块包括安装于图像处理模块U15内的清洁控制模块和安装于后端外壳组件内的清洁执行模块，其中：
清洁执行模块包括舵机模组U14、与舵机模组U14连接的连接杆U7以及安装在连接杆U7前端的遮光罩和清洗喷头U2，清洁执行模块通过镜组固定组件U8固定在后端外壳组件内；
清洁控制模块，用于检测到镜头模糊时，控制舵机模组U14带动连接杆U7前端的遮光罩转动到镜头前进行遮挡，关闭气冷-水冷双冷却***中的水冷***，控制清洗喷头U2喷射出的高压水流，对镜头进行清洁，以及清洁完成后，打开水冷***，控制舵机模组U14带动连接杆U7将遮光罩转动至一旁，打开通光孔，使镜头能够正常成像。
具体地，在图像处理模块U15检测到镜头出现模糊时，会向舵机模组U14发送指令，通过舵机带动连接杆U7使连接杆U7前端的遮光罩转动到镜头前进行遮挡。随后关闭水冷***，控制清洗喷头U2喷射出高压水流清洁镜头，将镜头上的粉尘清洗掉，避免结痂影响成像，同时减少粉尘对镜头的磨损。清洗完毕后，恢复设备水冷***，控制舵机带动连接杆U7将遮光罩转动至一旁，打开通光孔，使镜头能够正常成像。
实施例三
参照图4，本发明实施例三的设备安装完毕后，开始采集视频信息，具体步骤如下：
1、将内窥镜设备在炉顶安装好，将冷却水从进水口U13通入，让水冷***工作。同时从进风口通入工业氮气，为设备降温的同时阻隔外部的粉尘进入设备。并保证持续通入冷却水和工业氮气，保证设备运行时工作在正常的温度范围内。
2、接通电源后，开始持续稳定地进行图像采集。
3、大视场角、大孔径、反射远结构的取像物镜对高炉内进行大范围的光线进行采集，并通过由霍普金斯棒构成的中继透镜组M3无损传输到后端的CCD成像芯片上进行幽光级成像。
4、通过成像驱动电路U10采集到CCD芯片所成的图像并将其送至图像处理模块U15进行处理。
5、在图像处理模块U15中，会先进行图像高亮合成，通过视频流编码中的运动补偿、模糊规则及下采样算法等时间域关键信息，基于HDR技术，同时利用正则化一致性函数对融合帧进行约束，对三个通道的增强帧进行融合，得到最终的高亮合成帧。
6、然后将高亮合成的图像帧通过基于光流法和随机森林的关键帧判别器，选取高亮视频图像帧中的关键帧，并对这些关键帧进行空间匹配，利用匹配后的关键帧可以反推得到虚拟内窥镜的位置。
7、优选具有足够视差的虚拟内窥镜生成料面虚拟多目内窥镜阵列，并和真实的内窥镜构成虚实多目内窥镜阵列。
8、利用虚实多目内窥镜阵列和三维形貌重构技术对高炉料面进行三维重构。
本实施例的智能清洁维护***的工作过程具体为：
1、图像处理模块U15对高亮视频流中的关键帧进行提取，将其作为镜头模糊的判别帧。
2、对关键帧进行清晰化。
3、对清晰化的图像进行模糊判别，当判别为模糊时，开始执行清洁操作。
4、控制舵机带动连接杆U7将遮光罩转动到镜头前进行遮挡。之后将装置的水冷***关闭，利用清洗喷头U2喷射出的高压水流，对镜头进行清洁。
5、清洁完毕后，恢复设备水冷***，控制舵机带动连接杆U7将遮光罩转动至一旁，打开通光孔，使镜头能够正常成像。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种幽光高温工业立体内窥镜，其特征在于，所述幽光高温工业立体内窥镜包括耐高温壳体组件(U6)、安装于所述耐高温壳体组件(U6)内的立体光学成像***和图像处理模块(U15)，其中：
所述立体光学成像***，用于采用多组光学成像***采集原始视频流；
所述图像处理模块(U15)，与所述立体光学成像***连接，用于接收所述立体光学成像***采集的原始视频流，对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并根据布料周期内料面下降运动过程中的亮度增强输出视频流，构建虚实多目相机阵列，基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。
2.根据权利要求1所述的幽光高温工业立体内窥镜，其特征在于，所述耐高温壳体组件(U6)包括前端外壳组件和后端外壳组件，其中：
所述前端外壳组件为双层结构，且双层结构中铺设由进冷却水回路(U5)和出冷却水回路(U4)构成的水冷***，以及由供工业氮气流通的气冷流通通道(U1)构成的气冷***；
所述后端外壳组件，用于安装CCD成像芯片、成像驱动电路(U10)和图像处理模块(U15)，且所述后端外壳组件上开设气冷进气口(U11)、水冷进水口(U13)以及水冷出水口(U12)。
3.根据权利要求1所述的幽光高温工业立体内窥镜，其特征在于，所述立体光学成像***包括依次连接的取像物镜组(M1)、中继透镜组(M3)、调焦镜组以及CCD成像芯片，其中：
所述取像物镜组(M1)采用大视场角、大孔径、反射远结构，用于大视场成像；
所述中继透镜组(M3)，用于将取像物镜组(M1)获取的炉内图像传送到CCD成像芯片；
所述调焦镜组，用于在CCD成像芯片模糊时，对焦距进行调节，从而保证成像清晰；
所述CCD成像芯片，用于将经过调焦镜组传输的清晰图像，转换为数字图像。
4.根据权利要求1-3任一所述的幽光高温工业立体内窥镜，其特征在于，所述图像处理模块(U15)包括依次连接的原始视频流采集模块、高亮视频合成模块、虚拟内窥镜位置获取模块、虚实多目相机阵列构建模块以及立体图像重构模块，其中：
所述原始视频流采集模块，用于获取光学成像***采集的原始视频流，且所述光学成像***的组数大于1；
所述高亮视频合成模块，用于对光学成像***采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流；
所述虚拟内窥镜位置获取模块，用于提取布料周期内料面下降运动过程中的亮度增强输出视频流的关键帧图像，通过对关键帧图像的时空匹配，获得料面－内窥镜相对位置估计，并根据料面－内窥镜相对位置估计，反推虚拟内窥镜的空间位置；
所述虚实多目相机阵列构建模块，用于根据虚拟内窥镜的空间位置，构建虚实多目相机阵列；
所述立体图像重构模块，用于基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。
5.根据权利要求4所述的幽光高温工业立体内窥镜，其特征在于，所述高亮视频合成模块包括依次连接的保真函数计算模块、一致性函数计算模块、正则化函数计算模块、亮度增强视频帧获取模块、多组保真函数计算模块以及亮度增强输出视频帧获取模块，其中:
所述保真函数计算模块，用于根据亮度增强视频帧估计和输入的原始视频流中的弱光图像之间的相似性，计算保真函数；
所述一致性函数计算模块，用于根据亮度增强视频帧估计与前一帧的亮度增强视频帧估计之间的时间一致性，计算一致性函数；
所述正则化函数计算模块，用于根据亮度增强视频帧估计，计算正则化函数；
所述亮度增强视频帧获取模块，用于采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像***中与亮度增强视频帧估计对应的亮度增强视频帧；
所述多组保真函数计算模块，用于根据亮度增强输出视频帧估计和每一组亮度增强视频帧之间的相似性，计算多组保真函数；
所述亮度增强输出视频帧获取模块，用于采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧。
6.根据权利要求5所述的幽光高温工业立体内窥镜，其特征在于，所述亮度增强视频帧获取模块采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像***中与亮度增强视频帧估计对应的亮度增强视频帧的计算公式为：
其中，i表示光学成像***的组编号，
和
分别表示第i组光学成像***在t时刻和t-1时刻的亮度增强视频帧估计，Yit表示第i组光学成像***在t时刻的亮度增强视频帧，Iij表示第i组光学成像***在j时刻的弱光图像，
以及
分别表示保真函数，一致性函数及正则化函数，
表示
的后验概率，D和B分别表示模糊矩阵和下采样矩阵，
表示联合分布方差，
表示
到Iij的运动补偿矩阵，且
其中ρ为标量，
表示
和
的运动补偿矩阵，
和
分别表示将图像
在水平和垂直方向上分别移动l和h像素，Wide是移动窗口的大小，r为亮度增强视频帧估计使用的原始视频流在t时刻前的弱光图像帧数，b为亮度增强视频帧估计使用的原始视频流在t时刻后的弱光图像帧数。
7.根据权利要求6所述的幽光高温工业立体内窥镜，其特征在于，所述亮度增强输出视频帧获取模块采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧的计算公式为：
其中，光学成像***的组数为三，且呈“品”字形状分布，
以及
分别表示第一组至第三组光学成像***的亮度增强输出视频帧估计的后验概率，O1t、O2t以及O3t分别表示第一组至第三组光学成像***的亮度增强输出视频帧的计算结果，D和B分别表示模糊矩阵和下采样矩阵，σ1、σ2和σ3分别为三组光学成像***的联合分布标准差，
和
分别为
到
和
的运动补偿矩阵，
和
分别为
到
和
的运动补偿矩阵，
和
分别为
到
和
的运动补偿矩阵，μ1、μ2以及μ3分别为自定义的合成权值，且三个合成权值均大于0，小于1。
8.根据权利要求7所述的幽光高温工业立体内窥镜，其特征在于，所述虚拟内窥镜位置获取模块根据料面－内窥镜相对位置估计，反推虚拟内窥镜的空间位置的计算公式为：
其中，
为第i组光学成像***输出的亮度增强输出视频流中的关键帧图像中任一像素点P在虚拟内窥镜坐标系中的坐标，
为像素点P在世界坐标系中的坐标，ci和wi分别为第i组光学成像***的虚拟内窥镜坐标系和世界坐标系，Ki和Mi分别为第i组光学成像***的内窥镜内参矩阵和外参矩阵，
为第i组光学成像***的真实内窥镜焦距，x为物体在关键帧图像中的宽度，y为物体在关键帧图像中的高度，si为第i组光学成像***的倾斜因子，(ui,vi)为第i组光学成像***的真实内窥镜主轴与关键帧图像的平面交点，Ri和Ti为第i组光学成像***的世界坐标系到内窥镜坐标系的旋转变换矩阵和平移变换矩阵。
9.根据权利要求8所述的幽光高温工业立体内窥镜，其特征在于，所述立体图像重构模块包括依次连接的视差值获取模块、重构点坐标获取模块以及重构模块，其中：
所述视差值获取模块，用于利用滑动窗匹配法，基于马氏距离计算任意两个光学成像***输出的亮度增强输出视频流中的关键帧图像的像素点的视差值，具体计算公式为：
其中，P1、P2和P3分别为两个不同光学成像***在t时刻输出的亮度增强输出视频流中的关键帧图像之间的视差值，P0为不同光学成像***之间的视差平均值与所选第i组光学成像***前后关键帧的视差值之和，W为一维窗宽度，d为滑动窗的平移距离，m和n分别为关键帧图像的像素点的列号和行号，Vit为第i组光学成像***在t时刻输出的亮度增强输出视频流中的关键帧图像，且i的取值范围为i∈{1，2，3}，s0表示滑动窗范围，∑是协方差矩阵；
所述重构点坐标获取模块，用于利用三角测量法获取重构点的空间位置坐标，具体计算公式为：
其中，(X,Y,Z)为重构点的空间位置坐标，重构点的空间位置坐标所在坐标系的坐标原点为与重构关键帧图像对应的虚拟内窥镜中心，且所述重构关键帧图像为与重构点对应的光学成像***输出的亮度增强输出视频流中的关键帧图像，dL为相邻光学成像***的虚实内窥镜的间距，XL和YL分别为重构关键帧图像中与重构点对应的像素点到重构关键帧图像中心的水平距离和垂直距离，F为与重构点对应的光学成像***中的真实内窥镜到CCD成像芯片的距离；
所述重构模块，用于基于重构点的空间位置坐标，对工业炉窑内料面进行重构。
10.根据权利要求1所述的幽光高温工业立体内窥镜，其特征在于，所述幽光高温工业立体内窥镜还包括对内窥镜进行清洁维护的清洁维护模块，且所述清洁维护模块包括安装于所述图像处理模块(U15)内的清洁控制模块和安装于后端外壳组件内的清洁执行模块，其中：
所述清洁执行模块包括舵机模组(U14)、与所述舵机模组(U14)连接的连接杆(U7)以及安装在所述连接杆(U7)前端的遮光罩和清洗喷头(U2)；
所述清洁控制模块，用于检测到镜头模糊时，控制舵机模组(U14)带动连接杆(U7)前端的遮光罩转动到镜头前进行遮挡，关闭水冷***，控制清洗喷头(U2)喷射出的高压水流，对镜头进行清洁，以及清洁完成后，打开水冷***，控制舵机模组(U14)带动连接杆(U7)将遮光罩转动至一旁，打开通光孔，使镜头能够正常成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211188880.0A CN115914809B (zh) | 2022-09-27 | 2022-09-27 | 一种幽光高温工业立体内窥镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211188880.0A CN115914809B (zh) | 2022-09-27 | 2022-09-27 | 一种幽光高温工业立体内窥镜 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115914809A true CN115914809A (zh) | 2023-04-04 |
| CN115914809B CN115914809B (zh) | 2024-08-13 |
Family
ID=86482974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211188880.0A Active CN115914809B (zh) | 2022-09-27 | 2022-09-27 | 一种幽光高温工业立体内窥镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115914809B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5861987A (en) * | 1994-08-30 | 1999-01-19 | Olympus Optical Co., Ltd. | Stereoscopic-vision endoscope offering a large angle of introversion and a necessary and sufficient sense of three-dimensionality |
| US20200400795A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Noise aware edge enhancement in a pulsed laser mapping imaging system |
| WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN113888715A (zh) * | 2021-09-22 | 2022-01-04 | 中南大学 | 一种基于虚拟多目内窥镜的高炉料面三维重建方法及*** |
-
2022
- 2022-09-27 CN CN202211188880.0A patent/CN115914809B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5861987A (en) * | 1994-08-30 | 1999-01-19 | Olympus Optical Co., Ltd. | Stereoscopic-vision endoscope offering a large angle of introversion and a necessary and sufficient sense of three-dimensionality |
| US20200400795A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Noise aware edge enhancement in a pulsed laser mapping imaging system |
| WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN113888715A (zh) * | 2021-09-22 | 2022-01-04 | 中南大学 | 一种基于虚拟多目内窥镜的高炉料面三维重建方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 杨东林;卢栋;冯大伟;: "基于图像处理的三维工业内窥镜研究", 仪器仪表学报, no. 06, 15 June 2009 (2009-06-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115914809B (zh) | 2024-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564041B (zh) | 一种基于rgbd相机的人脸检测和修复方法 | |
| EP2197199B1 (en) | Thermal imaging camera and method for constructing a thermographic image | |
| CN109872483B (zh) | 一种入侵警戒光电监测***及方法 | |
| CN111242025B (zh) | 一种基于yolo的动作实时监测方法 | |
| EP3391638A1 (en) | Method and apparatus for remanent imaging control | |
| CN110381268B (zh) | 生成视频的方法，装置，存储介质及电子设备 | |
| CN107784642A (zh) | 一种红外视频和可见光视频自适应融合方法 | |
| Correia et al. | Real-time implementation of an optical flow algorithm | |
| CN103841297A (zh) | 一种适用于合成运动摄像载体的电子稳像方法 | |
| CN112053391B (zh) | 一种基于动态三维模型的监控预警方法、***及存储介质 | |
| CN114611600A (zh) | 一种基于自监督技术的滑雪运动员三维姿态估计方法 | |
| WO2023236886A1 (zh) | 一种基于密集光流法的云遮挡预测方法 | |
| CN113920461A (zh) | 一种电网运维过程图像监测***及监测方法 | |
| Dhulekar et al. | Surveillance system for detection of suspicious human activities at war field | |
| CN113888715B (zh) | 一种基于虚拟多目内窥镜的高炉料面三维重建方法及*** | |
| CN113436130B (zh) | 一种非结构光场智能感知***与装置 | |
| CN115914809B (zh) | 一种幽光高温工业立体内窥镜 | |
| US20240119671A1 (en) | Systems and methods for face asset creation and models from one or more images | |
| CN110099254B (zh) | 一种驾驶员人脸跟踪装置及方法 | |
| CN111860378A (zh) | 基于枪球联动和视频事件感知的商场消防设施巡检方法 | |
| CN112435165A (zh) | 基于生成对抗网络的两阶段视频超分辨率重建方法 | |
| Eustice et al. | Image registration underwater for fluid flow measurements and mosaicking | |
| Lee et al. | Motion analysis for duplicate frame removal in wireless capsule endoscope | |
| Zaher et al. | Clouds motion estimation from ground-based sky camera and satellite images | |
| Chen et al. | Unsupervised omnimvs: Efficient omnidirectional depth inference via establishing pseudo-stereo supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |