CN102243188B

CN102243188B - 工业ct成像及无线流媒体数据处理和三维重建平台及方法

Info

Publication number: CN102243188B
Application number: CN 201110100649
Authority: CN
Inventors: 王慧斌; 吴学文; 沈洁; 张学武; 张丽丽; 沈俊雷; 蒋世林; 包金宇
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2011-04-21
Filing date: 2011-04-21
Publication date: 2013-07-03
Anticipated expiration: 2031-04-21
Also published as: CN102243188A

Abstract

本发明公布了一种工业CT成像及无线流媒体数据处理和三维重建平台及方法，所述平台包括机械扫描***、X射线源、CCD装置、视频服务器、第一和第二无线接口以及图像处理平台。所述方法如下：选定待检测物体需检测区域，初始定位；X射线源的能量线束穿透被选取的待检测物体的初始位置；光信号直接照射到CCD相机后，转换成数字图像信号；数字图像信号经标准端口传到嵌入式服务器；通过视频编码芯片对输入的数字图像信号进行编码流；将编码后的图像码流输出到图像帧存储器；通过机械扫描***的重新定位，选取待检测物体新的扫描位置；获取到新的一帧切片数据；图像帧存储器中的码流最终以MPEG的视频编码格式存储于服务器硬盘中。

Description

工业CT成像及无线流媒体数据处理和三维重建平台及方法

技术领域

本发明涉及工业CT(计算机断层扫描)理论、无线传输理论、图像处理理论，实现用于工业CT(计算机断层扫描)的成像及无线流媒体数据处理和三维重建平台，具有小型化图像处理***的特点。

背景技术

工业CT(industrial computerized tomography，ICT)是利用射线在被测工件无损状态下，以扫描方式透射被检测物体某断层，并用探测器把经过被检物射线衰减后的信息采集下来，计算机采用专门的图像重建算法，把待检测断面以二维灰度图像形式展现出来，其检测直观结果就是被检断层的断面图像。通过这种CT图像就可以清晰地看清被检物体断层内的结构层次、零件的材质情况、有无缺陷、装配的正确与否，帮助质检人员作出正确的结论。因此工业CT被国际无损检测界誉为最佳无损检测手段。

如图1所示，目前的工业CT***通常由射线源、机械控制装置、探测器***、数据采集***、数据传输***、计算机***等组成。

射线源提供CT扫描成像的能量线束用以穿透检测物体，根据射线在检测物体内的衰减情况以各点的衰减系数来表征CT图像。机械控制装置实现扫描时检测物体的旋转或平移，以及射线源、检测物体、探测器三者之间的空间位置的调整，它包括机械实现设备及电器控制设备。

探测器***用来测量穿过检测物体的射线信号，将探测到的射线强度转换为微弱的光电流送到数据采集***中进行处理。工业CT机一般使用数百到上千个探测器，排列成线状。探测器数量越多，每次采样的点数也就越多，有利于缩短扫描时间、提高图像分辨率。

数据采集***将探测器得到的光电流进行电流/电压转换，再经放大电路将来自多路的探测信号进行放大，然后通过模数A/D转换将模拟量转换为数字信号，再由数据传输***将信号送入计算机进行处理。

计算机***是工业CT***的终端***，是整个***的关键***。一般包括图像处理***(图像处理平台)和数据管理***。数据管理***用来管理存储CT图片数据。图像处理***用来处理检测物体经CT扫描后的图像，通过图像分割，图像三维重建等算法，完成图像重建，并将检测的结果显示出来，帮助质检人员进行分析。

从上述描述中可以看出，在工业CT的整个技术体系中，包含了数据采集、数据传输、图像处理等技术。除硬件***之外，图像处理软件平台及算法也是核心技术之一。

从工业CT技术的发展情况看，国外工业CT处理***由于起步较早，因而发展较快，并推出了一些应用***。如，德国海德堡的Volume Graphics公司在2005年推出了VGStudio MAX1.2的软件***，该***具有较强大的三维显示功能，对于工业CT获得的多种不同格式的二维断层图像，可进行三维成型，并能够对缺陷进行详细分析与显示。美国IDM公司的CITA201能检测最大厚度为254mm的钢板，最大直径为1.5m的工件，空间分辨率高达0.25-1mm。与国外相比较，我国的工业CT研究起步较晚，尤其在高能ICT方面，美国明令禁止2Mev以上的CT设备出口中国。因此，国内工业CT技术研究和设备研制相对滞后于国外，并且大都是针对军事上应用进行了研究，如重庆大学、中国工程物理研究所等单位组成的“西南ICT研究开发中心”，主要应用于国防、航天、机械等领域。

目前，国内针对工业CT图像处理的研究和应用平台并不多，在研究领域，为了研究工业CT图像的分析和处理，大都采用MATLAB仿真工具进行分析，如重庆大学赵俊红等对工业CT机提供的序列断层图像利用MATLAB进行三维重建。在市场产品方面，现有的商品化CT处理平台大都是为医学检测和研究服务，如efilm工作站、“i”PlatForm平台、东莞技易软件科技有限公司研发的CT工作站图像处理平台等等。这些***平台为了能达到最大的通用性，设计了较为庞大和复杂功能，甚至可以为彩超等医学检测手段提供服务，将这样的设计用于工业CT图像处理中显然是不合适的。另外，由中国科学院自动化研究所开发的工业CT断层图像处理与分析***是目前国内研发较好的工业CT处理平台，但是该***设计复杂、结构庞大、可移植性差、且价格非常昂贵。

从便捷性角度看，现有工业CT在数据传输方面所采用的有线传输方式，也给设备的现场布设带来不便。

发明内容

本发明目的是针对目前工业CT***中存在的设备布设不灵活、平台结构设计复杂、移植性差、价格昂贵等情况，提出一种工业CT成像及无线流媒体数据处理和三维重建平台及方法。

本发明为实现上述目的，采用如下技术方案：

本发明工业CT成像及无线流媒体数据处理和三维重建平台，包括机械控制装置、X射线源、CCD装置、视频服务器、第一和第二无线接口以及图像处理平台，其中机械控制装置分别接X射线源和CCD装置，CCD装置的输出端依次串接视频服务器、第一无线接口后与第二无线接口无线连接，图像处理平台与第二无线接口连接。

工业CT成像及无线流媒体数据处理和三维重建平台的切片数据存储方法如下：

(1)选定待检测物体需检测区域，通过机械控制装置初始定位；

(2)X射线源的能量线束穿透被选取的待检测物体的初始位置，根据射线在待检测物体内的衰减以各点的衰减系数获取表征的光信号；

(3)光信号直接照射到CCD相机后，转换成数字图像信号，这种数字图像信号就是从工业CT机扫描得到的切片图片；

(4)数字图像信号经标准端口传到嵌入式服务器；

(5)通过视频编码芯片对输入的数字图像信号进行编码；

(6)将编码后的图像码流输出到图像帧存储器；

(7)通过机械控制装置的重新定位，选取待检测物体新的扫描位置；

(8)重复上述(2)-(6)步骤，获取到新的一帧切片数据，按照时间顺序同前面获取的数据一起压缩成码流，存于图像帧存储器；

(9)依次循环，整个扫描过程结束后，图像帧存储器中的码流最终以MPEG的视频编码格式存储于服务器硬盘中。

本发明主要针对两部分进行了设计：(1)工业CT机中的基于嵌入式视频服务器的图像切片序列处理和无线流媒体传输技术设计；(2)基于VideoLAN内核、OpenCV内核和OpenGL内核优化组合的图像处理平台设计。

在本发明***中，CT机端的扫描数据以压缩视频格式存储于嵌入式服务器硬盘中，并通过无线通信接口将数据传输到图像处理平台，传输过程采用802.11协议处理器和5.9GHz自适应的宽带技术以无线流媒体方式传输。

CT机数据的终端部分是运行图像处理平台的PC机(无线接口、支持本图像处理平台的***)，图像处理平台接收数据功能以VideoLAN为内核开发，能支持基于UDP和TCP两个主流传输层协议，实现实时流媒体的接收和传输，采用这种基于独特的流传输方式能解决以往无线传输技术中丢包、时延大等缺点。

图像处理程序部分，设计组合了目前在二维图像处理和三维重建方面最优越的且开源的两个库——OpenCV和OpenGL，二维图像处理算法程序部分采用OpenCV开发，OpenGL库用于三维图像重建算法开发。为了保持各种算法功能之间的独立性和优化设计，主要通过设计相关接口函数，并封装成动态文件，在程序运行中调用。

本工业CT***采用的独特的切片数据处理和无线流方式传输解决目前工业CT***数据采集和传输部分的诸多不足与缺点，通过对CT机端的数据压缩存储解决了由于数据的庞大导致的硬盘的负载和与以此引起的数据丢失等问题，无线流传输解决了CT端到终端的布设复杂、时延大和丢包等问题；设计的图像处理平台在功能上可以满足工业CT的基本需求，包括图像预处理、几何变换、边缘检测、图像分割和三维重建等，并通过独立调用各种内核函数(VideoLAN、OpenCV和OpenGL)实现的各种图像处理功能使该平台具有稳定性强、结构清晰、快速处理等优点。

附图说明

图1：目前的工业CT***结构图；

图2：本发明***结构图；

图3：嵌入式视频服务器的原理方框图；

图4：图像处理平台算法内部结构图；

图5：图像处理平台数据处理流程图；

图6：实时接收切片流功能代码流程图；

图7：切片文件的加载代码流程图；

图8：几何变换算法；

图9：边缘检测算法；

图10：图像分割算法；

图11：三维重建算法。

具体实施方式

图2和图3描述了整个工业CT***的切片生成、数据存储和传输等，其中整个切片数据存储过程，详细过程介绍如下：

(2)X射线源的能量线束穿透被选取的待检测物体的初始位置，根据射线在待检测物体内的衰减情况以各点的衰减系数获取表征的光信号；

(4)数字图像信号经标准端口传到嵌入式服务器；

(5)通过视频编码芯片SAA7114对输入的数字图像信号进行编码；

(6)将编码后的图像码流输出到图像帧存储器；

图2中的无线流媒体传输部分，对于获取的切片数据采用无线流媒体传输的方式传输到终端(PC机端)。详细描述如下：

(1)终端(基于OpenCV，OpenGL，VideoLAN内核开发的图像处理平台***)发出流传输请求，即设置服务器访问的端口号和IP，请求传输；

(2)嵌入式服务器接收到终端请求信号，并响应终端需求。其中，嵌入式服务器与终端的控制信息采用TCP协议，嵌入式服务器和终端通过SSH2协议实现相互之间的访问；

(3)嵌入式服务器将缓存中的视频码流文件分解为一连串数据包，利用802.11协议处理器和5.9GHz自适应的宽带无线通信端口将切片序列的数据包发送；

(4)终端根据服务器内置固定的IP和端口号，如：http://192.168.0.1:8080。通过设置相应的IP和端口号后，直接从嵌入式服务器实时接收流数据；

(5)在工业CT机扫描过程中，终端可以直接访问嵌入式服务器，从嵌入式服务器内部硬盘中下载待检测物体的切片数据文件(视频文件)。

嵌入式视频服务器原理见图3。

(1)主要包括视频编码器SAA7114、帧存储器、视频数字信号处理器DSP、可编程逻辑器件FPGA、标准的JTAG测试协议接口、直接存取存储器、Flash存储器、同步动态随机存储器SDRAM、ARM嵌入式***、RS485通信接口、RS232通信接口、802.11协议处理器及通信接口、通用串行总线USB接口、电源管理模块等构成。

(2)嵌入式视频服务器设计采用TI公司生产的专业图像视频数字信号处理器(DSP)DM643、Intel公司生产的高端ARM嵌入式***PXA27X和可编程逻辑器件FPGA(现场可编程门阵列)相结合的设计平台。

(3)通信接口采用IEEE802.p/n标准设计，采用5.9GHz自适应的宽带无线通信接口。FPGA旨在建立高速图像采集单元与中央处理器的快速通道，主要实现对视频编码器的初始化、可编程地产生DSP***和ARM***所需的时序和逻辑关系、基本的I/O信号、控制R/W信号等。

(4)高端ARM嵌入式***是整个视频服务器的协调管理者，ARM嵌入式***主要负责通信、协议解析和数据的交换等。

最后，采用无线接收模块将接收数据传输到PC机的图像处理平台。

图像处理平台基于Visual C++6.0，并结合VideoLAN、OpenCV库、OpenGL库开发，设计了切片流接收、图像预处理、几何变换、边缘检测、图像分割和三维重建等功能模块。

图像处理平台算法内部结构图如图4所示。构建4个主要的接口函数，分别实现切片数据接收、数据文件(视频文件)加载、二维图像处理、三维重建。通过Main函数内部参数直接与这4个接口函数交互，实现算法内部数据的传输；Main函数又与Inteface交互，实现算法功能与按钮之间的链接。其中各个算法功能的实现见图6～图11。采用了基于VideoLAN、OpenCV和OpenGL内核设计，由于这些内核都具有独立、开源、接口函数简单、稳定性强的特点，并且对各个功能模块之间采用独立性设计，这样便于后续的算法更新。独立集中互补的方式将各功能结构完美地结合起来，各功能模块的实现相互独立、互不影响，整个平台的功能实现流畅而统一，虽然使用了三个内核编写软件，却不冗余。将每种内核的优点集中体现在相对应的功能模块上，不同的功能调用不同的内核，从而使得功能的实现达到最优化。

本图像处理平台中的数据处理流程如图5所示，其中VideoLAN模块通过对接收到的TCP/IP协议数据包解码后，再通过视频解码将切片显示于窗口中，这些功能函数集成在VideoLAN内部，通过设定播放参数直接调用VideoLAN主线程接口，实现对切片流的实时接收。OpenCV模块从数据库中读取切片数据，采用二维重建算法实现各种图像处理功能；OpenGL模块采用三维重建算法实现三维的重建功能。Main函数作为主线程函数，各种功能的线程均通过Main函数可以直接调用，从而实现通过上述的各种功能。

实时接收切片流功能，采用VideoLAN动态链接库为内核编写流接收、存储流的功能。实时显示设定的参数为：{″-I″，″--ignore-config″}。存储设定的参数为：{″--sout＝#duplicate{dst＝display，dst＝std{access＝file，mux＝ts，dst＝″+Path+″}}″}，其中path是本地存放接收视频流文件的路径。实时接收切片流以AVI文件格式存入本地文件夹内。具体代码流程见图6。

切片文件的加载使用了OpenCV库，程序代码流程见图7。

二维图像处理部分功能，采用OpenCV库开发实时的图像处理算法。采用基本的接口函数cvLoadImage载入切片，使用图像处理算法，最后显示于窗口中。

二维图像处理部分中几何变换采用了OpenCV库，对载入的图像切片，采用最近邻插值、双线性插值等方法，实现图像的旋转、平移和缩放。程序代码流程见图8。

边缘检测算法，采用Canny算子边缘检测方法和Sobel算子等边缘检测方法，程序代码流程见图9。

图像分割算法，采用阈值分割法等方法，程序代码流程见图10。

三维图像处理部分功能，采用OpenGL库开发三维重建算法。载入各种切片序列，三维重建算法，将三维重建图显示于窗口中。具体结构流程如图5。

三维重建算法，程序代码流程图见图11。

Claims

1.一种基于工业CT成像及无线流媒体数据处理和三维重建平台的切片数据存储方法，所述工业CT成像及无线流媒体数据处理和三维重建平台包括机械控制装置、X射线源、CCD装置、视频服务器、第一和第二无线接口以及图像处理平台，其中机械控制装置的输出端分别接X射线源和CCD装置的输入端，CCD装置的输出端依次串接视频服务器、第一无线接口后与第二无线接口无线连接，图像处理平台与第二无线接口连接；其特征在于所述方法如下：

（1）选定待检测物体需检测区域，通过机械控制装置初始定位；

（2）X射线源的能量线束穿透被选取的待检测物体的初始位置，根据射线在待检测物体内的衰减以各点的衰减系数获取表征的光信号；

（3）光信号直接照射到CCD相机后，转换成数字图像信号，这种数字图像信号就是从工业CT机扫描得到的切片图片；

（4）数字图像信号经标准端口传到嵌入式服务器；

（5）通过视频编码芯片对输入的数字图像信号进行编码；

（6）将编码后的图像码流输出到图像帧存储器；

（7）通过机械控制装置的重新定位，选取待检测物体新的扫描位置；

（8）重复上述（2）-（6）步骤，获取到新的一帧切片数据，按照时间顺序同前面获取的数据一起压缩成码流，存于图像帧存储器；

（9）依次循环，整个扫描过程结束后，图像帧存储器中的码流最终以MPEG的视频编码格式存储于服务器硬盘中。