CN102137252A - 一种车载虚拟全景显示装置 - Google Patents

Abstract

本发明公开一种可提供车辆周围环境的全景可视辅助驾驶装置。本发明的装置是在车体顶部设置一个其外凸方向指向地面的三维曲面反射镜，在反射镜下方设置摄像装置构成的全景摄像装置，本发明的装置中还设置有：A/D转换器、SDRAM存储器，图像处理单元，显示器，外设备份存储器和人机界面，其中：由全景摄像机采集的模拟视频信号经A/D转换器转换为数字视频信号后经图像处理单元处理后送入显示器显示，并在外设备份存储器存储，显示器显示的内容通过人机交换界面控制。

Description

一种车载虚拟全景显示装置

技术领域

本发明是一种在车辆上使用的，可以显示车外影像的装置，特别是一种可提供车辆周围环境的全景可视辅助驾驶装置，包括：摄像装置，人机界面，显示装置，图像处理器，以及供电装置。

背景技术

车辆驾驶员在各种道路上驾驶时，其前进、后退或转向过程完全靠驾驶员观察视野范围内的外部环境做出判断，在现有车辆中对车辆侧面和后部环境的观察是通过设置于车体两侧及车内后视镜实现。在驾驶车辆时，由于驾驶员视野存在盲区，以及车辆后视镜无法反映出外部环境与本车之间的相对比例关系，驾驶员不能够完全真实准确了解车体和外部环境的位置距离关系，只能凭其经验进行大致的判断，因此易导致事故的发生。特别的，对于大型运输车辆，大型工程车辆的长宽都在数米到数十米，司机的视野更加受限，由此导致的事故更为频繁。

因此扩大驾驶员的视野范围成为可以有效避免事故发生的首选方案。现有的解决方案有利用多普勒效应、超声波测距等技术的探测模块，这两类方案分别通过对车身周边安装传感器来探测各个方向的障碍物与车体间的相对运动速度和相对位置关系，并以某种信息输出方式提醒司机。然而，这两种方案都存在精度和直观性的问题，其探测结果往往不能直接作为驾驶员准确判断周围环境的依据。

中国专利申请200610113157.0中提出了一种全景可视驾驶辅助设备，在专利申请号200910143695.8中提出了一种车载虚拟全景电子***。在这两种设备中，都是采用在车体特定角度放置多个摄像机，再通过电子技术将图像拼接的方式获取全景视频，都不能用单个摄像机获取全景视频，因此摄像机总体积大、安装布线复杂，对电子***的数据处理性能要求高，功耗和成本高。另外，这种布置在车体侧面的多摄像机方案多采取水平角度安装，这对驾驶员判断车体与障碍物的水平距离是不利的。若采取向下倾斜安装，则又会因为摄像机安装高度不够而使水平可视距离受到限制。

发明内容

本发明提供一种可克服现有技术不足的车载虚拟全景显示装置。

本发明的车载虚拟全景显示装置是在车体顶部设置一个其外凸方向指向地面的三维曲面反射镜19，在反射镜下方设置摄像装置20，由摄像装置20和三维曲面反射镜19构成全景摄像装置1，在装置中还设置有：A/D转换器3、SDRAM存储器4，图像处理单元17，显示器12，外设备份存储器14和人机界面16，其中：由全景摄像机1采集的模拟视频信号经A/D转换器3转换为数字视频信号后经图像处理单元17处理后送入显示器12显示，并在外设备份存储器14存储，显示器12显示的内容通过人机交换界面16控制。

本发明的车载虚拟全景显示装置的三维曲面反射镜19，其反射镜曲面函数为正球面函数或者椭圆函数或者双曲函数。

本发明的车载虚拟全景显示装置中，全景摄像装置1采集的视频信号转换为相应的视频格式后通过像素映射查找表模块8完成极坐标到直角坐标的图像展开，再经几何校正模块9校正图像变形后送入静态随机存储器10中缓存，同时将视频流经显示控制器11处理后在显示器12上显示，并可通过控制器15控制视角切换，显示经人机交互界面16不断切换的视角。

本发明的车载虚拟全景显示装置中，图像处理单元17可由SDRAM存储控制模块5，格式转换模块6、7，像素映射查找表模块8，几何校正模块9，静态存储器10，压缩编码模块13和用于控制视角切换和存储的控制器15构成。本发明中压缩编码模块13采用差分脉冲编码。

本发明的车载虚拟全景显示装置中图像处理单元17采用现场可编程逻辑阵列器件。

本发明的车载虚拟全景显示装置中还设置有音频采集器件2，在装置的图像处理单元17中还设置有差分脉冲编码模块13，外设备份存储器14为可存储视、音频信号的存储器，视、音频信号经格式转换模块6、7处理后的视频流经差分脉冲编码模块13进行压缩后送入视、音频存储器14进行存储。

本发明有如下优点：

1、安装单摄像机即可采集全景视频，与采用多个摄像机的方案相比，安装和布线简单，成本低。

2、在车顶部安装全景摄像机，1)提供俯视视角的图像，可更直观地显示车体与障碍物位置及相对水平距离关系。2)显示的图像中包含部分车体顶部的画面，更有利于驾驶员以车体为参照物判断障碍物的大小和距离。这些优点是现有技术，特别是采用多摄像机安装在车体各侧面的方案所不具备的。

3、对采集的单一环状全景视频进行展开和校正，不同于多摄像机方案需要对采集的视频进行拼接和校正，本方案的视频流数据量在展开后仍为单摄像机的数据量，对图像处理器件的处理速度要求低，且引入DPCM编码，可使存储数据量进一步降低。由于采用了这些措施，可使本发明的电子器件成本大大降低。

4、具有全景视频及音频存储功能，并可将实时采集的音频、视频信号记录保存，起到类似飞行器的黑匣子的作用，这对事后的事件重放，事故及责任的认定及分担无疑是有益的。

5、本发明的图像处理单元采用现场可编程序逻辑阵列器件，一方面可降低装置成本，另一方面，与专用DSP处理器为核心的图像处理单元相比，具有以下优势：1)灵活性强，便于硬件电路设计和升级，2)运算速度快，直接使用硬件描述语言设计硬件电路，执行图像处理算法，取代DSP的软件运算方式。

6、本发明的视频采集和显示分别采用了传统的模拟摄像机和VGA显示器，通用性强。

7、本发明通过单独的人机交互界面实现视角的实时切换等控制功能，由显示器显示切换后的实时视角画面。将显示器和人机交互界面分开有利于将显示器和人机界面分别安装在车内的最佳位置，不影响驾驶员的正常观察和操作。

附图说明

图1为本发明的全景摄像机机构示意图，其中19为三维曲面反射镜，20为在反射镜下方设置摄像装置，21为用于连接固定曲面反射镜19与摄像装置20的固定杆。

图2为本发明的一个实施例的***示意图，其中：1为由图1构成的反射式全景摄像机，2为麦克风，3为A/D转换器，4为SDRAM存储器，5为SDRAM存储器控制器，6为YUV422转换为YUV444格式的转换模块，7为YUV444转换为RGB格式的转换模块，8为像素映射查找表模块，9为几何校正模块，10为SRAM片内静态存储器，11为显示控制器，12为显示器，13为DPCM编码模块，14为外接音、视频备份存储器，15为NIOS II软核控制器，16为人机交互界面，17为图像处理单元，18为电路板。

图3为本发明的所采集的图像与展开后图像和经校正的图像示意图，其中图A为经图2实施例的***采集的图像示意，图B是原始图像直接展开而未经矫正的图像，图C是经实施例2的***展开后并校正后的图像。

图4是本发明的全景摄像装置设置位置示意图，图5是图4俯视图。

图6是压缩编码模块13的编码原理示意图。

图7是压缩编码模块13的译码原理示意图。

具体实施方式

以下结合由附图给出的最佳实施例的***做详细的解说。

首先按图1的结构制备一个全景摄像机1，其中的三维曲面反射镜19采用的曲面函数为双曲面；而摄像机20采用了CCD摄像机。将这一全景摄像机设置于车辆外的车顶上方，最好将其设置于车辆稍后的位置，即图4和图5所示的位置。按这种方式建立的车载虚拟全景显示装置可以更好地显示车辆后部的视野。

按图2建立本实施例的***，其中图像处理单元17机构采用可编程逻辑阵列，即FPGA芯片。在FPGA芯片外设置：A/D转换器3，SDRAM存储器4，显示控制器11，显示器12，外接音、视频备份存储器14和人机交互界面16。同时将另外设置麦克风2和反射式全景摄像机1按图2所示接入A/D转换器中。

在FPGA芯片中以硬件描述语言方式建立SDRAM存储器控制器5，YUV422转换为YUV444格式的转换模块6，YUV444转换为RGB格式的转换模块7，像素映射查找表模块8，几何校正模块9，SRAM片内静态存储器10，显示控制器11，DPCM编码模块13，NIOS II软核控制器15。显然采用这种方式比多个专用数字信号处理芯片的方案更节约芯片成本、电路板布线和尺寸，同时也可简化***的调试难度。

以上各器件按图2所示进行连接，其中“粗实线”表示视频数据流，“细实线”表示音频数据流，“虚线”表示控制信号，“箭头”表示数据流或信号流的方向，其中双向箭头表示信号是双向传输的。

按照本发明的基本构思，实时反射式全景视频处理要求高的处理能力。例如，NTSC制式视频标准要求30帧/秒，每帧约0.25兆像素，即每秒7.5兆像素流量。PAL制式视频标准要求25帧/秒，而每帧的像素数却更多，总的像素流量与NTSC制式基本相当。而对每个像素的处理量取决于采用的具体算法。目前的模拟视频流，无论是PAL还是NTSC，其数据量是一定的，且二者基本相同。如果直接进行抽样量化，若将每个像素的像素深度设置为10bit(VGA标准所指定的像素深度)，对于每个像素都包含R，G，B三个分量，则数据量为7.5M/s×10bit×3＝225Mbit/s，数据量非常大。通常的方法是使用DSP处理器阵列或单片高端DSP完成。本发明中考虑到本视频处理的查找表操作，需要大量的存储器资源，对于DSP处理器来说，由于成本和空间的限制，需要外接RAM存储器和相应控制逻辑，而外接存储器控制逻辑存在带宽限制，使其成为DSP高速图像处理的主要瓶颈之一。同时，以专用DSP处理器为核心的图像处理单元存在灵活性差的问题。因此采用了FPGA器件，提供了可替代的视频处理平台：FPGA支持高效并发数据流结构，这对于图像处理算法的高速硬件实时实现至关重要；FPGA内部的嵌入式SRAM存储器是查找表操作的理想选择；FPGA可以高效灵活的的实现数字电路的组建，特别是数字信号处理单元的组建。

本发明中SDRAM存储器控制模块5，用于调度视频流数据在SDRAM存储器4中的写入和读出。由反射式全景摄像机1和麦克风2采集的模拟视频和音频信号，在A/D转换器3中将模拟的NTSC制式视频信号经抽样、量化转换为YUV422格式的数字视频流，将模拟音频信号转换为PCM编码的单通道数字音频信号。由于A/D转换器3输出的数字视频流仍然按照模拟视频NTSC格式，分奇数场和偶数场交替传送，即两场图像才能组成完整的一帧图像，所以需要利用SDRAM存储器4作为视频流缓冲池，缓存上一场的图像，再将相邻两场的图像在SDRAM存储器控制模块5中叠加，组成完整的一帧数字视频信号。

本发明中6和7是视频格式转换模块，在6中，将SDRAM存储器控制模块5输出的YUV422格式数字视频信号转换为YUV444格式，使每个像素的Y、U、V三个分量具有位数相同的数值，便于进一步的视频处理，在7中，又将YUV444格式转换为RGB格式，用于显示器的显示。

本发明中全景视频的展开由像素映射查找表8实现。本发明中像素映射查找表8是算法的核心，它的作用是将反射式全景摄像机采集的环形图像，从极坐标系下变换到直角坐标系下，完成展开操作，以符人视觉观察习惯。其具体实现是在FPGA中的硬件数字电路完成的，通过解算反射镜的曲面函数，获得极坐标中每个像素到直角坐标系中的每个像素的映射表(这种映射不是一一映射，直角坐标系中的一些没被直接映射到的像素通过插值运算加以填充)，这张映射表通过硬件描述语言，存储到FPGA的SRAM存储器中，再根据需要，由译码电路调用此查找表中的具体数据，逐个像素地完成全景图像的实时展开。

目前通用的显示器为平面液晶显示器，因此本发明中显示器12也采用了这一显示器。平面液晶显示器屏幕的长宽比主要是4∶3或16∶9。对于全景图像来说，展开的360度全景图像是一个长宽比为11∶1的矩形图像，直接保持原样显示在通用的显示器上，会浪费屏幕上、下部分的大面积区域。又由于车载显示器尺寸一般较小(多为7寸)，直接显示的360度全景图像往往已经无法看清细节。因此本发明采用了“区域选择”的方式，将360度的全景图像分为前、后、左、右四部分，即在平面显示器上只显示90度的展开图像，当需要切换不同的显示部分时，只需要通过切换按钮，即可实时的完成视角切换操作。具体的过程是，当驾驶员按动人机交互界面16的方向切换开关选择相应的方向，方向切换信号通过查询方向信号的NIOS II软核控制器15，送入像素映射查找表模块8，将查找表的有效映射区域切换到选定的90度方向视角。NIOS II软核控制器15还用于控制人机交互界面16中的小型液晶屏显示，这个小型液晶屏的作用是显示目前正在显示的视野所处的视野方向信息。NIOS II软核控制器15还用于按照SSD硬盘的存数协议，控制外接视音频备份存储器14的数据写入存储。

本发明中几何校正模块9，用于改善全景图像展开后出现的几何失真。由于全景摄像器的反射镜面是双曲面方程，用极坐标直接展开后并在平面显示器上直接显示的图像扭曲变形较大。根据双曲面方程的特性，解算出平面像素跟双曲面像素的对应关系。图像畸变主要在垂直方向，用硬件描述语言设计偏移量查找表，将像素映射查找表8中输出的展开后的像素的显示位置进行逐一校正，校正之后的图像完全能够满足人眼观察的需要，本发明中关于全景摄像机采集的原始图像，经展开后的图像和经校正的图像可参见图3。图A是全景摄像装置采集后得到的原始环状全景图像，在现实世界中，每个环本应是“等距等长”的，即相邻环之间的距离相等，所有环的周长相等。图B为原始图像直接展开而未经矫正的图像，可见直接展开后的图像只将原始环状全景图像展开为“等长”图像，图C是经实施例图2的***展开后并校正后的图像，在“等长”的基础上实现了“等距”。实际中由于反射镜面加工工艺的影响，校正后的图像仍存在局部畸变，但已经可以满足使用的要求了。

本发明中SRAM片内静态存储器10实现一个视频流缓冲池，其作用是存储已完成展开和矫正操作并由人机交互界面选择的90度的一帧数字图像，供显示控制器11使用。

本发明中的压缩编码模块13采用差分脉冲调制编码DPCM，用于在视频和音频存入外接视音频备份存储器14之前，对其进行DPCM编码，使得RGB三通道的位宽变为5位，节省了一半的存储空间，肉眼观察效果与没有压缩的图像没有差别。DPCM编码是差分脉冲编码调制的英文缩写，其编码方式是对相邻的两个采样值之间的差值信号进行编码，实现对PCM编码的压缩，编解码原理如图6和图7所示，其中：

图中，S(n)——当前输入像素采样值；

Sp(n)——由预测编码得到的预测信号值；

E(n)——像素残差信号值(差值信号)；

Eq(n)——量化后的预测误差信号值；

Sr(n)——重建像素信号值；

DPCM采用线性预测方式，预测信号由n时刻之前的M个量化后的差值信号线性组合得到：其中ki为预测系数。

本***中所用的简单的DPCM编码过程如下：(ki＝1)

1.初始化：Sp(0)＝0；

2.E(n)＝S(n)-Sp(n)；

3.E(n)量化编码后得到Eq(n)；

4. $\mathrm{Sp}\left(n\right)={\mathrm{\Σ}}_{i=1}^M\mathrm{Eq}(n-i);$

5.重复第2步。

本发明的显示器接口采用了VGA接口标准，目前大多数显示器采用该接口标准。考虑到本***的通用性，因此采用该接口标准完成显示。

本发明中将图像数据传入视、音频存储器14中存储，实施例中采用SATAII接口的SSD固态硬盘存储器。14的作用类似于飞机上的“黑匣子”，用于车辆事故后的事故现场场景回放，这对于事后的情景重现及事故责任的分配，甚至教学都有积极意义。

本发明的实施例中所用的器件型号为：图像处理单元17的FPGA芯片是Altera公司的CycloneII 2C70，A/D转换器3的芯片型号是ADV7180，SDRAM存储器4的芯片型号是IS42S16160B，显示控制器11的芯片型号是ADV7123。由上构成的装置在具体的使用中驾驶员可通过驾驶室中的显示器12看到某一90度方向的视场，并可由人机交互界面选择需要观察的视场，从显示器中可全方位观察车辆四周的图像。由于所摄制的图像是通过俯视视角得到的车身四周的图像，俯视视角比水平视角更直观地显示了车体与障碍物的水平距离。同时，俯视视角中包含部分车体顶部边缘的画面，这有利于驾驶员以车体为参照物判断障碍物的大小和距离。当然在具体实施中还可以软件方式实现在画面中嵌入与本车尺寸相对应的参照距离标记，这样可以更加清楚地表现出车辆外部的环境情况。

Claims (7)

1.一种车载虚拟全景显示装置，包括：全景摄像装置，人机界面，显示装置，图像处理器，以及供电装置，其特征是在车辆上设置一个其外凸方向指向地面的三维曲面反射镜(2)，在反射镜下方设置摄像装置(3)，由摄像装置(3)和三维曲面反射镜(2)构成全景摄像装置(1)，在装置中还设置有：A/D转换器(3)、SDRAM存储器(4)，图像处理单元(17)，显示器(12)，外设备份存储器(14)和人机界面(16)，其中：由全景摄像机(1)采集的模拟视频信号经A/D转换器(3)转换为数字视频信号后经图像处理单元(17)处理后送入显示器(12)显示，并在外设备份存储器(14)存储，显示器(12)显示的内容通过人机交换界面(16)控制。

2.权利要求1所述的车载虚拟全景显示装置，其特征在于三维曲面反射镜的反射镜曲面函数为正球面函数或者椭圆函数或者双曲函数。

3.权利要求2所述的车载虚拟全景显示装置，其特征是经成全景摄像装置(1)采集的视频信号经转换为相应的视频格式后通过像素映射查找表模块(8)完成极坐标到直角坐标的图像展开，再经几何校正模块(9)校正图像变形后送入静态随机存储器中缓存，同时将视频流经显示控制器处理后在显示器上进行显示。

4.权利要求3所述的车载虚拟全景显示装置，其特征是图像处理单元(17)由SDRAM存储控制模块(5)，格式转换模块(6)和(7)，像素映射查找表模块(8)，几何校正模块(9)，静态存储器(10)，压缩编码模块(13)和用于控制视角切换和存储的控制器(15)构成。

5.权利要求3或4所述的车载虚拟全景显示装置，其特征是压缩编码模块(13)采用差分脉冲编码模块。

6.权利要求5所述的车载虚拟全景显示装置，其特征是图像处理单元(17)采用现场可编程序逻辑陈列器件。

7.权利要求6所述的车载虚拟全景显示装置，其特征在于装置中还设置有音频采集器件(2)，在装置的图像处理单元(17)中还设置有差分脉冲编码模块(13)，外设备份存储器(14)为可存储视、音频信号的存储器，视、音频信号经格式转换模块(6)和(7)处理后的视频流经差分脉冲编码模块(13)进行压缩后送入视、音频存储器(14)进行存储，并由控制视角切换和存储的控制器(15)控制经人机交换界面(16)处理后显示。

Images