CN1780359A - 无人机遥感平台中的cmos成像与信息处理*** - Google Patents

无人机遥感平台中的cmos成像与信息处理*** Download PDF

Info

Publication number
CN1780359A
CN1780359A CN 200410009819 CN200410009819A CN1780359A CN 1780359 A CN1780359 A CN 1780359A CN 200410009819 CN200410009819 CN 200410009819 CN 200410009819 A CN200410009819 A CN 200410009819A CN 1780359 A CN1780359 A CN 1780359A
Authority
CN
China
Prior art keywords
image
cmos
module
cmos imaging
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200410009819
Other languages
English (en)
Inventor
晏磊
赵红颖
吕书强
王顺义
张罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Gaike Unmanned Machinery Co., Ltd.
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN 200410009819 priority Critical patent/CN1780359A/zh
Publication of CN1780359A publication Critical patent/CN1780359A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种无人机遥感平台中的CMOS成像与信息处理***，包括CMOS成像模块、数据存储模块与图像信息处理模块，CMOS成像模块获取图像数据并对其处理，将该处理后的图像数据存储于数据存储模块并输入至图像信息处理模块进行校正，CMOS成像模块包括CMOS图像传感器、微控制器、图像处理专用芯片、存储器和逻辑门电路，微控制器用于CMOS图像传感器与图像处理专用芯片的初始化、状态设定，并负责快门检测、电源控制和数据传输控制；CMOS图像传感器用于自动曝光、自动增益的部分信号处理，并将获取图像传输至图像处理专用芯片；图像处理专用芯片获取CMOS图像传感器所传送的图像信号后将数据压缩，暂存于存储器。

Description

无人机遥感平台中的CMOS成像与信息处理***
技术领域
本发明涉及一种无人机遥感平台中的CMOS成像与信息处理***。
背景技术
无人机可以应用于长时间空中昼夜飞行和危险性飞行作业，如灾情监视、气象探测、环境监测、地质勘探、边境控制以及军事应用等，具有广阔的市场需求。由于无人机在各个部门和领域中的应用广泛，无人机潜在需求巨大，而数字城市、空间信息技术应用等必将使用低成本、高灵活性、较高分辨率探测图像的技术与设备，该项目的研究与开发正是满足了这种需求，不仅可以提高无人机监测和导航能力，而且能产生良好的社会效益与经济效益。
成像与信息处理***是空间遥感平台中获取遥感图像和处理空间信息的关键部件之一，但现有的数字成像***多采用CCD作为图像传感器，由于CCD是一种特殊的微电子技术，其制作需要特殊的制造工艺，不能与其***电路集成，导致集成度低，体积与重量相对较大，且信号读取速度慢，功耗高，产品价格相对昂贵。
遥感***成像时应尽量减小因载体平台的姿态变化和震动所受的影响，目前一般都是采用陀螺传感器和伺服控制***构成的稳定平台来进行稳像的，由于伺服***固有的体积大、造价高、消耗功率大等缺点，在很多场合往往难于满足军事和民用设备的进一步要求。
无人机遥感数据的获取后可采用实时下传和存入存储器两种方式进行处理。无线通讯受带宽所限，传输速率有限，对于高分辨率的遥感影像，由于数据量大，实时传输技术难度大，成本高；而采用存储器存储的方式一般采用专用的存储介质，成本高，体积大，使用不方便。
发明内容
针对上述现有无人机成像与信息处理***所存在的问题和不足，本发明的目的是提供一种低功耗、低成本并可进一步提高视频影像显示效果的无人机遥感平台中的CMOS成像与信息处理***。
本发明是这样实现的：一种无人机遥感平台中的CMOS成像与信息处理***，包括CMOS成像模块、数据存储模块与图像信息处理模块，CMOS成像模块获取图像数据并对其处理，然后将该处理后的图像数据存储于数据存储模块并输入至图像信息处理模块进行校正，CMOS成像模块包括CMOS图像传感器、微控制器、图像处理专用芯片、存储器和逻辑门电路，其中，微控制器用于CMOS图像传感器与图像处理专用芯片的初始化、状态设定，并负责快门检测、电源控制和数据传输控制；CMOS图像传感器用于自动曝光、自动增益的部分信号处理，并将获取图像传输至图像处理专用芯片；图像处理专用芯片获取CMOS图像传感器所传送的图像信号后将数据压缩，暂存于存储器。
进一步地，所述存储模块由USB HOST芯片与双口RAM组成，通过一个IDE插座与成像模块连接，其外在表现为一个双口RAM；并由成像模块的微控制器通过地址总线访问，可将所生成的图像文件通过其USB接口传送入USB移动外设中存储。
进一步地，所述信息处理模块采用电子稳像技术，并结合遥感数字图像处理技术和信息融合技术，对获取的图像信息和其它空间传感器获取的非图像信息进行空间信息融合和处理。
进一步地，所述存储器为移动硬盘或U盘。
进一步地，所述存储器还可以是闪存卡。
本发明实现了低功耗、低成本CMOS数字成像***，并采用了电子稳像技术，可结合机械稳像平台进一步提高视频影像显示效果，独特设计的存储方式具有体积小，使用方便，成本低的特点，可将成像***所采集的数据存储入大容量移动存储器中，减轻无线数据通讯的压力。
本发明的具体有益效果为：(1)采用CMOS传感器，***整合性高，性能稳定且价格低廉；(2)多模块设计，可根据需要选择何种存储方式，是否采用信息处理模块，使用方便灵活；(3)功能用途广，本发明改进后可应用于数码成像产品和ITS(智能交通***)中车辆的实时监控、交通监控等，具有良好的后继开发与应用潜力。
附图说明
下面结合附图，对本发明作出详细描述。
图1是本发明使用状态示意图；
图2是本发明使用结构示意图；
图3是本发明的成像模块结构示意图；
图4是本发明数据存储模块结构示意图；
图5是本发明硬件核心部分接口示意图；
图6是本发明图像获取与存储的流程图；
图7是本发明图像信息处理模块对图像数据处理的流程图。
具体实施方式
如图1所示，在无人机中嵌入本发明后，即可直接用于遥感图像的获取，对遥感图像进行压缩处理后，存储于本发明的存储模块。当然，本发明应用时结合GPS、卫星通讯、航天遥感等，实现无人机监控、探测和导航，能更好地应用于灾情监视、气象检测环境监测、地质勘探、边境控制以及军事应用等。
如图2所示，本发明的应用***包括控制模块、CMOS成像模块、数据存储模块、图像信息处理模块和地面控制站，控制模块通过无线信号数据接口接收由地面控制中心传来的控制指令，实现对***的相关模块进行控制，包括控制CMOS成像模块的启动以及成像时刻、曝光时延、增益控制等，设置图像压缩芯片的参数，并将获取的遥感影像数据通过数据接口输入固态存储器中存储。为更好地利用本发明，可另外增加无线数据传输接口，将影像数据下传至地面控制站进行监测和信息处理，以对接收到的影像进行评估，若未达到要求，则作出相应的调整命令，通过无线信号数据接口传输到***的控制模块。控制模块是整个***的核心，控制程序写入微控制器中，协调各个模块之间的工作。
如图3所示，本发明的成像模块由微控制器、图像传感器、图像处理器、存储器SDRAM组成，另外，可根据需要，在微控制器上增加闪存卡，以适应存储的要求。本发明的成像模块中，微控制器作为核心元件，协调各器件之间的工作。***上电后，通过微控制器对图像传感器和图像处理器进行初始化，根据任务需要(如飞行时间、图像分辨率、***总体积重量要求等)，由用户设定存储方式，即选用闪存卡存储(GB级容量，体积小重量轻)或USB移动外设存储(百GB级容量)，并设定图像采集帧速率、图像分辨率等参数。控制台通过无线信号发出指令(包括姿态控制、路线设定、参数设置、工作模式控制等)，若成像模块接收并兼测到了开始采集图像的指令，则向CMOS图像传感器发出指令，触发电子快门，采集图像，然后由图像处理芯片进行编码压缩处理，生成图像文件，根据用户所选择的模式存储入相应的存储器中。
如图4所示，本发明的存储模块的核心技术是嵌入式***中USB主设备的实现，目前提供USB主控芯片的厂商有很多，如Cypress、Philips等，也有相应的功能模块，如Broadmaking的BM5100。在双口RAM中设置读写标志位，由USB主控芯片对该标志位进行扫描，需要对USB移动外设进行读写操作时，成像模块的微控制器对标志位进行设置。当进行写操作时，微控制器将文件数据写入双口RAM中，并将读写标志位置为写状态，然后由USB主控芯片将双口RAM中的数据写入移动外设中；当进行读操作时，由USB主控芯片将数据从移动外设读出并写入双口RAM中，然后向微控制器发出中断，通知微控制器读出数据。
如图5所示，为本发明的硬件核心部分接口示意图。其中YUV为CMOS输出给图像处理器的视频信号，CMOS的内部寄存器通过I2C总线由单片机设置。另外CMOS还为图像处理器提供像素时钟PCLK、水平同步HS和垂直同步VS信号。信号触发电路发出数据采集信号给单片机，使CMOS成像单元完成一帧图像的获取。图像处理器与微控制器通过地址/数据(DATA/ADD)总线连接，并通过片选(CS)、中断(INT)和读/写(RD/WR)等信号控制。微控制器与存储模块的连接如前所述，同样是通过地址/数据总线连接，考虑到地址/数据总线的资源所限，本发明使用逻辑门电路扩充芯片的总线资源，并将图像处理器和存储模块隔离，分别控制。
如图6所示，为本发明图像获取与存储程序流程图。单片机在完成初始化工作后，进入数据采集状态检测的循环中，若接收到开始数据采集的指令，则触发电子快门，开始采集图像，并将图像传送入图像处理器件进行压缩处理，然后创建图像文件，根据用户所设置的存储模式将所采集的图像存入相应的存储器中，最后检测***是否被设置为挂起状态(减小功耗)，如处于挂起状态，等待***重新激活，否则重新进入数据采集指令接受检测的状态。
如图7所示，为本发明信息处理模块的工作流程图。成像模块所采集的数据由地面控制站接收后，由信息处理模块进行处理，具体为，本模块为运行在PC机或服务器端的软件***，获取的图像首先经过亮度调整，避免各帧图像间的亮度差异过大，再进行镜头畸变的校正。经过校正的图像经过电子稳像算法处理后，得到稳定连续的图像，作为图像拼接的数据输入。首先设定基准图像，调整匹配配准点的位置，然后进行图像的自动拼接，对拼接效果进行目测评估，如果效果理想，则输出完整的全景图像，否则重新选择基准图像与基准点，再次进行拼接。在自动拼接的过程中，如发现存在伪匹配点，则人工修正匹配点，进行手工拼接，最后输出全景图像。

Claims (5)

1、一种无人机遥感平台中的CMOS成像与信息处理***，包括CMOS成像模块、数据存储模块与图像信息处理模块，CMOS成像模块获取图像数据并对其处理，然后将该处理后的图像数据存储于数据存储模块并输入至图像信息处理模块进行校正，其特征在于，所述CMOS成像模块包括CMOS图像传感器、微控制器、图像处理专用芯片、存储器和逻辑门电路，其中，微控制器用于CMOS图像传感器与图像处理专用芯片的初始化、状态设定，并负责快门检测、电源控制和数据传输控制；CMOS图像传感器用于自动曝光、自动增益的部分信号处理，并将获取图像传输至图像处理专用芯片；图像处理专用芯片获取CMOS图像传感器所传送的图像信号后将数据压缩，暂存于存储器。
2、如权利要求1所述的无人机遥感平台中的CMOS成像与信息处理***，其特征在于，所述存储模块由USB HOST芯片与双口RAM组成，通过一个IDE插座与成像模块连接，其外在表现为一个双口RAM；并由成像模块的微控制器通过地址总线访问，可将所生成的图像文件通过其USB接口传送入USB移动外设中存储。
3、如权利要求1所述的无人机遥感平台中的CMOS成像与信息处理***，其特征在于，所述对图像数据校正即信息处理模块采用电子稳像技术，并结合遥感数字图像处理技术和信息融合技术，对获取的图像信息和其它空间传感器获取的非图像信息进行空间信息融合和处理。
4、如权利要求1至3中任一权利要求所述的无人机遥感平台中的CMOS成像与信息处理***，其特征在于，所述存储器为移动硬盘或U盘。
5、如权利要求1至3中任一权利要求所述的无人机遥感平台中的CMOS成像与信息处理***，其特征在于，所述存储器还可以是闪存卡。
CN 200410009819 2004-11-18 2004-11-18 无人机遥感平台中的cmos成像与信息处理*** Pending CN1780359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200410009819 CN1780359A (zh) 2004-11-18 2004-11-18 无人机遥感平台中的cmos成像与信息处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200410009819 CN1780359A (zh) 2004-11-18 2004-11-18 无人机遥感平台中的cmos成像与信息处理***

Publications (1)

Publication Number Publication Date
CN1780359A true CN1780359A (zh) 2006-05-31

Family

ID=36770454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200410009819 Pending CN1780359A (zh) 2004-11-18 2004-11-18 无人机遥感平台中的cmos成像与信息处理***

Country Status (1)

Country Link
CN (1) CN1780359A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101594533B (zh) * 2009-06-30 2010-12-29 华中科技大学 一种适用于无人机序列图像的压缩方法
CN101296368B (zh) * 2007-04-28 2011-07-06 长春奥普光电技术股份有限公司 电视***中图像识别跟踪装置
CN102117252A (zh) * 2010-01-06 2011-07-06 原相科技股份有限公司 可携式电子装置及其串行传输接口和数据传输方法
CN101247474B (zh) * 2007-05-18 2011-08-17 北京思比科微电子技术有限公司 一种图像处理的装置及方法
CN103179401A (zh) * 2013-03-19 2013-06-26 燕山大学 多智能体协同视频采集与图像信息拼接处理方法及装置
CN103763474A (zh) * 2014-01-23 2014-04-30 徐鹏 具有高速数据存储功能的摄影平台控制器
CN105242574A (zh) * 2014-06-24 2016-01-13 中国科学院沈阳自动化研究所 一种imu数据的实时usb存储装置与方法
CN106572288A (zh) * 2016-10-19 2017-04-19 广东容祺智能科技有限公司 一种无人机图像传输一体化摄像机
CN109417594A (zh) * 2017-11-29 2019-03-01 深圳市大疆创新科技有限公司 图像处理方法、拍摄设备、无人机及地面端设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296368B (zh) * 2007-04-28 2011-07-06 长春奥普光电技术股份有限公司 电视***中图像识别跟踪装置
CN101247474B (zh) * 2007-05-18 2011-08-17 北京思比科微电子技术有限公司 一种图像处理的装置及方法
CN101594533B (zh) * 2009-06-30 2010-12-29 华中科技大学 一种适用于无人机序列图像的压缩方法
CN102117252A (zh) * 2010-01-06 2011-07-06 原相科技股份有限公司 可携式电子装置及其串行传输接口和数据传输方法
CN103179401A (zh) * 2013-03-19 2013-06-26 燕山大学 多智能体协同视频采集与图像信息拼接处理方法及装置
CN103763474A (zh) * 2014-01-23 2014-04-30 徐鹏 具有高速数据存储功能的摄影平台控制器
CN105242574A (zh) * 2014-06-24 2016-01-13 中国科学院沈阳自动化研究所 一种imu数据的实时usb存储装置与方法
CN106572288A (zh) * 2016-10-19 2017-04-19 广东容祺智能科技有限公司 一种无人机图像传输一体化摄像机
CN109417594A (zh) * 2017-11-29 2019-03-01 深圳市大疆创新科技有限公司 图像处理方法、拍摄设备、无人机及地面端设备
WO2019104558A1 (zh) * 2017-11-29 2019-06-06 深圳市大疆创新科技有限公司 图像处理方法、拍摄设备、无人机及地面端设备

Similar Documents

Publication Publication Date Title
CN204155059U (zh) 一种360度全景相机
US20220247898A1 (en) Replaceable gimbal camera, aircraft, aircraft system, and gimbal replacement method for aircraft
US10063755B2 (en) Autofocus method of camera using temperature and gravity sensors, apparatus for controlling camera, and system including the same
US9055216B1 (en) Using sensor data to enhance image data
CN106705964A (zh) 全景相机融合imu、激光扫描仪定位与导航***及方法
CN113228616B (zh) 具有多单元结构的相机模块和包括其的便携式通信装置
KR102495763B1 (ko) 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
Sargent et al. Timelapse GigaPan: Capturing, sharing, and exploring timelapse gigapixel imagery
CN1780359A (zh) 无人机遥感平台中的cmos成像与信息处理***
US9843724B1 (en) Stabilization of panoramic video
CN103024428A (zh) 一种全景影像***自动校正装置及校正方法
CN103984198A (zh) 一种360度全景相机
US20200007794A1 (en) Image transmission method, apparatus, and device
CN104954694A (zh) 一种通过wifi实时查看全景图像的工业相机
KR20180065439A (ko) 드론용 초소형 영상 카메라 모듈
CN209877958U (zh) 一种倾斜摄影***
CN210745325U (zh) 一种五目倾斜摄影设备
US20210392269A1 (en) Motion sensor in memory
CN104159015A (zh) 基于无人机的摄像***
CN208190789U (zh) 一种多目相机
CN101634555B (zh) 一种面阵ccd相机像移补偿方法
US20220264017A1 (en) Zoom method and apparatus, unmanned aerial vehicle, unmanned aircraft system and storage medium
CN103929585A (zh) 一种偏光片的控制方法、电子设备及***
CN215064513U (zh) 一种测绘图像拼接***
KR102406926B1 (ko) 전자 액자 및 전자 액자의 이미지 표시 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: PEKING UNIVERSITY; APPLICANT

Free format text: FORMER OWNER: PEKING UNIVERSITY

Effective date: 20070831

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070831

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Applicant after: Peking University

Co-applicant after: Guizhou Gaike Unmanned Machinery Co., Ltd.

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Applicant before: Peking University

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20060531