CN105704363B - 图像数据处理方法和装置 - Google Patents

图像数据处理方法和装置 Download PDF

Info

Publication number
CN105704363B
CN105704363B CN201410709462.0A CN201410709462A CN105704363B CN 105704363 B CN105704363 B CN 105704363B CN 201410709462 A CN201410709462 A CN 201410709462A CN 105704363 B CN105704363 B CN 105704363B
Authority
CN
China
Prior art keywords
target pixel
image data
sub
module
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410709462.0A
Other languages
English (en)
Other versions
CN105704363A (zh
Inventor
荣坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Vimicro Corp
Original Assignee
Guangdong Vimicro Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Vimicro Electronics Co ltd filed Critical Guangdong Vimicro Electronics Co ltd
Priority to CN201410709462.0A priority Critical patent/CN105704363B/zh
Publication of CN105704363A publication Critical patent/CN105704363A/zh
Application granted granted Critical
Publication of CN105704363B publication Critical patent/CN105704363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像数据处理方法和装置，该图像数据处理方法包括：在原始图像数据中查找目标像素单元；将所述目标像素单元中的与目标像素相对应的子像素的亮度信息进行叠加；根据所述目标像素自身的像素信息输出经所述亮度信息叠加后的图像数据。本发明通过将原始图像数据的目标像素对应的像素的亮度叠加来提升整个图像的亮度，再通过目标像素自身的信息进行图像信息输出，从而避免降低图像输出的品质，从而提高了低照度下成像的性能。

Description

图像数据处理方法和装置
技术领域
本发明涉及安全监控领域，具体来说，涉及一种图像数据处理方法和装置。
背景技术
目前，为了使低照度情况下的图像成像效果更佳理想，通常使用传感器sensor提供binning模式的输出，即几个像素点合并后作为一个像素点输出。这样可有效的提升低照度情况下图像的亮度，但是却使图像输出的分辨率大打折扣，此外该模式还存在以下问题：
1)sensor输出的图像尺寸发生了变化；
2)需要更改sensor和ISP的图像大小相关设置，并需要关流完成新配置后再重新开流，导致在切换sensor输出和ISP处理图像大小时至少有几秒种的视频中断；
3)切换成binning模式和从binning模式切换回正常模式时，sensor和ISP输出时钟和时序发生变化，会导致后端图像数据接收模组或设备在模式切换过程中图像数据接收异常和图像显示异常。
而如果采用软件在视频图像解码后，进行binning然后再upscale回原尺寸，则图像亮度有明显阶跃变化，无法采用ISP正常的自动曝光算法，自动曝光无法流畅自然，且图像处理是在ISP处理后的YUV(YCbCr)上进行，从而造成图像细节损失。
由于以上问题，导致sensor binning模式可提高sensor感光灵敏度的应用在视频监控实际应用中无法被采用。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种图像数据处理方法，能够提高低照度下成像的性能且可以保持图像的细节。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种图像数据处理方法。
该方法包括：
在原始图像数据中查找目标像素单元；
将所述目标像素单元中的与目标像素相对应的子像素的亮度信息进行叠加；
根据所述目标像素自身的像素信息输出经所述亮度信息叠加后的图像数据。
其中，所述目标像素单元包括至少一个目标像素，及与目标像素相对应的子像素，所述子像素受SIF模块sensor interface控制。
此外，上述方法是基于SIF模块sensor interface实现的，因此不会改变图像的尺寸，因此不会在输出图像时不会出现异常。
其中，所述子像素受SIF模块sensor interface控制，包括：
在低照度的情况下，将目标像素中的子像素的亮度信息进行叠加。
根据本发明的另一方面提供了一种图像数据处理装置，包括：
查找模块，用于在原始图像数据中查找目标像素单元；
叠加模块，用于将所述目标像素单元中的与目标像素相对应的子像素的亮度信息进行叠加；
输出模块，用于根据所述目标像素自身的像素信息输出经所述亮度信息叠加后的图像数据。
其中，所述目标像素单元包括至少一个目标像素，及与目标像素相对应的子像素，所述子像素受SIF模块sensor interface控制。
此外，该装置是通过SIF模块sensor interface实现的。
此外，该装置的叠加模块进一步用于在低照度的情况下，将目标像素中的子像素的亮度信息进行叠加。
本发明通过将原始图像数据的目标像素对应的像素的亮度叠加来提升整个图像的亮度，再通过目标像素自身的信息进行图像信息输出，从而避免降低图像输出的品质，从而提高了低照度下成像的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的图像数据处理方法的流程图；
图2是根据本发明实施例的图像数据处理装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明利用sensor现有感光性能所得到的原始图像数据进行再处理从而来提高低照度下的图像数据成像性能，根据本发明实施例的图像数据处理方法如图1所示，包括：
步骤S101，在原始图像数据中查找目标像素单元，每个像素单元包含至少一个子像素；
步骤S103，将目标像素单元中的与目标像素相对应的子像素的亮度信息进行叠加；
步骤S105，根据目标像素自身的像素信息输出经亮度信息叠加后的图像数据。
本发明通过在SIF模块中实现上述方案，利用sensor输出的原始图像数据可以尽可能的保持图像细节，在具体实施的过程中，SIF模块首先检测当前拍摄的情景，如果当前并不是低照度的情况下，则采用正常的拍摄方式。若检测到当前的拍摄情形是低照度，则进入低照度模式，具体的，首先搜索原始图像数据的目标像素单元，该目标像素单元是属于该原始图像数据的一个区域，可以根据实际的拍摄情形设定其范围的大小，目标像素单元包括至少一个目标像素及与目标像素相邻的若干个子像素，目标像素的设定也可以根据实际需求选择其选择阈值或选择条件来进行定义，在低照度的情况下，成像的图像一般较暗，因此将各个子像素的亮度信息进行叠加从而可以增加原始图像的亮度，而为了保持图像的细节则使用目标像素自身的信息进行图像数据的输出。
在SIF模块中，根据目标像素点所从属的不同色彩通道如(R,Gr,Gb,B,channel),以目标像素点为中心，n x n(如3x3)为窗口，搜索目标像素点相邻的相同色彩通道的像素单元,将这些像素单元值以不同的权重进行叠加，得出目标像素点最终输出值。一个简单的权重示例如下：
Figure BDA0000620438300000041
这样，既可得到类似2x2sensor binning效果的高亮度图像，又可尽量保持目标像素点的特征信息，并且，该方法并不会使图像输出尺寸发生改变。
为了进一步的得到较高质量的图像数据，发明人还对上述具体实施例进行了进一步的优化处理，具体的，在原始图像数据中，搜索一个区域所包含的所有像素单元，并选定其中的一个或多个像素单元作为目标像素单元。然后基于该一个或多个目标像素单元，确定目标像素单元的邻域的像素单元的像素特征，该像素特征可以包括：亮度值和/或色度值。从邻域中的众多像素单元中选择出颜色类型或种类与确定的目标像素单元相同或相似的若干子像素，进行加权平均，已获得输出图像的像素值，并且所选择的若干子像素的位置关系与确定的目标像素单元的目标像素的位置关系满足加权平均关系。
此外，本发明是基于SIF模块实施的，因此无需更改sensor配置，sensor的时钟及输出图像尺寸都可以保持不变，不用随模式的切换而更改，并且在模式切换时无需开关流，视频连续，且自动曝光算法结合模式切换可以做到自然流畅。
此外，SIF模块具有检测功能，只有检测到处于低照度模式情况下，才会控制子像素进行亮度信息叠加，其他情况下则采用正常模式拍摄，从而可以减少资源消耗。
根据本发明的实施例还提供了一种图像数据处理装置，如图2所示，包括：
查找模块21，用于在原始图像数据中查找目标像素单元；
叠加模块22，用于将所述目标像素单元中的与目标像素相对应的子像素的亮度信息进行叠加；
输出模块23，用于根据所述目标像素自身的像素信息输出经所述亮度信息叠加后的图像数据。
其中，所述目标像素单元包括至少一个目标像素，及与目标像素相对应的子像素，所述子像素受SIF模块sensor interface控制。
此外，该装置是通过SIF模块sensor interface实现的。
此外，该装置的叠加模块进一步用于在低照度的情况下，将目标像素中的子像素的亮度信息进行叠加。
此外，该装置还包括检测模块(未示出)，用于检测当前拍摄环境及根据当前环境进行拍摄模式切换。
综上所述，本发明通过将原始图像数据的目标像素对应的像素的亮度叠加来提升整个图像的亮度，再通过目标像素自身的信息进行图像信息输出，从而避免降低图像输出的品质，从而提高了低照度下成像的性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像数据处理方法，其特征在于，包括：
在原始图像数据中根据预定的选择条件查找目标像素单元，所述目标像素单元包括一个目标像素及与所述目标像素相邻且颜色类型相同的多个第一子像素；
将所述目标像素单元中的与所述目标像素相对应的所述第一子像素的亮度信息以相应的权重进行加权平均，
从所述目标像素单元的邻域中选择出颜色类型与所述目标像素单元相同的多个第二子像素，进行加权平均以获得输出图像的像素值，所选择的所述第二子像素与所述目标像素单元的所述目标像素的位置关系满足加权平均关系；根据所述目标像素自身的像素信息输出经所述亮度信息叠加后的图像数据。
2.根据权利要求1的所述图像数据处理方法，其特征在于，所述目标像素单元包括至少一个目标像素，及与目标像素相对应的第一子像素，所述第一子像素受SIF模块sensorinterface控制。
3.根据权利要求1的所述图像数据处理方法，其特征在于，通过SIF模块sensorinterface实现。
4.根据权利要求2的所述图像数据处理方法，其特征在于，所述第一子像素受SIF模块sensorinterface控制，包括：
在低照度的情况下，将目标像素中的子像素的亮度信息进行叠加。
5.一种图像数据处理装置，其特征在于，包括：
查找模块，用于在原始图像数据中根据预定的选择条件查找目标像素单元，所述目标像素单元包括一个目标像素及与所述目标像素相邻且颜色类型相同的多个第一子像素；
叠加模块，用于将所述目标像素单元中的与所述目标像素相对应的所述第一子像素的亮度信息以相应的权重进行加权平均，
从所述目标像素单元的邻域中选择出颜色类型与所述目标像素单元相同的多个第二子像素，进行加权平均以获得输出图像的像素值，所选择的所述第二子像素与所述目标像素单元的所述目标像素的位置关系满足加权平均关系；
输出模块，用于根据所述目标像素自身的像素信息输出经所述亮度信息叠加后的图像数据。
6.根据权利要求5的所述图像数据处理装置，其特征在于，所述目标像素单元包括至少一个目标像素，及与目标像素相对应的第一子像素，所述第一子像素受SIF模块sensorinterface控制。
7.根据权利要求5的所述图像数据处理装置，其特征在于，通过SIF模块sensorinterface实现。
8.根据权利要求6的所述图像数据处理装置，其特征在于，叠加模块进一步用于在低照度的情况下，将目标像素中的子像素的亮度信息进行叠加。
CN201410709462.0A 2014-11-28 2014-11-28 图像数据处理方法和装置 Active CN105704363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410709462.0A CN105704363B (zh) 2014-11-28 2014-11-28 图像数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410709462.0A CN105704363B (zh) 2014-11-28 2014-11-28 图像数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN105704363A CN105704363A (zh) 2016-06-22
CN105704363B true CN105704363B (zh) 2020-12-29

Family

ID=56230558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410709462.0A Active CN105704363B (zh) 2014-11-28 2014-11-28 图像数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN105704363B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331520A (zh) * 2016-11-18 2017-01-11 乐视控股（北京）有限公司 一种拍照方法、装置及电子设备
WO2018137267A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 图像处理方法和终端设备
CN112106352A (zh) * 2019-09-29 2020-12-18 深圳市大疆创新科技有限公司 一种图像处理方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024285A (zh) * 2011-09-20 2013-04-03 三菱电机株式会社 图像处理装置、图像处理方法和摄像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175219B (zh) * 2006-11-03 2010-11-03 兆宏电子股份有限公司 色彩插补方法及应用其的图像处理装置
JP2008131580A (ja) * 2006-11-24 2008-06-05 Olympus Imaging Corp 撮像装置及び画像処理方法
CN101754027B (zh) * 2008-12-02 2011-09-14 华晶科技股份有限公司 图像补偿方法及其数字摄像装置
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
EP2728545B1 (en) * 2012-08-07 2018-07-11 Spreadtrum Communications (Shanghai) Co., Ltd. Image processing method and device based on bayer format
CN104079848A (zh) * 2014-07-02 2014-10-01 中国科学院长春光学精密机械与物理研究所 一种数字域L型像元的binning方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024285A (zh) * 2011-09-20 2013-04-03 三菱电机株式会社 图像处理装置、图像处理方法和摄像装置

Also Published As

Publication number Publication date
CN105704363A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US9854188B2 (en) Calibration of defective image sensor elements
US9100589B1 (en) Interleaved capture for high dynamic range image acquisition and synthesis
EP2987134B1 (en) Generation of ghost-free high dynamic range images
US10467733B2 (en) Multiplexed high dynamic range images
WO2017214523A1 (en) Mismatched foreign light detection and mitigation in the image fusion of a two-camera system
US20160125630A1 (en) System and Method to Align and Merge Differently Exposed Digital Images to Create a HDR (High Dynamic Range) Image
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
BR112013007146B1 (pt) Método, sistema de processamento de sinal de imagem e dispositivo eletrônico para sincronização de flash com o uso de sinal de temporização de interface de sensor de imagem
CN108717691B (zh) 一种图像融合方法、装置、电子设备及介质
CN105187728B (zh) 拍照方法和装置
CN104618691A (zh) 一种全景亮度平衡调节***及调节方法
CN105704363B (zh) 图像数据处理方法和装置
CN106507079B (zh) 一种色彩还原方法和装置
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
CN111724448A (zh) 一种图像超分辨重建方法、装置和终端设备
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN110211065B (zh) 一种食材图像的颜色校正方法和装置
CN110930340A (zh) 一种图像处理方法及装置
US20140064616A1 (en) Image processing method
JP2015126455A5 (zh)
CN116647760B (zh) 用于目标检测的宽动态实现方法、装置、相机及存储介质
US20220138909A1 (en) Noise processing in image frames for digital video
EP2996328A1 (en) Image processing method and apparatus, and image capturing device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190314

Address after: 519031 Room 105-15070, No. 6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province

Applicant after: Guangdong Vimicro Corp

Address before: 519015 room 105, 6 Baohua Road, Hengqin New District, Zhuhai, Guangdong, China 478

Applicant before: GUANGDONG ZHONGXING ELECTRONICS CO., LTD.

GR01 Patent grant
GR01 Patent grant