WO2010118658A1 - 一种视频处理方法及装置 - Google Patents
一种视频处理方法及装置 Download PDFInfo
- Publication number
- WO2010118658A1 WO2010118658A1 PCT/CN2010/071290 CN2010071290W WO2010118658A1 WO 2010118658 A1 WO2010118658 A1 WO 2010118658A1 CN 2010071290 W CN2010071290 W CN 2010071290W WO 2010118658 A1 WO2010118658 A1 WO 2010118658A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- field
- exposure
- frame
- currently processed
- top field
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000001629 suppression Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007687 exposure technique Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
Definitions
- the present invention relates to the field of signal processing technologies, and in particular, to a video processing method and apparatus. Background technique
- each frame of image (2N lines) can be divided into a top field (odd N lines) and a bottom field (even N lines).
- the top field image and the bottom field image are sequentially exposed, accumulated, and image-enhanced and output.
- A. Obtain a video sequence and alternately set the length and exposure in frame units.
- Pixel-by-pixel matching aligns the current frame with the pixel position of each pixel in the next frame. For each matching pixel set, find the most reliable one.
- the high-bit luminance map is compressed into an 8-bit image.
- Embodiments of the present invention provide a video processing method and apparatus to improve video image processing quality.
- a video processing method including:
- a processing device comprising:
- An obtaining unit configured to divide the current processing frame into a top field and a bottom field, respectively performing field exposure on the top field and the bottom field to obtain an exposure top field and an exposure bottom field, and field exposure time of the top field and the bottom field Different;
- a reconstruction unit configured to perform deinterlacing processing on the exposure top field and the exposure bottom field to obtain two reconstructed exposure frames;
- an enhancement unit configured to perform image enhancement processing on the two reconstructed exposure frames to obtain an image of the current processing frame.
- the embodiment of the invention combines the field exposure technique and the deinterlacing technology to enhance the dynamic range of the output video without changing the frame of the existing camera, and maintain the original frame rate of the output video, due to the top field of different exposure time.
- the bottom and bottom fields respectively record the details of the bright and dark areas, and the frames obtained by the deinterlacing process can simultaneously display the details of the bright and dark areas, improving the image quality in the case of complex brightness distribution.
- FIG. 1 is a flow chart of an embodiment of a video processing method of the present invention
- FIG. 2 is a block diagram showing an embodiment of a video processing apparatus of the present invention. detailed description
- Embodiments of the present invention provide a video processing method, which can output in a case where a luminance distribution is complicated. High quality images. Embodiments of the present invention also provide corresponding devices. The details are described below separately. Dividing the current processing frame into a top field and a bottom field, respectively performing field exposure on the top field and the bottom field to obtain an exposure top field and an exposure bottom field, wherein the top field and the bottom field have different field exposure times;
- the long exposure time is used to record the dark area details
- the short exposure time is used to record the bright area details
- the current The processing frame is divided into a top field and a bottom field, and the two exposure times are used for field exposure, respectively, to form an exposure top field and an exposure bottom field having different exposure times.
- the demodulation top field and the exposure bottom field of the current processing frame are reconstructed by the deinterlacing technique to reconstruct the long exposure frame and the reconstructed short exposure frame.
- Image enhancement processing is performed on the two reconstructed exposure frames to obtain an image of the currently processed frame.
- the frame obtained after the reconstruction is enhanced, and the enhancement may adopt one or more methods of high dynamic range image fusion, noise suppression under low illumination, backlight backlight compensation, and strong light suppression.
- the embodiment of the invention adopts field exposure technology and deinterlacing technology to enhance the dynamic range of the output video without changing the frame of the existing camera, maintain the original frame rate of the output video, and improve the imaging quality under the condition of complex brightness distribution. .
- FIG. 1 is a flowchart of an embodiment of a video processing method according to the present invention.
- This embodiment is described by taking double exposure to achieve high dynamic range video adjustment as an example.
- Step 101 Dividing the current processing frame into a top field and a bottom field, respectively performing field exposure on the top field and the bottom field to obtain an exposure top field and an exposure bottom field, wherein the top field and the bottom field have different field exposure times.
- the method may further include: analyzing a scene of the currently processed frame, and selecting a long exposure time/short exposure time capable of recording the dark/light detail of the scene;
- the top field exposure time of the current processing frame is configured to be a short exposure time, and the bottom field exposure time of the current processing frame is configured to be a long exposure time.
- each frame is topped /Bottom exposure time configuration growth / short exposure time or short / long exposure time.
- a commonly used image sensor communication interface is a Universal Asynchronous Receiver/Transmitter (UART) or an Inter-Integrated Circuit (IIC) low-speed communication interface.
- UART Universal Asynchronous Receiver/Transmitter
- IIC Inter-Integrated Circuit
- Step 102 Perform deinterlacing processing on the exposure top field and the exposure bottom field to obtain two reconstructed exposure frames.
- the top field exposure time is configured to increase the exposure time
- the bottom field exposure time is configured as a short exposure time
- the de-interlacing technique is applied to the exposure top field and the exposure bottom field of the currently processed frame, and reconstruction is performed to obtain two reconstructions.
- the long/short exposure frame can be implemented as follows:
- the motion information of the currently processed frame bottom field is calculated;
- the motion information of the currently processed frame top field is calculated;
- the short exposure top field of the currently processed frame is reconstructed using the motion information of the currently processed top field of the frame and the reference field, and the short exposure bottom field of the current processed frame constitutes a short exposure frame of the current time.
- two reconstructed frames are obtained, including one long exposure frame and one short exposure frame.
- the following method can be used:
- the motion information of the currently processed frame top field is calculated;
- Reconstructing the currently processed frame by using the motion information of the currently processed frame top field and the reference field The long exposure top field, and the long exposure bottom field of the currently processed frame constitutes the long exposure frame of the current time.
- Step 103 Perform image enhancement processing on the two reconstructed exposure frames to obtain an image of the currently processed frame.
- the image reconstruction processing of the two reconstructed exposure frames may be performed by one or more methods of high dynamic range image fusion, noise suppression under low illumination, backlight backlight compensation, and strong light suppression.
- the image enhancement processing using the high dynamic range image fusion method is taken as an example.
- the image enhancement processing method is as follows:
- the luminance information of the two reconstructed frames is calculated, the luminance mapping information is analyzed, and the composite weight coefficient with the mapping information as the core is calculated. And merging the luminance chromaticity and the like respectively to obtain an enhanced image with a high dynamic range, and outputting the enhanced image of the high dynamic range.
- the field exposure based video processing method provided by the embodiment of the present invention can avoid such a phenomenon.
- the following is an example of an image exposure processing procedure in which the background brightness of the image picture is higher than the foreground. Specifically, first, a normal single exposure technique is used to obtain a short exposure time suitable for the background of the shot. A dedicated metering technique (such as detecting the brightness of a human face or the brightness of a moving scene) can be used to obtain a long exposure time suitable for the focus of the shot.
- a complete high quality reconstructed long/short exposure frame can be easily obtained.
- the long and short exposure frames respectively record the large-area background and the key foreground of the small area.
- High-quality imaging under backlight conditions can be obtained by an enhanced method of image fusion.
- the embodiment of the present invention may also output an image of the currently processed frame after obtaining the image of the currently processed frame.
- the above video processing process may be repeated to obtain an image of a plurality of frames, and the images of the plurality of frames may be used to generate a video.
- the embodiment of the present invention adopts field exposure technology and deinterlacing technology without changing the frame of the existing camera.
- the dynamic range of the output video is enhanced, the original frame rate of the output video is maintained, and the image quality in the case of high dynamic range is improved.
- FIG. 2 is a structural diagram of an embodiment of a video processing apparatus according to the present invention.
- the obtaining unit 201 is configured to divide the current processing frame into a top field and a bottom field, and respectively perform field exposure on the top field and the bottom field to obtain an exposure top field and an exposure bottom field, and field exposures of the top field and the bottom field The time is different; the reconstruction unit 202 is configured to perform deinterlacing processing on the exposure top field and the exposure bottom field to obtain two reconstructed exposure frames;
- the enhancement unit 203 is configured to perform image enhancement processing on the two reconstructed exposure frames to obtain an image of the currently processed frame.
- the enhancement unit 203 performs image enhancement processing on the two reconstructed exposure frames by one or more methods of high dynamic range image fusion, low illumination noise suppression, backlight backlight compensation, and strong light suppression. .
- the device further includes:
- the analysis selecting unit 204 is configured to analyze a scene of the currently processed frame, and select a long exposure time/short exposure time capable of recording the dark/light detail of the scene;
- the exposure time configuration unit 205 is configured to configure a top field exposure time of the current processing frame to increase a exposure time, configure a bottom field exposure time of the current processing frame as a short exposure time, or to use the current processing frame
- the top field exposure time is configured as a short exposure time
- the bottom field exposure time of the current processing frame is configured to be a long exposure time
- the exposure time for the top/bottom field configuration is notified to the acquisition unit.
- the reconstruction unit further includes a top field motion information unit 2021, a long exposure frame forming unit 2022, a bottom field motion information unit 2023, and a short exposure frame forming unit 2024:
- the exposure time configuring unit 205 configures the top field exposure time as the long exposure time and the bottom field exposure time as the short exposure time
- the top field motion information unit 2021 is configured to calculate, according to the long exposure top field and the short exposure bottom field of the currently processed frame, the top field of the adjacent frame as a reference field, and calculate motion information of the currently processed frame bottom field;
- the long exposure frame constituting unit 2022 is configured to reconstruct a long exposure bottom field of the currently processed frame from the motion information and the reference field of the currently processed frame bottom field, and form a current time with the long exposure top field of the currently processed frame.
- the bottom field motion information unit 2023 is configured to calculate the motion information of the currently processed frame top field by using the long exposure top field and the short exposure bottom field of the currently processed frame and the bottom field of the adjacent frame as a reference field;
- the short exposure frame constituting unit 2024 is configured to reconstruct a short exposure top field of the currently processed frame from the motion information and the reference field of the currently processed frame top field, and form a current time with the short exposure bottom field of the currently processed frame. Short exposure frame.
- the exposure time configuring unit 205 configures the top field exposure time as a short exposure time and the bottom field exposure time as a long exposure time
- the bottom field motion information unit 2023 is configured to calculate, according to the short exposure top field and the long exposure bottom field of the currently processed frame, the top field of the adjacent frame as a reference field, and calculate motion information of the currently processed frame bottom field;
- the short exposure frame constituting unit 2024 is configured to reconstruct a short exposure bottom field of the currently processed frame from the motion information of the currently processed frame bottom field and the reference field, and form a current with the short exposure top field of the currently processed frame. Short exposure frame of time;
- the top field motion information unit 2021 is configured to calculate motion information of a currently processed frame top field by using a short exposure top field and a long exposure bottom field of the currently processed frame and a bottom field of the adjacent frame as a reference field;
- the long exposure forming unit 2022 is configured to reconstruct a long exposure top field of the currently processed frame from the motion information and the reference field of the currently processed frame top field, and form a current time with the long exposure bottom field of the currently processed frame. Long exposure frame.
- the device may further include: an image output unit, configured to output the enhancement unit to obtain an image of the currently processed frame.
- the image processing apparatus provided by the embodiment of the invention adopts the field exposure technology and the deinterlacing technology to enhance the dynamic range of the output video without changing the frame of the existing camera, maintain the original frame rate of the output video, and improve the high dynamic range. Imaging quality in the case.
- the program may be stored in a computer readable storage medium, and the storage medium may include: Read memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), disk or optical disk.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种视频处理方法，包括： 将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同；对所述曝光顶场和曝光底场进行去隔行技术处理，得到两个重构的曝光帧；对所述两个重构的曝光帧进行图像增强处理，得到当前处理帧的图像。 本发明实施例还提供相应的装置。本发明实施例采用将场曝光技术和去隔行技术相结合， 在不改变现有相机的框架的情况下增强输出视频的动态范围， 保持输出视频的原有帧率，提高在复杂亮度分布情况下的成像质量。
Description
一种视频处理方法及装置
本申请要求于 2009 年 4 月 16 日提交中国专利局、 申请号为 200910135223.8, 发明名称为"一种视频处理方法及装置"的中国专利申请的优 先权， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及信号处理技术领域， 具体涉及一种视频处理方法及装置。 背景技术
数码相机、数码摄傳几已经在生活中大规模普及。 当前的应用中， 以电荷 藕合器件（CCD, Charge Coupled Device ) 为^ 5出的数码相机占了绝大部分的 市场； 而在数码相机中， 大多数采用隔行扫描技术。 传统的隔行 CCD图像传 感器， 每帧图像（2N行）可以分为顶场 （奇数 N行）和底场 （偶数 N行）。 在进行图像处理时， 对顶场图像及底场图像先后进行曝光、 累积电荷、 图像加 强并输出。
现有的视频图像处理方法通常以帧为单位进行曝光。例如，现有技术的一 种视频处理技术为：
A、 获取一个视频序列， 以帧为单位交替设置长短曝光。
B、 逐像素匹配对齐当前帧每个像素在下一帧的像素位置， 对于每一个匹 配好的像素集， 找出最可信的一个像素。
C、 利用该象素的亮度与颜色信息计算出辉度图。
D、 使用色调映射的方法， 把高比特的辉度图压缩成 8比特的图像。
在对现有技术的研究和实践过程中， 本发明的发明人发现， 对于亮度分 布比较复杂的场景（如高动态范围场景）、 低照度下的场景、 强光拍摄、 逆光 拍摄等场景， 以每个帧为像素单元的单次曝光已经不能够准确记录场景，造成 成像质量的低下。 发明内容
本发明实施例提供一种视频处理方法和装置， 以提高视频图像处理质量。 一种视频处理方法， 包括：
将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到
曝光顶场和曝光底场， 所述顶场和底场的场曝光时间不同；
对所述曝光顶场和曝光底场进行去隔行技术处理， 得到两个重构的曝光 帧；
对所述两个重构的曝光帧进行图像增强处理， 得到当前处理帧的图像。 一种处理装置， 包括：
获取单元， 用于将当前处理帧分为顶场和底场，对所述顶场和底场分别进 行场曝光， 得到曝光顶场和曝光底场， 所述顶场和底场的场曝光时间不同； 重构单元， 用于对所述曝光顶场和曝光底场进行去隔行技术处理，得到两 个重构的曝光帧；
增强单元， 用于对所述两个重构的曝光帧进行图像增强处理，得到当前处 理帧的图像。
本发明实施例采用将场曝光技术和去隔行技术相结合，在不改变现有相机 的框架的情况下增强输出视频的动态范围，保持输出视频的原有帧率， 由于不 同曝光时间的顶场和底场各自记录了亮区和暗区的细节，通过去隔行处理后得 到的帧能够同时表现出亮区和暗区的细节，提高在复杂亮度分布情况下的成像 质量。 附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提 下， 还可以根据这些附图获得其他的附图。
图 1是本发明一种视频处理方法的一个实施例的流程图；
图 2是本发明一种视频处理装置的一个实施例的结构图。 具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
本发明实施例提供一种视频处理方法，能够在亮度分布复杂的情况下输出
高质量图像。 本发明实施例还提供相应的装置。 以下分别进行详细说明。 将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到 曝光顶场和曝光底场， 所述顶场和底场的场曝光时间不同；
具体的， 在相机工作时， 分析当前处理帧的场景中的亮度分布情况， 分别 设定两个曝光时间， 长曝光时间用来记录暗区细节，短曝光时间用来记录亮区 细节， 将当前处理帧分为顶场和底场分别采用所述两个曝光时间进行场曝光， 形成曝光时间不同的曝光顶场和曝光底场。
对所述曝光顶场和曝光底场进行去隔行技术处理， 得到两个重构的曝光 帧；
具体的， 通过去隔行技术， 将当前处理帧的曝光顶场和曝光底场， 重构得 到重构长曝光帧和重构短曝光帧。
对所述两个重构的曝光帧进行图像增强处理， 得到当前处理帧的图像。 具体的，对重构后得到的帧进行增强， 所述增强可以采用高动态范围图像 融合、 低照度下噪声抑止、 背光逆光补偿、 强光抑制中的一种或多种方法。
本发明实施例采用场曝光技术和去隔行技术，在不改变现有相机的框架的 情况下增强输出视频的动态范围，保持输出视频的原有帧率，提高在复杂亮度 分布情况下的成像质量。
实施例一、
请参阅图 1为本发明一种视频处理方法的一个实施例的流程图；
本实施例以双曝光实现高动态范围视频调整为例进行表述。
步骤 101、 将当前处理帧分为顶场和底场， 对所述顶场和底场分别进行场 曝光， 得到曝光顶场和曝光底场， 所述顶场和底场的场曝光时间不同。
进一步地， 在对所述顶场和底场分别进行场曝光之前， 该方法还可包括： 分析当前处理帧的场景， 选择能记录所述场景暗 /亮细节的长曝光时间 /短 曝光时间；
将所述当前处理帧的顶场曝光时间配置成长曝光时间，将所述当前处理帧 的底场曝光时间配置成短曝光时间， 或者
将所述当前处理帧的顶场曝光时间配置成短曝光时间，将所述当前处理帧 的底场曝光时间配置成长曝光时间。
具体的， 在相机工作时， 可分析当前处理帧的场景中的亮度分布情况， 选
择能记录场景暗亮细节的长曝光时间和短曝光时间，所述长曝光时间能够记录 暗区细节， 所述短曝光时间能够记录亮区细节； 据图像传感器的通讯特点， 将每一帧顶 /底场曝光时间配置成长 /短曝光时间或者短 /长曝光时间。常用的图 像传感器通讯接口为通用异步收发器 （ UART， Universal Asynchronous Receiver/Transmitter )或者内部集成电路 ( IIC, Inter-Integrated Circuit )低速 通讯接口， 在本发明实施例中， 以顶场采用长曝光时间、底场采用短曝光时间 为例进行表述。
步骤 102、 对所述曝光顶场和曝光底场采用去隔行技术处理， 得到两个重 构的曝光帧。
具体的，如果将顶场曝光时间配置成长曝光时间，底场曝光时间配置成短 曝光时间，对当前处理的帧的曝光顶场和曝光底场采用去隔行技术，进行重构 得到两个重构的长 /短曝光帧， 具体可以采用如下方式实现：
以当前处理的帧的长曝光顶场和短曝光底场、相邻帧的顶场为参考场，计 算得出当前处理的帧底场的运动信息；
利用所述当前处理的帧底场的运动信息及参考场重构出当前处理的帧的 长曝光底场， 并与当前处理帧的长曝光顶场组成当前时刻的长曝光帧；
以当前处理的帧的长曝光顶场和短曝光底场、相邻帧的底场为参考场，计 算得出当前处理的帧顶场的运动信息；
利用所述当前处理的帧顶场的运动信息及参考场重构出当前处理的帧的 短曝光顶场， 并与当前处理帧的短曝光底场组成当前时刻的短曝光帧。 由此可 得到两个重构帧， 包括一个长曝光帧和一个短曝光帧。
类似的，如果顶场曝光时间配置为短曝光时间、底场曝光时间配置为长曝 光时间时， 可以采用如下方式：
以当前处理的帧的短曝光顶场和长曝光底场、相邻帧的顶场为参考场，计 算得出当前处理的帧底场的运动信息；
利用所述当前处理的帧底场的运动信息及参考场重构出当前处理的帧的 短曝光底场， 并与当前处理的帧的短曝光顶场组成当前时刻的短曝光帧；
以当前处理的帧的短曝光顶场和长曝光底场、相邻帧的底场为参考场，计 算得出当前处理的帧顶场的运动信息；
利用所述当前处理的帧顶场的运动信息及参考场重构出当前处理的帧的
长曝光顶场， 并与当前处理的帧的长曝光底场组成当前时刻的长曝光帧。
步骤 103、 对所述两个重构的曝光帧进行图像增强处理， 得到当前处理帧 的图像。
具体的，可采用高动态范围图像融合、低照度下噪声抑止、背光逆光补偿、 强光抑制中的一种或多种方法对所述两个重构的曝光帧进行图像增强处理。在 本发明实施例中以采用高动态范围图像融合方法进行图像增强处理为例进行 说明， 图像增强处理方法如下所述：
以所述两个重构帧（重构长曝光帧和重构短曝光帧）为输入值， 统计两个 重构帧的亮度信息、分析亮度映射信息，计算以映射信息为核心的合成权重系 数、分别融合亮度色度等步骤得到高动态范围的增强图像，输出所述高动态范 围的增强图像。
进一步的，在逆光拍摄时， 图像画面的大部分的背景亮度都要高于拍摄的 重点 （小区域前景， 如人脸等）。 此时如果采用正常的单曝光技术拍摄大面积 背景的图像， 拍摄出来的图像前景可能比较昏暗， 不能突出拍摄的重点。 采用 简单的背光补偿技术虽能提高成像质量，但会形成前景拉伸而锐化噪声，造成 色调变化， 并且引入不自然的修改痕迹。如果采用专门的测光等技术来检测拍 摄重点前景，曝光时间会延长，拍摄出来的背景会出现大面积的曝光过度现象。
采用本发明实施例提供的基于场曝光的视频处理方法，可以避免出现这类 现象。 下面以图像画面背景亮度高于前景时的图像曝光处理过程为例进行说 明。 具体的， 首先， 采用正常单曝光技术得到适合拍摄背景的短曝光时间。 采 用专用的测光技术（如检测人脸的亮度或者运动景物的亮度）可以获取适合拍 摄重点前景的长曝光时间。
根据本发明方案中的去隔行技术， 可以容易得到完整的高质量的重构长 / 短曝光帧。 所述长、 短曝光帧分别记录了大面积背景以及小区域的重点前景。 通过图像融合的增强方法， 即可得到在逆光条件下的高质量成像。
进一步地，本发明实施例还可以在得到当前处理帧的图像后输出当前处理 帧的图像。
进一步的， 在得到当前处理帧的图像后， 可重复上述视频处理过程， 得到 多个帧的图像， 所述多个帧的图像可用于生成视频。
本发明实施例采用场曝光技术和去隔行技术，在不改变现有相机的框架的
情况下增强输出视频的动态范围，保持输出视频的原有帧率，提高在高动态范 围情况下的成像质量。
实施例二、
请参阅图 2为本发明一种视频处理装置的一个实施例的结构图；
获取单元 201， 用于将当前处理帧分为顶场和底场， 对所述顶场和底场分 别进行场曝光，得到曝光顶场和曝光底场，所述顶场和底场的场曝光时间不同； 重构单元 202， 用于对所述曝光顶场和曝光底场进行去隔行技术处理， 得 到两个重构的曝光帧；
增强单元 203， 用于对所述两个重构的曝光帧进行图像增强处理， 得到当 前处理帧的图像。
具体的， 所述增强单元 203采用高动态范围图像融合、低照度下噪声抑止、 背光逆光补偿、强光抑制中的一种或多种方法对所述两个重构的曝光帧进行图 像增强处理。
进一步的， 所述装置还包括：
分析选择单元 204， 用于分析当前处理帧的场景， 选择能记录所述场景暗 / 亮细节的长曝光时间 /短曝光时间；
曝光时间配置单元 205， 用于将所述当前处理帧的顶场曝光时间配置成长 曝光时间，将所述当前处理帧的底场曝光时间配置成短曝光时间， 或者用于将 所述当前处理帧的顶场曝光时间配置成短曝光时间，将所述当前处理帧的底场 曝光时间配置成长曝光时间， 将为顶 /底场配置的曝光时间通知给所述获取单 元。
具体的， 所述重构单元还包括顶场运动信息单元 2021、长曝光帧构成单元 2022、 底场运动信息单元 2023和短曝光帧构成单元 2024:
当所述曝光时间配置单元 205将顶场曝光时间配置为长曝光时间， 将底场 曝光时间配置为短曝光时间时，
所述顶场运动信息单元 2021，用于以当前处理的帧的长曝光顶场和短曝光 底场、 相邻帧的顶场为参考场， 计算得出当前处理的帧底场的运动信息；
所述长曝光帧构成单元 2022，用于由当前处理的帧底场的运动信息及参考 场重构出当前处理的帧的长曝光底场，并与当前处理帧的长曝光顶场组成当前 时刻的长曝光帧；
所述底场运动信息单元 2023，用于以当前处理的帧的长曝光顶场和短曝光 底场、 相邻帧的底场为参考场， 计算得出当前处理的帧顶场的运动信息； 所述短曝光帧构成单元 2024，用于由当前处理的帧顶场的运动信息及参考 场重构出当前处理的帧的短曝光顶场，并与当前处理帧的短曝光底场组成当前 时刻的短曝光帧。
进一步的， 当所述曝光时间配置单元 205将顶场曝光时间配置为短曝光时 间， 将底场曝光时间配置为长曝光时间时，
所述底场运动信息单元 2023，用于以当前处理的帧的短曝光顶场和长曝光 底场、 相邻帧的顶场为参考场， 计算得出当前处理的帧底场的运动信息； 所述短曝光帧构成单元 2024，用于由当前处理的帧底场的运动信息及参考 场重构出当前处理的帧的短曝光底场，并与当前处理的帧的短曝光顶场组成当 前时刻的短曝光帧；
所述顶场运动信息单元 2021，用于以当前处理的帧的短曝光顶场和长曝光 底场、 相邻帧的底场为参考场， 计算得出当前处理的帧顶场的运动信息； 所述长曝光构成单元 2022，用于由当前处理的帧顶场的运动信息及参考场 重构出当前处理的帧的长曝光顶场，并与当前处理的帧的长曝光底场组成当前 时刻的长曝光帧。
进一步的， 所述装置还可以包括： 图像输出单元， 用于输出所述增强单元 得到当前处理帧的图像。本发明实施例提供的图像处理装置采用场曝光技术和 去隔行技术，在不改变现有相机的框架的情况下增强输出视频的动态范围，保 持输出视频的原有帧率， 提高在高动态范围情况下的成像质量。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读 存储介质中， 存储介质可以包括： 读存储（ROM, Read Only Memory )、 随机 存取存储器（RAM, Random Access Memory )、 磁盘或光盘等。
以上对本发明实施例所提供的视频处理方法以及装置进行了详细介绍，本 明只是用于帮助理解本发明的方法及其核心思想； 同时，对于本领域的一般技 术人员， 依据本发明的思想， 在具体实施方式及应用范围上均会有改变之处， 综上所述， 本说明书内容不应理解为对本发明的限制。
Claims
1、 一种视频处理方法， 其特征在于， 包括：
将当前处理帧分为顶场和底场，对所述顶场和底场分别进行场曝光，得到 曝光顶场和曝光底场， 所述顶场和底场的场曝光时间不同；
对所述曝光顶场和曝光底场进行去隔行技术处理， 得到两个重构的曝光 帧；
对所述两个重构的曝光帧进行图像增强处理， 得到当前处理帧的图像。
2、根据权利要求 1所述的视频处理方法， 其特征在于， 对所述顶场和底场 分别进行场曝光之前还包括：
分析当前处理帧的场景，选择能记录所述场景暗细节的长曝光时间和记录 所述场景亮细节的短曝光时间；
将所述当前处理帧的顶场曝光时间配置成长曝光时间，将所述当前处理帧 的底场曝光时间配置成短曝光时间， 或者
将所述当前处理帧的顶场曝光时间配置成短曝光时间，将所述当前处理帧 的底场曝光时间配置成长曝光时间。
3、 根据权利要求 1或 2所述的视频处理方法， 其特征在于， 所述对所述曝 光顶场和曝光底场进行去隔行技术处理， 得到两个重构的曝光帧包括：
以当前处理帧的长曝光顶场和短曝光底场、 相邻帧的顶场为第一参考场， 计算得出当前处理的帧底场的运动信息；
利用所述当前处理的帧底场的运动信息及所述第一参考场重构出当前处 理的帧的长曝光底场，并与当前处理帧的长曝光顶场组成当前时刻的重构长曝 光帧；
以当前处理的帧的长曝光顶场和短曝光底场、 相邻帧的底场为第二参考 场， 计算得出当前处理的帧顶场的运动信息；
利用所述当前处理的帧顶场的运动信息及所述第二参考场重构出当前处 理的帧的短曝光顶场，并与当前处理帧的短曝光底场组成当前时刻的重构短曝 光帧。
4、 根据权利要求 1或 2所述的视频处理方法， 其特征在于， 所述对所述曝 光顶场和曝光底场进行去隔行技术处理， 得到两个重构的曝光帧包括：
以当前处理帧的短曝光顶场和长曝光底场、 相邻帧的顶场为第三参考场，
计算得出当前处理的帧底场的运动信息；
利用所述当前处理的帧底场的运动信息及所述第三参考场重构出当前处 理的帧的短曝光底场，并与当前处理帧的短曝光顶场组成当前时刻的重构短曝 光帧；
以当前处理的帧的短曝光顶场和长曝光底场、 相邻帧的底场为第四参考 场， 计算得出当前处理的帧顶场的运动信息；
利用所述当前处理的帧顶场的运动信息及所述第四参考场重构出当前处 理的帧的长曝光顶场，并与当前处理帧的长曝光底场组成当前时刻的重构长曝 光帧。
5、 根据权利要求 1或 2所述的视频处理方法， 其特征在于， 所述对所述两 个重构的曝光帧进行图像增强处理包括：
采用高动态范围图像融合、低照度下噪声抑止、 背光逆光补偿、 强光抑制 中的一种或多种方法对所述两个重构的曝光帧进行图像增强处理。
6、 根据权利要求 1或 2所述的视频处理方法， 其特征在于， 还包括： 在得到当前处理帧的图像后，重复上述视频处理方法，得到多个帧的图像。
7、 一种视频处理装置， 其特征在于， 包括：
获取单元， 用于将当前处理帧分为顶场和底场，对所述顶场和底场分别进 行场曝光， 得到曝光顶场和曝光底场， 所述顶场和底场的场曝光时间不同； 重构单元， 用于对所述曝光顶场和曝光底场进行去隔行技术处理，得到两 个重构的曝光帧；
增强单元， 用于对所述两个重构的曝光帧进行图像增强处理，得到当前处 理帧的图像。
8、 根据权利要求 7所述的视频处理装置， 其特征在于， 所述装置还包括： 分析选择单元， 用于分析当前处理帧的场景，选择能记录所述场景暗细节 的长曝光时间和记录所述场景亮细节的短曝光时间；
曝光时间配置单元，用于将所述当前处理帧的顶场曝光时间配置成长曝光 时间，将所述当前处理帧的底场曝光时间配置成短曝光时间，或者用于将所述 当前处理帧的顶场曝光时间配置成短曝光时间，将所述当前处理帧的底场曝光 时间配置成长曝光时间， 将为顶场和底场配置的曝光时间通知给所述获取单 元。
9、 根据权利要求 7或 8所述的视频处理装置， 其特征在于， 所述重构单元 包括： 顶场运动信息单元、 长曝光帧构成单元、底场运动信息单元和短曝光帧 构成单元； 其中，
所述顶场运动信息单元， 用于以当前处理帧的长曝光顶场和短曝光底场、 相邻帧的顶场为第一参考场， 计算得出当前处理的帧底场的运动信息；
所述长曝光帧构成单元，用于利用所述当前处理的帧底场的运动信息及所 述第一参考场重构出当前处理的帧的长曝光底场，并与当前处理帧的长曝光顶 场组成当前时刻的重构长曝光帧；
所述底场运动信息单元， 用于以当前处理的帧的长曝光顶场和短曝光底 场、 相邻帧的底场为第二参考场， 计算得出当前处理的帧顶场的运动信息； 所述短曝光帧构成单元，用于利用所述当前处理的帧顶场的运动信息及所 述第二参考场重构出当前处理的帧的短曝光顶场，并与当前处理帧的短曝光底 场组成当前时刻的重构短曝光帧； 或者
所述底场运动信息单元， 用于以当前处理帧的短曝光顶场和长曝光底场、 相邻帧的顶场为第三参考场， 计算得出当前处理的帧底场的运动信息；
所述短曝光帧构成单元，用于利用所述当前处理的帧底场的运动信息及所 述第三参考场重构出当前处理的帧的短曝光底场，并与当前处理帧的短曝光顶 场组成当前时刻的重构短曝光帧；
所述顶场运动信息单元， 用于以当前处理的帧的短曝光顶场和长曝光底 场、 相邻帧的底场为第四参考场， 计算得出当前处理的帧顶场的运动信息； 所述长曝光帧构成单元，用于利用所述当前处理的帧顶场的运动信息及所 述第四参考场重构出当前处理的帧的长曝光顶场，并与当前处理帧的长曝光底 场组成当前时刻的重构长曝光帧。
10、根据权利要求 7或 8所述的视频处理装置， 其特征在于， 所述增强单元 用于采用高动态范围图像融合、低照度下噪声抑止、 背光逆光补偿、 强光抑制 中的一种或多种方法对所述两个重构的曝光帧进行图像增强处理，得到当前处 理帧的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/273,743 US8749699B2 (en) | 2009-04-16 | 2011-10-14 | Method and device for video processing using a neighboring frame to calculate motion information |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009101352238A CN101867727B (zh) | 2009-04-16 | 2009-04-16 | 一种视频处理方法及装置 |
| CN200910135223.8 | 2009-04-16 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US13/273,743 Continuation US8749699B2 (en) | 2009-04-16 | 2011-10-14 | Method and device for video processing using a neighboring frame to calculate motion information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2010118658A1 true WO2010118658A1 (zh) | 2010-10-21 |
Family
ID=42959265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2010/071290 WO2010118658A1 (zh) | 2009-04-16 | 2010-03-25 | 一种视频处理方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8749699B2 (zh) |
| CN (1) | CN101867727B (zh) |
| WO (1) | WO2010118658A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
| JP5333522B2 (ja) * | 2011-06-06 | 2013-11-06 | カシオ計算機株式会社 | 動画生成装置、動画生成方法、および、プログラム |
| CN102724405B (zh) * | 2012-06-21 | 2015-04-08 | 无锡鸿图微电子技术有限公司 | 视频成像***中背光式场景的自动曝光补偿方法及装置 |
| KR101871945B1 (ko) * | 2013-01-17 | 2018-08-02 | 한화에어로스페이스 주식회사 | 영상 처리 장치 및 방법 |
| GB201311366D0 (en) * | 2013-06-26 | 2013-08-14 | Thermoteknix Systems Ltd | High dynamic range imaging |
| JP2015032917A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社東芝 | 固体撮像装置 |
| CN107833184A (zh) * | 2017-10-12 | 2018-03-23 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN110418065B (zh) * | 2018-04-27 | 2021-03-19 | 北京紫光展锐通信技术有限公司 | 高动态范围图像运动补偿方法、装置及电子设备 |
| JP7130777B2 (ja) | 2018-06-07 | 2022-09-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | シングルショットｈｄｒカラーイメージセンサからのｈｄｒ画像生成 |
| CN112969055B (zh) * | 2021-03-01 | 2022-11-08 | 天地伟业技术有限公司 | 一种针对全局监控的多曝光方法 |
| CN113572972B (zh) * | 2021-07-05 | 2022-04-12 | 深圳市阿达视高新技术有限公司 | 高动态范围图像合成方法、***、图像处理设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1592361A (zh) * | 2003-08-29 | 2005-03-09 | 三星电子株式会社 | 用于改进具有高照明差的照片质量的装置和方法 |
| CN1741603A (zh) * | 2004-08-26 | 2006-03-01 | 瑞昱半导体股份有限公司 | 去隔行扫描方法与相关装置 |
| JP2007013776A (ja) * | 2005-07-01 | 2007-01-18 | Fujifilm Holdings Corp | 撮影装置 |
| CN101394487A (zh) * | 2008-10-27 | 2009-03-25 | 华为技术有限公司 | 一种合成图像的方法与*** |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3630905B2 (ja) | 1997-02-28 | 2005-03-23 | キヤノン株式会社 | 撮像方法及び撮像装置 |
| JP4175711B2 (ja) | 1998-03-31 | 2008-11-05 | オリンパス株式会社 | 撮像装置 |
| US7193652B2 (en) * | 1999-08-17 | 2007-03-20 | Applied Vision Systems, Inc. | Dynamic range video recording and playback system and method |
| AU7881500A (en) * | 1999-08-17 | 2001-03-13 | Applied Vision Systems, Inc. | Improved dynamic range video camera, recording system, and recording method |
| JP2002290838A (ja) | 2001-03-27 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 映像信号処理方式及び撮像装置 |
| US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
| US7538794B2 (en) * | 2005-01-31 | 2009-05-26 | Hewlett-Packard Development Company, L.P. | Method and apparatus for motion estimation in a digital imaging device |
| KR100925191B1 (ko) * | 2008-02-25 | 2009-11-06 | 엘지전자 주식회사 | 카메라의 백라이트 보정 장치 및 방법 |
| CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
-
2009
- 2009-04-16 CN CN2009101352238A patent/CN101867727B/zh active Active
-
2010
- 2010-03-25 WO PCT/CN2010/071290 patent/WO2010118658A1/zh active Application Filing
-
2011
- 2011-10-14 US US13/273,743 patent/US8749699B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1592361A (zh) * | 2003-08-29 | 2005-03-09 | 三星电子株式会社 | 用于改进具有高照明差的照片质量的装置和方法 |
| CN1741603A (zh) * | 2004-08-26 | 2006-03-01 | 瑞昱半导体股份有限公司 | 去隔行扫描方法与相关装置 |
| JP2007013776A (ja) * | 2005-07-01 | 2007-01-18 | Fujifilm Holdings Corp | 撮影装置 |
| CN101394487A (zh) * | 2008-10-27 | 2009-03-25 | 华为技术有限公司 | 一种合成图像的方法与*** |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120033131A1 (en) | 2012-02-09 |
| CN101867727A (zh) | 2010-10-20 |
| CN101867727B (zh) | 2011-12-07 |
| US8749699B2 (en) | 2014-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2010118658A1 (zh) | 一种视频处理方法及装置 | |
| US8890983B2 (en) | Tone mapping for low-light video frame enhancement | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| WO2020029732A1 (zh) | 全景拍摄方法、装置和成像设备 | |
| US8199222B2 (en) | Low-light video frame enhancement | |
| CN106713755B (zh) | 全景图像的处理方法及装置 | |
| EP2677732B1 (en) | Method, apparatus and computer program product for capturing video content | |
| TWI615027B (zh) | 高動態範圍圖像的生成方法、拍照裝置和終端裝置、成像方法 | |
| CN206042072U (zh) | 一种双摄像头装置及终端 | |
| US9961272B2 (en) | Image capturing apparatus and method of controlling the same | |
| TW201123866A (en) | System and method to selectively combine video frame image data | |
| CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US11508046B2 (en) | Object aware local tone mapping | |
| WO2020034702A1 (zh) | 控制方法、装置、电子设备和计算机可读存储介质 | |
| CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2024502938A (ja) | 画像処理のための高ダイナミックレンジ技法選択 | |
| CN116324882A (zh) | 多相机***中的图像信号处理 | |
| WO2020029679A1 (zh) | 控制方法、装置、成像设备、电子设备及可读存储介质 | |
| US20100007766A1 (en) | Camera device and image processing method | |
| Zou et al. | Rawhdr: High dynamic range image reconstruction from a single raw image | |
| CN111294522A (zh) | Hdr图像成像方法、装置以及计算机存储介质 | |
| CN110266965B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP3817635B2 (ja) | カラ−画像処理装置および処理方法 | |
| CN110266967B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2015139082A (ja) | 画像処理装置、画像処理方法、プログラム、および電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10764071 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10764071 Country of ref document: EP Kind code of ref document: A1 |