CN112908270A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN112908270A
CN112908270A CN202011294739.XA CN202011294739A CN112908270A CN 112908270 A CN112908270 A CN 112908270A CN 202011294739 A CN202011294739 A CN 202011294739A CN 112908270 A CN112908270 A CN 112908270A
Authority
CN
China
Prior art keywords
correction
correction intensity
image processing
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011294739.XA
Other languages
English (en)
Inventor
木村充宏
高桥明秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN112908270A publication Critical patent/CN112908270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Mechanical Engineering (AREA)

Abstract

本公开涉及一种图像处理设备和图像处理方法。该图像处理设备从输入图像中获取图像的整个区域(GA)的特征量(最大值、最小值、平均值、直方图等)，以及图像的每个局部区域(LA)的特征量，并且为整个区域和每个局部区域计算多个调制增益值(伽马校正曲线)。此外，图像处理设备从整个区域的特征量和每个局部区域的特征量中确定每个局部区域的校正强度，并且创建LA校正强度图。最后，图像处理设备最终将基于LA校正强度图组合多个调制增益值的结果应用于输入图像。

Description

图像处理设备和图像处理方法
相关申请的交叉引用
于2019年11月12日提交的日本专利申请No.2019-208570的公开内容(包括说明书、附图和摘要)通过整体引用并入本文。
技术领域
本发明涉及图像处理设备和图像处理方法。
背景技术
在液晶显示设备中，特别是被用于室外光环境的汽车设备中，要求高对比度(提高的可视性)。因此，根据被安装在车载相机***上的图像处理中间件SoC(片上***)的功能，需要一种技术，用于使用伽马校正针对局部区域单元的亮度值，相对于来自车载相机的输入图像来提高图像的可视性。在涉及图像可视性改善的现有技术中，作为局部区域边界附近的可视性改善的副作用，产生了生成非自然图像的问题。
在现有技术中，基于适合于根据通过峰值ACL(自动对比度限制)控制的增益值和亮度分布而计算出的图案的伽马校正值，来计算总增益，亮度调制通过一次计算来被执行。因此，在抑制灰度劣化的同时，可以根据图案特性(亮度分布)来增加对比度和亮度。现有技术不仅覆盖在显示单元的背光的***结构中的单个光源，而且覆盖多个光源。因此，在其中通过多个光源以局部区域单元可控制伽马校正的***结构的情况下，描述了可以以局部区域单元计算图案自适应伽马特性。
下面列出了所公开的技术。
[专利文献1]日本未审查专利申请公开号2016-31492
发明内容
单独的现有技术可能不足以改善液晶显示设备中的可视性，特别是对于车载相机***中的高对比度。通常，当以局部区域(局部区域，下文中称为LA)为单位计算图案自适应伽马特性时，计算每个LA的最佳伽马校正值。然后，为了防止LA之间的校正值的突然变化，通过使用线性插值在LA之间的边界附近执行校正。然而，在相邻LA具有不同特性的情况下，当针对每个LA执行最佳伽玛校正时，亮度值在边界附近反转。这导致了非自然的图像。
图15A、图15B和图15C中示出了非自然图像的示例。图15A的图像被划分为如图15B所示的网格形区域，并且针对每个区域执行伽马校正。图15C示出了执行伽马校正的结果。当比较图15A和图15C时，图像中对象(人，汽车)的可视性得到提高，但是在整个图像中生成水平差异噪声(灰度)。这样的图像被简单地认为具有降低的图像质量，并且引起观看者和驾驶员不适。此外，特别是在车载相机***中，由于驾驶员的注意力被转向到除需要视觉识别的区域以外的非自然区域，因此，这成为安全驾驶的障碍。
本发明的目的是提供一种生成具有良好可视性的高质量图像的图像处理设备。
图像处理设备根据输入图像获取图像的整个区域(全局区域，下文中称为GA)的特征量(亮度值的最大值、最小值、平均值、直方图等)，以及每个LA的特征量，并且针对GA和每个LA计算多个调制增益值(伽马校正曲线)。此外，图像处理设备根据GA的特征量和每个LA的特征量来确定每个LA的校正强度，并且创建LA校正强度图。最后，图像处理设备最终将基于LA校正强度图组合多个调制增益值的结果应用于输入图像。
通过根据实施例的图像处理设备，可以生成具有高图像质量和良好可视性的图像。
附图说明
图1是示出根据第一实施例的图像处理设备的示例性配置的框图；
图2A和图2B是用于说明针对亮度分布率计算的预处理的图；
图3A和图3B是示出LA校正强度图的示例的表；
图4A是示出反映对象相对于LA的坐标信息的图像的图；
图4B是示出在应用本实施例之后的图像的图；
图5是第一实施例中的LA校正强度单元的处理流程；
图6是示出根据第一实施例的图像处理设备的SoC的示例性配置的框图；
图7是示出根据第二实施例的图像处理设备的示例性配置的框图；
图8A和图8B是根据车速的LA校正强度图的示例(在高速时)；
图9A和图9B是与车速(中速)相对应的LA校正强度图的示例；
图10A和图10B是与车速(低速)相对应的LA校正强度图的示例；
图11A和图11B是与行进方向(在左转时)相对应的LA校正强度图的示例；
图12A和图12B是与行进方向(在右转时)相对应的LA校正强度图的示例；
图13是第二实施例中的LA校正强度单元的处理流程；
图14是示出第二实施例中的图像处理设备的SoC的示例性配置的框图；以及
图15A、图15B和图15C是示出现有技术中的经校正图像的图。
具体实施方式
(第一实施例)
在下文中，将参考附图详细描述根据第一实施例的图像处理设备。在说明书和附图中，相同或相应的元素由相同的附图标记表示，并且省略其重复描述。在附图中，为了便于描述，可以省略或简化配置。另外，至少一些实施例和每个修改可以彼此任意地组合。
(图像处理设备的配置)
根据第一实施例的图像处理设备(1a)根据视频输入信号分别计算并且输出视频输出信号和背光控制信号，该视频输出信号被供应给作为待连接的显示设备的液晶面板(LCD，1m)，该背光控制信号被供应给附接到液晶面板(LCD，1m)的背光控制单元(BC，1n)。此外，如图1所示，图像处理设备(1a)包括直方图检测单元(HD，1b)、峰值检测单元(PVD，1c)、峰值ACL(自动对比度限制)控制增益计算单元(PAC，1d)、亮度调制单元(BM，1h)、背光控制增益计算单元(BCG，1k)和增益转换单元(GC，1l)。此外，图像处理设备(1a)包括直方图调制单元(HM，1e)、亮度分布率计算单元(BDR，1f)、图案自适应伽马特性计算单元(PAG，1g)、亮度调制增益计算单元(BMG，1j)、总控制增益计算单元(TCG，1i)、对象检测单元(OD，1o)和LA校正强度单元(LAC，1p)。
直方图检测单元(HD，1b)计算输入视频信号的整个GA的亮度值和每个LA的亮度值的频率分布。在此，LA是通过将GA划分为多个区域而获取的划分区域。
峰值检测单元(PVD，1c)检测在输入视频信号的GA的像素所具有的视频水平(亮度)之中的最高亮度。另外，检测在每个LA中的LA像素的视频水平之中的最高亮度。
与本实施例中一样，与直接根据输入视频信号检测峰值的情况相比，通过根据由直方图检测单元(HD，1b)提取的亮度的直方图(频率分布)检测峰值，检测的稳定性得到改善。因为，例如，当一个画面(一帧)中的像素总数为100％，并且频率(像素数)从最低亮度开始按顺序累积时，通过检测当直方图的累积值达到98％时的亮度值作为峰值，当几个像素由于噪声等而具有显著高的亮度时，亮度未被检测为峰值。
峰值ACL控制增益计算单元(PAC，1d)计算整个图像的峰值ACL控制增益，该峰值ACL控制增益是与检测到的GA的峰值相对应的增益，并且将调制增益值供应给总控制增益计算单元(TCG，1i)和直方图调制单元(HM，1e)。类似地，峰值ACL控制增益计算单元(PAC，1d)计算每个LA的峰值ACL控制增益，该峰值ACL控制增益是与检测到的每个LA的峰值相对应的增益，并且将调制增益值供应给总控制增益计算单元(TCG，1i)和直方图调制单元(HM，1e)。
背光控制增益计算单元(BCG，1k)相对于增益转换单元(GC，1l)，执行与由峰值检测单元(PVD，1c)检测的GA的峰值和每个LA的峰值中的每一个相对应的增益处理。
直方图调制单元(HM，1e)使用从峰值ACL控制增益计算单元(PAC，1d)获取的增益，来对从直方图检测单元(HD，1b)输出的GA的直方图和每个LA的直方图执行调制处理。实际上，直方图调制单元(HM，1e)在视频水平执行增益调制。利用峰值ACL控制增益，针对直方图的调制处理是如下处理：其中每个视频水平的直方图检测值被读取作为峰值ACL控制增益倍数的视频水平的直方图检测值。
例如，当视频信号为8位时，视频水平为256灰度级，因此增益处理针对该水平被执行。如果峰值检测值为50％，则在视频水平128或更高水平上将不存在表示50％亮度的直方图，并且峰值ACL控制增益将加倍。然后，通过执行128×2增益处理，存在于视频水平128中的直方图被读取作为存在于视频水平256中的直方图(在实际处理中，8位中的最大值255)。在此，直方图的灰度级数被描述为与视频信号256的灰度级数相同，但是即使在通常采用16或64的情况下，直方图的灰度级数也是相同的处理。
亮度分布率计算单元(BDR，1f)分析已利用GA峰值ACL控制增益而被调制的GA的直方图的分布状态。类似地，分析利用每个LA峰值ACL控制增益而被调制的每个LA的直方图的每个分布状态。直方图的分布状态包括例如在一些视频水平层中有偏差的分布、在多个视频水平区域中有偏差的分布、没有明显均匀度的相对均匀的分布。亮度分布率计算单元(BDR，1f)执行预处理，该预处理用于针对输入直方图上的每个视频水平执行加权，在加权之后累积直方图检测值，并且根据这些值计算分布率。亮度分布率计算单元(BDR，1f)是特征数据计算单元，该特征数据计算单元计算其特征量作为指示GA的特征的第一特征数据，以及其特征量作为指示每个LA的特征的第二特征数据组。特征量是亮度值的最大值、最小值、平均值和直方图。根据图像中的每个像素的亮度值的分布，可以计算亮度值的平均值以及最大和最小的亮度值。此外，可以通过计算每个亮度值的像素数来创建直方图。
作为具体示例，亮度分布率计算单元(BDR，1f)对从低视频水平到中等视频水平的直方图检测值执行加权处理，对加权之后的直方图检测值进行累积，并且根据值的大小来计算低/中等视频水平的分布率(图2A)。
此外，亮度分布率计算单元(BDR，1f)在中等视频水平附近执行加权处理，对加权之后的直方图检测值进行累积，并且根据值的大小来计算中等视频水平附近的分布率(图2B)。当然，计算低/中等视频水平分布率和在中等视频水平附近的分布率的方法不限于此。
在图案自适应伽马特性计算单元(PAG，1g)中，根据计算出的视频水平分布率针对GA和LA自动计算合适的伽马特性。例如，在为了获取用于背光控制的亮度改善效果而进行图案自适应伽马处理的情况下，执行小伽马值校正(当直方图的分布状态是没有明显普遍性的相对均匀分布时)或S曲线校正(当直方图的分布状态在一个地方普遍存在时)。另外，在校正处理的情况下，执行直方图均衡化(平面化)，在该校正处理中，亮度调制之后的直方图分布状态从低视频水平到高视频水平均匀地分布。
如上所述，通过自动计算适合于图案的伽马特性来执行亮度调制的效果有以下两点。首先，当以比原始图像更高的对比度输入较亮图像时，在通过固定伽玛特性进行的亮度调制处理中，假定存在在高视频水平区域造成饱和(白色跳跃)和在低视频水平区域造成饱和(黑色塌陷)的危险。但是，这些危险可以通过图案适应处理来防止。第二点，取决于图案特性(图像水平的分布中心＝集中的亮度水平)，可以获取最有效的高对比度和亮度改善的效果。
亮度调制增益计算单元(BMG，1j)根据从图案自适应伽马特性计算单元(PAG，1g)给出的伽马特性，来计算GA和LA的亮度调制增益。亮度调制增益作为与调制后的视频水平的值相关的函数被供应给GA和每个LA。
在总控制增益计算单元(TCG，1i)中，根据通过用户设置的MIX比或由LA校正强度单元(LAC，1p)而计算出的针对每个LA的校正强度，对从峰值ACL控制增益计算单元(PAC，1d)和亮度调制增益计算单元(BMG，1j)获取的多个调制增益值进行相乘，并且预先计算总增益值。对于伽马校正曲线的合成，当LA校正强度为α时，使用如下所示的加权平均值。
合成之后的校正量＝LA的校正量×α+GA的校正量×(1-α)
在此，当0≤α≤1时，LA的校正强度随着α接近1而变强。
在亮度调制单元(BM，1h)中，使用该总增益值执行亮度调制。亮度调制是指根据视频水平的值将输入视频信号的每个像素的视频水平(亮度)转换为另一视频水平的过程。亮度调制单元(BM，1h)例如由一维查找表构成。当视频信号为8位和256级灰度时，可以通过256字×8位的存储器进行配置。除了实现为查找表，亮度调制单元还可以在预功能化的硬件或软件中被实现。
作为检测单元的对象检测单元(OD，1o)根据输入图像检测记录在ROM(只读存储器)或RAM(随机存取存储器)中的对象。用于检测对象的一种方法是使用对象与图像背景之间的边缘。检测到的对象通过图案识别与被记录在ROM或RAM中的对象进行比对并被明确。最后，对象检测单元(OD，1o)将对象的位置信息(坐标)、面积和匹配结果作为对象信息输出到LA校正强度单元(LAC，1p)。
在LA校正强度单元(LAC，1p)中，为了基于从亮度分布率计算单元(BDR，1f)获取的、GA和每个LA的特征量(亮度值的最大值、最小值、平均值和直方图)，来设置每个LA的校正强度(第一校正强度)，第一1LA校正强度图被创建。LA校正强度图是与LA相对应的表，并且数值表示LA校正强度。LA校正强度被设置为例如0至1的值。具体地，LA校正强度单元(LAC，1p)将根据亮度分布状态分析结果而获取的整个特征量与LA特征量进行比较，并且针对每个LA确定在校正之后在相邻LA之间发生亮度值的反转还是过度曝光/黑视。LA校正强度单元(LAC，1p)设置弱LA校正强度，使得LA的对应表的元素中不会出现提到的非自然的梯度问题，在该问题中确定的是，相邻LA之间出现了亮度值反转或亮度值跳跃或黑色塌陷。
通过以上处理，可以生成具有高图像质量和良好可视性的图像。此外，LA校正强度单元(LAC，1p)创建2LA校正强度图，以便基于从对象检测单元(OD，1o)获取的对象的位置信息(坐标信息)、面积和匹配结果，针对每个LA设置校正强度(第二校正强度)。例如，如果图4A中用虚线包围的区域被给定为对象的坐标信息和区域，如图3B所示，LA校正强度单元(LAC，1p)创建校正强度图(第二LA校正强度图)，该校正强度图将该区域中包括的LA的校正强度设置地较强。
在此，LA校正强度单元(LAC，1p)根据被记录在ROM和RAM中的重要对象的等级，针对表的每个元素设置LA校正强度。例如，当LA校正强度取范围为0至1的值时，LA校正强度单元(LAC，1p)确定LA越接近1，则LA越有效。在图3A和3B的示例中，车辆设置为1，人设置为0.9。如图3B所示，通过创建第二LA校正强度图，如图4B所示，可以生成适合于拍摄场景中所包括的对象的具有高图像质量和良好可视性的图像。
最后，LA校正强度单元(LAC，1p)通过如下式所示将两个校正强度图相加，来确定待被供应给总控制增益计算单元(TCG，1i)的校正强度图。
LA校正强度图(m，n)＝第一LA校正强度图(m，n)+第二LA校正强度图(m，n)
此后，LA校正强度单元(LAC，1p)执行归一化处理，使得相应LA校正强度的最大值为1。顺便提及，如果在合成之前的LA校正强度图的任一个中设置为0的情况下，无需执行归一化，就可以使用强度图，因为它是其中的一个强度。
图5是第一实施例中的校正强度图创建处理的流程。获取亮度分布状态的分析结果(步骤S501)，并且创建校正所需要的1LA校正强度图以防止白色跳跃和黑色塌陷(步骤S502)。接下来，由对象检测单元(1o)获取对象检测结果(步骤S503)，确定是否存在感兴趣对象(步骤S504)，并且如果存在感兴趣对象，则基于对象位置信息创建2LA校正强度图(步骤S505)，并且合成第一LA校正强度图和第二LA校正强度图(步骤S506)。如果在步骤S504中没有感兴趣对象，则仅使用第一LA校正强度图。这里示出的处理顺序不限于此，并且可以在第一LA校正强度图之前创建第二LA校正强度图。
图1所示的本实施例的图像处理设备(1a)可以通过硬件来实现，或者可以通过中间件来实现，其中要安装的图像处理方法的一部分通过软件来实现。
图6是示出根据第一实施例的图像处理设备的示例性SoC配置的框图。图像处理设备(6a)连接到附接有背光源控制单元(BC，6n)的诸如液晶等显示面板(6m)、以及用于输入视频信号的视频设备(VD，6b)。此外，可以连接外部光传感器(ELS，6c)。视频设备(VD，6b)例如是相机、诸如蓝光和DVD等视频内容媒体播放器、数字电视接收器(DTV)等。图像处理设备(6a)包括经由总线彼此连接的视频处理单元(6d)、CPU(6j)、ROM(6k)、RAM(6i)、背光控制接口(I/F)单元(BCIF，6g)、通信接口(I/F)单元(CIF，6h)和其他***单元(PU，6l)。
视频处理单元(6d)接收从视频设备(VD，6b)输入的视频信号，并且分别供应由存储在ROM(6k)中的软件安装的对象检测单元(未示出)、亮度调制单元(BM，6e)和直方图检测单元(HD，6f)，并且将从亮度调制单元(BM，6e)输出的视频输出信号输出到液晶面板(LCD，6m)。背光控制接口(I/F)单元(BCIF，6g)将背光控制信号输出到待被连接的显示面板的背光控制单元(BC，6n)。当外部光传感器(ELS，6c)被连接时，外部光传感器连接到诸如I2C(内部集成电路)等通信接口(I/F)单元(CIF，6h)。
亮度调制单元(BM，6e)、直方图检测单元(HD，6f)、背光控制接口(I/F)单元(BCIF，6g)和通信接口(I/F)单元(CIF，6h)可以分别通过总线从CPU(6j)访问。视频处理单元(6d)(峰值检测单元(PVD，1c)中的每个处理单元、峰值ACL控制增益计算单元(PAC，1d)、直方图调制单元(HM，1e)、亮度分布率计算单元(BDR，1f)、图案自适应伽马特性计算单元(PAG，1g)、亮度调制增益计算单元(BMG，1j)、对象检测单元(OD，1o)、LA校正强度单元(LAC，1p)和总控制增益计算单元(TCG，1i))由被存储在ROM(6k)中的软件实现，并且由总控制增益计算单元(未示出)计算出的总控制增益经由总线被设置到亮度调制单元(BM，6e)。
图1所示的背光控制增益计算单元(BCG，1k)和增益转换单元(GC，1l)类似地通过被存储在ROM(6k)中的软件来实现，由增益转换单元计算的背光控制增益，经由背光控制接口(I/F)单元(BCIF，6g)被作为背光控制信号输出。
图6所示的配置仅是示例，并且可以进行各种修改。例如，视频处理单元(6d)中所包括的一些硬件可以被改变为以软件实现，或者其他功能可以以待被包括在视频显示单元中的硬件来实现。CPU(6j)可以是任何体系结构的单个处理器，并且可以是包括多个处理器的多处理器单元。此外，CPU(6j)或备选处理器、多处理器可以包括高速缓冲存储器或本地存储器。总线也可以是分层级的。ROM(6k)可以是电可重写的非易失性存储器，诸如闪存，或者可以由不具有非易失性存储器的SoC配置，并且可以以上电顺序等来加载软件。
(第一实施例的效果)
通过基于GA的特征量针对每个LA创建校正强度图，来确定校正强度，并且根据所确定的每个LA的校正强度，将校正强度乘以从峰值ACL控制增益计算部和亮度调制增益计算部获取的多个调制增益值(多个伽马校正曲线)，来计算总增益值(伽马校正曲线)。通过将由此获取的总增益值应用于输入图像，可以生成具有高图像质量和良好可视性的图像。
(第二实施例)
假定将根据第一实施例的图像处理设备安装在诸如汽车等车辆上，对根据第二实施例的图像处理设备进行改进。第二实施例中的图像处理设备被安装在车载相机***上，该车载相机***使用电子镜、后视图、相机图像的显示(诸如周围视图)对驾驶员进行驾驶辅助。根据第二实施例的图像处理设备(7a)与第一实施例的不同之处在于，如图7所示，具有用于基于驾驶信息来区分驾驶场景的驾驶场景判别单元(7q)。图7的符号7x中的每个符号(x＝a、b、c、……、p)对应于图1的符号1x(x＝a、b、c、……、p)。
驾驶场景判别单元(DSD，7q)根据通过ECU(电子控制单元)获取的车速和转向控制的信息(驾驶信息)来判别驾驶场景。驾驶场景判别单元(DSD，7q)判断配备有图像处理设备(7a)的车辆是高速行驶还是低速行驶，向车辆前方的右侧行驶还是向左方行驶，等等。然后，将作为确定结果的驾驶信息供应给LA校正强度单元(LAC，7p)、LA校正强度单元(LAC，7p)，以在考虑到操作信息(第三校正强度)的情况下设置每个LA的校正强度，以创建第三LA校正强度图。驾驶信息是车速、车辆的行驶方向中的任一项的信息或组合的信息。
例如，当确定车辆正在高速行驶时，由于对从远距离接近的对象进行视觉识别变得重要，因此LA校正强度单元(LAC，7p)创建如下LA校正强度图：其中如图8B所示的重要度被设置为使得图8A所示的图像的上部变得比其他部分更重要。此外，当确定车辆正在以中等速度行驶时，由于中央对象的视觉识别变得重要，所以LA校正强度单元(LAC，7p)创建如下LA校正强度图：其中如图9B所示的重要度被设置为使得图9A所示的图像的中心变得比其他部分更重要。此外，在车辆停放和停止的情况下，由于低速行驶和车辆周围的信息很重要，因此，图10A所示的图像的下部比其他部分更重要，LA校正强度单元(LAC，7p)创建如图10B所示设置重要度的LA校正强度图。
另外，还可以通过与转向控制联动并且根据行驶方向设置重要区域来根据驾驶场景来控制校正强度。在左转弯时，LA校正强度单元(LAC，7p)创建如下LA校正强度图：其中如图11B所示的重要度被设置为使得图11A所示的图像的左侧变得比其他部分更重要。此外，在右转弯时，LA校正强度单元(LAC，7p)创建如下LA校正强度图：其中如图12B所示的重要度被设置为使得图12A所示的图像的右侧变得比其他部分更重要。最后，通过将第三LA校正强度图以及根据第一实施例的第一LA校正强度图和第二LA校正强度图相加，确定将被供应给总控制增益计算单元(TCG，7i)的校正强度图。
图13是第二实施例中的校正强度图创建处理的流程。获取亮度分布状态的分析结果(步骤S1301)，并且创建校正所需要的第一LA校正强度图以防止白色跳跃和黑色塌陷(步骤S1302)。接下来，由对象检测单元(7o)获取对象检测结果(步骤S1303)，并且确定是否存在感兴趣对象(步骤S1304)，并且如果存在感兴趣对象，则基于对象位置信息创建第二LA校正强度图(步骤S1305)。通过操作场景判别部(7q)获取操作场景判别结果(步骤S1306)，并且基于操作场景创建第三LA校正强度图(步骤S1307)。接下来，合成第一LA校正强度图、第二LA校正强度图和第三LA校正强度图，以创建用于校正的校正强度图(步骤S1308)。如果在步骤S1304中没有感兴趣的对象，则处理步骤S1306和步骤S1307，并且在步骤S1308中合成第一LA校正强度图和第三LA校正强度图以创建待被用于校正的校正强度图。这里示出的处理顺序不限于此，并且可以在第一LA校正强度图之前创建第三LA校正强度图。
图14是示出根据第二实施例的图像处理设备的示例性SoC配置的框图。与第一实施例的不同之处在于，ECU(14o)连接到诸如I2C等通信接口(I/F)单元(CIF，14h)。可以通过总线从CPU(14j)访问操作场景判别单元(未示出)。操作场景判别单元由存储在ROM(14k)中的软件实现。如图6所示的配置仅是一个示例，可以进行各种改变。图14的附图标记14x(x＝a、b、c、……、n)分别对应于图6的附图标记6x(x＝a、b、c、……、n)。
(第二实施例的效果)
基于作为除车载相机以外的车载***的信息的行驶信息，即使存在不能仅由对象检测单元检测到的未知对象，通过添加用于确定驾驶场景的驾驶场景判别单元，通过改变每个LA的校正权重，可以根据驾驶场景校正最佳亮度值，可以生成具有高图像质量的良好图像可视性。
(修改示例)
基于对象检测单元的对象位置坐标信息，对LA进行分组，并且针对每个分组区域计算伽马校正曲线。这可以通过分组实现特定于对象的校正，同时降低吞吐量。
尽管已经参考实施例具体描述了本发明人做出的发明，但是本发明不限于此，不用说，在不脱离本发明的范围的情况下可以进行各种修改。
尽管在第二实施例中描述了车载相机***中的图像处理设备，但是本发明不限于此，通常适用于视频信号处理(例如，NAVI(导航)、诸如汽车娱乐等汽车产品、DTV(数字电视)、PC(个人计算机)、家用产品(诸如显示器、平板电脑)，并且适用于移动产品(诸如智能手机)。

Claims (11)

1.一种图像处理设备，所述图像处理设备根据视频输入信号生成视频输出信号和背光控制信号，并且将所述视频输出信号和所述背光控制信号输出到显示设备，所述图像处理设备包括：
特征数据计算单元，用于根据所述视频输入信号获取所述视频的整个区域、以及通过将所述整个区域划分为多个区域而获取的划分区域，并且计算第一特征数据和第二特征数据组，所述第一特征数据指示所述整个区域的特征，所述第二特征数据组指示每个划分区域的特征，
校正数据计算单元，用于根据所述第一特征数据和所述第二特征数据组，针对每个划分区域计算用于校正视频数据的校正数据；以及
校正处理单元，用于基于所述校正数据，对所述整个区域执行图像校正。
2.根据权利要求1所述的图像处理设备，还包括校正强度单元，所述校正强度单元用于根据所述第一特征数据和所述第二特征数据组，针对每个划分区域设置第一校正强度，
其中所述校正数据计算单元基于所述第一校正强度来调节所述校正数据。
3.根据权利要求2所述的图像处理设备，还包括检测单元，所述检测单元用于根据所述视频输入信号检测所述视频中所包括的对象、并且输出对象信息，所述对象信息包括检测到的所述对象的位置信息，
其中所述校正强度单元基于所述对象信息设置第二校正强度，
其中所述校正数据计算单元基于所述第一校正强度和所述第二校正强度来调节所述校正数据。
4.根据权利要求3所述的图像处理设备，被安装在车辆上，并且还包括：判别单元，所述判别单元用于根据所述车辆的驾驶信息确定驾驶场景，并且输出所述驾驶信息，
其中所述校正强度单元基于操作信息设置第三校正强度，
其中所述校正数据计算单元基于所述第一校正强度、所述第二校正强度和所述第三校正强度，来调节所述校正数据。
5.根据权利要求1所述的图像处理设备，其中所述第一特征数据和所述第二特征数据组包括以下中的至少一项：亮度值的最大值、最小值、平均值和直方图。
6.根据权利要求4所述的图像处理设备，其中所述第一校正强度、所述第二校正强度和所述第三校正强度是地图格式的数据，在所述地图格式的数据中，针对每个划分区域的校正强度被设置。
7.根据权利要求4所述的图像处理设备，其中所述驾驶信息是所述车辆的车速和所述车辆的行驶方向中的任一项的信息或组合的信息。
8.一种图像处理方法，用于根据视频输入信号生成视频输出信号和背光控制信号，并且将所述视频输出信号和所述背光控制信号输出到显示设备，所述方法包括：
特征数据计算步骤，根据所述视频输入信号获取所述视频的整个区域、以及通过将所述整个区域划分为多个区域而获取的划分区域，并且计算第一特征数据和第二特征数据组，所述第一特征数据指示所述整个区域的特征，所述第二特征数据组指示每个划分区域的特征，
校正数据计算步骤，根据所述第一特征数据和所述第二特征数据组，针对每个划分区域计算用于校正视频数据的校正数据，
校正处理步骤，基于所述校正数据对所述整个区域执行视频校正。
9.根据权利要求8所述的图像处理方法，还包括校正强度设置步骤，所述校正强度设置步骤根据所述第一特征数据和所述第二特征数据组，针对每个划分区域设置第一校正强度，
其中所述校正数据计算步骤基于所述第一校正强度来调节所述校正数据。
10.根据权利要求9所述的图像处理方法，还包括检测步骤，所述检测步骤根据所述视频输入信号检测所述视频中所包括的对象，并且输出对象信息，所述对象信息包括检测到的所述对象的位置信息，
其中所述校正强度设置步骤基于所述对象信息设置第二校正强度，
其中所述校正数据计算步骤基于所述第一校正强度和所述第二校正强度来调节所述校正数据。
11.根据权利要求10所述的图像处理方法，还包括确定步骤，所述确定步骤根据车辆的驾驶信息确定驾驶场景，并且输出所述驾驶信息，
其中所述校正强度设置步骤基于操作信息设置第三校正强度，
其中所述校正数据计算步骤基于所述第一校正强度、所述第二校正强度和所述第三校正强度来调节所述校正数据。
CN202011294739.XA 2019-11-19 2020-11-18 图像处理设备和图像处理方法 Pending CN112908270A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-208570 2019-11-19
JP2019208570A JP7325308B2 (ja) 2019-11-19 2019-11-19 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN112908270A true CN112908270A (zh) 2021-06-04

Family

ID=75908755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011294739.XA Pending CN112908270A (zh) 2019-11-19 2020-11-18 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US11718229B2 (zh)
JP (1) JP7325308B2 (zh)
CN (1) CN112908270A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279732A1 (en) * 2010-05-12 2011-11-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20130083248A1 (en) * 2011-09-30 2013-04-04 Kabushiki Kaisha Toshiba Electronic apparatus and video processing method
US20160019863A1 (en) * 2014-07-17 2016-01-21 Novatek Microelectronics Corp. Image processing method and device
JP2017197044A (ja) * 2016-04-28 2017-11-02 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4894595B2 (ja) * 2007-04-13 2012-03-14 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP5451213B2 (ja) * 2009-06-29 2014-03-26 キヤノン株式会社 画像処理装置及び画像処理方法並びにコンピュータプログラム
KR101039248B1 (ko) * 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
KR101751405B1 (ko) 2010-10-22 2017-06-27 히다치 겡키 가부시키 가이샤 작업 기계의 주변 감시 장치
CN105191283B (zh) * 2013-03-29 2019-10-22 索尼公司 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
JP2015203727A (ja) * 2014-04-11 2015-11-16 キヤノン株式会社 撮像装置および撮像方法
JP6543442B2 (ja) 2014-07-30 2019-07-10 ルネサスエレクトロニクス株式会社 画像処理装置および画像処理方法
KR20170099211A (ko) * 2016-02-23 2017-08-31 에스프린팅솔루션 주식회사 복합 문서에 포함된 이미지 객체의 화질 개선 방법 및 이를 수행하기 위한 장치
US11880918B2 (en) * 2016-07-28 2024-01-23 Kodak Alaris, Inc. Method for dynamic creation of collages from mobile video
JP2018116181A (ja) * 2017-01-19 2018-07-26 株式会社ジャパンディスプレイ 表示装置、表示装置の駆動方法、及び、表示装置の検査方法
JP7047549B2 (ja) * 2018-04-03 2022-04-05 株式会社アイシン 画像処理装置
US20210064905A1 (en) * 2019-08-29 2021-03-04 Qualcomm Incorporated Content integrity of animations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279732A1 (en) * 2010-05-12 2011-11-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20130083248A1 (en) * 2011-09-30 2013-04-04 Kabushiki Kaisha Toshiba Electronic apparatus and video processing method
US20160019863A1 (en) * 2014-07-17 2016-01-21 Novatek Microelectronics Corp. Image processing method and device
JP2017197044A (ja) * 2016-04-28 2017-11-02 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Also Published As

Publication number Publication date
US20210150250A1 (en) 2021-05-20
US11718229B2 (en) 2023-08-08
JP2021081575A (ja) 2021-05-27
JP7325308B2 (ja) 2023-08-14

Similar Documents

Publication Publication Date Title
JP6543442B2 (ja) 画像処理装置および画像処理方法
KR102146560B1 (ko) 영상 보정 방법 및 장치
CN106127693B (zh) 除雾***和除雾方法
US9165510B2 (en) Temporal control of illumination scaling in a display device
US9452711B2 (en) Apparatus and method for controlling output of horn of vehicle
US20140348428A1 (en) Dynamic range-adjustment apparatuses and methods
KR20180027885A (ko) 영상처리장치 및 기록매체
US20080123984A1 (en) System and method for efficiently enhancing videos and images
JP4626534B2 (ja) 画像処理装置およびその方法、プログラム、記録媒体
EP2315431A1 (en) Image signal processing device and image display device
WO2021157064A1 (ja) 表示制御装置、表示システム、及び表示制御方法
CN112908270A (zh) 图像处理设备和图像处理方法
JP4626533B2 (ja) 画像処理装置およびその方法、プログラム、記録媒体
US20140286571A1 (en) Picture processing device
WO2011155228A1 (ja) 画像表示装置
JP2021092626A (ja) 表示装置
CN111492400A (zh) 图像处理设备、图像处理方法和计算机可读记录介质
EP4209990A2 (en) Blended gray image enhancement
US20230186440A1 (en) Display apparatus and operating method thereof
US20240015269A1 (en) Camera system, method for controlling the same, storage medium, and information processing apparatus
US20240112307A1 (en) Image processing device and image display device
JP2012227800A (ja) 画像処理装置、表示システム、及び、画像処理方法
WO2022241728A1 (en) Image processing method, electronic device and non–transitory computer–readable media
JP2011247973A (ja) 表示制御装置、表示システム、及び、表示制御方法
KR20230020303A (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination