CN110537202A - 相关值运算装置 - Google Patents
相关值运算装置 Download PDFInfo
- Publication number
- CN110537202A CN110537202A CN201780089319.8A CN201780089319A CN110537202A CN 110537202 A CN110537202 A CN 110537202A CN 201780089319 A CN201780089319 A CN 201780089319A CN 110537202 A CN110537202 A CN 110537202A
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- reference block
- correlation
- arithmetic unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 claims abstract description 72
- 238000004364 calculation method Methods 0.000 claims abstract description 60
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 230000009467 reduction Effects 0.000 claims abstract description 22
- 239000004744 fabric Substances 0.000 claims 1
- 238000010977 unit operation Methods 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 17
- 238000013500 data storage Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 235000005121 Sorbus torminalis Nutrition 0.000 description 2
- 244000152100 Sorbus torminalis Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
相关值运算装置运算图像内的基准块、与所述图像内或不同的图像内的至少一个参照块之间的相关值,在所述相关值运算装置中,具有:像素值分布计算部,其计算所述图像内的像素的像素值分布,并选择像素数较多的像素值的范围,作为有效像素值范围;转换系数计算部,其计算将所述有效像素值范围的像素转换为规定的灰度的转换系数;以及像素值转换部,其根据所述转换系数,对所述基准块内的像素和所述参照块内的像素进行灰度降低处理。
Description
技术领域
本发明涉及对图像间的相关值进行运算的相关值运算装置。
背景技术
在图像处理中的降噪处理或运动矢量检测等中,经常进行图像间的相关值运算。相关值表示图像间的相似度。2张图像(将一方称作基准帧、另一方称作参照帧)间的相关值在基准帧中的特定区域(基准块)、与具有与基准块相同的块尺寸的参照帧内的特定区域(参照块)之间,根据同一位置的像素彼此的像素值的差分等进行计算。对于相关值的计算,已知有差分绝对值和(SAD)、差分平方和(SSD)等计算方法。
在降噪处理、运动矢量检测等中,需要高速进行该相关值算运。因此,在进行降噪处理、运动矢量检测等的装置中,大多设置进行相关值运算的专用电路(相关值运算装置)。
伴随作为相关值运算对象的图像的高分辨率化,每个像素单位的比特数增加,从而相关值运算装置的电路规模增大。要求在不降低相关值运算装置的相关值运算速度的情况下,削减增大的电路规模。
在专利文献1中记载了如下的位置对准装置:根据图像的像素值分布,利用进行灰度降低处理而得的低分辨率图像进行匹配处理,该灰度降低处理减小每个像素单位的比特数。位置对准装置通过使用进行灰度降低处理而得的低分辨率图像,能够削减匹配处理的电路规模,并且能够高速实施匹配处理。
现有技术文献
专利文献
专利文献1:日本特开平10-222669号公报
发明内容
发明所要解决的课题
在专利文献1所记载的位置对准装置中,生成了针对像素值的最大值至最小值的整个像素值范围的像素进行灰度降低处理而得的低分辨率图像。
但是,在进行降噪处理、运动矢量检测等的装置中进行的相关值运算根据图像区域中的图像特征,求出图像间的相似度。
因此,在相关值运算中,当使用进行灰度降低处理而得的低分辨率图像时,期望以尽可能维持像素值分布趋势的方式来生成低分辨率图像。
鉴于上述情况,本发明的目的在于提供一种相关值运算装置,通过能够维持图像特征的灰度降低处理,在不降低相关值运算速度的情况下,能够削减电路规模。
用于解决课题的手段
为了解决上述课题,本发明提出了以下手段。
本发明的相关值运算装置运算图像内的基准块、与所述图像内或其他图像内的至少一个参照块之间的相关值,在所述相关值运算装置中,具有:像素值分布计算部,其计算所述图像内的像素的像素值分布,并选择像素数较多的像素值的范围而作为有效像素值范围;转换系数计算部,其计算将所述有效像素值范围的像素转换为规定的灰度的转换系数;以及像素值转换部,其根据所述转换系数,对所述基准块内的像素和所述参照块内的像素进行灰度降低处理。
发明的效果
根据本发明的相关值运算装置,可提供一种通过能够维持图像特征的灰度降低处理,在不降低相关值运算速度的情况下,削减电路规模的相关值运算装置。
附图说明
图1是示出本发明一个实施方式的相关值运算装置的图。
图2是示出基准块和参照块之间的关系的图。
图3是示出本发明一个实施方式的相关值运算装置中的像素值转换部进行的灰度降低处理中的数据流的图。
图4是示出本发明一个实施方式的相关值运算装置中的像素值分布计算部计算出的直方图的计算对象区域的图。
图5是示出本发明一个实施方式的相关值运算装置中的像素值分布计算部计算出的直方图的图。
图6是示出本发明一个实施方式的相关值运算装置中的像素值分布计算部的变形例计算出的RGB各自的直方图的图。
图7是示出本发明一个实施方式的相关值运算装置中的像素值分布计算部的变形例计算出的直方图的图。
具体实施方式
(实施方式)
参照图1至图7来说明本发明的相关值运算装置的一个实施方式。
本实施方式的相关值运算装置100被安装于进行降噪处理、运动矢量检测等的装置中,以高速计算相关值。
图1是示出相关值运算装置100的结构的图。相关值运算装置100计算1张图像(帧)内的特定区域(基准块)、与具有与基准块相同的块尺寸的特定区域(参照块)之间的相关值。
如图2所示,本实施方式的相关值运算装置100计算以图像(帧)的关注像素(tx,ty)为中心像素的基准块、与至少一个参照块之间的相关值。
在之后的说明中,为了说明图像的像素的位置,使用XY坐标。如图2所示,设水平方向为X轴方向、垂直方向为Y轴方向、左上为原点。XY坐标如(X,Y)=(0,0)那样表现。
相关值运算装置100具有主存储器1、块存储器2、相关值运算部3、像素值分布计算部5、转换系数计算部6和像素值转换部7。
主存储器1由DRAM(Dynamic Random Access Memory:动态随机存取存储器)等构成,存储作为相关值运算对象的图像数据(帧数据10)。这里,帧数据10被分割为多个基准块。
相关值运算装置100还能够针对2张图像(将一方称作基准帧、另一方称作参照帧),在基准帧内的特定区域(基准块)、与具有与基准块相同的块尺寸的参照帧内的特定区域(参照块)之间,高速运算相关值。
相关值运算装置100在2张图像(基准帧与参照帧)之间计算相关值的情况下,在主存储器1中存储基准帧数据11和参照帧数据12的双方。
块存储器2是存储作为相关值运算对象的基准块和参照块的数据的存储器,具有基准块数据存储用存储器21和参照块数据存储用存储器22。
基准块数据存储用存储器21由SRAM(Static Random Access Memory:静态随机存取存储器)或寄存器文件等构成,存储主存储器1所存储的帧数据10中的、至少一个基准块的数据。基准块的数据由未图示的CPU等从主存储器1中读出,并被传送到基准块数据存储用存储器21。
参照块数据存储用存储器22由SRAM或寄存器文件等构成,存储主存储器1所存储的帧数据10中的、多个参照块的数据。参照块的数据由未图示的CPU等从主存储器1中读出,并被传送到参照块数据存储用存储器22。
如图2所示,在帧数据10中,参照点(参照像素)是在以关注像素为中心像素的、水平方向17个像素和垂直方向17个像素(之后称作“17×17”)的区域中,从配置成交替格子图案状(方格图案状)的像素中除去关注像素后的144个像素。参照块数据存储用存储器22存储包含144个参照块的区域(参照区域)的数据,这些参照块以参照点(rx,ry)为中心像素。
这里,以关注像素为中心像素的块是基准块自身,因此从计算与基准块之间的相关值的对象中被除去。
这里,参照点被配置成交替格子图案状(方格图案状)是指作为参照点的像素、与不作为参照点的像素在水平方向和垂直方向上每隔一个像素地交替配置。
如图2所示,基准块和参照块的块尺寸为9×9的块尺寸。
基准块和参照块所存储的数据均为每一个像素为12比特的数据。数据可以是单色或彩色数据中的任意一个,也可以是来自图像传感器的中间数据。
相关值运算部3运算基准块与参照块之间的相关值。
图3是示出后述的像素值转换部7进行的灰度降低处理的数据流的图。如图3所示,作为每一个像素为12比特的数据的、基准块的像素数据和参照块的像素数据通过像素值转换部7进行灰度降低处理,被转换为每一个像素为6比特的像素数据。所生成的低分辨率图像的数据被传送到相关值运算部3。相关值运算部3根据作为每一个像素为6比特的数据的、基准块的像素数据和参照块的像素数据,运算相关值。
相关值运算部3是运算1个基准块与144个参照块之间的144个相关值的电路。
经由后述的像素值转换部7输入基准块数据存储用存储器21所存储的一个基准块的数据、和参照块数据存储用存储器22所存储的144个参照块的数据。
相关值运算部3可以构成为并列计算144个相关值,也可以构成为以时分方式进行计算。
相关值运算部3运算差分绝对值和(SAD)作为相关值。参照点(rx,ry)中的SAD通过以下的式1来计算。
在式1中,image(x,y)是XY坐标(x,y)处的图像(帧数据10)的像素数据。可以是单色或彩色数据中的任意一个,也可以是来自图像传感器的中间数据。Size表示从中心像素至最端部像素的像素数-1。
基准块与参照块之间的相关值的运算可以一并运算块整体的相关值,也可以计算块尺寸的一列的相关值,并将计算出的一列的相关值累积相加来运算块尺寸的相关值。
像素值分布计算部5是根据作为相关值运算对象的基准帧来计算像素值分布的电路。本实施方式的像素值分布计算部5计算直方图,作为像素值分布。后述的像素值转换部7根据像素值分布计算部5计算出的直方图,进行灰度降低处理,生成作为相关值运算对象的低分辨率图像。
图4是示出像素值分布计算部5计算的直方图的计算对象区域的图。图4的(a)所例示的图将基准帧的图像整体作为直方图的计算对象区域。图4的(b)所例示的图仅将基准帧的基准块作为直方图的计算对象区域。
直方图的计算对象区域可以为基准帧的图像整体,也可以仅为基准块,但如图4的(b)所示,本实施方式的像素值分布计算部5仅根据基准块的数据,计算作为像素值分布的直方图。
相关值运算根据基准块或参照块那样的局部的图像区域中的图像特征,求出局部的图像间的相似度。
因此,在相关值运算中,当使用进行灰度降低处理而得的低分辨率图像时,优选不是以维持基准帧的图像整体的像素值分布趋势,而是以维持局部的像素值分布趋势的方式,生成低分辨率图像。因此,为了生成低分辨率图像而使用的直方图优选为能够掌握局部的像素值分布趋势的直方图。
因此,在本实施方式中,仅根据块存储器所存储的基准块的数据,计算作为像素值分布的直方图。
另外,像素值分布计算部5也可以除了根据基准块的数据以外,还根据参照块的数据来计算直方图。通过使用作为相关值运算对象的、基准块与参照块双方的数据,能够计算更能掌握局部的像素值分布趋势的直方图。
像素值分布计算部5读出块尺寸为9×9的基准块的全部81个像素的数据,并按每个12比特的灰度(像素值)对像素数进行计数,由此计算直方图。这里,像素数的计数也可以不是每12比特的灰度。例如,可以舍弃像素值的低位4比特,而按每个8比特的灰度(像素值)对像素数进行计数,由此计算直方图。通过该方法,也能够掌握像素值分布趋势,并且能够削减用于直方图计算的电路规模。
像素值分布计算部5也可以结合直方图的计算,根据直方图的计算结果,进行包含特征性像素值分布的有效像素值范围的确定。在本实施方式中,像素值分布计算部5根据计算出的直方图,计算有效像素值范围的上限值hist_high和下限值hist_low。将该上限值hist_high与下限值hist_low之间的范围设为有效像素值范围。
图5示出像素值分布计算部5计算出的直方图以及上限值hist_high和下限值hist_low。在现有技术中,针对直方图中的像素值的最大值(白)至最小值(黑)的整个像素值范围的像素进行灰度降低处理,生成了作为相关值运算对象的低分辨率图像。
另一方面,如图5所示,本实施方式的相关值运算装置100将直方图中的像素值的上限值hist_high至下限值hist_low的范围设为有效像素值范围,并对该有效像素值范围的像素进行灰度降低处理,生成作为相关值运算对象的低分辨率图像。
通常的自然图像的图像数据存在图5所示那样的如下趋势:在直方图中的像素值的中央值附近,像素数增多,随着接近直方图中的像素值的最大值(白)或最小值(黑),像素数减少。像素数较少的像素值范围与像素数较多的像素值范围相比,不包含图像的特征性像素值分布的情况较多。
因此,如图5所示,本实施方式的像素值分布计算部5将除接近像素值的最大值(白)和最小值(黑)的范围以外的范围设为有效像素值范围,该接近像素值的最大值(白)和最小值(黑)的范围是被预测为像素数较少的范围。
将上限值hist_high设为直方图计算所使用的全部像素中的、从像素值最大的像素起依次除去HIST_HIGH_NUM个像素后而剩余的像素中的最大像素值。
将下限值hist_low设为直方图计算所使用的全部像素中的、从像素值最小的像素起依次除去HIST_LOW_NUM个像素后而剩余的像素中的最小像素值。
另外,HIST_HIGH_NUM和HIST_LOW_NUM能够通过基于软件的设定来变更数值。
通过从像素值分布范围中除去一定的像素数,像素数据的一部分缺失。但是,相关值计算的目的是判断基准块与参照块之间的相似度,因此像素值接近的像素彼此的差分信息是重要的。因此,分布在像素分布范围的最大值、最小值附近的像素数较少的像素值是对于相似性判断而言重要性低的像素,认为对相似性判断带来的影响较低。
这里,上限值hist_high和下限值hist_low也可以考虑图像所包含的随机噪声、固定模式噪声的影响来选择。
特别是,如图5所示,固定模式噪声处于成为像素值的最大值(白)和最小值(黑)的趋势。因此,仅通过将从像素值分布范围的最大值和最小值起除去一定的像素值范围后的范围设为有效像素值范围,难以针对固定模式噪声进行鲁棒的有效像素值范围的选择。
如本实施方式的像素值分布计算部5那样,通过除去一定个数的像素值较大的像素和像素值较小的像素,能够针对固定模式噪声进行鲁棒的有效像素值范围的选择。
这里,上限值hist_high和下限值hist_low可以基于根据拍摄条件(ISO感光度、快门速度、温度等)估计的固定模式噪声的产生率来进行计算。根据图像的像素数和固定模式噪声的产生数,计算相对于在直方图计算中使用的像素数的、固定模式噪声的估计像素数,并将除去该像素数后的范围设为有效像素值范围。
在将图像的像素数设为PIX_NUM,将黑点/白点的固定模式噪声的产生数分别设为FIXED_LOW_NUM、FIXED_HIGH_NUM的情况下,相对于在直方图计算中使用的像素数HIST_NUM的黑点、白点的固定模式噪声的估计像素数HIST_LOW_NUM、HIST_HIGH_NUM通过以下的式2和式3来计算。
转换系数计算部6计算用于将像素值分布计算部5所选择的有效像素值范围的像素转换为规定的灰度的转换系数。
转换系数计算部6计算像素值的相减量offset和移位量shift,作为转换系数。在将灰度降低处理后的灰度设为了6比特的情况下,像素值的相减量offset和移位量shift如以下那样计算。
首先,如以下的式4所示,将像素值的相减量offset设为由像素值分布计算部5计算出的下限值hist_low。
offset=hist_low…式4
接着,如以下的式5所示,根据上限值hist_high和下限值hist_low来计算有效像素值范围range。
range=hist_higt-hist_low…式5
最后,如以下的式6所示,根据灰度降低处理后的灰度(6比特)和有效像素值范围range,计算移位量shift。
另外,在图像数据取负值的情况下,如以下的式7所示,也可以将移位量shift计算为负值。
像素值转换部7根据转换系数计算部6计算出的转换系数,对基准块和参照块的数据进行灰度降低处理,生成作为相关值运算对象的低分辨率图像。所生成的低分辨率图像的数据被传送到相关值运算部3。
设计算相关值的基准块和参照块的块尺寸为BLOCK_SIZE、基准块的像素值为base_block[i][j]、参照块的像素值为ref_block[i][j]。这里,[i][j]表示X坐标为i、Y坐标为j的像素。
首先,如以下的式8所示,从base_block[i][j]和ref_block[i][j]中减去由转换系数计算部6计算出的offset,从而计算出base_offset[i][j]和ref_offset[i][j]。
接着,如以下的式9所示,通过使base_offset[i][j]和ref_offset[i][j]以转换系数计算部6计算出的移位量shift向右移位(逻辑移位),计算base_shift[i][j]和参照块的像素值ref_shift[i][j]。
最后,如以下的式10所示,以6比特的最大值对base_shift[i][j]和ref_shift[i][j]进行限幅,计算作为像素值转换部7的输出的base_out[i][j]和ref_out[i][j],该6比特是灰度降低处理后的灰度。
(0≤i,j<BLOCK_SIZE)…式10
接着,对相关值运算装置100的动作进行说明。
首先,对象帧数据10被存储到主存储器1。即使未将帧数据10的全部数据存储到主存储器1,也可以在将作为相关值运算对象的基准块的数据和参照块的数据存储到主存储器1的时刻,依次执行对象块的相关值运算。
作为运算对象的基准块的数据被依次存储到基准块数据存储用存储器21。此外,与作为运算对象的基准块对应的参照区域的参照块的数据被存储到参照块数据存储用存储器22。
在将作为运算对象的基准块的数据存储到基准块数据存储用存储器21的时刻,像素值分布计算部5计算直方图和上限值hist_high和下限值hist_low。计算结果被传送到转换系数计算部6。转换系数计算部6计算转换系数。
像素值转换部7根据转换系数计算部6计算出的转换系数,对基准块和参照块的数据进行灰度降低处理,生成作为相关值运算对象的低分辨率图像。像素值转换部7根据每1个像素为12比特的基准块的数据,生成每1个像素为6比特的低分辨率图像。此外同样,根据每1个像素为12比特的参照块的数据,生成每1个像素为6比特的低分辨率图像。
在生成低分辨率图像后,相关值运算部3开始对象块的相关值的运算。相关值运算部3将相关值运算的结果例如输出到运动矢量检测装置等。
在针对一个基准块的上述处理结束后,依次对下一基准块反复同样的处理,从而对帧数据10整体执行相关值运算。
每当更新基准块时,相关值运算装置100实施直方图的计算。
(实施方式的效果)
本实施方式的相关值运算装置100确定包含特征性像素值分布的有效像素值范围,并对该有效像素值范围的像素进行灰度降低处理,从而生成作为相关值运算对象的低分辨率图像。相关值运算装置100能够将尽可能地维持了图像特征的低分辨率图像用于相关值运算,从而能够削减相关值运算的电路规模,能够高速实施相关值运算。
本实施方式的相关值运算装置100计算直方图,作为像素值分布,将除接近像素值的最大值(白)和最小值(黑)的范围以外的范围设为有效像素值范围,该接近像素值的最大值(白)和最小值(黑)的范围是被预测为像素数较少的范围。能够根据准确的像素值分布,选择有效像素值范围。
此外,本实施方式的相关值运算装置100通过从有效像素值范围中除去一定个数的像素值较大的像素和像素值较小的像素,能够对噪声等进行鲁棒的有效像素值范围的选择。能够根据准确的像素值分布,选择有效像素值范围。
此外,本实施方式的相关值运算装置100仅根据块存储器所存储的基准块的数据,计算作为像素值分布的直方图。因此,在相关值运算中,能够使用不是维持基准帧的图像整体的像素值分布趋势、而是维持了局部的像素值分布趋势的低分辨率图像,从而能够根据局部的图像区域中的图像特征,求出局部的图像间的相似度。
在本实施方式的相关值运算装置100中,在相关值运算部3被构成为并列计算144个相关值的情况下,与按照12比特的灰度进行相关值运算的相关值运算部相比,按照6比特的灰度进行相关值运算的相关值运算部3能够将电路规模削减为大约一半。为了生成低分辨率图像所需的像素值分布计算部5、转换系数计算部6和像素值转换部7的电路规模与相关值运算部3的被削减的电路规模相比十分小。因此,本实施方式的相关值运算装置100能够在整体上削减电路规模。
(变形例)
以上,参照附图对本发明的一个实施方式进行了具体说明,但是具体结构不限于该实施方式,还包含不脱离本发明主旨范围的设计变更等。此外,在上述一个实施方式和以下所示的变形例中示出的结构要素能够通过适当组合而构成。
(变形例1)
例如,上述实施方式的相关值运算装置100是运算差分绝对值和(SAD)作为相关值的电路,但相关值不限于此。例如,相关值也可以是差分平方和(SSD)、归一化互相关(NCC)、或零均值归一化互相关(ZNCC)等。
(变形例2)
在上述实施方式中,块尺寸为9×9,但块尺寸不限于此。例如,可以是16x16、15×15、5×5、3×3等块尺寸,并且也可以是15×9那样的块尺寸。
(变形例3)
此外,上述实施方式的相关值运算装置100的转换系数计算部6使用了相减量offset和移位量shift,作为用于将像素数据转换为规定的灰度的转换系数,但要计算的转换系数不限于此。例如,作为像素值转换部7的输出的base_out[i][j]和ref_out[i][j]可以通过以下的式11所示的一次函数来求出。
该情况下,转换系数计算部6计算上述一次函数的斜率a和截距b作为转换系数即可。在将灰度降低处理后的灰度设为了6比特的情况下,如以下的式12所示,将截距b设为由像素值分布计算部5计算出的下限值hist_low。
b=-hist_low…式12
接着,根据与上述实施方式同样的式5,计算有效像素值范围range。最后,如以下的式13所示,根据灰度降低处理后的灰度(6比特)和有效像素值范围range,求出斜率a。
(变形例4)
此外,上述实施方式的像素值分布计算部5根据作为相关值运算对象的基准帧,计算出了一种直方图,作为像素值分布,但直方图的计算方式不限于此。例如,在图像数据如RGB或YUV那样由多个要素构成的情况下,可以按照图像数据的每个构成要素来计算直方图。
图6示出在图像数据由RGB的各要素构成的情况下在像素值分布计算部中按照RGB的每一个而生成的直方图。像素值分布计算部按照RGB的每一个掌握像素值分布趋势,并按照RGB的每一个计算上限值和下限值。转换系数计算部按照RGB的每一个计算转换系数,像素值转换部按照RGB的每一个进行灰度降低处理来生成低分辨率图像。通过按照RGB的每一个进行直方图的计算、转换系数的计算、灰度降低处理,相关值运算装置100能够更适当地生成维持了图像特征的低分辨率图像,并用于相关值运算。
(变形例5)
此外,上述实施方式的像素值分布计算部5将除接近像素值的最大值(白)和最小值(黑)的范围以外的范围设为有效像素值范围,该接近像素值的最大值(白)和最小值(黑)的范围是被预测为像素数较少的范围。但是,有效像素值范围的设定方式不限于此。例如,可以掌握像素值分布中的像素数的峰值的位置和个数来设定有效像素范围。
图7示出像素值分布中的像素数的峰值个数为两个的直方图。如图7所示,在包含物体的边界等的图像中,直方图的像素值分布中的像素数的峰值为多个的情况较多。
在峰值间隔开的情况下,峰值间的像素数较少的像素值进入有效像素值范围,该像素值被包含在灰度降低处理后的灰度中。
选择像素数较多的像素值的范围作为有效像素值范围,并对该有效像素值范围的像素进行灰度降低处理,从而生成尽可能地维持了图像特征的低分辨率图像,基于该观点,上述那样的有效像素值范围的设定不能说是优选的。
因此,在一次设定的上限值和下限值的范围内再次分割4个区间,计算具有最高的峰值的二个区间彼此的距离。在区间不相邻的情况下,且在被该区间夹着的各区间中存在阈值以内的像素数的情况下,判断为存在二个峰值,按照每个峰值设定上限值和下限值。
另外,上述内容的再分割数是一个例子,在设峰值的数量为N个的情况下,再分割的分割数也可以设为N×2+1以上。
进行这样的处理的像素值分布计算部能够将像素数较少的像素值范围可靠地从有效像素范围中除去。
产业上的可利用性
本发明能够应用于包含如下电路的装置,该电路求出图像内的特定区域间的相关值。
标号说明
100:相关值运算装置
1:主存储器
2:块存储器
21:基准块数据存储用存储器
22:参照块数据存储用存储器
3:相关值运算部
10:帧数据
11:基准帧数据
12:参照帧数据
5:像素值分布计算部
6:转换系数计算部
7:像素值转换部
Claims (7)
1.一种相关值运算装置,其运算图像内的基准块、与所述图像内或其他图像内的至少一个参照块之间的相关值,在所述相关值运算装置中,具有:
像素值分布计算部,其计算所述图像内的像素的像素值分布,并选择像素数较多的像素值的范围而作为有效像素值范围;
转换系数计算部,其计算将所述有效像素值范围的像素转换为规定的灰度的转换系数;以及
像素值转换部,其根据所述转换系数,对所述基准块内的像素和所述参照块内的像素进行灰度降低处理。
2.根据权利要求1所述的相关值运算装置,其中,
所述像素值分布计算部根据计算出的所述像素值分布,从像素值最大的像素起依次除去规定的个数的像素,或者从像素值最小的像素起依次除去规定的个数的像素,由此选择所述有效像素值范围。
3.根据权利要求2所述的相关值运算装置,其中,
所述像素值分布计算部基于噪声的产生率,确定从所述有效像素值范围中除去的像素的个数,所述噪声的产生率是根据所述图像的拍摄条件估计的。
4.根据权利要求1~3中的任意一项所述的相关值运算装置,其中,
在所述图像的一个像素由多个要素构成的情况下,所述像素值分布计算部按照每个要素计算像素值分布,并按照每个要素选择有效像素值范围。
5.根据权利要求1~4中的任意一项所述的相关值运算装置,其中,
所述像素值分布计算部根据计算出的所述像素值分布中的像素数的峰值的位置和个数,选择像素数较多的像素值的范围而作为所述有效像素值范围。
6.根据权利要求1~5中的任意一项所述的相关值运算装置,其中,
所述像素值分布计算部仅针对所述图像内的所述基准块内的像素计算所述像素值分布。
7.根据权利要求1~5中的任意一项所述的相关值运算装置,其中,
所述像素值分布计算部计算所述基准块内的像素、和所述参照块内的像素这双方像素的所述像素值分布。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/014631 WO2018189772A1 (ja) | 2017-04-10 | 2017-04-10 | 相関値演算装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110537202A true CN110537202A (zh) | 2019-12-03 |
CN110537202B CN110537202B (zh) | 2022-10-04 |
Family
ID=63792402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780089319.8A Active CN110537202B (zh) | 2017-04-10 | 2017-04-10 | 相关值运算装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10977803B2 (zh) |
CN (1) | CN110537202B (zh) |
WO (1) | WO2018189772A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113566981A (zh) * | 2021-09-26 | 2021-10-29 | 南京智谱科技有限公司 | 红外探测器的自适应调整方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018189772A1 (ja) * | 2017-04-10 | 2018-10-18 | オリンパス株式会社 | 相関値演算装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0219070A (ja) * | 1988-07-07 | 1990-01-23 | Toshiba Corp | 画像データ階調変換装置 |
JPH10222669A (ja) * | 1997-02-05 | 1998-08-21 | Sharp Corp | 位置合わせ装置 |
JP2008154251A (ja) * | 2005-03-25 | 2008-07-03 | Mitsubishi Electric Corp | 画像処理装置、画像表示装置、及び画像表示方法 |
JP2008287605A (ja) * | 2007-05-18 | 2008-11-27 | Yokogawa Electric Corp | ヒストグラム作成装置および階調設定装置 |
US20090091643A1 (en) * | 2005-06-15 | 2009-04-09 | Olympus Corporation | Image-Acquisition Apparatus |
JP2014027373A (ja) * | 2012-07-24 | 2014-02-06 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
CN104519274A (zh) * | 2013-09-27 | 2015-04-15 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
US20150235103A1 (en) * | 2014-02-17 | 2015-08-20 | Canon Kabushiki Kaisha | Distance measurement apparatus, imaging apparatus, distance measurement method and program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19549500C2 (de) * | 1994-01-21 | 2000-05-25 | Mitsubishi Electric Corp | Bewegungsvektor-Ermittlungseinrichtung |
US6944331B2 (en) * | 2001-10-26 | 2005-09-13 | National Instruments Corporation | Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching |
JP4304528B2 (ja) * | 2005-12-01 | 2009-07-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US20120075436A1 (en) * | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
US9584814B2 (en) * | 2014-05-15 | 2017-02-28 | Intel Corporation | Content adaptive background foreground segmentation for video coding |
DE112015006619T5 (de) * | 2015-07-24 | 2018-05-09 | Olympus Corporation | Bildverarbeitungsgerät, Bildverarbeitungsverfahren und Programm |
WO2018185881A1 (ja) * | 2017-04-05 | 2018-10-11 | オリンパス株式会社 | 相関値演算装置 |
WO2018189772A1 (ja) * | 2017-04-10 | 2018-10-18 | オリンパス株式会社 | 相関値演算装置 |
-
2017
- 2017-04-10 WO PCT/JP2017/014631 patent/WO2018189772A1/ja active Application Filing
- 2017-04-10 CN CN201780089319.8A patent/CN110537202B/zh active Active
-
2019
- 2019-10-02 US US16/590,537 patent/US10977803B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0219070A (ja) * | 1988-07-07 | 1990-01-23 | Toshiba Corp | 画像データ階調変換装置 |
JPH10222669A (ja) * | 1997-02-05 | 1998-08-21 | Sharp Corp | 位置合わせ装置 |
JP2008154251A (ja) * | 2005-03-25 | 2008-07-03 | Mitsubishi Electric Corp | 画像処理装置、画像表示装置、及び画像表示方法 |
US20090091643A1 (en) * | 2005-06-15 | 2009-04-09 | Olympus Corporation | Image-Acquisition Apparatus |
JP2008287605A (ja) * | 2007-05-18 | 2008-11-27 | Yokogawa Electric Corp | ヒストグラム作成装置および階調設定装置 |
JP2014027373A (ja) * | 2012-07-24 | 2014-02-06 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
CN104519274A (zh) * | 2013-09-27 | 2015-04-15 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
US20150235103A1 (en) * | 2014-02-17 | 2015-08-20 | Canon Kabushiki Kaisha | Distance measurement apparatus, imaging apparatus, distance measurement method and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113566981A (zh) * | 2021-09-26 | 2021-10-29 | 南京智谱科技有限公司 | 红外探测器的自适应调整方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US10977803B2 (en) | 2021-04-13 |
WO2018189772A1 (ja) | 2018-10-18 |
CN110537202B (zh) | 2022-10-04 |
US20200034975A1 (en) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101281650B (zh) | 用于视频稳定的快速全局运动估计方法 | |
CN106663326B (zh) | 图像处理***及计算机可读记录介质 | |
US10964000B2 (en) | Techniques for reducing noise in video | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN109118510A (zh) | 一种监控视频处理方法、装置及计算机可读介质 | |
US9230307B2 (en) | Image processing apparatus and method for generating a high resolution image | |
JP6194450B2 (ja) | 状態推定装置、プログラムおよび集積回路 | |
JP7032871B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN105931213B (zh) | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 | |
KR20100118978A (ko) | 초 해상도 비디오 프로세싱을 위한 스파스 지오메트리 | |
CN110537202A (zh) | 相关值运算装置 | |
KR20050012768A (ko) | 현재 모션 벡터를 추정하는 유닛 및 방법 | |
CN108270945A (zh) | 一种运动补偿去噪方法及装置 | |
CN108510510A (zh) | 基于梯度方向的图像边缘检测方法 | |
EP1361541A1 (en) | Process and device for global motion estimation in a sequence of images, for instance for optical mice | |
CN101616324A (zh) | 压缩编码图像的块效应去除装置 | |
US20130301928A1 (en) | Shift vector reliability determining apparatus and method | |
US6876778B2 (en) | Edge enhancement method and apparatus in digital image scalar-up circuit | |
Zhang et al. | A ViBe based moving targets edge detection algorithm and its parallel implementation | |
US20120051648A1 (en) | Pattern identification apparatus, control method and program thereof | |
CN110447052A (zh) | 相关值运算装置 | |
CN116309168A (zh) | 一种并行混合注意力渐进融合的低照度图像增强方法及*** | |
Chang et al. | Real-time Hybrid Stereo Vision System for HD Resolution Disparity Map. | |
Sosa et al. | Real-time optical-flow computation for motion estimation under varying illumination conditions | |
JP4239411B2 (ja) | 動き判定装置および動き判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |