CN102045530B - 一种基于边缘检测的运动自适应的去交织方法 - Google Patents
一种基于边缘检测的运动自适应的去交织方法 Download PDFInfo
- Publication number
- CN102045530B CN102045530B CN201010614172XA CN201010614172A CN102045530B CN 102045530 B CN102045530 B CN 102045530B CN 201010614172X A CN201010614172X A CN 201010614172XA CN 201010614172 A CN201010614172 A CN 201010614172A CN 102045530 B CN102045530 B CN 102045530B
- Authority
- CN
- China
- Prior art keywords
- point
- edge
- motion
- points
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003708 edge detection Methods 0.000 title claims abstract description 14
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 12
- 230000000750 progressive effect Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000003068 static effect Effects 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims description 6
- 230000010076 replication Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000012935 Averaging Methods 0.000 abstract description 7
- 238000003672 processing method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
Abstract
本发明涉及一种基于边缘检测的运动自适应的去交织方法，是一种电子图像处理的方法。所述方法包括如下步骤：运动检测的步骤；计算生成相关性参数的步骤；计算边缘候选方向的步骤；判断确定边缘方向的步骤；得到待插值点像素值的步骤；得到最终逐行视频的步骤。本发明首先采用运动自适应技术，将视频图像划分为静态区域和动态区域，而后对静态区域采用场复制算法得到逐行视频，对动态区域采用边缘检测的策略，实现了对边缘方向角精确的判断，对确定边缘的插值点沿边缘方向插值，对不确定或不存在边缘的插值点，采用3点ELA或6点平均算法，最终得到逐行视频。
Description
技术领域
本发明涉及一种基于边缘检测的运动自适应的去交织方法，是一种电子图像处理的方法，是一种视频图像处理的方法，是一种将隔行扫描的处理为逐行扫描的视频图像处理方法。
背景技术
现行的广播电视***有两种扫描方式：一种是逐行扫描(Progressive scanning)方式，另一种是隔行扫描(Interlaced scanning)方式。逐行扫描是在每一个Δt时间内对一幅完整的图像进行扫描，它被称为一帧。隔行扫描是将一帧图像分两场进行2:1隔行扫描。其中第一场称为奇数场，只扫描它的奇数行；而第二场称为偶数场，只扫描它的偶数行。逐行扫描的优点是图像清晰度高、图像细节细腻丰富、稳定且无行间闪烁等；缺点是需要较大的传输带宽。隔行扫描的优点是在固定带宽下用一半的数据量获得较高的刷新率，从而降低闪烁；缺点是图像垂直方向分辨率降低一半，存在行间闪烁和边缘锯齿等现象。
在很多实际应用中为了提升视频图像的质量往往需要将隔行视频转化为逐行视频，将隔行视频转化为逐行视频的技术又称为去交织(De-interlacing)技术。根据插值方式的不同可以将去交织技术分为两大类：场内(intra-field)插值去交织，场间(inter-field) 插值去交织。
场内插值是利用同一场内的象素点和插值点的相关性进行插值,它具有计算量小、实现简单的特点，是一种效率最高的去交织技术，因而被广泛的应用。主要包括：行重复法(Line repetition)、行平均法(Line average)、沿边缘插值法(Direction-dependent interpolation)。但是场内插值去交织并不能提升画面的垂直分辨率，抑致了高频信息，使图像边缘模糊，同时还存在锯齿、闪烁等现象。
场间插值是利用相邻场象素或相邻场与本场内的象素进行插值，它至少需要存储一场图像信息，这通常增加了算法的复杂度，但算法自由度的增加提升了De-interlacing的质量。主要包括：场复制法(Weave)、场间线平均法(Inter-field averaging)、垂直时域中值滤波法(Vertical-temporal median filtering)、运动自适应的去交织算法。其中场复制法和场间线平均法对图像序列中的静止区域具有很好去交织效果，但对运动区域则会产生伪像。垂直时域中值滤波法虽然隐含了对静止区域和运动区域的自适应处理，并在一定程度上提高了图像的垂直分辨率和画面质量，但垂直细节有所流失，还会引入混迭现象。运动自适应的去交织算法就是通过检测视频序列中的运动区域，将图像划分为静止区域和运动区域，而后对这两个区域采用不同的插值算法。基于运动补偿(Motion Compensation)的去交织，是一种先进的运动自适应的去交织算法，在精确计算出运动矢量的基础上可以获得很高质量的图像。尽管运动补偿去交织技术是最优的，只要给定一个运动模型，并且运动矢量可以精确的计算；但运动补偿去交织技术，设计复杂性非常高、运算量非常大、对运动矢量误差特别敏感、实时性差。高质量的去交织技术为了提升效率一般采用硬件实现，因此成本比较高。在实际应用中，为了降低开发成本，提升效率，需要研究高质量、高效率、更稳健的去交织技术。公开号CN101699856A的中国专利是我们开发设计的一种运动自适应的去交织方法，该方法在大多数情况下都可获得较好的结果，但在处理斜长边缘、特别是低角度斜长边缘时存在较大的缺陷，经处理获得的边缘容易产生锯齿现象，从而导致最终视频图像质量的下降。因此在该方法的基础上，怎样处理斜长边缘，消除锯齿是一个值得深入研究的问题。
发明内容
针对现有技术的缺陷，本发明的目的是提出一种基于边缘检测的运动自适应的去交织方法，本发明首先通过运动检测将视频划分为静止区域和运动区域，而后对运动区域中的待插值点进行边缘检测，如果是运动边缘点则进行边缘插值，否则进行平均插值，最终得到高质量的逐行视频。
本发明的目的是这样实现的：一种基于边缘检测的运动自适应的去交织方法，首先获取4场连续的视频数据，分别为前一帧奇数场、前一帧偶数场、当前帧奇数场和当前帧偶数场，对当前帧奇数场和当前帧偶数场的隔行视频数据进行插值，将其分别转化为两帧逐行视频数据，所述方法包括如下步骤：
判断待插值点是否是运动点的步骤：如果“否”则表明该点为静止点，该点的值直接由前一场相应像素值填充得到，如果“是”则进入下一步骤；
产生相关性参数，并由此产生多个候选边缘方向并确定该点是边缘点的步骤：从待插值点所处边缘的左方向和右方向依次数多个点，由多个点生成相关性参数，由此产生多个候选边缘方向并确定边缘点；
判断候选边缘是否为真正边缘的步骤：如果“否”则表明该点是非边缘运动点，直接采用ELA算法或围绕该点的6点平均得到该点象素值，如果“是”则表明是边缘运动点，进入下一步骤；
沿边缘方向插值得到待插值点像素值的步骤：对边缘运动点沿边缘方向进行方向插值得到该点的像素值；
最终得到逐行视频的步骤：由边缘运动点、非边缘运动点和静止点产生逐行视频，对边缘运动点采用边沿插值得到该点象素值，对于非边缘运动点采用ELA或6点平均的算法得到该点像素值，对于静止点采用场复制算法得到该点象素值，最终得到逐行视频。
本发明产生的有益效果是：本发明是一种高质量的去交织技术，本发明首先使用运动检测因子将待插值点区分为运动点或静止点，而后通过边缘检测算法将运动点进一步区分为边缘运动点或非边缘运动点，最后对静止点采用场复制算法进行去隔行处理，对边缘运动点采用边缘插值去隔行处理，对非边缘运动点采用ELA或6点平均去隔行处理，最终得到逐行视频。测试表明，本发明是一种高质量的去交织技术，在处理斜长边缘时，可完全消除锯齿，得到清晰、光滑、自然的边缘，达到比较完美的处理效果；在处理短边缘及其它区域时，效果同原算法相当，是一种优秀的去隔行技术，但由于采用了递归检测的算法，该方法在进行去隔行处理时，效率比原算法低。该技术也可作为其它算法和技术的一个基础辅助技术，最终达到提升效率和质量的目的。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明实施例一所述的方法的流程框图；
图2是待插值点示意图；
图3是待***点边缘方向示意图。
具体实施方式
实施例一：
本实施例是一种基于边缘检测的运动自适应的去交织方法，所述方法包括如下步骤：
判断待插值点是否是运动点的步骤：用于通过运动检测因子判断待插值点是否为运动点，如果“否”则表明该点为静止点，该点的值直接由前一场相应像素值填充得到，如果“是”则进入下一步骤；
计算生成相关性参数的步骤：这里将待插值点所处边缘的可能方向分为左方向和右方向，该步骤用于计算该点所有可能边缘的相关性参数，这些参数将用于辅助完成对该点边缘的检测；
计算候选边缘方向的步骤：用于由相关性参数计算并产生多个可能边缘方向，这些可能边缘方向将被作为候选边缘方向，进行下一步更精细边缘检测；
判断候选边缘方向是否为真正边缘方向的步骤：即通过边缘检测的技术，对所有的候选边缘方向进行检测，如果“否”则表明该点是非边缘运动点，直接采用ELA算法或6点平均得到该点象素值，如果“是”则表明是边缘运动点，进入下一步骤；
沿边缘方向插值得到待插值点像素值的步骤：用于对边缘运动点沿边缘方向进行方向插值得到该点的像素值；
最终得到逐行视频的步骤：用于由边缘运动点、非边缘运动点和静止点产生逐行视频，对边缘运动点采用边沿插值得到该点象素值，对于非边缘运动点采用ELA或6点平均的算法得到该点像素值，对于静止点采用场复制算法得到该点象素值，最终得到逐行视频；
本实施例的具体实现是这样的：首先获得4场连续的视频数据，分别为前一帧奇数场、前一帧偶数场、当前帧奇数场和当前帧偶数场，并分别记为 
,
,
,
，其中
，
分别为当前奇数场和当前偶数场。该技术最终是要将
和
两场隔行视频数据分别转化为两帧逐行视频数据，这两帧逐行视频称为奇数帧和偶数帧。对于生成的奇数帧或偶数帧来说，相对应的奇数场或偶数场数据会原封不动的放到帧内的对应行去，而奇数帧中的偶数行数据和偶数帧中的奇数行数据，是需要计算产生的，其产生的算法就是通过本发明来实现的。简单起见，这里仅描述奇数帧的产生过程，偶数帧的产生过程等同于奇数帧的产生过程。其中的各场的像素点关系，可参看示意图2，其中的涉及到的变量命名如下：
该方法首先进行运动点检测，也就是检测
的状态，是静止还是运动，这里采用如下策略:
如果同时满足上面(1)和(2)的不等式，则将
的状态标记为非边缘点，其值由
复制得到，否则该点为运动点进入下一步的处理。其中，
（相似度阈值1）和
（相似度阈值2）称为相似度阈值，
的取值区间为1至10时效果最好， 的取值区间为10至30时效果最好。
运动检测的下一步是计算运动点边缘方向上的相关性参数，待插值点的边缘方向如图3所示。相关性参数是待插值点上一行和下一行沿某一方向相应像素值差的绝对值之和，遍历这些相关性参数，将左侧2个和右侧2个最小值参数所在的方向作为候选边缘方向，这里将该点左侧分为5个方向，各方向相关性参数的计算公式为：
其中
同样的，计算右侧5个方向的相关性参数，计算公式为：
其中
垂直方向上的相关性参数，计算公式为：
相关性参数计算之后，需要进行的就是候选方向的确定。实际上，只有在边缘方向上才能得到最小的相关性参数，因此候选方向应该从小的相关性参数所在的方向上选取。这里使用了如下方法：遍历左侧所有的相关性参数，找到其中的最小值和次最小值，并分别记录其方向
和；遍历右侧所有的相关性参数，找出其中的最小值
和次最小值
，并分别记录其方向
和
，并将这4个方向和垂直方向一起作为候选边缘方向。如果
且 
，则该表明该点边缘方向为垂直方向，待插值点采用ELA算法产生（ELA是已知算法，在公开号CN101699856A的中国专利中有详细的描述），并将该点标记为非边缘点；否则该点存在左边缘防向或右边缘方向，将该点标记为边缘点。
下一步是完成对候选方向的校正及确定。从所有候选方向中具有最小相关性参数的方向出发，沿其所在方向寻找查下下一行相应位置的像素，如果此像素是边缘点，则沿此方向继续查找，如果连续查找多行，都能在此方向上找到边缘点，则表明该方向就是真正的边缘方向，对该方向的待插值点进行边缘方向滤波插值，否则，则表明该方向不是此边缘的方向，需要其他3个候选方向进行上述检测，它们的检测顺序是，同一侧的另一个候选方向，另一侧最小相关性参数对应的方向，另一侧另一候选方向。如果存在2个以上的方向满足条件，则表明该点的边缘方向难以确定，采用ELA算法或上下6点平均算法得到待插值点的像素值；如果所有方向都不满足条件，则表明该点不存在边缘方向，采用6点平均算法得到待插值点的像素值，最终完成边缘方向的确定。
更具体的是首先从最小的相关性参数入手，即比较
和
.如果
<
,则沿
方向寻找查看下一行位于
、
、
的像素，如果这三个位置的像素至少有一个是边缘点，则沿此方向继续查找，如果连续查找多行（通常可设为3-8行），都能在此方向上找到边缘点，则表明该方向就是真正的边缘方向，对该方向的待插值点进行边缘方向滤波插值。否则，则表明该方向不是此边缘的方向，对
方向完成上述的检测。如果
也不是其边缘方向，则继续对
、
完成相同的计算。如果存在2个以上的方向满足条件，则表明该点的边缘方向难以确定，采用ELA算法或上下6点平均算法得到待插值点的像素值；如果所有方向都不满足条件，则表明该点不存在边缘方向，采用6点平均算法得到待插值点的像素值。如果
<
，则按照
、
、
、
的顺序完成上述边缘方向的确定工作。
最终，通过对所有候选方向的检测处理，完成了对所有待插值点的计算，得到最终的逐行视频。
最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如增加判断的级别，或用其他方式进行运动点差值等等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。
Claims (6)
1.一种基于边缘检测的运动自适应的去交织方法，首先获取4场连续的视频数据，分别为前一帧奇数场、前一帧偶数场、当前帧奇数场和当前帧偶数场，对当前帧奇数场和当前帧偶数场的隔行视频数据进行插值，将其分别转化为两帧逐行视频数据，其特征在于，所述方法包括如下步骤：
判断待插值点是否是运动点的步骤：如果“否”则表明该点为静止点，该点的值直接由前一场相应像素值填充得到，如果“是”则进入下一步骤；
产生相关性参数，并由此产生多个候选边缘方向并确定该点是边缘点的步骤：从待插值点所处边缘的左方向和右方向依次数多个点，由多个点生成相关性参数，由此产生多个候选边缘方向并确定边缘点；
判断候选边缘是否为真正边缘的步骤：如果“否”则表明该点是非边缘运动点，直接采用ELA算法或围绕该点的6点平均得到该点像素值，如果“是”则表明是边缘运动点，进入下一步骤；
沿边缘方向插值得到待插值点像素值的步骤：对边缘运动点沿边缘方向进行方向插值得到该点的像素值；
最终得到逐行视频的步骤：由边缘运动点、非边缘运动点和静止点产生逐行视频，对边缘运动点采用边沿插值得到该点像素值，对于非边缘运动点采用ELA或6点平均的算法得到该点像素值，对于静止点采用场复制算法得到该点像素值，最终得到逐行视频。
2.根据权利要求1所述的一种基于边缘检测的运动自适应的去交织方法，其特征在于，所述判断待插值点是否是运动点的步骤是：如果满足
其中，
3.根据权利要求2所述的一种基于边缘检测的运动自适应的去交织方法，其特征在于，所述相似度阈值1的取值区间是1至10，相似度阈值2的取值区间为10至30。
4.根据权利要求1所述的一种基于边缘检测的运动自适应的去交织方法，其特征在于，所述产生相关性参数，并由此产生多个候选边缘方向的步骤是：相关性参数是待插值点上一行和下一行沿某一方向相应像素值差的绝对值之和，遍历这些相关性参数，将左侧2个和右侧2个最小值参数所在的方向作为候选边缘方向。
5.根据权利要求1所述的一种基于边缘检测的运动自适应的去交织方法，其特征在于，所述判断候选边缘方向是否为真正边缘方向的步骤是：从所有候选方向中具有最小相关性参数的方向出发，沿其所在方向寻找查下下一行相应位置的像素，如果此像素是边缘点，则沿此方向继续查找，如果连续查找多行，都能在此方向上找到边缘点，则表明该方向就是真正的边缘方向，对该方向的待插值点进行边缘方向滤波插值，否则，则表明该方向不是此边缘的方向，需要其他3个候选方向进行上述检测，它们的检测顺序是，同一侧的另一个候选方向，另一侧最小相关性参数对应的方向，另一侧另一候选方向，如果存在2个以上的方向满足条件，则表明该点的边缘方向难以确定，采用ELA算法或上下6点平均算法得到待插值点的像素值；如果所有方向都不满足条件，则表明该点不存在边缘方向，采用6点平均算法得到待插值点的像素值，最终完成边缘方向的确定。
6.根据权利要求5所述的一种基于边缘检测的运动自适应的去交织方法，其特征在于，所述多行是3至8行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010614172XA CN102045530B (zh) | 2010-12-30 | 2010-12-30 | 一种基于边缘检测的运动自适应的去交织方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010614172XA CN102045530B (zh) | 2010-12-30 | 2010-12-30 | 一种基于边缘检测的运动自适应的去交织方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102045530A CN102045530A (zh) | 2011-05-04 |
| CN102045530B true CN102045530B (zh) | 2012-05-23 |
Family
ID=43911245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010614172XA Active CN102045530B (zh) | 2010-12-30 | 2010-12-30 | 一种基于边缘检测的运动自适应的去交织方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102045530B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101773616B1 (ko) * | 2011-05-16 | 2017-09-13 | 엘지디스플레이 주식회사 | 영상처리방법과 이를 이용한 입체영상 표시장치 |
| CN102946504B (zh) * | 2012-11-22 | 2015-02-18 | 四川虹微技术有限公司 | 一种基于边缘检测的自适应运动检测方法 |
| CN104580975B (zh) * | 2013-10-10 | 2018-03-30 | 无锡华润矽科微电子有限公司 | 一种自适应插值场内去隔行方法 |
| WO2016154970A1 (zh) * | 2015-04-01 | 2016-10-06 | 中国科学院自动化研究所 | 基于边缘检测的图像插值方法及*** |
| CN106027943B (zh) * | 2016-07-11 | 2019-01-15 | 北京大学 | 一种视频去隔行方法 |
| CN107071326B (zh) * | 2017-04-26 | 2020-01-17 | 西安诺瓦星云科技股份有限公司 | 视频处理方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100571333C (zh) * | 2007-04-04 | 2009-12-16 | 华为技术有限公司 | 一种视频图像处理的方法及其装置 |
| CN101309385B (zh) * | 2008-07-09 | 2010-09-08 | 北京航空航天大学 | 一种基于运动检测的去隔行处理方法 |
| CN101640783B (zh) * | 2008-07-30 | 2011-07-27 | 展讯通信（上海）有限公司 | 去隔行的像素点插值方法及其装置 |
-
2010
- 2010-12-30 CN CN201010614172XA patent/CN102045530B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102045530A (zh) | 2011-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kang et al. | Motion compensated frame rate up-conversion using extended bilateral motion estimation | |
| KR101536794B1 (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
| CN102045530B (zh) | 一种基于边缘检测的运动自适应的去交织方法 | |
| US6473460B1 (en) | Method and apparatus for calculating motion vectors | |
| JP3836159B2 (ja) | エッジ相関を用いてインタレース動画をプログレッシブ動画に変換するシステム | |
| US20100309372A1 (en) | Method And System For Motion Compensated Video De-Interlacing | |
| US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
| JP2004007696A (ja) | インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム | |
| CN101699856B (zh) | 一种运动自适应的去交织方法 | |
| KR20080008952A (ko) | 초해상도 기술을 이용한 비비월주사의 방법 및 시스템 | |
| US20090219439A1 (en) | System and Method of Deinterlacing Interlaced Video Signals to Produce Progressive Video Signals | |
| KR100422575B1 (ko) | 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법 | |
| JP5350501B2 (ja) | 映像処理装置及び映像処理方法 | |
| Chen et al. | True motion-compensated de-interlacing algorithm | |
| US7548663B2 (en) | Intra-field interpolation method and apparatus | |
| CN101309376B (zh) | 去隔行方法和装置 | |
| CN111294545B (zh) | 图像数据插值方法及装置、存储介质、终端 | |
| TWI471010B (zh) | 一種具有移動補償的解交錯影像處理裝置及其相關方法 | |
| Yang et al. | Fine edge-preserving deinterlacing algorithm for progressive display | |
| US7233363B2 (en) | De-interlacing method, apparatus, video decoder and reproducing apparatus thereof | |
| US8115865B2 (en) | De-interlacing system with an adaptive edge threshold and interpolating method thereof | |
| JP2015095702A (ja) | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 | |
| CN105611214A (zh) | 一种基于多方向检测的线性插值场内去隔行方法 | |
| JP4910579B2 (ja) | 画像信号処理装置、画像信号処理方法、およびプログラム | |
| Zhang et al. | An efficient motion adaptive deinterlacing algorithm using improved edge-based line average interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |