CN114092407A - 一种视频会议共享文档清晰化处理方法和装置 - Google Patents

一种视频会议共享文档清晰化处理方法和装置 Download PDF

Info

Publication number
CN114092407A
CN114092407A CN202111243534.3A CN202111243534A CN114092407A CN 114092407 A CN114092407 A CN 114092407A CN 202111243534 A CN202111243534 A CN 202111243534A CN 114092407 A CN114092407 A CN 114092407A
Authority
CN
China
Prior art keywords
sharpening
edge
strength
image
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111243534.3A
Other languages
English (en)
Inventor
黄慧林
白刚
杜桂瑜
赵兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sailian Information Technology Co ltd
Original Assignee
Shanghai Sailian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sailian Information Technology Co ltd filed Critical Shanghai Sailian Information Technology Co ltd
Priority to CN202111243534.3A priority Critical patent/CN114092407A/zh
Publication of CN114092407A publication Critical patent/CN114092407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明的实施方式提供了一种视频会议共享文档清晰化处理的方法。该方法包括：基于YUV格式视频图像数据提取亮度分量；基于所述亮度分量进行去噪以得到去噪图像；对所述去噪图像进行边缘信息提取；基于所述边缘信息获取锐化强度；对所述去噪图像进行前景与背景的分割；基于所述锐化强度与前景信息对所述去噪图像进行锐化。通过对视频会议中的共享文档的进行锐化处理，使用户获得更佳的视觉效果，为用户带来了更好的体验，更加的契合用户的需求。此外，本发明的实施方式提供了一种视频会议共享文档清晰化处理的装置。

Description

一种视频会议共享文档清晰化处理方法和装置
技术领域
本发明的实施方式涉及视频通信技术领域，更具体地，本发明的实施方式涉及一种视频会议共享文档清晰化处理方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，基于互联网的视频通信技术得到了广泛的应用。屏幕共享功能在视频会议的众多功能中是使用较为频繁的功能，在日常会议以及远程培训中，屏幕共享都是不可或缺的一大功能。但是由于在数据传输中的有损压缩，导致接收端共享文档中文字存在边缘模糊、残影等现象，导致字体发虚。为改善用户的视觉体验质量，需要对共享画面进行锐化增强，从而使得共享画面显得棱角分明、字体清晰。
由于视频的有损压缩传输，会导致接收到的共享文档或屏幕存在一定的artifacts，若直接进行锐化增强会放大这些artifacts，导致视觉效果下降。同时由于共享文档主要聚焦于文字，而文字的特点在于急剧的边缘变化，传统的锐化方法会导致明显的过冲现象，在一定区域内，文字周边产生明显的白边，导致画面质量的严重下降。
本发明设计了一个视频会议共享文档实时清晰化处理的方法和装置，对接收到文档进行平滑去噪，去噪时注意保持文字的边缘；基于去噪图像进行前景和背景的分割，其中前景是需要增强的部分(比如文字，图像的边缘)；基于去噪图像获取高频部分，依据设定阈值划分细节区域和文字边缘区域，并结合前景图像逐像素获得锐化强度；对去噪图像进行边缘锐化；结合共享文档同一页面帧间不变性实现视频会议中共享屏幕及文档实时清晰化，使用户获得更佳的视觉效果。
发明内容
本发明的目的在于针对视频会议中共享文档，提供一种可行的实时清晰化方案。通过对文档进行保边去噪、前景背景分割、前景高频部分锐化增强，以及视频会议中同一页面文档帧间不变关系，实现文档清晰化。出于目前存在的没有主要针对共享屏幕及文档的实时锐化增强技术以及已有的锐化增强技术直接应用于共享屏幕及文档会导致明显的过冲现象，在一定区域内，文字周边产生明显的白边这些缺陷，因此非常需要一种改进的对文档实时进行清晰化处理的技术方案，以解决上述存在的问题。
在本上下文中，本发明的实施方式期望提供一种文档清晰化处理方法和装置。
在本发明实施方式的第一方面中，提供了一种视频会议共享文档清晰化处理方法，包括：基于所述YUV格式视频图像数据提取亮度分量；基于所述亮度分量进行去噪以得到去噪图像；对所述去噪图像进行边缘信息提取；基于所述边缘信息获取锐化强度；对所述去噪图像进行前景与背景的分割；基于所述锐化强度与前景信息对所述去噪图像进行锐化。
在本发明的一个实施例中，所述基于所述文字区域提取亮度分量包括：基于每一帧图像数据提取待处理区域的亮度分量。
在本发明的另一个实施例中，所述基于所述亮度分量对进行去噪以得到去噪图像包括：采用双边滤波的方式对所述亮度分量进行平滑滤波以得到所述去噪图像；所述双边滤波包括空间距离参数和灰度距离参数。
在本发明的又一个实施例中，所述对所述去噪图像进行边缘信息获取包括：基于所述去噪图像获取低频图像；所述去噪图像与所述低频图像之差为所述边缘信息。
在本发明的再一个实施例中，所述基于所述去噪图像获取低频图像包括：对所述去噪图像进行高斯模糊处理得到所述低频图像。
在本发明的再一个实施例中，所述基于获取的所述边缘信息获取锐化强度包括：基于所述边缘的正负信息将边缘划分为白色边缘和/或黑色边缘；对所述白色边缘和/或所述黑色边缘设置不同的增强系数；基于所述增强系数和所述边缘强度获取所述锐化强度。
在本发明的再一个实施例中，所述基于所述增强系数和所述边缘强度获取所述锐化强度包括：当所述去噪图像划分为白色边缘时，当所述边缘强度大于零且小于第一阈值时，此时锐化强度为零；当所述边缘强度大于等于第一阈值且小于第二阈值时，所述增强系数为第一增强系数，此时锐化强度为第一增强系数与边缘强度的乘积；当所述边缘强度大于等于第二阈值且小于第三阈值时，所述增强系数为第二增强系数，此时锐化强度为第二增强系数与边缘强度的乘积；当所述边缘强度大于等于第三阈值且小于第四阈值时，所述增强系数为第三增强系数，此时锐化强度为第三增强系数与边缘强度的乘积；当所述边缘强度大于等于第四阈值时，此时锐化强度为所述第四阈值。
在本发明的再一个实施例中，所述基于所述增强系数和所述边缘强度获取所述锐化强度包括：当所述去噪图像划分为黑色边缘时，当所述边缘强度大于第五阈值且小于零时，此时锐化强度为零；当所述边缘强度大于第六阈值且小于等于第五阈值时，所述增强系数为第四增强系数，此时锐化强度为第四增强系数与边缘强度的乘积；当所述边缘强度大于第七阈值且小于等于第六阈值时，所述增强系数为第五增强系数，此时锐化强度为第五增强系数与边缘强度的乘积；当所述边缘强度大于第八阈值且小于等于第七阈值时，所述增强系数为第六增强系数，此时锐化强度为第六增强系数与边缘强度的乘积；当所述边缘强度小于等于第八阈值时，此时锐化强度为所述第八阈值。
在本发明的再一个实施例中，所述对去噪图像进行前景与背景的分割包括：对锐化强度大于第九阈值的像素点在给定窗口内进行灰度值统计；将统计中值作为该区域背景值；若当前像素值与所述背景值差值的绝对值大于预设值，则该像素为前景点，否则为背景点；对锐化强度不大于第九阈值的像素默认为需要进行增强的前景点。
在本发明的再一个实施例中，所述基于所述锐化强度与前景信息对去噪图像进行锐化包括：将所述背景中各个像素点对应的锐化强度置零；将所述去噪图像各像素点与对应的锐化强度值相加，实现对去噪图像进行锐化。
在本发明的再一个实施例中，所述方法还包括：对所述视频的当前帧图像判断是否为首帧图像；对首帧图像则执行以上所述清晰化处理流程；对非首帧图像进行N方区域划分；判断每一区域与前一帧对应区域的内容是否发生变化；若所述区域发生变化，则对该区域执行以上所述清晰化处理流程；若所述区域未发生变化，则直接使用前一帧锐化结果对该区域进行锐化。
在本发明实施方式的第二方面中，提供了一种视频会议共享文档清晰化处理的装置，该装置包括：提取模块，用于基于YUV格式视频图像数据提取亮度分量；去噪模块，用于基于所述亮度分量进行去噪以得到去噪图像；获取边缘信息模块，用于对所述去噪图像进行边缘信息获取；获取锐化强度模块，用于基于所述边缘信息获取锐化强度；分割模块，用于对所述去噪图像进行前景与背景的分割；锐化模块，用于基于所述锐化强度与前景信息对所述去噪图像进行锐化。
在本申请的一个实施例中，所述提取模块包括：用于基于每一帧图像数据提取待处理区域的亮度分量的单元。
在本申请的另一个实施例中，所述去噪模块包括：用于采用双边滤波的方式对所述亮度分量进行平滑滤波以得到所述去噪图像的模块；所述双边滤波包括空间距离参数和灰度距离参数。
在本申请的又一个实施例中，所述对去噪图像进行边缘信息获取包括：基于所述去噪图像获取低频图像；所述去噪图像与所述低频图像之差为所述边缘信息。
在本申请的再一个实施例中，所述用于基于所述去噪图像获取低频图像的模块包括：用于对所述去噪图像进行高斯模糊处理得到所述低频图像的单元。
在本申请的再一个实施例中，所述获取锐化强度模块包括：用于基于所述边缘的正负信息将边缘划分为白色边缘和/或黑色边缘的单元；用于对所述白色边缘和/或所述黑色边缘设置不同的增强系数的单元；用于基于所述增强系数和所述边缘强度获取所述锐化强度的单元。
在本申请的再一个实施例中，所述用于基于所述增强系数和所述边缘强度获取所述锐化强度的模块包括：当所述去噪图像划分为白色边缘时，用于当所述边缘强度大于零且小于第一阈值时，此时锐化强度为零的单元；用于当所述边缘强度大于等于第一阈值且小于第二阈值时，所述增强系数为第一增强系数，此时锐化强度为第一增强系数与边缘强度的乘积的单元；用于当所述边缘强度大于等于第二阈值且小于第三阈值时，所述增强系数为第二增强系数，此时锐化强度为第二增强系数与边缘强度的乘积的单元；用于当所述边缘强度大于等于第三阈值且小于第四阈值时，所述增强系数为第三增强系数，此时锐化强度为第三增强系数与边缘强度的乘积的单元；用于当所述边缘强度大于等于第四阈值时，此时锐化强度为所述第四阈值的单元。
在本申请的再一个实施例中，所述用于基于所述增强系数和所述边缘强度获取所述锐化强度的模块包括：当所述去噪图像划分为黑色边缘时，用于当所述边缘强度大于第五阈值且小于零时，此时锐化强度为零的单元；用于当所述边缘强度大于第六阈值且小于等于第五阈值时，所述增强系数为第四增强系数，此时锐化强度为第四增强系数与边缘强度的乘积的单元；用于当所述边缘强度大于第七阈值且小于等于第六阈值时，所述增强系数为第五增强系数，此时锐化强度为第五增强系数与边缘强度的乘积的单元；用于当所述边缘强度大于第八阈值且小于等于第七阈值时，所述增强系数为第六增强系数，此时锐化强度为第六增强系数与边缘强度的乘积的单元；用于当所述边缘强度小于等于第八阈值时，此时锐化强度为所述第八阈值的单元。
在本申请的再一个实施例中，所述用于对所述分割模块包括：用于对锐化强度大于第九阈值的像素点在给定窗口内进行灰度值统计的单元；用于将统计中值作为该区域背景值的单元；用于若当前像素值与所述背景值差值的绝对值大于预设值，则该像素为前景点，否则为背景点的单元；用于对锐化强度不大于第九阈值的像素默认为需要增强的前景点的单元。
在本申请的再一个实施例中，在所述锐化模块包括：用于基于所述背景和前景的分割结果以及所述锐化强度对所述去噪图像的前景进行锐化增强处理的单元。
在本申请的再一个实施例中，所述装置还包括：用于对所述视频的当前帧图像判断是否为首帧图像的模块；用于对首帧图像则执行所述清晰化处理流程的模块；用于非首帧图像进行N方区域划分的模块；用于判断每一区域与前一帧对应区域的内容是否发生变化的模块；用于若所述区域发生变化，则对该区域所述清晰化处理流程的模块；用于若所述区域未发生变化，则直接使用前一帧锐化结果对该区域进行锐化的模块。
根据本发明实施方式的一种文档清晰化处理方法和装置，对接收到文档进行平滑去噪,去噪时注意保持文字的边缘；基于去噪图像获取高频部分，依据设定阈值划分细节区域和文字边缘区域，并结合前景图像逐像素获得锐化强度；基于去噪图像进行前景和背景的分割，其中前景是需要增强的部分(比如文字)；结合锐化强度和前景信息对去噪图像进行边缘锐化；结合视频会议同一页面的共享文档帧间不变性实现共享屏幕及文档实时清晰化，使用户获得更佳的视觉效果，为用户带来了更好的体验。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的用于实现文档清晰度处理的方法流程图；
图2示意性地示出了根据本发明另一实施例的用于实现视频会议共享文档清晰化处理的方法流程图；
图3示意性地示出了根据本发明又一实施例的用于实现文档清晰化处理的方法流程图；
图4示意性地示出了根据本发明再一实施例的文字边缘特征及其锐化示意图；
图5示意性地示出了根据本发明实施方式的用于实现文档清晰度处理的装置示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种视频会议共享文档清晰化处理的方法和装置。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的视频图像锐化技术存在以下缺陷：没有主要针对视频会议中共享屏幕及文档的实时锐化增强技术以及已有的锐化增强技术直接应用于共享屏幕及文档会导致明显的过冲现象，在一定区域内，文字周边产生明显的白边，不能更好的契合用户的需求。
为了克服现有技术存在的问题，本发明提供了一种文档清晰化处理方法和装置，该方法包括以下步骤：基于YUV格式视频图像数据提取亮度分量；基于所述亮度分量进行去噪以得到去噪图像；对去噪图像进行边缘信息提取；基于获取的所述边缘信息获取锐化强度；基于去噪图像进行前景与背景的分割；基于所述锐化强度对所述去噪图像进行锐化。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例可以应用于视频会议过程中共享屏幕上的文档，然而，本领域技术人员完全可以理解，本发明实施方式的适用场景不受到该框架任何方面的限制。
示例性方法
下面结合应用场景，参考图1-5来描述根据本发明示例性实施方式的用于实现视频会议共享文档清晰化处理的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
参考图1和图3，示意性的示出了根据本发明一个实施例的用于实现文档清晰化处理的方法流程图。该方法包括以下步骤：
S100、基于YUV格式视频图像数据提取亮度分量。
作为示例，基于每一帧图像数据提取待处理区域的亮度分量。通过对亮度分量的提取可以避免由于文档中出现的颜色等分量对后续对文档进行锐化的影响。
S110、基于所述亮度分量进行去噪以得到去噪图像。
作为示例，采用双边滤波的方式对所述亮度分量进行平滑滤波以得到所述去噪图像，其中所述双边滤波包括空间距离参数和灰度距离参数。具体地，在通过共享屏幕的方式共享文档时，由于文档的共享是采用视频编码技术，有损压缩后传输给远端，远端解码后呈现。在这个过程中由于视频的有损压缩传输，会导致接收到的共享屏幕及文档存在一定的artifacts。在锐化增强时，这部分artifacts会被放大，导致视觉体验下降，因而需要先对其进行平滑去噪。而共享屏幕及文档清晰化需要锐化边缘，因此去噪过程选择双边滤波，以保持图像的边缘。
双边滤波空间距离和灰度距离的参数设置：考虑到平滑滤波会导致图像的模糊化，因而双边滤波的空间域滤波直径不能过大，一般选择3-5。考虑到文字的像素点与背景点的高对比度，其颜色域的灰度距离可以取较大值，一般选择50-80。
S120、对去噪图像进行边缘信息提取。
作为示例，基于所述去噪图像获取低频图像，所述去噪图像与所述低频图像之差为所述边缘信息，其中对所述去噪图像进行高斯模糊处理得到所述低频图像。具体地例子，取半径为r(r取值为1-3)对去噪图像IF进行高斯模糊处理，得到低频图像IL，其中二维高斯分布函数：
Figure BDA0003320039560000091
式中x,y分别表示当前像素分别在X，Y方向上距离中心像素的距离，r＝x2+y2。σ表示正态分布标准差。
去噪图像IF(i,j)与低频图像IL(i,j)之差即为边缘强度IH(i,j)，也即
IH(i,j)＝IF(i,j)-IL(i,j)，
Figure BDA0003320039560000092
式中h(i,j)表示高斯滤波核。
基于去噪图像而非原图以获取高频分量，可以有效的去除噪音的影响，避免噪音部分的放大，特别是对噪音非常敏感的平坦纹理区域。
S130、基于所述边缘信息获取锐化强度。
作为示例，由于人眼对低亮度区域和高亮度区域亮度变化的敏感性不同，基于所述边缘强度的正负信息对所述去噪图像划分为白色边缘和/或黑色边缘，其中当边缘强度大于零时，为白色边缘，当边缘强度小于零时为黑色边缘。对所述白色边缘和/或所述黑色边缘设置不同的增强系数，基于所述增强系数和所述边缘强度获取所述锐化强度，基于所述锐化强度对所述去噪图像进行锐化。
具体为，当所述去噪图像划分为白色边缘时，当所述边缘强度大于零且小于第一阈值时，此时锐化强度为零；当所述边缘强度大于等于第一阈值且小于第二阈值时，所述增强系数为第一增强系数，此时锐化强度为第一增强系数与边缘强度的乘积；当所述边缘强度大于等于第二阈值且小于第三阈值时，所述增强系数为第二增强系数，此时锐化强度为第二增强系数与边缘强度的乘积；当所述边缘强度大于等于第三阈值且小于第四阈值时，所述增强系数为第三增强系数，此时锐化强度为第三增强系数与边缘强度的乘积；当所述边缘强度大于等于第四阈值时，此时锐化强度为所述第四阈值。
更具体地，根据图像的细节程度，设置阈值分别对黑色边缘和白色色边缘进行分类并进行不同的幅值增强：
白色边缘：
1)0<IH(i，j)<WT0:噪声/文本的细节纹理，不需要增强，IH′(i,j)＝0
2)WT0≤IH(i，j)<WT1:较大的文本细节区域，设置较小的增强系数wk1,IH′(i,j)＝wk1*IH(i,j)
3)WT1≤IH(i，j)<WT2:较为模糊的文字边缘，设置较大的增强系数wk2，IH′(i,j)＝wk2*IH(i,j)
4)WT2≤IH(i，j)<WT3:较为清晰的文字边缘，设置较小的增强系数wk3，IH′(i,j)＝wk3*IH(i,j)
5)IH(i，j)≥WT3:清晰的文字边缘区域，需要抑制增强幅度,IH′(i,j)＝wT3
其中wT0为第一阈值，最佳取值范围2-4，wT1为第二阈值，取值范围4-7，wT2为第三阈值，取值范围10-15,wT3为第四阈值，取值范围30-40；wk1为第一系数，取值范围0.5-1，wk2为第二系数，取值范围1.5-2，wk3为第三系数，取值范围0.7-1。IH′(i,j)为锐化强度。
黑色边缘：
1)bT0<IH(i，j)<0:噪声/文本的细节纹理，不需要增强，IH′(i,j)＝0
2)bT1<IH(i，j)≤bT0:较大的文本细节区域，设置较小的增强系数bk1,IH′(i,j)＝bk1*IH(i,j)
3)bT2<IH(i，j)≤bT1:较为模糊的文字边缘，设置较大的增强系数bk2,IH′(i,j)＝bk2*IH(i,j)
4)bT3<IH(i，j)≤bT2:较为清晰的文字边缘，设置较小的增强系数bk3，IH′(i,j)＝bk3*IH(i,j)
5)IH(i，j)≤bT3:清晰的文字边缘区域，需要抑制增强幅度,IH′(i,j)＝bT3
其中bT0为第五阈值，最佳取值范围-2--4，bT1为第六阈值，取值范围-4--10，bT2为第七阈值，取值范围-18--25,bT3为第八阈值，取值范围-40--50,第四增强系数bk1取值范围0.5-1，第五bk2取值范围1.5-2，第六bk3取值范围0.7-1。取值时注意wk<bk。
基于以上操作即可获取各像素的锐化强度值。
S140、基于去噪图像进行前景与背景的分割。
对于共享屏幕及文档，用户所关注的是图像中的文字区域，对于文字锐化示意图如图4所示，图4a以黑色文字为例，白色文字与黑色文字相反。如图4b直接采用USM方法对其进行锐化，会对背景边缘过度锐化增强，形成明显的白边，如图4c所示，本申请所述的在增强锐化后的情况是只对文字部分(即前景部分)锐化增强(即文字加黑)，而避免背景边缘的锐化增强。为实现上述效果，需要对文本图像的背景、前景进行分割。文本图像的一大特征为，背景区域灰度值波动和前景区域灰度值波动很小，经由对大量文本图像灰度统计特征分析，文本图像在一定区域内具有确定的灰度分化特征：背景灰度值分布和前景(文本像素)灰度值分布处于两个不同的灰度值区域，其中在灰度直方图内统计值占绝对优势的即可确定为背景值，也即在直方图中那个灰度区间的像素点越多则该像素点的数量为背景值。
具体为，对锐化强度大于第九阈值的像素点在给定窗口内进行灰度值统计；将统计中值作为该区域背景值；若当前像素值与所述背景值差值的绝对值大于预设值，则该像素为前景点；对锐化强度不大于第九阈值的像素默认为前景点。
更具体地，结合获取的锐化强度，对锐化强度大于设定阈值DiffT的像素在确定窗口范围内(窗口直径11-21)进行灰度值统计，统计中值作为背景值，实现该像素前景和背景的分割：若当前像素值与背景值差值绝对值大于预设值T(一般取10-15)，该像素为前景点，否则为背景点；锐化强度不大于设定阈值DiffT的像素，则默认为需要进行增强前景点。通过对前景和背景的划分可以确定出哪里是文字部分(也即需要锐化加强的部分)，通过对已经锐化过的文字部分再次进行锐化增强可以使得文档中的文字部分可以更加的清晰。
S150、基于所述锐化强度与前景信息对所述去噪图像进行锐化。
基于上述计算出的各像素的锐化强度值对去噪图像进行锐化，锐化强度值大的即锐化的程度就高，锐化强度小的即锐化程度低。
将背景区域像素点的锐化强度值IH′(i,j)置为0，将上述的去噪图像个像素点与对应像素点求取的锐化强度值IH′(i,j)相加，即可获得清晰化文档。
如图2所示，再一个实施例，视频会议中共享文档在一定时间内具有帧间图像内容的不变性，当文档翻页时，图像内容发生突变。为了简化操作流程提高锐化效率，当接收到当前帧图像时，判断当前帧图像是否为首帧图像，如果确认当前帧图像是首帧图像，则直接对该图像执行S100-S150所述清晰化处理流程，如果确定当前帧不是首帧图像，则对当前帧图像进行n*n区域划分，判断每一区域与前一帧对应区域的图像内容变化，若该区域内容发生变化，则对该区域执行S100-S150清晰化处理流程，实现该区域锐化增强；否则该区域锐化结果与前一帧锐化结果相同，可以直接使用前一帧对应区域锐化结果。这样可以避免重复的对相同帧画面进行多次的锐化，提高锐化效率。
本申请通过对接收到共享屏幕及文档进行平滑去噪,去噪时注意保持文字的边缘；基于去噪图像获取高频部分，依据设定阈值划分细节区域和文字边缘区域，并结合前景图像逐像素获得锐化强度；基于去噪图像进行前景和背景的分割，其中前景是需要增强的部分(比如文字)；对去噪图像进行边缘锐化；结合共享文档帧间不变性实现共享屏幕及文档实时清晰化，使用户获得更佳的视觉效果。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图5对本发明示例性实施方式的用于实现文档清晰化处理的装置示意图，该装置包括以下模块：
提取模块500、用于基于YUV格式视频图像数据提取亮度分量。
作为示例，基于每一帧图像数据提取待处理区域的亮度分量。通过对亮度分量的提取可以避免由于文档中出现的颜色等分量对后续对文档进行锐化的影响。
去噪模块510、用于基于所述亮度分量进行去噪以得到去噪图像。
作为示例，采用双边滤波的方式对所述亮度分量进行平滑滤波以得到所述去噪图像，其中所述双边滤波包括空间距离参数和灰度距离参数。具体地，在通过共享屏幕的方式共享文档时，由于文档的共享是采用视频编码技术，有损压缩后传输给远端，远端解码后呈现。在这个过程中由于视频的有损压缩传输，会导致接收到的共享屏幕及文档存在一定的artifacts。在锐化增强时，这部分artifacts会被放大，导致视觉体验下降，因而需要先对其进行平滑去噪。而共享屏幕及文档清晰化需要锐化边缘，因此去噪过程选择双边滤波，以保持图像的边缘。
双边滤波空间距离和灰度距离的参数设置：考虑到平滑滤波会导致图像的模糊化，因而双边滤波的空间域滤波直径不能过大，一般选择3-5。考虑到文字的像素点与背景点的高对比度，其颜色域的灰度距离可以取较大值，一般选择50-80。
获取边缘信息模块530、用于对去噪图像进行边缘信息提取。
作为示例，基于所述去噪图像获取低频图像，所述去噪图像与所述低频图像之差为所述边缘强度，其中对所述去噪图像进行高斯模糊处理得到所述低频图像。具体地例子，取半径为r(r取值为1-3)对去噪图像IF进行高斯模糊处理，得到低频图像IL，其中二维高斯分布函数：
Figure BDA0003320039560000131
式中x,y分别表示当前像素分别在X，Y方向上距离中心像素的距离，r＝x2+y2。σ表示正态分布标准差。
去噪图像IF(i,j)与低频图像IL(i,j)之差即为边缘强度IH(i,j)，也即
IH(i,j)＝IF(i,j)-IL(i,j)，
Figure BDA0003320039560000132
式中h(i,j)表示高斯滤波核。
基于去噪图像而非原图以获取高频分量，可以有效的去除噪音的影响，避免噪音部分的放大，特别是对噪音非常敏感的平坦纹理区域。
获取锐化强度模块540、用于基于获取的所述边缘强度获取锐化强度。
作为示例，由于人眼对低亮度区域和高亮度区域亮度变化的敏感性不同，基于所述边缘强度的正负信息对所述去噪图像划分为白色边缘和/或黑色边缘，其中当边缘强度大于零时，为白色边缘，当边缘强度小于零时为黑色边缘。对所述白色边缘和/或所述黑色边缘设置不同的增强系数，基于所述增强系数和所述边缘强度获取所述锐化强度。
具体为，当所述去噪图像划分为白色边缘时，当所述边缘强度大于零且小于第一阈值时，此时锐化强度为零；当所述边缘强度大于等于第一阈值且小于第二阈值时，所述增强系数为第一增强系数，此时锐化强度为第一增强系数与边缘强度的乘积；当所述边缘强度大于等于第二阈值且小于第三阈值时，所述增强系数为第二增强系数，此时锐化强度为第二增强系数与边缘强度的乘积；当所述边缘强度大于等于第三阈值且小于第四阈值时，所述增强系数为第三增强系数，此时锐化强度为第三增强系数与边缘强度的乘积；当所述边缘强度大于等于第四阈值时，此时锐化强度为所述第四阈值。
更具体地，根据图像的细节程度，设置阈值分别对黑色边缘和白色色边缘进行分类并进行不同的幅值增强：
白色边缘：
1)0<IH(i，j)<WT0:噪声/文本的细节纹理，不需要增强，IH′(i,j)＝0
2)WT0≤IH(i，j)<WT1:较大的文本细节区域，设置较小的增强系数wk1,IH′(i,j)＝wk1*IH(i,j)
3)WT1≤IH(i，j)<WT2:较为模糊的文字边缘，设置较大的增强系数wk2，IH′(i,j)＝wk2*IH(i,j)
4)WT2≤IH(i，j)<WT3:较为清晰的文字边缘，设置较小的增强系数wk3，IH′(i,j)＝wk3*IH(i,j)
5)IH(i，j)≥WT3:清晰的文字边缘区域，需要抑制增强幅度,IH′(i,j)＝wT3
其中wT0为第一阈值，最佳取值范围2-4，wT1为第二阈值，取值范围4-7，wT2为第三阈值，取值范围10-15,wT3为第四阈值，取值范围30-40；wk1为第一系数，取值范围0.5-1，wk2为第二系数，取值范围1.5-2，wk3为第三系数，取值范围0.7-1。IH′(i,j)为锐化强度。
黑色边缘：
1)bT0<IH(i，j)<0:噪声/文本的细节纹理，不需要增强，IH′(i,j)＝0
2)bT1<IH(i，j)≤bT0:较大的文本细节区域，设置较小的增强系数bk1,IH′(i,j)＝bk1*IH(i,j)
3)bT2<IH(i，j)≤bT1:较为模糊的文字边缘，设置较大的增强系数bk2,IH′(i,j)＝bk2*IH(i,j)
4)bT3<IH(i，j)≤bT2:较为清晰的文字边缘，设置较小的增强系数bk3，IH′(i,j)＝bk3*IH(i,j)
5)IH(i，j)≤bT3:清晰的文字边缘区域，需要抑制增强幅度,IH′(i,j)＝bT3
其中bT0为第五阈值，最佳取值范围-2--4，bT1为第六阈值，取值范围-4--10，bT2为第七阈值，取值范围-18--25,bT3为第八阈值，取值范围-40--50,第四增强系数bk1取值范围0.5-1，第五bk2取值范围1.5-2，第六bk3取值范围0.7-1。取值时注意wk<bk。
基于以上操作即可获取各像素的锐化强度值。
分割模块540、去噪图像进行前景(文字等待增强边缘)与背景的分割。
对于共享屏幕及文档，用户所关注的是图像中的文字区域，对于文字锐化示意图如图4所示，图4a以黑色文字为例，白色文字与黑色文字相反。如图4b直接采用USM方法对其进行锐化，会对背景边缘过度锐化增强，形成明显的白边，如图4c所示，本申请所述的在增强锐化后的情况是只对文字部分(即前景部分)锐化增强(即文字加黑)，而避免背景边缘的锐化增强。为实现上述效果，需要对文本图像的背景、前景进行分割。文本图像的一大特征为，背景区域灰度值波动和前景区域灰度值波动很小，经由对大量文本图像灰度统计特征分析，文本图像在一定区域内具有确定的灰度分化特征：背景灰度值分布和前景(文本像素)灰度值分布处于两个不同的灰度值区域，其中在灰度直方图内统计值占绝对优势的即可确定为背景值，也即在直方图中那个灰度区间的像素点越多则该像素点的数量为背景值。
具体为，对锐化强度大于第九阈值的像素点在给定窗口内进行灰度值统计；将统计中值作为该区域背景值；若当前像素值与所述背景值差值的绝对值大于预设值，则该像素为前景点；对锐化强度不大于第九阈值的像素默认为前景点。
更具体地，结合获取的锐化强度，对锐化强度大于设定阈值DiffT的像素在确定窗口范围内(窗口直径11-21)进行灰度值统计，统计中值作为背景值，实现该像素前景和背景的分割：若当前像素值与背景值差值绝对值大于预设值T(一般取10-15)，该像素为前景点，否则为背景点；锐化强度不大于设定阈值DiffT的像素，则默认为需要进行增强前景点。通过对前景和背景的划分可以确定出哪里是文字部分(也即需要锐化加强的部分)，通过对以及锐化过的文字部分再次进行锐化增强可以使得文档中的文字部分可以更加的清晰。
锐化模块550、用于基于所述锐化强度与所述前景信息对所述去噪图像进行锐化。
基于上述计算出的各像素的锐化强度值对去噪图像进行锐化，锐化强度值大的即锐化的程度就高，锐化强度小的即锐化程度低。
将背景区域像素点的锐化强度值IH′(i,j)置为0，将上述的去噪图像个像素点与对应像素点求取的锐化强度值IH′(i,j)相加，即可获得清晰化文档。
如图2所示，再一个实施例，共享屏幕及文档在一定时间内具有帧间图像内容的不变性，当文档翻页时，图像内容发生突变。为了简化操作流程提高锐化效率，当接收到当前帧图像时，判断当前帧图像是否为首帧图像，如果确认当前帧图像是首帧图像，则直接对该图像执行500-550模块所述清晰化处理流程，如果确定当前帧不是首帧图像，则对当前帧图像进行n*n区域划分，判断每一区域与前一帧对应区域的图像内容变化，若该区域内容发生变化，则对该区域执行500-550模块所述清晰化处理流程，实现该区域锐化增强；否则该区域锐化结果与前一帧锐化结果相同，可以直接使用前一帧对应区域锐化结果。这样可以避免重复的对相同帧画面进行多次的锐化，提高锐化效率。
应当注意，尽管在上文详细描述中提及了一种文档清晰化处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种视频会议共享文档清晰化处理方法，其特征在于，包括：
基于YUV格式视频图像数据提取亮度分量；
基于所述亮度分量进行去噪以得到去噪图像；
对所述去噪图像进行边缘信息提取；
基于所述边缘信息获取锐化强度；
对所述去噪图像进行前景与背景的分割；
基于所述锐化强度与前景信息对所述去噪图像进行锐化。
2.根据权利要求1所述的视频会议共享文档清晰化处理方法，其特征在于，所述基于所述YUV格式视频图像数据提取亮度分量包括：
基于每一帧图像数据提取待处理区域像素的亮度分量。
3.根据权利要求1所述的视频会议共享文档清晰化处理方法，其特征在于，所述基于所述亮度分量进行去噪以得到去噪图像包括：
采用双边滤波的方式对所述亮度分量进行平滑滤波以得到所述去噪图像；
所述双边滤波包括空间距离参数和灰度距离参数。
4.根据权利要求1所述的视频会议共享文档清晰化处理方法，其特征在于，所述对所述去噪图像进行边缘信息获取包括：
基于所述去噪图像获取低频图像；
所述去噪图像与所述低频图像之差为所述边缘信息。
5.根据权利要求4所述的视频会议共享文档清晰化处理方法，其特征在于，所述基于所述去噪图像获取低频图像包括：
对所述去噪图像进行高斯模糊处理得到所述低频图像。
6.根据权利要求1所述的视频会议共享文档清晰化处理方法，其特征在于，所述基于所述边缘信息获取锐化强度包括：
基于所述边缘的正负信息将边缘划分为白色边缘和/或黑色边缘；
对所述白色边缘和/或所述黑色边缘设置不同的增强系数；
基于所述增强系数和所述边缘强度获取所述锐化强度；
7.根据权利要求6所述的视频会议共享文档清晰化处理方法，其特征在于，所述基于所述增强系数和所述边缘强度获取所述锐化强度包括：
当所述去噪图像划分为白色边缘时，当所述边缘强度大于零且小于第一阈值时，此时锐化强度为零；
当所述边缘强度大于等于第一阈值且小于第二阈值时，所述增强系数为第一增强系数，此时锐化强度为第一增强系数与边缘强度的乘积；
当所述边缘强度大于等于第二阈值且小于第三阈值时，所述增强系数为第二增强系数，此时锐化强度为第二增强系数与边缘强度的乘积；
当所述边缘强度大于等于第三阈值且小于第四阈值时，所述增强系数为第三增强系数，此时锐化强度为第三增强系数与边缘强度的乘积；
当所述边缘强度大于等于第四阈值时，此时锐化强度为所述第四阈值。
8.根据权利要求6所述的视频会议共享文档清晰化处理方法，其特征在于，所述基于所述增强系数和所述边缘强度获取所述锐化强度包括：
当所述去噪图像划分为黑色边缘时，当所述边缘强度大于第五阈值且小于零时，此时锐化强度为零；
当所述边缘强度大于第六阈值且小于等于第五阈值时，所述增强系数为第四增强系数，此时锐化强度为第四增强系数与边缘强度的乘积；
当所述边缘强度大于第七阈值且小于等于第六阈值时，所述增强系数为第五增强系数，此时锐化强度为第五增强系数与边缘强度的乘积；
当所述边缘强度大于第八阈值且小于等于第七阈值时，所述增强系数为第六增强系数，此时锐化强度为第六增强系数与边缘强度的乘积；
当所述边缘强度小于等于第八阈值时，此时锐化强度为所述第八阈值。
9.根据权利要求1所述的视频会议共享文档清晰化处理方法，其特征在于，所述对去噪图像进行前景与背景的分割包括：
对锐化强度大于第九阈值的像素点在给定窗口内进行灰度值统计；
将统计中值作为该区域背景值；
若当前像素值与所述背景值差值的绝对值大于预设值，则该像素为前景点，否则为背景点；
对锐化强度不大于第九阈值的像素默认为需要进行增强的前景点。
10.一种视频会议共享文档清晰化处理装置，其特征在于，包括：
提取模块，用于基于YUV格式视频图像数据提取亮度分量；
去噪模块，用于基于所述亮度分量进行去噪以得到去噪图像；
边缘信息提取模块，用于对所述去噪图像进行边缘信息提取；
获取锐化强度模块，用于基于所述边缘信息获取锐化强度；
分割模块，用于对所述去噪图像进行前景与背景的分割；
锐化模块，用于基于所述锐化强度与前景信息对所述去噪图像进行锐化。
CN202111243534.3A 2021-10-25 2021-10-25 一种视频会议共享文档清晰化处理方法和装置 Pending CN114092407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111243534.3A CN114092407A (zh) 2021-10-25 2021-10-25 一种视频会议共享文档清晰化处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111243534.3A CN114092407A (zh) 2021-10-25 2021-10-25 一种视频会议共享文档清晰化处理方法和装置

Publications (1)

Publication Number Publication Date
CN114092407A true CN114092407A (zh) 2022-02-25

Family

ID=80297613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111243534.3A Pending CN114092407A (zh) 2021-10-25 2021-10-25 一种视频会议共享文档清晰化处理方法和装置

Country Status (1)

Country Link
CN (1) CN114092407A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862427A (zh) * 2022-07-06 2022-08-05 一物一码数据(广州)实业有限公司 基于二维码的质量检测跟踪的方法
CN115225961A (zh) * 2022-04-22 2022-10-21 上海赛连信息科技有限公司 一种无参考网络视频质量评价方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225961A (zh) * 2022-04-22 2022-10-21 上海赛连信息科技有限公司 一种无参考网络视频质量评价方法和装置
CN115225961B (zh) * 2022-04-22 2024-01-16 上海赛连信息科技有限公司 一种无参考网络视频质量评价方法和装置
CN114862427A (zh) * 2022-07-06 2022-08-05 一物一码数据(广州)实业有限公司 基于二维码的质量检测跟踪的方法

Similar Documents

Publication Publication Date Title
CN109685726B (zh) 游戏场景处理方法、装置、电子设备以及存储介质
JP4423298B2 (ja) デジタル画像におけるテキスト状エッジの強調
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN106846270B (zh) 一种图像边缘增强方法及装置
CN114092407A (zh) 一种视频会议共享文档清晰化处理方法和装置
Xu et al. A new approach for very dark video denoising and enhancement
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN109255752B (zh) 图像自适应压缩方法、装置、终端及存储介质
CN201726464U (zh) 一种新的视频图像锐化处理装置
US11727540B2 (en) Image sharpening
CN113810674A (zh) 图像处理方法与装置、终端及可读存储介质
Akai et al. A single backlit image enhancement method for improvement of visibility of dark part
CN115578294B (zh) 图像增强方法、装置、设备及存储介质
CN112334942A (zh) 图像处理方法和装置
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
CN114913099B (zh) 视频文件处理的方法和***
CN113096014B (zh) 视频超分处理方法、电子设备及存储介质
CN115829967A (zh) 一种工业金属表面缺陷图像去噪和增强方法
CN113379631B (zh) 一种图像去雾的方法及装置
CN111986095B (zh) 基于边缘提取的图像处理方法及图像处理装置
CN109167892B (zh) 一种视频图像细节增强方法与***
CN114648460A (zh) 一种抑制黑白边的图像锐化方法
CN110136073B (zh) 图像锐化处理方法及其***
CN117593218B (zh) 一种基于引导滤波的自适应增益调节图像锐化方法
Makwana et al. LIVENet: A novel network for real-world low-light image denoising and enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination