CN110399886B - 一种屏幕图像jnd模型构建方法 - Google Patents
一种屏幕图像jnd模型构建方法 Download PDFInfo
- Publication number
- CN110399886B CN110399886B CN201910635863.9A CN201910635863A CN110399886B CN 110399886 B CN110399886 B CN 110399886B CN 201910635863 A CN201910635863 A CN 201910635863A CN 110399886 B CN110399886 B CN 110399886B
- Authority
- CN
- China
- Prior art keywords
- edge
- text
- screen image
- contrast
- masking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种屏幕图像JND模型构建方法。首先利用文本分割技术得到屏幕图像的文本区域;其次提取文本区域的边缘像素,将屏幕图像分为文本边缘区域和非文本边缘区域;然后利用边缘宽度和边缘对比度计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域视觉掩蔽模型;接着计算出非文本边缘区域的亮度自适应和对比度掩蔽效应,得到非文本边缘区域视觉掩蔽模型;最后结合文本边缘区域和非文本边缘区域的视觉掩蔽模型得到屏幕图像JND模型。本发明充分考虑屏幕图像特点以及人眼对屏幕图像不同区域具有不同的视觉感知特性等因素,对屏幕图像的视觉冗余信息有较为准确的估计,可广泛地应用到屏幕图像技术领域。
Description
技术领域
本发明涉及图像处理领域,尤其涉及屏幕图像视觉冗余估计方法。
背景技术
随着移动互联网和多媒体信息技术的快速发展,虚拟屏幕共享、远程教育和网络游戏等应用在人们实际生活中越来越流行,由此也产生了庞大的屏幕图像/视频数据,给图像/视频编码技术带来了巨大的挑战。考虑到人眼是图像/视频的最终接收者,那么如何利用人眼视觉特性来去除图像/视频中的视觉冗余以提升感知编码效率成为了当前学术界和工业界的研究热点。其中,恰可觉察失真模型(Just Noticeable Difference Model,JNDModel)对图像/视频中的视觉冗余有较为准确地量化估计。但是当前大多数的JND模型都只是针对自然图像,并不能较好地估计屏幕图像的视觉冗余信息。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种屏幕图像JND模型构建方法,能准确估计屏幕图像的视觉冗余信息。
本发明采用如下技术方案:
一种屏幕图像JND模型构建方法,其特征在于,步骤如下:
1)输入屏幕图像;
2)利用文本分割技术得到屏幕图像的文本区域;
3)提取文本区域的边缘,将屏幕图像分为文本边缘区域和非文本边缘区域;
4)利用文本边缘像素的边缘宽度和边缘对比度相应地计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型;
5)计算非文本边缘区域的亮度自适应和对比度掩蔽,得到非文本边缘区域的视觉掩蔽模型;
6)结合文本边缘区域和非文本边缘区域的视觉掩蔽模型,得到屏幕图像JND模型。
所述的文本边缘区域的视觉掩蔽模型通过如下公式获得:
Te(x,y)=Tes(x,y)+Tec(x,y)-0.2·min{Tes(x,y),Tec(x,y)}
其中Te(x,y)、Tes(x,y)和Tec(x,y)分别表示像素坐标为(x,y)的文本边缘像素的视觉掩蔽、边缘结构失真敏感度和边缘对比度掩蔽。
所述的边缘结构失真敏感度和边缘对比度掩蔽通过如下公式获得:
Tes(x,y)=|wd(x,y)-wr(x,y)|
Tec(x,y)=min{|Tc+(x,y)-Tc(x,y)|,|Tc-(x,y)-Tc(x,y)|}
其中wr(x,y)和wd(x,y)分别为输入屏幕图像及其失真屏幕图像的文本边缘区域的边缘宽度,该失真屏幕图像是利用输入屏幕图像与高斯核函数卷积得到;Tc(x,y)、Tc+(x,y)和Tc-(x,y)分别表示文本边缘区域的边缘对比度、强边缘对比度和弱边缘对比度。
所述的强边缘对比度和弱边缘对比度通过如下公式获得:
其中系数t为常数。
所述的非文本边缘区域的视觉掩蔽模型通过如下公式获得:
Tne(x,y)=Tla(x,y)+Tcm(x,y)-0.3·min{Tla(x,y),Tcm(x,y)}
其中Tne(x,y)、Tla(x,y)和Tcm(x,y)分别表示像素坐标为(x,y)的非文本边缘像素的视觉掩蔽、亮度自适应和对比度掩蔽。
所述的亮度自适应和对比度掩蔽通过如下公式获得:
Tcm(x,y)=[0.01f(x,y)+11.5]·[0.01G(x,y)-1]-12
其中B(x,y)为图像的亮度值,G(x,y)为5×5邻域内梯度的最大值。
所述的屏幕图像JND模型通过如下公式获得:
Te和Tne分别为文本边缘区域和非文本边缘区域的视觉掩蔽模型。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
1、本发明方法考虑人眼对于屏幕图像的文本边缘区域和非文本边缘区域的失真敏感性不同,利用文本分割技术和边缘提取技术将屏幕图像分为文本边缘区域和非文本边缘区域。
2、本发明方法克服现有JND模型对于文本边缘区域视觉冗余信息估计的不足,利用边缘宽度和边缘对比度得计算边缘的结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型,对屏幕图像中视觉冗余信息能进行准确地估计。
附图说明
图1为本发明方法的主流程图
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明是对屏幕图像中视觉冗余信息进行准确地估计,提供了一种屏幕图像JND模型构建方法,如图1所示,具体实施步骤如下:
1)输入屏幕图像。
2)利用文本分割技术得到屏幕图像的文本区域。
3)利用Gabor滤波器提取文本区域的边缘,将屏幕图像分为文本边缘区域和非文本边缘区域。
4)利用文本边缘像素的边缘宽度和边缘对比度相应地计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型。
具体的,计算强边缘对比度Tc+(x,y)和弱边缘对比度Tc-(x,y),具体如下:
其中Tc(x,y)表示边缘对比度,通过计算Gabor滤波器提取出的边缘水平分量与边缘垂直分量的2范数得到。
具体的,计算边缘结构失真敏感度Tes(x,y)和边缘对比度掩蔽Tec(x,y),具体如下:
Tes(x,y)=|wd(x,y)-wr(x,y)|
Tec(x,y)=min{|Tc+(x,y)-Tc(x,y)|,|Tc-(x,y)-Tc(x,y)|}
其中wr(x,y)和wd(x,y)分别为输入屏幕图像及其失真屏幕图像的文本边缘区域的边缘宽度。边缘宽度通过计算一个方向上灰度值增加的像素个数与另一个方向上灰度值递减的像素个数的差值得到。该失真屏幕图像是利用输入屏幕图像与高斯核函数进行卷积得到。
具体的,通过如下公式获取文本边缘区域的视觉掩蔽估计Te(x,y):
Te(x,y)=Tes(x,y)+Tec(x,y)-0.2·min{Tes(x,y),Tec(x,y)}。
5)计算非文本边缘区域的亮度自适应和对比度掩蔽,得到非边缘区域的视觉掩蔽模型Tne(x,y)。
具体的,计算亮度自适应Tla(x,y)和对比度掩蔽Tcm(x,y),具体如下:
Tcm(x,y)=[0.01f(x,y)+11.5]·[0.01G(x,y)-1]-12
其中B(x,y)为图像的亮度值,G(x,y)为5×5邻域内梯度的最大值。
通过如下公式获取非文本边缘区域的视觉掩蔽估计Tne(x,y):
Tne(x,y)=Tla(x,y)+Tcm(x,y)-0.3·min{Tla(x,y),Tcm(x,y)}。
6)结合文本边缘区域和非文本边缘区域的视觉掩蔽模型,得到屏幕图像JND模型:
Te和Tne分别为文本边缘区域和非文本边缘区域的视觉掩蔽模型。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (2)
1.一种屏幕图像JND模型构建方法,其特征在于,步骤如下:
1)输入屏幕图像;
2)利用文本分割技术得到屏幕图像的文本区域;
3)提取文本区域的边缘,将屏幕图像分为文本边缘区域和非文本边缘区域;
4)利用文本边缘像素的边缘宽度和边缘对比度相应地计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型,
所述的边缘结构失真敏感度和边缘对比度掩蔽通过如下公式获得:
Tes(x,y)=|wd(x,y)-wr(x,y)|
Tec(x,y)=min{|Tc+(x,y)-Tc(x,y)|,|Tc-(x,y)-Tc(x,y)|}
其中wr(x,y)和wd(x,y)分别为输入屏幕图像及其失真屏幕图像的文本边缘区域的边缘宽度,该失真屏幕图像是利用输入屏幕图像与高斯核函数卷积得到;Tc(x,y)、Tc+(x,y)和Tc-(x,y)分别表示文本边缘区域的边缘对比度、强边缘对比度和弱边缘对比度,
所述的强边缘对比度和弱边缘对比度通过如下公式获得:
其中系数t为常数;
所述文本边缘区域的视觉掩蔽模型通过如下公式获得:
Te(x,y)=Tes(x,y)+Tec(x,y)-0.2·min{Tes(x,y),Tec(x,y)}
其中Te(x,y)、Tes(x,y)和Tec(x,y)分别表示像素坐标为(x,y)的文本边缘像素的视觉掩蔽、边缘结构失真敏感度和边缘对比度掩蔽;
计算非文本边缘区域的亮度自适应和对比度掩蔽,得到非文本边缘区域的视觉掩蔽模型,所述的非文本边缘区域的视觉掩蔽模型通过如下公式获得:
Tne(x,y)=Tla(x,y)+Tcm(x,y)-0.3·min{Tla(x,y),Tcm(x,y)}
其中Tne(x,y)、Tla(x,y)和Tcm(x,y)分别表示像素坐标为(x,y)的非文本边缘像素的视觉掩蔽、亮度自适应和对比度掩蔽;
所述的亮度自适应和对比度掩蔽通过如下公式获得:
Tcm(x,y)=[0.01f(x,y)+11.5]·[0.01G(x,y)-1]-12
其中B(x,y)为图像的亮度值,G(x,y)为5×5邻域内梯度的最大值;
5)结合文本边缘区域和非文本边缘区域的视觉掩蔽模型,得到屏幕图像JND模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635863.9A CN110399886B (zh) | 2019-07-15 | 2019-07-15 | 一种屏幕图像jnd模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635863.9A CN110399886B (zh) | 2019-07-15 | 2019-07-15 | 一种屏幕图像jnd模型构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110399886A CN110399886A (zh) | 2019-11-01 |
CN110399886B true CN110399886B (zh) | 2022-09-30 |
Family
ID=68325546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910635863.9A Active CN110399886B (zh) | 2019-07-15 | 2019-07-15 | 一种屏幕图像jnd模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110399886B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112437302B (zh) * | 2020-11-12 | 2022-09-13 | 深圳大学 | 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质 |
CN112435188B (zh) * | 2020-11-23 | 2023-09-22 | 深圳大学 | 基于方向权重的jnd预测方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1100278A2 (en) * | 1999-11-11 | 2001-05-16 | Tektronix, Inc. | Realtime human vision system behavioral modeling |
CN102750706A (zh) * | 2012-07-13 | 2012-10-24 | 武汉大学 | 基于深度显著度的立体图像恰可感知差异模型的构建方法 |
CN102905130A (zh) * | 2012-09-29 | 2013-01-30 | 浙江大学 | 基于视觉感知的多分辨率jnd模型建构方法 |
-
2019
- 2019-07-15 CN CN201910635863.9A patent/CN110399886B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1100278A2 (en) * | 1999-11-11 | 2001-05-16 | Tektronix, Inc. | Realtime human vision system behavioral modeling |
CN102750706A (zh) * | 2012-07-13 | 2012-10-24 | 武汉大学 | 基于深度显著度的立体图像恰可感知差异模型的构建方法 |
CN102905130A (zh) * | 2012-09-29 | 2013-01-30 | 浙江大学 | 基于视觉感知的多分辨率jnd模型建构方法 |
Non-Patent Citations (2)
Title |
---|
基于立体感知失真模型的3D-JND模型研究;陈勇等;《福建电脑》;20160525(第05期);全文 * |
面向视频压缩的显著性协同检测JND模型;李承欣等;《计算机***应用》;20161115(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110399886A (zh) | 2019-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9547908B1 (en) | Feature mask determination for images | |
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
EP2916291B1 (en) | Method, apparatus and computer program product for disparity map estimation of stereo images | |
CN110400275B (zh) | 一种基于全卷积神经网络和特征金字塔的颜色校正方法 | |
CN102222328B (zh) | 一种边缘保持的自然场景图像自适应加权滤波方法 | |
CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
US20110050723A1 (en) | Image processing apparatus and method, and program | |
US20190164259A1 (en) | Method and apparatus for removing turbid objects in an image | |
CN110570435B (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
CN111667410B (zh) | 图像分辨率提升方法、装置及电子设备 | |
US11978216B2 (en) | Patch-based image matting using deep learning | |
WO2021169396A1 (zh) | 一种媒体内容植入方法以及相关装置 | |
CN110399886B (zh) | 一种屏幕图像jnd模型构建方法 | |
CN101729911A (zh) | 一种基于视觉感知的多视点图像颜色校正方法 | |
US10467737B2 (en) | Method and device for adjusting grayscale values of image | |
Fang et al. | Single image dehazing and denoising with variational method | |
CN108447059A (zh) | 一种全参考光场图像质量评价方法 | |
CN116152173A (zh) | 一种图像篡改检测定位方法及装置 | |
CN108711160A (zh) | 一种基于hsi增强性模型的目标分割方法 | |
Wan et al. | Joint image dehazing and contrast enhancement using the HSV color space | |
CN107945151A (zh) | 一种基于相似性变换的重定位图像质量评价方法 | |
CN112839167B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
CN102768758B (zh) | 一种改进的彩色图像usm锐化方法 | |
CN108550119B (zh) | 一种结合边缘信息的图像去噪方法 | |
Wu et al. | Color transfer with salient features mapping via attention maps between images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |