CN109544452A - 视觉感知饱和策略的图像自适应缩小方法 - Google Patents

视觉感知饱和策略的图像自适应缩小方法 Download PDF

Info

Publication number
CN109544452A
CN109544452A CN201811358212.1A CN201811358212A CN109544452A CN 109544452 A CN109544452 A CN 109544452A CN 201811358212 A CN201811358212 A CN 201811358212A CN 109544452 A CN109544452 A CN 109544452A
Authority
CN
China
Prior art keywords
image
blinkpunkt
class
micro
jump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811358212.1A
Other languages
English (en)
Other versions
CN109544452B (zh
Inventor
张纠
叶家建
郭娅茜
徐靓云
潘晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Publication of CN109544452A publication Critical patent/CN109544452A/zh
Application granted granted Critical
Publication of CN109544452B publication Critical patent/CN109544452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视觉感知饱和策略的图像自适应缩小方法，包括以下步骤：1)利用不同缩小倍数Ki，通过原图像下采样，构造出多个缩小图Ii；2)分别对Ii用显著点预测算法计算显著图Si，其中显著度值大于平均值的像素点作为注视点；3)对Ii中注视点做Mean‑聚类，生成多个聚类Class_j；4)每类注视点形成自身注视区域和类中心，则该类点到类中心的归一化类内距离可作为微跳视幅度参数看待；5)对Ii中各类的归一化类内距离做累计平均，作为该图的微跳视幅度Ai；6)比较微跳视幅度Ai，其最小值对应的Ki是最佳图像尺度。

Description

视觉感知饱和策略的图像自适应缩小方法
技术领域
本发明涉及计算机视觉技术领域，具体地讲是一种视觉感知饱和策略的图像自适应缩小方法。
背景技术
图像分辨率的提高，使得像素数量几何倍数增加。面对海量视频图像数据，传统基于像素的图像处理算法面临严重的挑战。一方面人们致力于不断提高计算机***硬件速度来减缓这种压力；另一方面，对传统图像处理算法做合理改进，使之更适应处理海量像素数据，是一种有效的解决问题思路。
从人类视觉的角度而言，由于视网膜面积和光感受器数量有限，人眼通常通过晶状体调整和瞳孔缩放实现外界场景在视网膜上投影的尺度变化和目标聚焦。原始图像在视网膜上的投影是适当缩小的图像。缩小图像——利用下采样方式，缩小图像到一个合适尺度，能大大降低数据量。缺点是下采样过程中，过分的下采样往往会丢失小目标、模糊目标边缘。因此应用中的关键问题是图像缩小到多大尺度最合适？如何选择合理的图像缩小尺度是个亟待解决的问题。
现有技术通常是由人累试不同的图像缩小尺度，经验性地选择一个对大多数任务都合适的固定参数。对于变化的实际场景图像，这种做法有严重局限性。为了克服图像算法对于尺度的敏感性，通常还采用多尺度图像同时并行处理方式，即同时生成多个不同尺度的缩小图，通过各个尺度图像处理结果做后处理(集成)，来获得最终图像处理结果，但此类方法的缺点是有很高的时间复杂度。
发明内容
有鉴于此，本发明要解决的技术问题是，提供一种有效的图像自适应缩小方法，借鉴人类视觉的注视眼动行为和视觉感知饱和现象，通过微跳视幅度来预测不同尺度缩小图像的视觉感知饱和状况，选择可最早引起感知饱和的图像尺度作为图像缩小的最佳依据。
本发明的技术解决方案是，提供以下步骤的基于视觉感知饱和策略的图像自适应缩小方法，包括以下各步骤：
1)利用不同缩小倍数Ki，通过下采样原图像I，构造出多个缩小尺度图Ii。
2)分别对缩小尺度图Ii用显著点预测算法计算得到显著图Si，所述显著图Si中显著度值大于平均值的像素点作为注视点；
3)利用注视点做Mean-shift(均值位移法)聚类，生成多个聚类Class_j；
4)每个聚类的注视点形成自身注视区域和类中心，则该聚类的注视点到类中心的类内距离可作为微跳视幅度参数；
5)对基于整个原图像I所得到的各聚类的类内距离做累计并利用图像对角线长度为分母，做归一化处理，作为该尺度图像的微跳视幅度Ai；
6)比较微跳视幅度Ai，其最小值对应的Ki是最佳图像尺度。
作为改进，对注视点先进行Mean-shift聚类，Mean-shift法是一种密度估计方法，通过设置搜索窗口的宽度参数，依据点的密度，划分注视点为不同的聚类；多个聚类意味着场景中有多个注视区域，通过注视点之间的离散程度，判断图中是否存在多个注视目标，以避免多个注视区域被作为单个注视区域时导致判断错误。
作为改进，通过相位谱法对目标图像作注视点预测，可采用以下步骤：
对图像I(x,y)进行二维离散傅里叶变换，将图像由空间域转换到频域，得到相位P(u,v)信息：
将相位信息经傅里叶逆变换后，可以在空间域得到显著度图像Sa_Map。
Sa_Map(x,y)＝|F-1[exp{jP(u,v)}]|2 (2)
式中F和F-1表示二维离散傅里叶正、逆变换，表示相位运算。根据显著度图，注视点的位置可用下列公式求出：
作为改进，第Ki个尺度下的微跳视幅度Ai计算如公式(4)。
其中:表示第j类中的第i个点坐标(x,y)；centj(x,y)表示第j类中心坐标。L表示图像对角线长度，nj为每类点数量，k为类别数量；
采用本发明方法，与现有技术相比，本发明具有以下优点：可以自动将原图像缩小到合适尺度；算法结果匹配人类视觉感知；避免了并行处理多尺度图像的耗时；算法只注重少数高显著度像素数据，极大降低了计算量，具有低时间复杂度；由于显著点预测算法对光照变化和大范围纹理噪声等干扰不敏感，借助该方法能容忍一定程度(如设备不同、光照条件不同导致)的图像变化。本发明利用人类视觉机制自动选择合适的图像缩小尺度，从而降低数据量、提高算法性能。
附图说明
图1为本发明视觉感知饱和策略的图像自适应缩小方法流程框图。
具体实施方式
下面就具体实施例对本发明作进一步说明，但本发明并不仅仅限于这些实施例。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。此外，本发明之附图中为了示意的需要，并没有完全精确地按照实际比例绘制，在此予以说明。
已知人眼在观察场景时存在频繁眼动(跳视和微跳视)。跳视幅度大，使得视网膜中央凹朝向需要注意的场景；微跳视幅度小，维持目标区域相对稳定于中央凹。精确注视时，微跳视的幅度会下降，而当微跳视幅度微小时将导致视知觉饱和；一方面神经***输出当前视觉目标，另一方面导致感知衰退，引发新跳视和返回抑制(注视不返回先前点)。因此，微跳视幅度可以作为一种视觉感知产生的指标。
如图1所示，本发明的视觉感知饱和策略的图像自适应缩小方法，包括以下各步骤：
1)利用不同缩小倍数Ki，通过下采样原图像I，构造出多个缩小尺度图Ii。
2)分别对缩小尺度图Ii用显著点预测算法计算得到显著图Si；所述显著图Si中显著度值大于平均值的像素点作为注视点；
3)利用注视点做Mean-shift法聚类，生成多个聚类Class_j；
4)每类注视点形成自身注视区域和类中心，则该聚类的注视点到类中心的类内距离可作为微跳视幅度参数；
5)对基于整个原图像I中各聚类的类内距离做累计并利用图像对角线长度为分母，做归一化处理，作为该尺度图像的微跳视幅度Ai；
6)比较Ai，其最小值对应的Ki是最佳图像尺度。
本发明利用注视预测模型产生注视点，模拟人类注视。注视预测模型中的许多算法，如谱残差法(SR)，相位谱法(PFT)，布尔图法(BMS)等，都可以用来产生合适的注视预测结果。例如，通过相位谱法对目标图像作注视点预测，可采用以下步骤：
对图像I(x,y)进行二维离散傅里叶变换，将图像由空间域转换到频域，得到相位P(u,v)信息：
将相位信息经傅里叶逆变换后，可以在空间域得到显著度图像Sa_Map。
Sa_Map(x,y)＝|F-1[exp{jP(u,v)}]|2 (2)
式中F和F-1表示二维离散傅里叶正、逆变换，表示相位运算。根据显著度图，注视点的位置可用下列公式求出：
可对注视点先进行Mean-shift聚类，依据注视点的密度分布，粗略划分注视点为不同的聚类；多个聚类意味着场景中有多个注视区域。目的是通过注视点之间的离散程度，大致判断图中是否存在多个注视目标，以避免多个注视区域被作为单个注视区域时导致判断错误。Mean-shift聚类与kmeans聚类相比，kmeans聚类需要人工设置k个类别；mean-shift聚类无需人工设置类别数量，只需设置一个搜索窗宽度即可。
接着，针对各注视区域，计算该类中心到各注视点的类内距离，并利用图像对角线长度为分母，对其归一化。各类注视点到类中心的归一化距离累计，作为微跳视幅度度量值。
第Ki个尺度下的微跳视幅度Ai计算如公式(4)。
其中:表示第j类中的第i个点坐标(x,y)。centj(x,y)表示第j类中心坐标。L表示图像对角线长度，nj为每类点数量，k为类别数量。
虽然以上将实施例分开说明和阐述，例如，方法和***的两套发明，但涉及部分共通之技术，在本领域普通技术人员看来，可以在实施例之间进行替换和整合，涉及其中一个实施例未明确记载的内容，则可参考有记载的另一个实施例。
以上仅就本发明较佳的实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

Claims (4)

1.视觉感知饱和策略的图像自适应缩小方法，其特征在于：包括以下步骤：
1)利用不同缩小倍数Ki，通过下采样原图像I，构造出多个缩小尺度图Ii。
2)分别对缩小尺度图Ii用显著点预测算法计算得到显著图Si，所述显著图Si中显著度值大于平均值的像素点作为注视点；
3)利用注视点做Mean-shift聚类，生成多个聚类Class_j；
4)每个聚类的注视点形成自身注视区域和类中心，则该聚类的注视点到类中心的类内距离可作为微跳视幅度参数；
5)对基于整个原图像I所得到的各聚类的类内距离做累计并利用图像对角线长度为分母，做归一化处理，作为该尺度图像的微跳视幅度Ai；
6)比较微跳视幅度Ai，其最小值对应的Ki是最佳图像尺度。
2.根据权利要求1所述的视觉感知饱和策略的图像自适应缩小方法，其特征在于：
对注视点先进行Mean-shift聚类，依据点的分布密度划分注视点为不同的聚类；多个聚类意味着场景中有多个注视区域，通过注视点之间的离散程度，判断图中是否存在多个注视目标，以避免多个注视区域被作为单个注视区域时导致判断错误。
3.根据权利要求1所述的视觉感知饱和策略的图像自适应缩小方法，其特征在于：通过相位谱法对目标图像作注视点预测，可采用以下步骤：
对图像I(x,y)进行二维离散傅里叶变换，将图像由空间域转换到频域，得到相位P(u,v)信息：
将相位信息经傅里叶逆变换后，可以在空间域得到显著度图像Sa_Map。
Sa_Map(x,y)＝|F-1[exp{jP(u,v)}]|2 (2)
式中F和F-1表示二维离散傅里叶正、逆变换，表示相位运算；根据显著度图，注视点的位置可用下列公式求出：
4.根据权利要求3所述的视觉感知饱和策略的图像自适应缩小方法，其特征在于：第Ki个尺度下的微跳视幅度Ai计算如公式(4)；
其中:表示第j类中的第i个点坐标(x,y)；centj(x,y)表示第j类中心坐标；L表示图像对角线长度，nj为每类点数量，k为类别数量；
CN201811358212.1A 2018-04-18 2018-11-15 视觉感知饱和策略的图像自适应缩小方法 Active CN109544452B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018103464330 2018-04-18
CN201810346433 2018-04-18

Publications (2)

Publication Number Publication Date
CN109544452A true CN109544452A (zh) 2019-03-29
CN109544452B CN109544452B (zh) 2023-06-23

Family

ID=63575077

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810365927.3A Expired - Fee Related CN108573472B (zh) 2018-04-18 2018-04-23 利用最小熵判断视觉感知饱和的图像自适应缩小方法
CN201811358212.1A Active CN109544452B (zh) 2018-04-18 2018-11-15 视觉感知饱和策略的图像自适应缩小方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810365927.3A Expired - Fee Related CN108573472B (zh) 2018-04-18 2018-04-23 利用最小熵判断视觉感知饱和的图像自适应缩小方法

Country Status (1)

Country Link
CN (2) CN108573472B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361340A (zh) * 2014-11-04 2015-02-18 西安电子科技大学 基于显著性检测和聚类的sar图像目标快速检测方法
CN105023016A (zh) * 2015-06-25 2015-11-04 中国计量学院 基于压缩感知分类的目标感知方法
JP2017098596A (ja) * 2015-11-18 2017-06-01 キヤノン株式会社 画像生成方法及び画像生成装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201302174D0 (en) * 2013-02-07 2013-03-27 Cardiff Metropolitan University Improvements in and relating to image making
JP6390275B2 (ja) * 2014-09-01 2018-09-19 株式会社ソシオネクスト 符号化回路、符号化方法
CN105430416B (zh) * 2015-12-04 2019-03-01 四川大学 一种基于自适应稀疏域编码的指纹图像压缩方法
CN106971376A (zh) * 2017-04-20 2017-07-21 太原工业学院 一种基于显著性模型的图像缩放方法
CN108109162B (zh) * 2018-01-08 2021-08-10 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361340A (zh) * 2014-11-04 2015-02-18 西安电子科技大学 基于显著性检测和聚类的sar图像目标快速检测方法
CN105023016A (zh) * 2015-06-25 2015-11-04 中国计量学院 基于压缩感知分类的目标感知方法
JP2017098596A (ja) * 2015-11-18 2017-06-01 キヤノン株式会社 画像生成方法及び画像生成装置

Also Published As

Publication number Publication date
CN108573472A (zh) 2018-09-25
CN108573472B (zh) 2022-05-24
CN109544452B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108062531B (zh) 一种基于级联回归卷积神经网络的视频目标检测方法
EP3674852B1 (en) Method and apparatus with gaze estimation
US9681250B2 (en) Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions
Valenti et al. Accurate eye center location through invariant isocentric patterns
Clarke et al. Deriving an appropriate baseline for describing fixation behaviour
WO2020038254A1 (zh) 一种用于目标识别的图像处理方法及装置
CN108038466B (zh) 基于卷积神经网络的多通道人眼闭合识别方法
Ren et al. Regularized feature reconstruction for spatio-temporal saliency detection
CN102547123A (zh) 基于人脸识别技术的自适应视线跟踪***及其跟踪方法
CN106127740B (zh) 一种基于视通路多感受野朝向性关联的轮廓检测方法
Emery et al. OpenNEEDS: A dataset of gaze, head, hand, and scene signals during exploration in open-ended VR environments
US20180260646A1 (en) Image processing device, image processing method, and computer program product
Koyuncu et al. Artificial neural network based on rotation forest for biomedical pattern classification
JP2011039778A (ja) 動画像コンテンツ評価装置およびコンピュータプログラム
GB2581191A (en) Image system for a vehicle
Li et al. Image gradient orientations embedded structural error coding for face recognition with occlusion
CN109461127B (zh) 一种以解译为目的的sar图像稀疏正则化特征增强方法
CN109544452A (zh) 视觉感知饱和策略的图像自适应缩小方法
Wloka et al. Spatially binned roc: A comprehensive saliency metric
CN112633323B (zh) 一种用于教室的姿态检测方法和***
Li et al. User Independent Gaze Estimation by Exploiting Similarity Measures in the Eye Pair Appearance Eigenspace
Mohammed et al. A face portion based recognition system using multidimensional PCA
CN108596832A (zh) 视觉感知饱和策略的超像素参数自适应选择方法
He et al. Graph-based clustering for identifying region of interest in eye tracker data analysis
CN103955695B (zh) 计算机基于灰度共生矩阵能量变化智能识别视频中人眼状态的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant