CN109003237A - 全景图像的天空滤镜方法、装置及便携式终端 - Google Patents

全景图像的天空滤镜方法、装置及便携式终端 Download PDF

Info

Publication number
CN109003237A
CN109003237A CN201810711718.XA CN201810711718A CN109003237A CN 109003237 A CN109003237 A CN 109003237A CN 201810711718 A CN201810711718 A CN 201810711718A CN 109003237 A CN109003237 A CN 109003237A
Authority
CN
China
Prior art keywords
sky
image
pixel
panoramic picture
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810711718.XA
Other languages
English (en)
Inventor
高瑞东
周迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arashi Vision Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201810711718.XA priority Critical patent/CN109003237A/zh
Publication of CN109003237A publication Critical patent/CN109003237A/zh
Priority to JP2020573130A priority patent/JP7247236B2/ja
Priority to US17/257,582 priority patent/US11887362B2/en
Priority to PCT/CN2019/094450 priority patent/WO2020007307A1/zh
Priority to EP19830791.0A priority patent/EP3819859B1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种全景图像的天空滤镜方法、装置及便携式终端。所述方法包括：获取若干含有天空区域的全景图像作为数据集，并标记出每幅图像的天空区域和地面区域；分别提取天空区域和地面区域的特征，标记为正样本和负样本；将正、负样本输入支持向量机SVM进行训练，获得模型；将测试全景图像提取特征，输入模型，获得初始掩膜图像；对初始掩膜图像去除误分类得到精确掩膜图像；针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果；本发明技术方案通过机器学习算法检测全景图像中的天空区域，进一步利用多分辨率融合算法融合全景天空模板图像与全景图像，实现了天空滤镜的效果。

Description

全景图像的天空滤镜方法、装置及便携式终端
技术领域
本发明属于图像处理领域，尤其涉及一种全景图像的天空滤镜方法、装置及便携式终端。
背景技术
天空滤镜技术能制作生成逼真的自然天空效果，让图像的天空背景替换成想要的天空效果，能营造较为真实的画面感。天空滤镜技术的实现效果与天空检测算法的准确率密切相关。
目前基于颜色先验的天空识别算法速度较快，但是识别精度较低。这是因为天空在不同时间段、不同天气条件下，天空的颜色会发生显著变化，因此基于颜色的天空识别算法无法适应天空颜色的变化。基于梯度先验的天空识别算法假设天空区域的梯度变化较为平缓。该算法通过构造一个能量函数优化得到图像中梯度较为平滑的连续区域，即为天空区域。但是当天空中存在云彩时，天空中存在明显的梯度变化，该算法的假设不再成立。因此基于梯度的天空识别算法不适用于天空中存在云、太阳等附着物的情况。究其原因，上述算法在检测天空时仅仅利用了有限的先验知识，不能涵盖多样的天空变化。为解决上述问题，本发明通过机器学习算法检测全景图像中的天空区域，检测的结果比较准确，在检测出天空区域的基础上，采用多分辨率融合算法融合全景天空模板图像与全景图像，实现天空滤镜效果。
发明内容
本发明提出一种全景图像的天空滤镜方法、装置及便携式终端，旨在让图像中天空能替换成不同的天空背景，生成和画面融为一体的逼真的天空，提高目前天空检测的准确率低的缺陷，实现较为逼真的天空滤镜效果。
第一方面，本发明提供了一种全景图像的天空滤镜方法，所述方法包括：
获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；
分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；
依次将数据集中每幅图像标记的正样本和负样本输入支持向量机SVM进行训练，获得模型；
提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；
对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；
针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。
可选地，所述的标记具体包括：
将每幅含有天空区域的全景图像中天空区域标注为1，地面区域标注为0，得到数据集对应的掩膜数据集。
可选地，所述的标记出正样本和负样本具体为：
分别提取数据集中每幅图像天空区域和地面区域的特征，所述的特征包括：R通道值，G通道值，B通道值，方差，B/G值，B/R值，行坐标和方差的乘积，共七个特征。将天空区域像素的特征标记为正样本，将地面区域像素的特征标记为负样本。
可选地，所述的对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像具体为：
对模型输出的初始掩膜图像进行中值滤波，然后基于天空在图像上部分，地面在图像下部分这一先验知识，滤除误分类的单个像素点，方法为设像素点(x,y)的权重值为p，有：
，
其中，H为图像的高度，W为图像的宽度，；
利用权重图进一步对初始掩膜图像先卷积再阈值化，获得滤除噪点的初始掩膜图像，然后进一步去除天空和地面中的误分类区域，得到精确掩膜图像。
可选地，去除天空和地面中的误分类区域，得到精确掩膜图像具体为：
利用two-pass算法对滤除噪点的掩膜图像进行连通域检测，统计图像上部天空区域每个连通域的面积为S1，设定天空最小面积阈值th1，按照以下公式划分，
其中，S1的值可计算为天空区域每个连通域中像素的个数，阈值th1为图像面积的1/40；
统计图像下部地面区域每个连通域的面积为S2，设定地面最小面积阈值th2，按照以下公式划分，
其中，S2的值可计算为地面区域每个连通域中像素的个数，阈值th2为最大地面连通域面积的1/2；
通过以上划分可以得到天空区域的精确掩膜图像，完成天空区域的检测及其后处理。
可选地，天空滤镜实现具体为：采用多分辨率融合算法分别对天空的全景模板图像和测试全景图像构建拉普拉斯金字塔，对所述的精确掩膜图像构建高斯金字塔，利用构建的高斯金字塔对构建的拉普拉斯金字塔天空的全景模板图像和测试全景图像进行合并，逐层重建出融合后的图像，实现天空滤镜的效果。
第二方面，本发明提供了一种全景图像的天空滤镜装置，所述装置包括：
数据集标记模块，用于获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；
标记样本模块，用于分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；
训练模型模块，用于依次将数据集中每幅图像标记的正样本和负样本输入支持向量机SVM进行训练，获得模型；
天空区域检测模块，用于提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；
后处理模块，用于对初始掩膜图像滤除噪点，去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；
天空滤镜实现模块，用于针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的全景图像的天空滤镜方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景图像的天空滤镜方法的步骤。
本发明通过机器学习算法检测全景图像中的天空区域，提高了自动检测天空的准确率，并利用多分辨率融合算法融合全景天空模板图像与全景图像，实现了较好的天空滤镜效果。
附图说明
图1是本发明实施例一提供的全景图像的天空滤镜方法过程图。
图2是本发明实施例一提供的全景图像的天空滤镜方法流程图。
图3是本发明实施例二提供的全景图像的天空滤镜模块示意图。
图4是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1和图2，本发明实施例一提供的全景图像的天空滤镜方法包括以下步骤：
S101.获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；
数据集中若干全景图像包括上千张，图像的尺寸一致，图像的数量越多越好；数据集中每幅图像的天空区域具体包含天空、云和太阳等，地面区域是天空区域以外的区域；数据集的种类也包括很多种不同的场景和地貌等，在时间上包括清晨、中午、傍晚各个时间段，还包括不同的天气状况，比如晴天、阴天、多云、小雨和雾霾等；
用户标注出数据集中每幅图像的天空区域和地面区域，得到数据集对应的标注掩膜图像集，所述的标注掩膜图像中天空区域像素值标注为1，地面区域像素值标注为0。
分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；
所述的特征包括：第一特征集，该第一特征集包括：R通道值，G通道值，B通道值，局部领域窗口内的方差；第二特征集，该第二特征集包括：B/G值，B/R值，行坐标与方差的乘积，一起共七个特征。第一特征集为独立特征，第二特征集为组合特征。将天空区域像素的第一特征集和第二特征集标记为正样本，将地面区域像素的第一特征集和第二特征集标记为负样本。
依次将数据集中每幅图像标记的正样本和负样本输入支持向量机SVM进行训练，获得模型；
支持向量机(support vector machine，简称SVM)理论是Vapnik等人1995年首先提出来的一种前馈神经网络，是在统计学习理论基础上发展而来的一种新的模式识别方法，是一个分类模型，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。
提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；
提取测试全景图像的特征，此处的特征包括步骤S102中的第一特征集和第二特征集。将所述的特征输入训练好的模型中，将SVM分类器输出为正1的像素标记为天空像素，输出为负1的像素标记为非天空像素，获得标记了天空像素和地面像素的初始掩膜图像。
对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；
对初始掩膜图像进行中值滤波，滤除误分类的单个像素点，中值滤波是由Turky在1971年提出的，基本思想是：把局部区域的像素按灰度级进行排序，取该领域中灰度的中值作为当前像素的灰度值，用一个窗口W在图像上扫描、排序，像素点(m,n)处的中值g可用公式表示为：
其中，W为3*3或5*5的窗口，为像素点处的值，；
然后基于天空在图像上部分，地面在图像下部分这一先验知识，滤除误分类的单个像素点，方法为设像素点(x,y)的权重值为p，有：
，
其中，H为图像的高度，W为图像的宽度，；
利用权重图进一步对初始掩膜图像进行卷积运算并阈值化，获得滤除噪点的初始掩膜图像。
进一步利用two-pass算法对初始掩膜图像进行连通域检测，统计图像上部天空区域每个连通域的面积为S1，设定天空最小面积阈值th1，则按照如下判断规则划分：
其中，S1为天空区域每个连通域中像素的个数，最小面积阈值th1为图像面积的1/40。
统计图像下部地面区域每个连通域的面积为S2，设定地面最小面积阈值th2，则按照如下判断规则划分：
其中，S2为地面区域每个连通域中像素的个数，最小面积阈值th2为最大地面连通域面积的1/2。
通过以上判断可以去除误分类的天空区域，得到精确掩膜图像。
针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果；
采用多分辨率融合算法分别对天空的全景模板图像和测试全景图像构建拉普拉斯金字塔，对所述的精确掩膜图像构建高斯金字塔，并利用构建的高斯金字塔对构建的拉普拉斯金字塔天空的全景模板图像和测试全景图像进行合并，逐层重建出融合后的图像，实现天空滤镜的效果，其中全景模板图像和测试图像的分辨率有可能不同，但采用的融合处理方法是一样的。
实施例二：
请参阅图3，本发明实施例二提供的全景图像的天空滤镜装置包括：
数据集标记模块11，用于获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；
标记样本模块12，用于分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；
训练模型模块13，用于依次将数据集中每幅图像标记的正样本和负样本输入支持向量机SVM进行训练，获得模型；
天空区域检测模块14，用于提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；
后处理模块15，用于对初始掩膜图像滤除噪点，去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；
天空滤镜实现模块16，用于针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。
本发明实施例二提供的一种全景图像的天空滤镜方法的装置及本发明实施例一提供的全景图像的天空滤镜方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景图像的天空滤镜方法的步骤。
实施例四：
图4示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种全景图像的天空滤镜方法的步骤。
在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
在本发明中，通过机器学习算法检测全景图像中的天空区域，提高了自动检测天空的准确率，并利用多分辨率融合算法融合全景天空模板图像与全景图像，实现了天空滤镜的效果。

Claims (9)

1.一种全景图像的天空滤镜方法，其特征在于，包括以下步骤：
获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；
分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；
依次将数据集中每幅图像标记的正样本和负样本输入支持向量机SVM进行训练，获得模型；
提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；
对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；
针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。
2.如权利要求1所述的方法，其特征在于：所述的标记具体包括：
将每幅含有天空区域的全景图像中天空区域标注为1，地面区域标注为0，得到数据集对应的掩膜数据集。
3.如权利要求1所述的方法，其特征在于：所述的标记出正样本和负样本具体为：
分别提取数据集中每幅图像天空区域和地面区域的特征，所述的特征包括：R通道值，G通道值，B通道值，方差，B/G值，B/R值，行坐标和方差的乘积，将天空区域像素的特征标记为正样本，将地面区域像素的特征标记为负样本。
4.如权利要求1所述的方法，其特征在于：所述的对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像具体为：
对模型输出的初始掩膜图像进行中值滤波，然后基于天空在图像上部分，地面在图像下部分这一先验知识，滤除误分类的单个像素点，方法为设像素点(x,y)的权重值为p，有：
，
其中，H为图像的高度，W为图像的宽度，；
利用权重值进一步对初始掩膜图像先卷积再阈值化，获得滤除噪点的初始掩膜图像，进一步去除天空和地面中的误分类区域，得到精确掩膜图像。
5.如权利要求4所述的方法，其特征在于：去除天空和地面中的误分类区域，得到精确掩膜图像具体为：
利用two-pass算法对滤除噪点的初始掩膜图像进行连通域检测，统计图像上部天空区域每个连通域的面积为S1，设定天空最小面积阈值th1，按照以下公式划分，
其中，S1的值可计算为天空区域每个连通域中像素的个数，阈值th1为图像面积的1/40；
统计图像下部地面区域每个连通域的面积为S2，设定地面最小面积阈值th2，按照以下公式划分，
其中，S2的值可计算为地面区域每个连通域中像素的个数，阈值th2为最大地面连通域面积的1/2；
通过以上划分得到天空区域的精确掩膜图像，完成天空区域的检测。
6.如权利要求1所述的方法，其特征在于：天空滤镜实现具体为：
采用多分辨率融合算法分别对天空的全景模板图像和测试全景图像构建拉普拉斯金字塔，对所述的精确掩膜图像构建高斯金字塔，利用构建的高斯金字塔对构建的拉普拉斯金字塔天空的全景模板图像和测试全景图像进行合并，逐层重建出融合后的图像，实现天空滤镜的效果。
7.一种全景图像的天空滤镜装置，其特征在于，包括：
数据集标记模块，用于获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；
标记样本模块，用于分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；
训练模型模块，用于依次将数据集中每幅图像标记的正样本和负样本输入支持向量机SVM进行训练，获得模型；
天空区域检测模块，用于提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；
后处理模块，用于对初始掩膜图像滤除噪点，去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；
天空滤镜实现模块，用于针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。
8.一种计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的全景图像的天空滤镜方法的步骤。
9.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的全景图像的天空滤镜方法的步骤。
CN201810711718.XA 2018-07-03 2018-07-03 全景图像的天空滤镜方法、装置及便携式终端 Pending CN109003237A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810711718.XA CN109003237A (zh) 2018-07-03 2018-07-03 全景图像的天空滤镜方法、装置及便携式终端
JP2020573130A JP7247236B2 (ja) 2018-07-03 2019-07-02 パノラマ画像のスカイフィルタ方法及び携帯端末
US17/257,582 US11887362B2 (en) 2018-07-03 2019-07-02 Sky filter method for panoramic images and portable terminal
PCT/CN2019/094450 WO2020007307A1 (zh) 2018-07-03 2019-07-02 全景图像的天空滤镜方法及便携式终端
EP19830791.0A EP3819859B1 (en) 2018-07-03 2019-07-02 Sky filter method for panoramic images and portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810711718.XA CN109003237A (zh) 2018-07-03 2018-07-03 全景图像的天空滤镜方法、装置及便携式终端

Publications (1)

Publication Number Publication Date
CN109003237A true CN109003237A (zh) 2018-12-14

Family

ID=64598093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810711718.XA Pending CN109003237A (zh) 2018-07-03 2018-07-03 全景图像的天空滤镜方法、装置及便携式终端

Country Status (5)

Country Link
US (1) US11887362B2 (zh)
EP (1) EP3819859B1 (zh)
JP (1) JP7247236B2 (zh)
CN (1) CN109003237A (zh)
WO (1) WO2020007307A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785397A (zh) * 2019-01-25 2019-05-21 中电健康云科技有限公司 一种图像中色卡颜色提取方法及装置
CN110298813A (zh) * 2019-06-28 2019-10-01 北京金山安全软件有限公司 一种处理图片的方法、装置及电子设备
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
WO2020007307A1 (zh) * 2018-07-03 2020-01-09 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法及便携式终端
WO2020151268A1 (zh) 2019-01-22 2020-07-30 影石创新科技股份有限公司 一种3d小行星动态图的生成方法及便携式终端
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN112241753A (zh) * 2019-07-19 2021-01-19 北京京东振世信息技术有限公司 判断物品成新率的方法和装置
CN113034514A (zh) * 2021-03-19 2021-06-25 影石创新科技股份有限公司 天空区域分割方法、装置、计算机设备和存储介质
CN113051430A (zh) * 2021-03-26 2021-06-29 北京达佳互联信息技术有限公司 模型训练方法、装置、电子设备、介质及产品
CN116310851A (zh) * 2023-05-26 2023-06-23 中国科学院空天信息创新研究院 遥感图像变化检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022473B (zh) * 2021-11-19 2024-04-26 中国科学院长春光学精密机械与物理研究所 一种基于红外图像的地平线检测方法
CN114241537B (zh) * 2021-12-31 2022-12-23 智慧眼科技股份有限公司 指静脉图像真伪识别方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425137A (zh) * 2008-11-10 2009-05-06 北方工业大学 基于拉普拉斯金字塔的人脸图像融合方法
CN103927720A (zh) * 2014-04-09 2014-07-16 厦门美图之家科技有限公司 一种天空图像的识别及优化方法
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN105528575A (zh) * 2015-11-18 2016-04-27 首都师范大学 基于上下文推理的天空检测算法
CN106875351A (zh) * 2017-01-11 2017-06-20 西南科技大学 一种面向大面积天空区域图像的去雾方法
CN107317967A (zh) * 2017-07-27 2017-11-03 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN107622280A (zh) * 2017-09-14 2018-01-23 河南科技大学 基于场景分类的模块化处方式图像显著性检测方法
CN107833185A (zh) * 2017-10-13 2018-03-23 西安天和防务技术股份有限公司 图像去雾方法及装置、存储介质、电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7062085B2 (en) * 2001-09-13 2006-06-13 Eastman Kodak Company Method for detecting subject matter regions in images
JP2004240732A (ja) * 2003-02-06 2004-08-26 Konica Minolta Holdings Inc 画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置
WO2005020801A2 (en) * 2003-09-02 2005-03-10 Ludwig Institute Of Cancer Research Data driven motion correction for nuclear imaging
US7336819B2 (en) * 2003-12-29 2008-02-26 Eastman Kodak Company Detection of sky in digital color images
US8160391B1 (en) 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
JP5206209B2 (ja) * 2008-08-04 2013-06-12 ソニー株式会社 撮像装置と画像処理装置と撮像方法およびプログラム
JP2010156815A (ja) * 2008-12-26 2010-07-15 Pioneer Electronic Corp 地図情報管理装置、地図情報管理方法及び地図情報管理プログラム
US20120133639A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Strip panorama
JP5864937B2 (ja) * 2011-07-23 2016-02-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105023260A (zh) 2014-04-22 2015-11-04 Tcl集团股份有限公司 一种全景图像融合方法及融合装置
JP2016092518A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
JP6495446B2 (ja) * 2015-06-08 2019-04-03 オリンパス株式会社 ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法
US9858675B2 (en) 2016-02-11 2018-01-02 Adobe Systems Incorporated Object segmentation, including sky segmentation
US10074161B2 (en) * 2016-04-08 2018-09-11 Adobe Systems Incorporated Sky editing based on image composition
CN107784629B (zh) 2017-11-24 2021-10-15 努比亚技术有限公司 全景照片滤镜处理方法及移动终端
CN108093174A (zh) 2017-12-15 2018-05-29 北京臻迪科技股份有限公司 拍照设备的构图方法、装置和拍照设备
WO2019143722A1 (en) * 2018-01-18 2019-07-25 GumGum, Inc. Augmenting detected regions in image or video data
CN109003237A (zh) 2018-07-03 2018-12-14 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法、装置及便携式终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425137A (zh) * 2008-11-10 2009-05-06 北方工业大学 基于拉普拉斯金字塔的人脸图像融合方法
CN103927720A (zh) * 2014-04-09 2014-07-16 厦门美图之家科技有限公司 一种天空图像的识别及优化方法
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN105528575A (zh) * 2015-11-18 2016-04-27 首都师范大学 基于上下文推理的天空检测算法
CN106875351A (zh) * 2017-01-11 2017-06-20 西南科技大学 一种面向大面积天空区域图像的去雾方法
CN107317967A (zh) * 2017-07-27 2017-11-03 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN107622280A (zh) * 2017-09-14 2018-01-23 河南科技大学 基于场景分类的模块化处方式图像显著性检测方法
CN107833185A (zh) * 2017-10-13 2018-03-23 西安天和防务技术股份有限公司 图像去雾方法及装置、存储介质、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
茅天诒: ""基于天空区域分割的暗原色先验去雾优化技术"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007307A1 (zh) * 2018-07-03 2020-01-09 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法及便携式终端
US11887362B2 (en) 2018-07-03 2024-01-30 Arashi Vision Inc. Sky filter method for panoramic images and portable terminal
WO2020151268A1 (zh) 2019-01-22 2020-07-30 影石创新科技股份有限公司 一种3d小行星动态图的生成方法及便携式终端
US20220092734A1 (en) * 2019-01-22 2022-03-24 Arashi Vision Inc. Generation method for 3d asteroid dynamic map and portable terminal
US11995793B2 (en) 2019-01-22 2024-05-28 Arashi Vision Inc. Generation method for 3D asteroid dynamic map and portable terminal
CN109785397A (zh) * 2019-01-25 2019-05-21 中电健康云科技有限公司 一种图像中色卡颜色提取方法及装置
CN110298813A (zh) * 2019-06-28 2019-10-01 北京金山安全软件有限公司 一种处理图片的方法、装置及电子设备
CN112241753A (zh) * 2019-07-19 2021-01-19 北京京东振世信息技术有限公司 判断物品成新率的方法和装置
CN112241753B (zh) * 2019-07-19 2024-05-24 北京京东振世信息技术有限公司 判断物品成新率的方法和装置
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN113034514A (zh) * 2021-03-19 2021-06-25 影石创新科技股份有限公司 天空区域分割方法、装置、计算机设备和存储介质
CN113051430A (zh) * 2021-03-26 2021-06-29 北京达佳互联信息技术有限公司 模型训练方法、装置、电子设备、介质及产品
CN113051430B (zh) * 2021-03-26 2024-03-26 北京达佳互联信息技术有限公司 模型训练方法、装置、电子设备、介质及产品
CN116310851A (zh) * 2023-05-26 2023-06-23 中国科学院空天信息创新研究院 遥感图像变化检测方法
CN116310851B (zh) * 2023-05-26 2023-08-15 中国科学院空天信息创新研究院 遥感图像变化检测方法

Also Published As

Publication number Publication date
EP3819859A1 (en) 2021-05-12
WO2020007307A1 (zh) 2020-01-09
EP3819859B1 (en) 2024-02-21
US11887362B2 (en) 2024-01-30
JP2021528784A (ja) 2021-10-21
EP3819859A4 (en) 2022-03-16
US20210272245A1 (en) 2021-09-02
JP7247236B2 (ja) 2023-03-28

Similar Documents

Publication Publication Date Title
CN109003237A (zh) 全景图像的天空滤镜方法、装置及便携式终端
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN104143079B (zh) 人脸属性识别的方法和***
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Shahab et al. ICDAR 2011 robust reading competition challenge 2: Reading text in scene images
CN104881662B (zh) 一种单幅图像行人检测方法
CN112464883A (zh) 一种自然场景下船舶目标自动检测识别方法与***
CN107871101A (zh) 一种人脸检测方法及装置
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN104680144A (zh) 基于投影极速学习机的唇语识别方法和装置
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN104504365A (zh) 视频序列中的笑脸识别***及方法
CN110309746A (zh) 无通信互联的高等级信息安全区表格数据信息提取方法
CN103116749A (zh) 一种基于自建图像库的近红外人脸识别方法
CN113313082B (zh) 一种基于多任务损失函数的目标检测方法及***
CN109886086B (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN110390228A (zh) 基于神经网络的交通标志图片识别方法、装置及存储介质
CN113297956B (zh) 一种基于视觉的手势识别方法及***
CN105335760A (zh) 一种图像数字字符识别方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN112949655A (zh) 一种结合注意力混合裁剪的细粒度图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518101, Shenzhen, Guangdong, Baoan District province Xin'an street, Hai Xiu Road, Liuzhou Century Towers, block A, 601

Applicant after: Yingshi Innovation Technology Co.,Ltd.

Address before: 518101, Shenzhen, Guangdong, Baoan District province Xin'an street, Hai Xiu Road, Liuzhou Century Towers, block A, 601

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214

RJ01 Rejection of invention patent application after publication