CN113034514A - 天空区域分割方法、装置、计算机设备和存储介质 - Google Patents

天空区域分割方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113034514A
CN113034514A CN202110295509.3A CN202110295509A CN113034514A CN 113034514 A CN113034514 A CN 113034514A CN 202110295509 A CN202110295509 A CN 202110295509A CN 113034514 A CN113034514 A CN 113034514A
Authority
CN
China
Prior art keywords
sky
panoramic
images
image
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110295509.3A
Other languages
English (en)
Inventor
贾配洋
林晓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110295509.3A priority Critical patent/CN113034514A/zh
Publication of CN113034514A publication Critical patent/CN113034514A/zh
Priority to PCT/CN2022/080598 priority patent/WO2022194079A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种天空区域分割方法、装置、计算机设备和存储介质。计算机设备根据目标全景视频中天空元素的占比，确定是否对目标全景视频进行天空分割处理；若是，则提取目标全景视频的M帧全景图像，将M帧全景图像中的每一帧全景图像输入预设模型，获取M帧全景图像中每一帧全景图像的掩码图像；根据掩码图像对M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。本实施例在进行目标全景视频的天空分割处理之前，先对目标全景视频进行判断，通过考虑全景视频的天空占比可以有效地过滤天空区域较少不适合进行天空分割的场景，进而提升天空分割效果；以及，通过该预设模型对全景视频的准确识别，能够提高对全景视频进行天空分割的效果。

Description

天空区域分割方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种天空区域分割方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，出现了天空分割技术，该天空分割技术能够将图像中的天空像素和非天空像素进行区分，以实现对图像进行天空替换的特效。
传统技术中，在进行天空分割以实现天空替换时，相机或者手机可以将拍摄的平面图像发送至云端，云端通过预存的天空分割算法，对该平面图像进行天空分割，并将分割后的结果返回至相机或者手机；相机或者手机也可以通过本地存储的天空分割算法对该平面图像进行天空分割。
然而，现有技术中的天空分割算法的处理速度较慢，对边缘分割的处理精度较低；而目前的天空分割算法处理的均是平面图像，对于全景图像或者全景视频的天空分割处理效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现对全景图像和全景视频进行准确天空分割的天空区域分割方法、装置、计算机设备和存储介质。
第一方面，提供了一种天空区域分割方法，该方法包括：
根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；
在判断对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域；
根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
在其中一个实施例中，根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理，包括：
从该M帧全景图像中确定N帧全景图像；
将该N帧全景图像输入该预设模型，得到该N帧全景图像对应的N个掩码图像；
根据该N个掩码图像中天空像素的占比，判断是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，根据该N个掩码图像中天空像素的占比，确定是否对该目标全景视频进行天空分割处理，包括：
根据该N个掩码图像中天空像素的数量和该N个掩码图像中非天空像素的数量，确定该天空像素的占比；
根据该天空像素的占比和第一预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理，包括：
从该M帧目标全景图像中确定N帧全景图像；
利用第二预设模型对该N帧全景图像进行识别，得到N个输出结果；该第二预设模型的输入为全景图像，输出为该全景图像包含天空或者该全景图像不包含天空；
根据该N个输出结果中包含天空的全景图像的占比，判断是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，根据该N个输出结果中包含天空的全景图像的占比，判断是否对该目标全景视频进行天空分割处理，包括：
根据该N个输出结果中包含天空的全景图像的数量和该N个输出结果中不包含天空的全景图像的数量，确定该包含天空的全景图像的占比；
根据该包含天空的全景图像的占比和第二预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，该预设模型的训练样本集包括多帧全景图像以及该多帧全景图像中每一帧全景图像对应的参考图像，该参考图像用于指示该参考图像对应的全景图像的天空区域。
在其中一个实施例中，该预设模型的训练过程包括：
将该训练样本集中的全景图像输入神经网络模型，根据该神经网络模型的输出与该参考图像的损失值调整该神经网络模型的参数，以获得该预设模型。
在其中一个实施例中，该预设模型的训练过程还包括：
利用模型压缩算法处理该神经网络模型，以更新该神经网络模型。
第二方面，提供了一种天空区域分割装置，该装置包括：
判断模块，用于根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；
获取模块，用于在判断对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域；
分割模块，用于根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；
提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域；
根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；
提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域；
根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
上述天空区域分割方法、装置、计算机设备和存储介质，计算机设备根据目标全景视频中天空元素的占比，确定是否对该目标全景视频进行天空分割处理；在确定对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；进而，可以根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理；其中，该掩码图像包括天空区域和非天空区域。可见，本实施例在进行目标全景视频的天空分割处理之前，先对该目标全景视频进行判断，来确定该目标全景视频是否适合进行天空分割，并在该目标全景视频适合进行天空分割时，采用预设的模型对该目标全景视频进行天空分割处理；这样能够避免现有技术中在全景视频包含天空区域较少的情况下仍然进行天空分割，而导致的天空分割效果差的问题，本实施例通过考虑全景视频的天空占比可以有效地过滤天空区域较少不适合进行天空分割的场景，进而提升天空分割效果；进一步地，通过本实施例中的预设模型能够准确得到每一帧全景图像分别对应的掩码图像，提高对全景图像的边缘处理精度，以及提高天空分割的处理速度，实现对全景图像和全景视频的准确识别，大大提高了对全景图像和全景视频识别的准确性，从而提升对全景图像和全景视频的分割效果。因此，采用本实施例中的天空区域分割方法，能够极大地提高对全景图像和全景视频的天空分割效果。
附图说明
图1为一个实施例中天空区域分割方法的应用环境图；
图2为一个实施例中天空区域分割方法的流程示意图；
图3为另一个实施例中天空区域分割方法的流程示意图；
图4为另一个实施例中天空区域分割方法的流程示意图；
图5为一个实施例中天空区域分割装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的天空区域分割方法，可以应用于如图1所示的计算机设备中，该计算机设备可以但不限于是任何类型的能够进行图像处理或者视频处理的终端，例如：普通相机、全景相机、智能手机、个人计算机、笔记本电脑、平板电脑、以及VR眼睛等；该计算机设备的内部结构图如图1所示，包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。
在一个实施例中，如图2所示，提供了一种天空区域分割方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤201，根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理。
其中，该目标全景视频为一段需要进行天空分割的待处理的全景视频。
计算机设备在对该目标全景视频进行天空分割时，需要先判断该目标全景视频是否适合进行天空分割，也就是说，在该目标全景视频适合进行天空分割的情况下，才对该目标全景视频进行天空分割操作；可选地，可以根据该目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；其中，该目标全景视频可以包括多帧全景图像，每一帧全景图像中可以包括天空元素和非天空元素；可选地，可以通过预处理、归一化、减均差、除方差等操作，将彩色的全景图像转换为灰度图像，以降低数据处理量。可选地，在确定该目标全景视频中天空元素的占比时，可以采用图像处理技术，分别对每一帧全景图像的天空区域和非天空区域进行标注，进而，可以确定出该目标全景视频的天空区域的总面积，即每一帧全景图像的天空区域的面积之和，以及该目标全景视频的总面积，即每一帧全景图像得面积之和；接着，根据该目标全景视频的天空区域的总面积除以该目标全景视频的总面积，可以得到该目标全景视频中天空元素的占比。进一步地，根据该目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理时，可选地，可以通过该目标全景视频中天空元素的占比与预设阈值的大小关系，来确定是否对该目标全景视频进行天空分割处理；在该目标全景视频中天空元素的占比大于该预设阈值时，可以确定对该目标全景视频进行天空分割处理；在该目标全景视频中天空元素的占比不大于该预设阈值时，则不对该目标全景视频进行天空分割处理；也就是，在该目标全景视频的天空元素较多的情况下，适合对该目标全景视频进行天空分割处理。
步骤202，若是，则提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域。
其中，该目标全景视频的M帧全景图像为根据预设的视频帧转换比例，将该目标全景视频转换为视频帧图像后，对应的所有帧全景图像，即M为全景图像的总帧数。另外，该预设模型包括用于对全景图像进行准确识别的全景天空分割算法，其输入为一张全景图像，输出为对应该全景图像的掩码图像，该掩码图像包括天空区域和非天空区域。
在步骤201之后，计算机设备在判断对该目标全景视频进行天空分割处理，即该目标全景视频的天空元素占比较多，适合对该目标全景视频进行天空分割处理的情况下，可以提取该目标全景视频的M帧全景图像，并将该M帧全景图像的每一帧全景图像分别输入至该预设模型中，以获取该M帧全景图像中每一帧全景图像分别对应的掩码图像，即获取M张掩码图像。
步骤203，根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
在得到每一帧全景图像分别对应的掩码图像之后，可以根据该掩码图像对与该掩码图像对应的那一帧全景图像进行天空分割处理，即去除该帧全景图像中与该掩码图像中天空区域对应的各像素值，保留非天空区域对应的像素值，即可得到将天空区域分割后的非天空区域图像。
本实施例中，计算机设备根据目标全景视频中天空元素的占比，确定是否对该目标全景视频进行天空分割处理；在确定对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；进而，可以根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理；其中，该掩码图像包括天空区域和非天空区域。可见，本实施例在进行目标全景视频的天空分割处理之前，先对该目标全景视频进行判断，来确定该目标全景视频是否适合进行天空分割，并在该目标全景视频适合进行天空分割时，采用预设的模型对该目标全景视频进行天空分割处理；这样能够避免现有技术中在全景视频包含天空区域较少的情况下仍然进行天空分割，而导致的天空分割效果差的问题，本实施例通过考虑全景视频的天空占比可以有效地过滤天空区域较少不适合进行天空分割的场景，进而提升天空分割效果；进一步地，通过本实施例中的预设模型能够准确得到每一帧全景图像分别对应的掩码图像，提高对全景图像的边缘处理精度，以及提高天空分割的处理速度，实现对全景图像和全景视频的准确识别，大大提高了对全景图像和全景视频识别的准确性，从而提升对全景图像和全景视频的分割效果。因此，采用本实施例中的天空区域分割方法，能够极大地提高对全景图像和全景视频的天空分割效果。
图3另一个实施例中天空区域分割方法的流程示意图。本实施例涉及的是根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理的一种可选的实现过程；在上述实施例的基础上，如图3所示，上述步骤201包括：
步骤301，从该M帧全景图像中确定N帧全景图像。
在本实施例的一种可选的实现方式中，在确定该目标全景视频中天空元素的占比时，可以从该目标全景视频对应的所有帧全景图像中选择部分全景图像，根据该部分全景图像中天空元素的占比，来确定是否对该目标全景视频进行天空分割处理，以降低计算机设备的数据处理量，减少内存的运算量。也就是，可以从该M帧全景图像中确定N帧全景图像；可选地，可以从该M帧全景图像中随机抽取连续的N帧全景图像，也可以从该M帧全景图像中随机抽取不连续的N帧全景图像。本实施例中对获取N帧全景图像的方式并不做限定。
步骤302，将该N帧全景图像输入该预设模型，得到该N帧全景图像对应的N个掩码图像。
步骤303，根据该N个掩码图像中天空像素的占比，判断是否对该目标全景视频进行天空分割处理。
在本实施例的一种可选的实现方式中，在得到该N帧全景图像分别对应的掩码图像之后，由于该掩码图像包括天空区域和非天空区域，即该天空区域和非天空区域通过二值数值0和1，或者0和255，进行像素的标注；进而，可以根据该N个掩码图像中天空像素的占比，来判断是否对该目标全景视频进行天空分割处理；可选地，可以根据该N个掩码图像中天空像素的数量和该N个掩码图像中非天空像素的数量，确定该天空像素的占比；并根据该天空像素的占比和第一预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。例如：可以将该N个掩码图像中天空像素的数量表示为sky_pixels、可以将该N个掩码图像中非天空像素的数量表示为background_pixels，那么，该天空像素的占比sky_ratio可以表示为：sky_ratio＝sky_pixels/(sky_pixels+background_pixels)；进一步地，可以根据该天空像素的占比sky_ratio，和第一预设阈值，判断是否对该目标全景视频进行天空分割处理；可选地，在该天空像素的占比sky_ratio大于该第一预设阈值时，可以判断对该目标全景视频进行天空分割处理；在该天空像素的占比sky_ratio不大于该第一预设阈值时，可以判断不对该目标全景视频进行天空分割处理。
本实施例中，计算机设备从该M帧全景图像中确定N帧全景图像，并将该N帧全景图像输入该预设模型，得到该N帧全景图像对应的N个掩码图像；接着，根据该N个掩码图像中天空像素的占比，确定是否对该目标全景视频进行天空分割处理；也就是说，本实施例中计算机设备通过选取部分全景图像，并将该部分全景图像的天空像素的占比作为目标全景视频的判断依据，来判断是否对该目标全景视频进行天空分割处理，能够降低计算机设备的数据处理量；另外，通过将选取的N张全景图像输入至上述预设模型中，得到对应的N个掩码图像，由于该预设模型能够准确识别全景图像中的天空区域和非天空区域，因此，根据该N个掩码图像得到的天空像素的占比，进而根据该天空像素的占比判断是否对该目标全景视频进行天空分割处理，极大地提高了对目标全景视频判断的准确性。
图4另一个实施例中天空区域分割方法的流程示意图。本实施例涉及的是根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理的另一种可选的实现过程；在上述实施例的基础上，如图4所示，上述步骤201包括：
步骤401，从该M帧目标全景图像中确定N帧全景图像。
参考步骤301的论述，在此不再赘述。
步骤402，利用第二预设模型对该N帧全景图像进行识别，得到N个输出结果。
其中，该第二预设模型的输入为全景图像，输出为该全景图像包含天空或者该全景图像不包含天空。可选地，可以将含有天空区域的正样本图像和不含有天空区域的负样本图像，输入至任一传统分类算法模型中，训练得到天空分类算法模型，将该天空分类算法模型作为该第二预设模型；其中，该任一传统分类算法模型可以是基于支持向量机(Support Vector Machine，简称SVM)、邻近算法(K-NearestNeighbor，简称KNN)、以及深度学习卷积神经网络(Convolutional Neural Networks，简称CNN)等的分类算法；其中，深度学习CNN算法可以包括：残差神经网络(Residual Neural Network，简称ResNet)、高分辨率网络(High-Resoultion Net，简称HRNet)、以及用于移动和嵌入式视觉应用的高效模型(简称MobileNet)等；本实施例对使用何种传统分类算法模型训练得到的第二预设模型并不做限定。
在本实施例的一种可选的实现方式中，在得到N帧全景图像之后，可以将该N帧全景图像分别输入至该第二预设模型中，利用该第二预设模型对该N帧全景图像分别进行识别，得到每一帧全景图像分别对应的输出结果，即得到N个输出结果；其中，每一个输出结果表示对应的该帧全景图像为包含天空的全景图像，还是不包含天空的全景图像。
步骤403，根据该N个输出结果中包含天空的全景图像的占比，判断是否对该目标全景视频进行天空分割处理。
在本实施例的一种可选的实现方式中，在得到N个输出结果之后，可以根据该N个输出结果中包含天空的全景图像的占比，来判断是否对该目标全景视频进行天空分割处理；可选地，根据该N个输出结果中包含天空的全景图像的数量和该N个输出结果中不包含天空的全景图像的数量，确定该包含天空的全景图像的占比；进而根据该包含天空的全景图像的占比和第二预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。例如：可以将N个输出结果中包含天空的全景图像的数量表示为sky_nums，将N个输出结果中不包含天空的全景图像的数量表示为background_nums，那么，该包含天空的全景图像的占比sky_ratio可以表示为：sky_ratio＝sky_nums/(sky_nums+background_nums)；进一步地，可以根据该包含天空的全景图像的占比和第二预设阈值，判断是否对该目标全景视频进行天空分割处理；可选地，在该包含天空的全景图像的占比sky_ratio大于第二预设阈值时，可以判断对该目标全景视频进行天空分割处理；在该包含天空的全景图像的占比sky_ratio不大于第二预设阈值时，可以判断不对该目标全景视频进行天空分割处理。
本实施例中，计算机设备从该M帧目标全景图像中确定N帧全景图像，并利用第二预设模型对该N帧全景图像进行识别，得到N个输出结果，进而，根据该N个输出结果中包含天空的全景图像的占比，确定是否对该目标全景视频进行天空分割处理；也就是说，本实施例中计算机设备通过选取部分全景图像，并将该部分全景图像的包含天空的全景图像的占比作为目标全景视频的判断依据，来判断是否对该目标全景视频进行天空分割处理，能够降低计算机设备的数据处理量；另外，通过预先训练好的能够准确识别全景图像是否包含天空的第二预设模型，对该部分全景图像分别进行识别，得到对应的输出结果，进而根据该输出结果确定包含天空的全景图像的占比以及判断是否对该目标全景视频进行天空分割处理，能够提高对目标全景视频判断的准确性。
在本申请的一个可选的实施例中，该预设模型的训练样本集可以包括多帧全景图像以及该多帧全景图像中每一帧全景图像对应的参考图像，该参考图像用于指示该参考图像对应的全景图像的天空区域，也就是说，根据该参考图像能够区分出该参考图像对应的全景图像中的天空区域和非天空区域；本实施例中可以通过任一形式对该全景图像的天空区域进行标注，得到能够区别出该全景图像中天空区域的参考图像。可选地，该参考图像可以是每一帧全景图像分别对应的掩码图像，该掩码图像可以通过相关软件进行标注，例如：可以通过PS软件对一帧全景图像进行标注，以区分出天空区域和非天空区域，得到该帧全景图像对应的掩码图像，其中，该掩码图像中的天空区域可以标注为1或者255，非天空区域可以标注为0；该参考图像还可以是以分割线的形式，将天空区域包含在内，得到能够标记出天空区域的参考图像等；本实施例中对参考图形的形式并不做限定，只要能区分出全景图像的天空区域和非天空区域即可。另外，该多帧全景图像中可以包括不同场景下对应的多帧全景图像，也可以包括不同清晰度对应的全景图像，还可以包括任一存在畸变或者天空与非天空的界限不明显的全景图像等；本实施例对此并不做限定。通过采集不同类型的全景图像，能够大大提高预测模型对全景图像的处理效果，以及提高对全景图像的边缘处理精度。
在本申请的一个可选的实施例中，该预设模型的训练过程包括：将该训练样本集中的全景图像输入神经网络模型，根据该神经网络模型的输出与该参考图像的损失值调整该神经网络模型的参数，以获得该预设模型。可选地，可以将该训练样本集中的部分全景图像和该部分全景图像中每张全景图像分别对应的参考图像输入至神经网络模型中，进行模型训练，以得到全景天空分割算法；接着，可以将该训练样本集中的另一部分全景图像输入至训练好的神经网络模型中，进行该全景天空分割算法的测试，得到该神经网络模型的输出，也就是得到每张全景图像分别对应的掩码图像；根据该每张全景图像分别对应的掩码图像和每张全景图像分别对应的参考图像的损失值调整该神经网络模型的参数，以对该神经网络模型进行进一步地优化处理，得到输出结果更精确的全景天空分割算法的神经网络模型，作为该预设模型；其中，该参考图像的损失值为该神经网络模型的输出，即掩码图像，与该参考图像之间的损失，其损失值越大，说明该掩码图像与该参考图像之间的误差也就越大；根据该损失值对该神经网络模型进行进一步地优化处理，直到该损失值达到最小，也就是，该神经网络模型输出的掩码图像，与对应的参考图像之间的误差最小，即使得该神经网络模型的输出更精确。其中，该神经网络模型可以采用全卷积网络(FullyConvolutional Networks，简称FCN)、深度卷积网络(Deeplab)、金字塔场景解析网络(Pyramid Scene Parsing Network，简称PSPNet)、高分辨率网络(High-Resoultion Net，简称HRNet)等基于深度学习的卷积神经网络模型；本申请实施例对此并不做限定。
可选地，在得到训练好的预设模型后，即得到训练好的全景天空分割算法后，可以对该预设模型进行性能评估，计算该预设模型的精度，以及实测该预设模型在计算机设备上的处理速度；可选地，可以将任意多张全景图像分别输入至该预设模型中，输出该多张全景图像分别对应的掩码图像，并根据该多张掩码图像计算该预设模型的精度，该预设模型的精度可以包括计算该预设模型的平均交并比(mean Intersection over Union，简称mIoU)，以及计算该预设模型的像素精度(Accuracy，简称acc)等；以及计算该预设模型平均处理一张全景图像的平均耗时，即模型的处理速度。
在本申请的一个可选的实施例中，还可以利用模型压缩算法处理该神经网络模型，以更新该神经网络模型。可选地，在将该训练样本集中的全景图像输入神经网络模型之前，可以通过模型压缩算法对该神经网络模型进行模型压缩，以降低模型的数据处理量；进而根据模型压缩后的神经网络模型进行全景天空分割算法模型的训练，以提高计算机设备执行该全景天空分割算法的处理速度，达到实时处理的效果。可选地，该模型压缩算法可以包括对该神经网络模型进行模型剪枝、降低通道数、减少网络层数、降低输入分辨率、知识蒸馏、消融实验、以及替换更轻量级提取特征的神经网络模型等，以较少该神经网络模型的参数和计算量，在保证模型精度不出现明显降低的情况下，提高模型的处理速度，达到实时处理的要求。本实施例中对模型压缩算法并不做具体限定，只要在保证神经网络模型精度不出现明显降低的情况下，能够提高神经网络模型的处理速度即可。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种天空区域分割装置，包括：判断模块501、获取模块502和分割模块503，其中：
判断模块501，用于根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理。
获取模块502，用于在判断对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域。
分割模块503，用于根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
在其中一个实施例中，上述判断模块501，具体用于在根据目标全景视频中天空元素的占比，确定对该目标全景视频进行天空分割处理之前，从该M帧全景图像中确定N帧全景图像；将该N帧全景图像输入该预设模型，得到该N帧全景图像对应的N个掩码图像；根据该N个掩码图像中天空像素的占比，确定是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，上述判断模块501，具体用于根据该N个掩码图像中天空像素的数量和该N个掩码图像中非天空像素的数量，确定该天空像素的占比；根据该天空像素的占比和第一预设阈值的大小关系，确定是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，上述判断模块501，还用于在根据目标全景视频中天空元素的占比，确定对该目标全景视频进行天空分割处理之前，从该M帧目标全景图像中确定N帧全景图像；利用第二预设模型对该N帧全景图像进行识别，得到N个输出结果；该第二预设模型的输入为全景图像，输出为该全景图像包含天空或者该全景图像不包含天空；根据该N个输出结果中包含天空的全景图像的占比，确定是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，上述判断模块501，具体用于根据该N个输出结果中包含天空的全景图像的数量和该N个输出结果中不包含天空的全景图像的数量，确定该包含天空的全景图像的占比；根据该包含天空的全景图像的占比和第二预设阈值的大小关系，确定是否对该目标全景视频进行天空分割处理。
在其中一个实施例中，该预设模型的训练样本集包括多帧全景图像以及该多帧全景图像中每一帧全景图像对应的参考图像，该参考图像用于指示该参考图像对应的全景图像的天空区域。
在其中一个实施例中，所述装置还包括：模型训练模块；该模型训练模块，用于将该训练样本集中的全景图像输入神经网络模型，根据该神经网络模型的输出与该参考图像的损失值调整该神经网络模型的参数，以获得该预设模型。
在其中一个实施例中，该模型训练模块，还用于利用模型压缩算法处理该神经网络模型，以更新该神经网络模型。
关于天空区域分割装置的具体限定可以参见上文中对于天空区域分割方法的限定，在此不再赘述。上述天空区域分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述终端，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种天空区域分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；
在判断对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域；
根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从该M帧全景图像中确定N帧全景图像；将该N帧全景图像输入该预设模型，得到该N帧全景图像对应的N个掩码图像；根据该N个掩码图像中天空像素的占比，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据该N个掩码图像中天空像素的数量和该N个掩码图像中非天空像素的数量，确定该天空像素的占比；根据该天空像素的占比和第一预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从该M帧目标全景图像中确定N帧全景图像；利用第二预设模型对该N帧全景图像进行识别，得到N个输出结果；该第二预设模型的输入为全景图像，输出为该全景图像包含天空或者该全景图像不包含天空；根据该N个输出结果中包含天空的全景图像的占比，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据该N个输出结果中包含天空的全景图像的数量和该N个输出结果中不包含天空的全景图像的数量，确定该包含天空的全景图像的占比；根据该包含天空的全景图像的占比和第二预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：该预设模型的训练样本集包括多帧全景图像以及该多帧全景图像中每一帧全景图像对应的参考图像，该参考图像用于指示该参考图像对应的全景图像的天空区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将该训练样本集中的全景图像输入神经网络模型，根据该神经网络模型的输出与该参考图像的损失值调整该神经网络模型的参数，以获得该预设模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：利用模型压缩算法处理该神经网络模型，以更新该神经网络模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据目标全景视频中天空元素的占比，判断是否对该目标全景视频进行天空分割处理；
在判断对该目标全景视频进行天空分割处理的情况下，提取该目标全景视频的M帧全景图像，将该M帧全景图像中的每一帧全景图像输入预设模型，获取该M帧全景图像中每一帧全景图像的掩码图像；该掩码图像包括天空区域和非天空区域；
根据该掩码图像对该M帧全景图像中与该掩码图像对应的全景图像进行天空分割处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从该M帧全景图像中确定N帧全景图像；将该N帧全景图像输入该预设模型，得到该N帧全景图像对应的N个掩码图像；根据该N个掩码图像中天空像素的占比，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据该N个掩码图像中天空像素的数量和该N个掩码图像中非天空像素的数量，确定该天空像素的占比；根据该天空像素的占比和第一预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从该M帧目标全景图像中确定N帧全景图像；利用第二预设模型对该N帧全景图像进行识别，得到N个输出结果；该第二预设模型的输入为全景图像，输出为该全景图像包含天空或者该全景图像不包含天空；根据该N个输出结果中包含天空的全景图像的占比，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据该N个输出结果中包含天空的全景图像的数量和该N个输出结果中不包含天空的全景图像的数量，确定该包含天空的全景图像的占比；根据该包含天空的全景图像的占比和第二预设阈值的大小关系，判断是否对该目标全景视频进行天空分割处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：该预设模型的训练样本集包括多帧全景图像以及该多帧全景图像中每一帧全景图像对应的参考图像，该参考图像用于指示该参考图像对应的全景图像的天空区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将该训练样本集中的全景图像输入神经网络模型，根据该神经网络模型的输出与该参考图像的损失值调整该神经网络模型的参数，以获得该预设模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用模型压缩算法处理该神经网络模型，以更新该神经网络模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种天空区域分割方法，其特征在于，所述方法包括：
根据目标全景视频中天空元素的占比，判断是否对所述目标全景视频进行天空分割处理；
若是，则提取所述目标全景视频的M帧全景图像，将所述M帧全景图像中的每一帧全景图像输入预设模型，获取所述M帧全景图像中每一帧全景图像的掩码图像；所述掩码图像包括天空区域和非天空区域；
根据所述掩码图像对所述M帧全景图像中与所述掩码图像对应的全景图像进行天空分割处理。
2.根据权利要求1所述的方法，其特征在于，所述根据目标全景视频中天空元素的占比，判断是否对所述目标全景视频进行天空分割处理，包括：
从所述M帧全景图像中确定N帧全景图像；
将所述N帧全景图像输入所述预设模型，得到所述N帧全景图像对应的N个掩码图像；
根据所述N个掩码图像中天空像素的占比，判断是否对所述目标全景视频进行天空分割处理。
3.根据权利要求2所述的方法，其特征在于，所述根据所述N个掩码图像中天空像素的占比，判断是否对所述目标全景视频进行天空分割处理，包括：
根据所述N个掩码图像中天空像素的数量和所述N个掩码图像中非天空像素的数量，确定所述天空像素的占比；
根据所述天空像素的占比和第一预设阈值的大小关系，判断是否对所述目标全景视频进行天空分割处理。
4.根据权利要求1所述的方法，其特征在于，所述根据目标全景视频中天空元素的占比，判断是否对所述目标全景视频进行天空分割处理，包括：
从所述M帧目标全景图像中确定N帧全景图像；
利用第二预设模型对所述N帧全景图像进行识别，得到N个输出结果；所述第二预设模型的输入为全景图像，输出为所述全景图像包含天空或者所述全景图像不包含天空；
根据所述N个输出结果中包含天空的全景图像的占比，判断是否对所述目标全景视频进行天空分割处理。
5.根据权利要求4所述的方法，其特征在于，所述根据所述N个输出结果中包含天空的全景图像的占比，判断是否对所述目标全景视频进行天空分割处理，包括：
根据所述N个输出结果中包含天空的全景图像的数量和所述N个输出结果中不包含天空的全景图像的数量，确定所述包含天空的全景图像的占比；
根据所述包含天空的全景图像的占比和第二预设阈值的大小关系，判断是否对所述目标全景视频进行天空分割处理。
6.根据权利要求1所述的方法，其特征在于，所述预设模型的训练样本集包括多帧全景图像以及所述多帧全景图像中每一帧全景图像对应的参考图像，所述参考图像用于指示所述参考图像对应的全景图像的天空区域。
7.根据权利要求6所述的方法，其特征在于，所述预设模型的训练过程包括：
将所述训练样本集中的全景图像输入神经网络模型，根据所述神经网络模型的输出与所述参考图像的损失值调整所述神经网络模型的参数，以获得所述预设模型。
8.根据权利要求7所述的方法，其特征在于，所述预设模型的训练过程还包括：
利用模型压缩算法处理所述神经网络模型，以更新所述神经网络模型。
9.一种天空区域分割装置，其特征在于，所述装置包括：
判断模块，用于根据目标全景视频中天空元素的占比，判断是否对所述目标全景视频进行天空分割处理；
获取模块，用于若是，则提取所述目标全景视频的M帧全景图像，将所述M帧全景图像中的每一帧全景图像输入预设模型，获取所述M帧全景图像中每一帧全景图像的掩码图像；所述掩码图像包括天空区域和非天空区域；
分割模块，用于根据所述掩码图像对所述M帧全景图像中与所述掩码图像对应的全景图像进行天空分割处理。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202110295509.3A 2021-03-19 2021-03-19 天空区域分割方法、装置、计算机设备和存储介质 Pending CN113034514A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110295509.3A CN113034514A (zh) 2021-03-19 2021-03-19 天空区域分割方法、装置、计算机设备和存储介质
PCT/CN2022/080598 WO2022194079A1 (zh) 2021-03-19 2022-03-14 天空区域分割方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295509.3A CN113034514A (zh) 2021-03-19 2021-03-19 天空区域分割方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113034514A true CN113034514A (zh) 2021-06-25

Family

ID=76471741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295509.3A Pending CN113034514A (zh) 2021-03-19 2021-03-19 天空区域分割方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113034514A (zh)
WO (1) WO2022194079A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808073A (zh) * 2021-08-03 2021-12-17 北京中科慧眼科技有限公司 基于双目立体匹配算法的去天空方法、***和智能终端
CN113989460A (zh) * 2021-10-19 2022-01-28 中国海洋大学 用于增强现实场景的实时天空替换特效控制方法及装置
WO2022194079A1 (zh) * 2021-03-19 2022-09-22 影石创新科技股份有限公司 天空区域分割方法、装置、计算机设备和存储介质
WO2023016150A1 (zh) * 2021-08-09 2023-02-16 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003237A (zh) * 2018-07-03 2018-12-14 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法、装置及便携式终端
CN110944163A (zh) * 2019-11-21 2020-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111127307A (zh) * 2019-12-09 2020-05-08 上海传英信息技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN111833372A (zh) * 2020-07-23 2020-10-27 浙江大华技术股份有限公司 一种前景目标提取方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858675B2 (en) * 2016-02-11 2018-01-02 Adobe Systems Incorporated Object segmentation, including sky segmentation
US10074161B2 (en) * 2016-04-08 2018-09-11 Adobe Systems Incorporated Sky editing based on image composition
CN112258380A (zh) * 2019-07-02 2021-01-22 北京小米移动软件有限公司 图像处理方法、装置、设备及存储介质
CN111210434A (zh) * 2019-12-19 2020-05-29 上海艾麒信息科技有限公司 基于天空识别的图像替换方法及***
CN111428582B (zh) * 2020-03-05 2023-05-05 南京大学 一种利用互联网街景照片计算城市天空开阔度的方法
CN111464834B (zh) * 2020-04-07 2023-04-07 腾讯科技（深圳）有限公司 一种视频帧处理方法、装置、计算设备及存储介质
CN113034514A (zh) * 2021-03-19 2021-06-25 影石创新科技股份有限公司 天空区域分割方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003237A (zh) * 2018-07-03 2018-12-14 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法、装置及便携式终端
CN110944163A (zh) * 2019-11-21 2020-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111127307A (zh) * 2019-12-09 2020-05-08 上海传英信息技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN111833372A (zh) * 2020-07-23 2020-10-27 浙江大华技术股份有限公司 一种前景目标提取方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022194079A1 (zh) * 2021-03-19 2022-09-22 影石创新科技股份有限公司 天空区域分割方法、装置、计算机设备和存储介质
CN113808073A (zh) * 2021-08-03 2021-12-17 北京中科慧眼科技有限公司 基于双目立体匹配算法的去天空方法、***和智能终端
WO2023016150A1 (zh) * 2021-08-09 2023-02-16 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN113989460A (zh) * 2021-10-19 2022-01-28 中国海洋大学 用于增强现实场景的实时天空替换特效控制方法及装置
CN113989460B (zh) * 2021-10-19 2024-05-17 中国海洋大学 用于增强现实场景的实时天空替换特效控制方法及装置

Also Published As

Publication number Publication date
WO2022194079A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
US20180018503A1 (en) Method, terminal, and storage medium for tracking facial critical area
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN110781859B (zh) 图像标注方法、装置、计算机设备和存储介质
CN111192292A (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN110930296B (zh) 图像处理方法、装置、设备及存储介质
CN113255915B (zh) 基于结构化实例图的知识蒸馏方法、装置、设备和介质
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
CN108229673B (zh) 卷积神经网络的处理方法、装置和电子设备
CN111815577A (zh) 安全帽佩戴检测模型处理方法、装置、设备和存储介质
CN109858327B (zh) 一种基于深度学习的字符分割方法
CN112580660B (zh) 图像处理方法、装置、计算机设备和可读存储介质
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN113179421B (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN113888514A (zh) 导地线缺陷检测方法、装置、边缘计算设备和存储介质
CN112989910A (zh) 电力目标检测方法、装置、计算机设备和存储介质
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN110909665A (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
CN110969154A (zh) 文本识别方法、装置、计算机设备和存储介质
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination