JP7279108B2 - ビデオ処理方法及び装置、記憶媒体 - Google Patents
ビデオ処理方法及び装置、記憶媒体 Download PDFInfo
- Publication number
- JP7279108B2 JP7279108B2 JP2021075819A JP2021075819A JP7279108B2 JP 7279108 B2 JP7279108 B2 JP 7279108B2 JP 2021075819 A JP2021075819 A JP 2021075819A JP 2021075819 A JP2021075819 A JP 2021075819A JP 7279108 B2 JP7279108 B2 JP 7279108B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame
- target object
- video frame
- subject area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
(項目1)
端末に適用されるビデオ処理方法であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
上記目標対象を有する少なくとも1つの第1ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することと、を含むことを特徴とする、上記ビデオ処理方法。
(項目2)
上記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、
ビデオのビデオフレーム内の目標対象を識別することと、
上記目標対象に従って、上記主体領域及び上記背景領域を決定することと、を含むことを特徴とする、
上記項目に記載のビデオ処理方法。
(項目3)
上記第1ビデオフレームは静止画フレームを含み、上記第2ビデオフレームは、上記静止画フレームの後のビデオフレームを含み、
上記目標対象を有する少なくとも1つの第1ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
上記ビデオのビデオフレームの中から、少なくとも1つの上記静止画フレームを選択することと、
上記静止画フレームの上記主体領域を、上記第2ビデオフレームにオーバーレイして、上記特殊効果フレームを生成することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目4)
上記ビデオのビデオフレームの中から、少なくとも1つの上記静止画フレームを選択することは、
上記ビデオを再生するプロセス中、所定の操作命令を検出することと、
上記所定の操作命令を検出したときに表示されるビデオフレームが上記静止画フレームであると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目5)
上記ビデオのビデオフレームの中から、少なくとも1つの上記静止画フレームを選択することは、
上記ビデオ内の所定の時間間隔を有するビデオフレームを上記静止画フレームとして選択することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目6)
上記ビデオのビデオフレームの中から、少なくとも1つの上記静止画フレームを選択することは、
上記ビデオのビデオフレーム内の上記目標対象の姿勢を決定することと、
連続するN(Nは2より大きいか等しい正の整数である)個の上記ビデオフレームにおいて、上記目標対象の姿勢が同じ姿勢である場合、上記連続するN個のビデオフレームのうちの1つの上記ビデオフレームを上記静止画フレームとして選択することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目7)
上記ビデオのビデオフレームの中から、少なくとも1つの上記静止画フレームを選択することは、
上記ビデオフレーム内の上記目標対象の位置を決定することと、
上記目標対象の位置と前の静止画フレームにおける目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが上記静止画フレームであると決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目8)
上記ビデオ処理方法は、
上記第1ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、上記位置合わせパラメータは、上記特殊効果フレームにおける上記主体領域の目標位置を決定するために使用され、
上記目標対象を有する少なくとも1つのビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
上記位置合わせパラメータに従って、上記主体領域を、上記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの上記目標位置にオーバーレイして、上記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目9)
上記第1ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
上記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択することと、
上記参照フレーム内の目標対象に対する上記ビデオフレーム内の目標対象の位置オフセットに従って、上記位置合わせパラメータを決定することと、を含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目10)
上記目標対象を有する少なくとも1つの第1ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
上記目標対象を有する少なくとも1つの第1ビデオフレーム内の上記主体領域を、上記第1ビデオフレームの前の少なくとも1つの第2ビデオフレームにオーバーレイして、上記特殊効果フレームを生成することを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
(項目11)
端末に適用されるビデオ処理装置であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第1決定モジュールと、
上記目標対象を有する少なくとも1つの第1ビデオフレーム内の上記主体領域を、上記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、上記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、を備えることを特徴とする、上記ビデオ処理装置。
(項目12)
上記第1決定モジュールは、
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
上記目標対象に従って、上記主体領域及び上記背景領域を決定するように構成される第1決定サブモジュールと、を備えることを特徴とする、
上記項目に記載のビデオ処理装置。
(項目13)
上記第1ビデオフレームは静止画フレームを含み、上記第2ビデオフレームは、上記静止画フレームの後のビデオフレームを含み、
上記生成モジュールは、
上記ビデオのビデオフレームの中から、少なくとも1つの上記静止画フレームを選択するように構成される第1選択サブモジュールと、
上記静止画フレームの上記主体領域を、上記第2ビデオフレームにオーバーレイして、上記特殊効果フレームを生成するように構成される生成サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目14)
上記第1選択サブモジュールは、
上記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
上記所定の操作命令を検出したときに表示されるビデオフレームが上記静止画フレームであると決定するように構成される第2決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目15)
上記第1選択サブモジュールは、具体的に、
上記ビデオ内の所定の時間間隔を有するビデオフレームを上記静止画フレームとして選択するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目16)
上記第1選択サブモジュールは、
上記ビデオのビデオフレーム内の上記目標対象の姿勢を決定するように構成される第3決定サブモジュールと、
連続するN(Nは2より大きいか等しい正の整数である)個の上記ビデオフレームにおいて、上記目標対象の姿勢が同じ姿勢である場合、上記連続するN個のビデオフレームのうちの1つの上記ビデオフレームを上記静止画フレームとして選択するように構成される第2選択サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目17)
上記第1選択サブモジュールは、
上記ビデオフレーム内の上記目標対象の位置を決定するように構成される第4決定サブモジュールと、
上記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが上記静止画フレームであると決定するように構成される第5決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目18)
上記ビデオ処理装置はさらに、
上記第1ビデオフレームにおける上記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第2決定モジュールを備え、上記位置合わせパラメータは、上記特殊効果フレームにおける上記主体領域の目標位置を決定するために使用され、
上記生成モジュールは、具体的に、
上記位置合わせパラメータに従って、上記主体領域を、上記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの上記目標位置にオーバーレイして、上記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目19)
上記第2決定モジュールは、
上記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択するように構成される第3選択サブモジュールと、
上記参照フレーム内の目標対象に対する上記ビデオフレーム内の目標対象の位置オフセットに従って、上記位置合わせパラメータを決定するように構成される第6決定サブモジュールと、を備えることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目20)
上記生成モジュールは、具体的に、
上記目標対象を有する少なくとも1つの第1ビデオフレーム内の上記主体領域を、上記第1ビデオフレームの前の少なくとも1つの第2ビデオフレームにオーバーレイして、上記特殊効果フレームを生成するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
(項目21)
端末の通信装置であって、
上記通信装置は少なくとも、プロセッサと、上記プロセッサで実行可能な実行可能命令を記憶するように構成されるメモリと、を備え、
上記プロセッサは、上記実行可能命令を実行するときに、上記項目のいずれか一項に記載のビデオ処理方法におけるステップを実行するように構成される、上記端末の通信装置。
(項目22)
コンピュータ実行可能命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
当該コンピュータ実行可能命令がプロセッサによって実行されるときに、上記項目のいずれか一項に記載のビデオ処理方法におけるステップを実現する、上記非一時的なコンピュータ可読記憶媒体。
(摘要)
本発明は、ビデオ処理方法及び装置、記憶媒体に関するものである。当該ビデオ処理方法は端末に適用され、前記ビデオ処理方法は、ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することと、を含む。本発明の実施例における技術的解決策によれば、ビデオ画面を分割し、分割された異なる画像領域をオーバーレイする方式で、複数の主体を画面に同時に表示することができ、それにより、分身特殊効果を実現することができる。
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することと、を含む。
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと、を含む。
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
前記ビデオのビデオフレームの中から、少なくとも1つの前記静止画フレームを選択することと、
前記静止画フレームの前記主体領域を、前記第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することと、を含む。
前記ビデオを再生するプロセス中、所定の操作命令を検出することと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定することと、を含む。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択することを含む。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するN(Nは2より大きいか等しい正の整数である)個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するN個のビデオフレームのうちの1つの前記ビデオフレームを前記静止画フレームとして選択することと、を含む。
前記ビデオフレーム内の前記目標対象の位置を決定することと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定することと、を含む。
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記少なくとも1つのビデオフレーム内の前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームにオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成することを含む。
前記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと、を含む。
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記第1ビデオフレームの前の少なくとも1つの第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することを含む。
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第1決定モジュールと、
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、を備える。
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第1決定サブモジュールと、を備える。
前記生成モジュールは、
前記ビデオのビデオフレームの中から、少なくとも1つの前記静止画フレームを選択するように構成される第1選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと、を備える。
前記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定するように構成される第2決定サブモジュールと、を備える。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択するように構成される。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第3決定サブモジュールと、
連続するN(Nは2より大きいか等しい正の整数である)個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するN個のビデオフレームのうちの1つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第2選択サブモジュールと、を備える。
前記ビデオフレーム内の前記目標対象の位置を決定するように構成される第4決定サブモジュールと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定するように構成される第5決定サブモジュールと、を備える。
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第2決定モジュールを備え、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成するように構成される。
前記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択するように構成される第3選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第6決定サブモジュールと、を備える。
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記第1ビデオフレームの前の少なくとも1つの第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される。
前記プロセッサは、前記実行可能命令を実行するときに、上記のいずれか1つのビデオ処理方法におけるステップを実行するように構成される。
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと、を含む。
前記ビデオを再生するプロセス中、所定の操作命令を検出することと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定することと、を含む。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択することを含む。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するN(Nは2より大きいか等しい正の整数である)個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するN個のビデオフレームのうちの1つの前記ビデオフレームを前記静止画フレームとして選択することと、を含む。
前記ビデオフレーム内の前記目標対象の位置を決定することと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定することと、を含む。
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記少なくとも1つのビデオフレーム内の前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームにオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成することを含む。
前記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと、を含む。
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第1決定モジュール701と、
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュール702と、を備える。
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第1決定サブモジュールと、を備える。
前記生成モジュールは、
前記ビデオのビデオフレームの中から、少なくとも1つの前記静止画フレームを選択するように構成される第1選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと、を備える。
前記ビデオを再生するプロセス中、所定の操作命令を検出するように構成される検出サブモジュールと、
前記所定の操作命令を検出したときに表示されるビデオフレームが前記静止画フレームであると決定するように構成される第2決定サブモジュールと、を備える。
前記ビデオ内の所定の時間間隔を有するビデオフレームを前記静止画フレームとして選択するように構成される。
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第3決定サブモジュールと、
連続するN(Nは2より大きいか等しい正の整数である)個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するN個のビデオフレームのうちの1つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第2選択サブモジュールと、を備える。
前記ビデオフレーム内の前記目標対象の位置を決定するように構成される第4決定サブモジュールと、
前記目標対象の位置と前の静止画フレーム内の目標対象の位置との間の距離が所定の距離である場合、現在のビデオフレームが前記静止画フレームであると決定するように構成される第5決定サブモジュールと、を備える。
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第2決定モジュールを備え、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成するように構成される。
前記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択するように構成される第3選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第6決定サブモジュールと、を備える。
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記第1ビデオフレームの前の少なくとも1つの第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される。
Claims (6)
- 端末に適用されるビデオ処理方法であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することと、
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することと
を含み、
前記第1ビデオフレームは、静止画フレームを含み、前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定することと、
連続するN(Nは2より大きいか等しい正の整数である)個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するN個のビデオフレームのうちの1つの前記ビデオフレームを前記静止画フレームとして選択することと、
前記静止画フレームの前記主体領域を、前記第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成することと
を含み、
前記ビデオ処理方法は、
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することをさらに含み、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用され、
前記目標対象を有する少なくとも1つのビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成することは、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成することを含み、
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定することは、
前記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択することと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定することと
を含むことを特徴とする、ビデオ処理方法。 - 前記ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定することは、
ビデオのビデオフレーム内の目標対象を識別することと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定することと
を含むことを特徴とする、
請求項1に記載のビデオ処理方法。 - 端末に適用されるビデオ処理装置であって、
ビデオのビデオフレームにおける目標対象の主体領域及び主体領域以外の背景領域を決定するように構成される第1決定モジュールと、
前記目標対象を有する少なくとも1つの第1ビデオフレーム内の前記主体領域を、前記目標対象を有する少なくとも1つの第2ビデオフレームにオーバーレイして、前記目標対象が位置する少なくとも2つの主体領域を同時に含む特殊効果フレームを生成するように構成される生成モジュールと、
前記第1ビデオフレームにおける前記目標対象の位置に従って、主体領域の位置合わせパラメータを決定するように構成される第2決定モジュールであって、前記位置合わせパラメータは、前記特殊効果フレームにおける前記主体領域の目標位置を決定するために使用される、第2決定モジュールと
を備え、
前記第1ビデオフレームは、静止画フレームを含み、前記生成モジュールは、
前記ビデオのビデオフレーム内の前記目標対象の姿勢を決定するように構成される第3決定サブモジュールと、
連続するN(Nは2より大きいか等しい正の整数である)個の前記ビデオフレームにおいて、前記目標対象の姿勢が同じ姿勢である場合、前記連続するN個のビデオフレームのうちの1つの前記ビデオフレームを前記静止画フレームとして選択するように構成される第2選択サブモジュールと、
前記静止画フレームの前記主体領域を、前記第2ビデオフレームにオーバーレイして、前記特殊効果フレームを生成するように構成される生成サブモジュールと
を備え、
前記生成モジュールは、具体的に、
前記位置合わせパラメータに従って、前記主体領域を、前記目標対象が位置するビデオフレーム以外の少なくとも1つのビデオフレームの前記目標位置にオーバーレイして、前記目標対象が位置する2つの主体領域を同時に含む特殊効果フレームを生成するように構成され、
前記第2決定モジュールは、
前記ビデオのビデオフレームのうちの1つのビデオフレームを参照フレームとして選択するように構成される第3選択サブモジュールと、
前記参照フレーム内の目標対象に対する前記ビデオフレーム内の目標対象の位置オフセットに従って、前記位置合わせパラメータを決定するように構成される第6決定サブモジュールと
を備えることを特徴とする、ビデオ処理装置。 - 前記第1決定モジュールは、
ビデオのビデオフレーム内の目標対象を識別するように構成される識別サブモジュールと、
前記目標対象に従って、前記主体領域及び前記背景領域を決定するように構成される第1決定サブモジュールと
を備えることを特徴とする、
請求項3に記載のビデオ処理装置。 - 端末の通信装置であって、
前記通信装置は少なくとも、プロセッサと、前記プロセッサで実行可能な実行可能命令を記憶するように構成されるメモリとを備え、
前記プロセッサは、前記実行可能命令を実行するときに、請求項1または請求項2に記載のビデオ処理方法におけるステップを実行するように構成される、端末の通信装置。 - コンピュータ実行可能命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
当該コンピュータ実行可能命令がプロセッサによって実行されるときに、請求項1または請求項2に記載のビデオ処理方法におけるステップを実現する、非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010737025.5 | 2020-07-28 | ||
CN202010737025.5A CN111832539A (zh) | 2020-07-28 | 2020-07-28 | 视频处理方法及装置、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022024993A JP2022024993A (ja) | 2022-02-09 |
JP7279108B2 true JP7279108B2 (ja) | 2023-05-22 |
Family
ID=72925792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021075819A Active JP7279108B2 (ja) | 2020-07-28 | 2021-04-28 | ビデオ処理方法及び装置、記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11770497B2 (ja) |
EP (1) | EP3945490A1 (ja) |
JP (1) | JP7279108B2 (ja) |
KR (1) | KR102457864B1 (ja) |
CN (1) | CN111832539A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697723B (zh) * | 2020-12-28 | 2024-01-16 | 北京小米移动软件有限公司 | 一种视频生成方法、装置及介质 |
CN112822419A (zh) * | 2021-01-28 | 2021-05-18 | 上海盛付通电子支付服务有限公司 | 一种用于生成视频信息的方法与设备 |
CN113223012B (zh) * | 2021-04-30 | 2023-09-29 | 北京字跳网络技术有限公司 | 视频处理方法、设备及电子设备 |
CN113497973B (zh) * | 2021-09-06 | 2021-12-10 | 北京市商汤科技开发有限公司 | 视频处理方法和装置、计算机可读存储介质及计算机设备 |
CN113490050B (zh) * | 2021-09-07 | 2021-12-17 | 北京市商汤科技开发有限公司 | 视频处理方法和装置、计算机可读存储介质及计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344946A (ja) | 2001-05-16 | 2002-11-29 | Oki Electric Ind Co Ltd | 監視装置 |
JP2008178089A (ja) | 2006-12-22 | 2008-07-31 | Fujifilm Corp | 出力装置、出力方法、及びプログラム |
US20120002112A1 (en) | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
JP2013162333A (ja) | 2012-02-06 | 2013-08-19 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
US20170094193A1 (en) | 2015-09-28 | 2017-03-30 | Gopro, Inc. | Automatic composition of video with dynamic background and composite frames selected based on foreground object criteria |
WO2018180039A1 (ja) | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | 映像処理装置、映像解析システム、方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4131929B2 (ja) * | 2002-12-03 | 2008-08-13 | 株式会社東芝 | オブジェクト画像合成方法 |
JP2010183370A (ja) * | 2009-02-05 | 2010-08-19 | Sanyo Electric Co Ltd | 画像再生装置 |
KR101316848B1 (ko) * | 2011-12-27 | 2013-10-10 | 중앙대학교 산학협력단 | 배경 합성을 위한 자동 객체 분할 장치 및 방법 |
-
2020
- 2020-07-28 CN CN202010737025.5A patent/CN111832539A/zh active Pending
-
2021
- 2021-04-28 JP JP2021075819A patent/JP7279108B2/ja active Active
- 2021-04-28 KR KR1020210054745A patent/KR102457864B1/ko active IP Right Grant
- 2021-04-29 US US17/244,919 patent/US11770497B2/en active Active
- 2021-04-29 EP EP21171253.4A patent/EP3945490A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344946A (ja) | 2001-05-16 | 2002-11-29 | Oki Electric Ind Co Ltd | 監視装置 |
JP2008178089A (ja) | 2006-12-22 | 2008-07-31 | Fujifilm Corp | 出力装置、出力方法、及びプログラム |
US20120002112A1 (en) | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
JP2013162333A (ja) | 2012-02-06 | 2013-08-19 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
US20170094193A1 (en) | 2015-09-28 | 2017-03-30 | Gopro, Inc. | Automatic composition of video with dynamic background and composite frames selected based on foreground object criteria |
WO2018180039A1 (ja) | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | 映像処理装置、映像解析システム、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR102457864B1 (ko) | 2022-10-24 |
US20220038642A1 (en) | 2022-02-03 |
JP2022024993A (ja) | 2022-02-09 |
US11770497B2 (en) | 2023-09-26 |
CN111832539A (zh) | 2020-10-27 |
EP3945490A1 (en) | 2022-02-02 |
KR20220014278A (ko) | 2022-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7279108B2 (ja) | ビデオ処理方法及び装置、記憶媒体 | |
CN109600659B (zh) | 播放视频时的操作方法、装置、设备及存储介质 | |
EP3136391B1 (en) | Method, device and terminal device for video effect processing | |
EP3945494A1 (en) | Video processing method, apparatus and storage medium | |
CN107426502B (zh) | 拍摄方法及装置、电子设备、存储介质 | |
JP2018518723A (ja) | ゲーム実況方法及びその装置 | |
CN112256169B (zh) | 内容展示方法、装置、电子设备及存储介质 | |
JP7110443B2 (ja) | 撮影方法及び撮影装置、電子機器、記憶媒体 | |
CN110636382A (zh) | 在视频中添加可视对象的方法、装置、电子设备及存储介质 | |
CN113794923B (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
JP2011087183A (ja) | 撮影装置、画像処理装置、およびプログラム | |
CN113207027B (zh) | 视频播放速度调节方法及装置 | |
EP3799415A2 (en) | Method and device for processing videos, and medium | |
CN117119260A (zh) | 视频的控制处理方法及装置 | |
CN111586296B (zh) | 图像拍摄方法、图像拍摄装置及存储介质 | |
CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
CN114282022A (zh) | 多媒体编辑方法、装置、电子设备及存储介质 | |
CN114419198A (zh) | 一种帧序列处理方法、装置、电子设备及存储介质 | |
CN108159686B (zh) | 投影设备投影的方法、装置及存储介质 | |
CN114339357A (zh) | 图像采集方法、图像采集装置及存储介质 | |
CN114430457A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN114697700B (zh) | 视频剪辑方法、视频剪辑装置及存储介质 | |
EP4040437A1 (en) | Method and apparatus for playing an animation, device and storage medium | |
CN110955328B (zh) | 电子设备的控制方法、装置及存储介质 | |
CN114697700A (zh) | 视频剪辑方法、视频剪辑装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230302 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230309 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7279108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |