JP2023509429A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
JP2023509429A
JP2023509429A JP2022540466A JP2022540466A JP2023509429A JP 2023509429 A JP2023509429 A JP 2023509429A JP 2022540466 A JP2022540466 A JP 2022540466A JP 2022540466 A JP2022540466 A JP 2022540466A JP 2023509429 A JP2023509429 A JP 2023509429A
Authority
JP
Japan
Prior art keywords
image
video frame
video
frame image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022540466A
Other languages
English (en)
Other versions
JP7467642B2 (ja
Inventor
リ,シャオチー
ニ,グアンヤオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023509429A publication Critical patent/JP2023509429A/ja
Application granted granted Critical
Publication of JP7467642B2 publication Critical patent/JP7467642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本開示には、画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体が開示されている。方法は、オリジナルビデオを取得することと、オリジナルビデオから第1のビデオフレーム画像を選択することと、オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、第2のビデオフレーム画像から目標対象が第2のビデオフレーム画像中で占める画像部分を分離することと、目標対象が第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、透明化画像を第1のビデオフレーム画像に重畳してエフェクト画像を得ることと、オリジナルビデオにおいて、第2のビデオフレーム画像をエフェクト画像に置き換えて目標ビデオを形成することとを含む。本開示の実施例によれば、ユーザは、同一の目標対象の異なるビデオフレームにおける画像を同時に見ることができ、表示効果がより柔軟になる。

Description

[関連出願の相互参照]
本出願は、2019年12月30日に国家知識産権局に提出された、出願番号が201911397521.4であり、出願の名称が「画像処理方法及び装置」である中国特許出願の優先権を主張し、その内容の全てが参照によって本出願に組み込まれる。
[技術分野]
本開示は、画像処理技術分野に関し、特に画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
インターネット技術及び画像処理技術が発展しつつあり、それに伴い、撮像時に画像にエフェクトを付加することが人気を集めている。ユーザは、相応なエフェクト機能を選択することにより、撮像した画像に好みのエフェクトを付加することができ、撮像の興趣性を高めることができる。従来技術における画像エフェクト機能では柔軟性に欠ける。
この発明の概要は、構想を簡単な形で紹介するために提供され、これらの構想は、発明を実施するための以下の形態で詳細に記述される。この発明の概要は、権利化しようとする技術案のキーポイントとなる特徴又は必須な特徴を特定することを意図するものではなく、権利化しようとする技術案の範囲を制限することも意図していない。
本開示が解決しようとする技術課題は、従来技術における画像エフェクト機能の表示効果が柔軟性に欠けるという技術課題を少なくとも部分的に解決する画像処理方法を提供することにある。また、画像処理装置、画像処理ハードウェア装置、コンピュータ読み取り可能な記憶媒体及び画像処理端末をさらに提供する。
上記目的を達成するために、本開示の一側面によれば、
オリジナルビデオを取得することと、
前記オリジナルビデオから第1のビデオフレーム画像を選択することと、
前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離することと、
前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得ることと、
前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することと
を含む画像処理方法を提供する。
上記目的を達成するために、本開示の一側面によれば、
オリジナルビデオを取得するためのビデオ取得モジュールと、
前記オリジナルビデオから第1のビデオフレーム画像を選択するための画像選択モジュールであって、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離するための画像選択モジュールと、
前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得るための透明化処理モジュールと、
前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するための画像置換モジュールと
を含む画像処理装置を提供する。
上記目的を達成するために、本開示の一側面によれば、
非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するために用いられるプロセッサであって、前記プロセッサが実行すると、上記の画像処理方法を実現させるプロセッサと
を含む電子機器を提供する。
上記目的を達成するために、本開示の一側面によれば、
非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行されると、前記コンピュータに上記の画像処理方法を実行させるコンピュータ読み取り可能な記憶媒体を提供する。
上記目的を達成するために、本開示の別の側面によれば、
上記いずれかの画像処理装置を含む画像処理端末を提供する。
本開示の実施例は、オリジナルビデオを取得し、前記オリジナルビデオから第1のビデオフレーム画像を選択し、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離し、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得て、前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することにより、ユーザは、同一の目標対象の異なるビデオフレームにおける画像を同時に見ることができ、表示効果がより柔軟になる。
上記の説明は、本開示の技術案の概要に過ぎず、本開示の技術的手段をより明確に理解し、明細書の内容に基づいて実施できるようにし、本開示の上記及び他の目的、特徴及び利点をより明らかで理解しやすいようにするために、以下、好ましい実施例を挙げて、添付図面と併せて、以下のように詳しく説明する。
本開示の各実施例の上記及び他の特徴、利点、並びに態様は、添付図面と併せて、以下の発明を実施するための形態を参照することでより明らかとなる。全ての添付図面において、同一又は類似する要素を同一又は類似する符号で示している。添付図面は概略的なものであり、エレメント及び要素は必ずしも縮尺通りに描かれていないことを理解されたい。
本開示の1つの実施例による画像処理方法のフローチャート概略図である。 本開示の1つの実施例による画像処理方法における第1のビデオフレーム画像の概略図である。 本開示の1つの実施例による画像処理方法における幽体離脱エフェクト画像の模式図である。 本開示の1つの実施例による画像処理方法のフローチャート模式図である。 本開示の1つの実施例による画像処理方法のフローチャート模式図である。 本開示の1つの実施例による画像処理装置の構造模式図である。 本開示の1つの実施例による電子機器の構造模式図である。
以下は、添付図面を参照しながら、本開示の実施例をより詳細に記述する。添付図面においては本開示のいくつかの実施例が示されているが、本開示を様々な形態で実現することができ、ここで記述された実施例に限定されると解釈されるべきではないことを理解されたい。逆に、これらの実施例は、本開示をより徹底的且つ完全に理解するために提供される。本開示の添付図面及び実施例は、例示的なものに過ぎず、本開示の保護範囲を制限するものではないことを理解されたい。
本開示の方法の実施形態に記載された各ステップは、異なる順序で実行されてもよく、且つ/又は並行して実行されてもよいことを理解されたい。さらに、方法の実施形態は、追加のステップを含んでもよく、且つ/又は示されたステップの実行を省略してもよい。本開示の範囲はこの点において制限されない。
本明細書で使用される「含む」という用語及びその変形は、非限定的な包括であり、即ち、「含むが、それらに限らない」を意味する。「基づいて」という用語は、「少なくとも部分的に基づいて」を意味する。「一実施例」という用語は、「少なくとも1つの実施例」を意味し、「別の実施例」という用語は、「少なくとも1つの別の実施例」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連定義は、以下の記述において与えられる。
従来技術における画像エフェクト機能の表示効果が柔軟性に欠けるという技術課題を解決するために、本開示の実施例は、画像処理方法を提供する。図1aに示すように、該画像処理方法は、主に以下のステップS11~ステップS15を含む。
ステップS11:オリジナルビデオを取得する。
オリジナルビデオ画像は、ライブ配信ビデオ、又は端末のローカルストレージに予め記憶されているビデオ、又は動画像、又は一連の静止画からなる画像シーケンスであってもよい。具体的には、端末のカメラヘッド又はカメラによってリアルタイムでビデオ画像を取得し得る。端末は、移動端末(例えば、スマートフォン、iPhone(登録商標)、タブレット、ノートブック又はウェアラブルデバイス)であってもよく、固定端末(例えば、デスクトップコンピュータ)であってもよい。
ステップS12:前記オリジナルビデオから第1のビデオフレーム画像を選択する。
前記第1のビデオフレーム画像には、目標対象が含まれていてもよいし、目標対象が含まれていなくてもよい。前記第1のビデオフレーム画像は、前記オリジナルビデオの先頭フレーム画像、又は中間フレーム画像、又は最後のフレームの画像であってもよい。
目標対象は、予め設定されてもよく、例えば、人物像、動物像(例えば、猫、犬など)などであり、具体的には、既存の目標検出アルゴリズムを用いてビデオ画像から目標対象を検出して得ることができる。採用可能な目標検出アルゴリズムは、ディープラーニングに基づく目標検出アルゴリズム、ニューラルネットワークに基づく画像認識アルゴリズムであってもよい。
ステップS13:前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離する。
第2のビデオフレーム画像には目標対象が含まれ、この目標対象は、人物像、動物像(例えば、猫、犬など)などであってもよい。第1のビデオフレーム画像も目標対象を含む場合、第1のビデオフレーム画像及び第2のビデオフレーム画像は、同一の目標対象を含んでもよい。第2のビデオフレーム画像は、前記オリジナルビデオの先頭フレーム画像、又は中間フレーム画像、又は最後のフレームの画像であってもよい。
第1のビデオフレーム画像及び第2のビデオフレーム画像は、2つの異なる画像である(例えば、目標対象のビデオにおける位置及び/又は姿勢が異なる)。目標対象のビデオにおける画像部分が異なる他、第1のビデオフレーム画像及び第2のビデオフレーム画像における残りの画像部分、即ち背景画像部分は、同じであっても異なっていてもよい。
具体的には、前記オリジナルビデオにおける各フレーム画像のいずれにも目標対象が含まれる場合、2つの同一又は類似する画像を、それぞれ第1のビデオフレーム画像及び第2のビデオフレーム画像としてランダムに選択してもよい。又は、第2のビデオフレーム画像は、オリジナルビデオにおいて第1のビデオフレーム画像の後に再生される画像であってもよい。つまり、オリジナルビデオにおいて、第1のビデオフレーム画像の再生時間は、第2のビデオフレーム画像の再生時間よりも早い。例えば、最新のビデオを第2のビデオフレーム画像として採集し、前記第2のビデオフレーム画像と同一又は類似する過去のビデオフレーム画像から1つのフレーム画像を第1のビデオフレーム画像として選択する。
ステップS14:前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得る。
具体的には、図1bに示すように、前記目標対象が人物像であることを例として本実施例のエフェクト効果を説明する。図1bは第1のビデオフレーム画像であり、図1cはエフェクト画像、即ち、幽体離脱を実現するエフェクト画像である。
ステップS15:前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成する。
具体的には、エフェクト作成場面が既存ビデオのポストプロダクションである場合、前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換え、それにより、目標ビデオを得ることができる。エフェクト作成場面が、撮像中かつ再生中のビデオに対してリアルタイムでエフェクト処理を行う場面である場合、第2のビデオフレーム画像が撮像された時点で、第2のビデオフレーム画像をエフェクト画像に置き換えて再生することができる。つまり、オリジナルビデオの再生中の表示は、目標ビデオを形成する。そのうち、オリジナルビデオは、撮像されたビデオであり、目標ビデオは、表示が再生されたビデオである。
本実施例は、オリジナルビデオから第1のビデオフレーム画像を選択し、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離し、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得て、前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することにより、ユーザは、同一の目標対象の異なるビデオフレームにおける画像を同時に見ることができ、表示効果がより柔軟になる。
1つの選択的な実施例では、前記第1のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる。
例えば、第1のビデオフレーム画像に含まれる前記目標対象は、人がしゃがむ画像であってもよく、前記第2のビデオフレーム画像に含まれる前記目標対象は、人が屈む又は立つ画像であってもよい。
1つの選択的な実施例では、ステップS14は、具体的には、以下のステップを含む。
ステップS141:前記第1のビデオフレーム画像に対応する赤青緑の3つの色チャネルの第1の画素値を取得する。
第1の画素値は、赤の3つの色チャネル、青の3つの色チャネル、緑の3つの色チャネルのうちの少なくとも1つの画素値を含む。
第1のビデオフレーム画像が赤青緑画像でない場合、色空間変換によってそれを赤青緑画像に変換した後、赤青緑の3色チャネルの画素値を取得することができる。
ステップS142:前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤青緑の3色チャネルの第2の画素値を取得する。
第2の画素値は、赤の3つの色チャネル、青の3つの色チャネル、緑の3つの色チャネルのうちの少なくとも1つの画素値を含む。
目標対象が前記第2のビデオフレーム画像中で占める画像部分が赤青緑画像でない場合、色空間変換によってそれを赤青緑画像に変換した後、赤青緑の3色チャネルの画素値を取得することができる。
ステップS143:前記第1の画素値と、前記第2の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定する。
予め設定された透明度は、カスタム設定されてもよく、0.5という値を取ってもよい。
1つの選択的な実施例では、ステップS143は、具体的には、式
r=r1×(1-a)+r0×aと、
g=g1×(1-a)+g0×aと、
b=b1×(1-a)+b0×aと
に基づいて、エフェクト画像を決定することを含む。ここで、r、g、bはそれぞれ、エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、r1、g1、b1はそれぞれ、前記第1のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、r0、g0、b0はそれぞれ、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。
本実施例は、上記実施例に基づいて、前述した、前記オリジナルビデオから第1のビデオフレーム画像を選択するステップをさらに限定する。この限定に基づいて、本実施例は、具体的には、図2に示すように、以下のステップS21~ステップS25を実現する。
ステップS21:オリジナルビデオを取得する。
ステップS22:前記オリジナルビデオにおける1つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第1のビデオフレーム画像を選択する。
前記第1のビデオフレーム画像には、前記目標対象が含まれている。具体的には、目標対象が人物像である場合を例として、本ステップにおいて、目標対象(例えば、ユーザ)がオリジナルビデオにおいて同じ姿勢を予め設定された時間長(例えば、2s)維持すると、オリジナルビデオからこの時間長内に取得されたいずれか1つのフレームの画像を第1のビデオフレーム画像とする。例えば、前記オリジナルビデオの前記時間長内の最後の1つのフレームの画像を前記第1のビデオフレーム画像とする。例えば、撮像しながらビデオを再生する場面において、2s内に目標対象に変化がないことが検出された場合、現在撮像している画像、即ち、2s内の最後の1つのフレームの画像を第1のビデオフレーム画像として取得する。
ステップS23:前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離する。
第2のビデオフレーム画像は、オリジナルビデオの再生時間が予め設定された時間長(例えば、2s)を超えた時点で採集された最新のビデオ画像である。前記予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がなく、予め設定された時間長を超えたときに、前記目標対象が占める画像部分に変化が生じる。つまり、最終的に得られた前記第1のビデオフレーム画像に含まれる前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる。
ステップS24:前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得る。
予め設定された時間内に、前記現在画像から前記目標対象を分離する。前記予め設定された時間に達したとき、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を予め設定された透過度で第1のビデオフレーム画像に重畳する。
ステップS25:前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成する。
具体的には、目標対象が人物像である場合を例にして、本ステップにおいて、目標対象(例えば、ユーザ)がビデオ画像において同じ姿勢を予め設定された時間長(例えば、2s)維持する必要がある。前記予め設定された時間に達したとき、図1cに示す幽体離脱というエフェクト、即ち、半透明の人物像活動を有するエフェクトをトリガする。
上記ステップS21、ステップS23~ステップS25の詳細については、上記実施例1を参照することができ、ここではこれ以上説明しない。
本実施例は、上記実施例に基づいて、前述した、前記オリジナルビデオから第1のビデオフレーム画像を選択するステップをさらに限定する。この限定に基づいて、本実施例は、具体的には、図3に示すように、以下のステップS31~ステップS35を実現する。
ステップS31:オリジナルビデオを取得する。
ステップS32:前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第1のビデオフレーム画像として選択する。
ここで、予め設定された動作は、予め設定された姿勢(例えば、OKジェスチャ、手を振る、首を振るなど)であってもよく、あるいは、目標対象の姿勢に変化が生じ、例えば、しゃがむから屈むになり、又は屈むから立つになり、又は、頭を低く下げるから頭を持ち上げるになるなどであってもよい。
ステップS33:前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離する。
前記第1のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる。
ステップS34:前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得る。
ステップS35:前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成する。
上記ステップS31、ステップS33~ステップS35の詳細については、上記実施例1を参照することができ、ここではこれ以上説明しない。
上記各実施例に基づいて、明らかな変形(例えば、挙げられているモードを組み合わせる)又は同等な置換を行うこともできることが当業者に自明である。
以上、画像処理方法の実施例における各ステップを上述した順序で説明したが、本開示の実施例におけるステップは、必ずしも上述した順序で実行される必要はなく、逆順、並列、交差などの他の順序で実行されてもよいことが当業者に自明である。また、上述したステップに加えて、当業者は、他のステップを追加してもよく、これらの明らかな変形又は同等な置換は、本開示の保護範囲に含まれるべきであり、ここではこれ以上説明しない。
以下は、本開示の装置の実施例である。本開示の装置の実施例は、本開示の方法の実施例により実現されるステップを実行するために使用されてもよい。説明の便宜上、本開示の実施例に関連する部分のみが示され、開示されていない具体的な技術的詳細は、本開示の方法の実施例を参照されたい。
従来技術における画像エフェクト機能の表示効果が柔軟性に欠けるという技術課題を解決するために、本開示の実施例は、画像処理装置を提供する。この装置は、上記実施例1、実施例2及び実施例3に記載の画像処理方法の実施例におけるステップを実行することができる。図4に示すように、この装置は、主に、ビデオ取得モジュール41、画像選択モジュール42、透明化処理モジュール43及び画像置換モジュール44を含み、そのうち、
ビデオ取得モジュール41は、オリジナルビデオを取得するためのものであり、画像選択モジュール42は、前記オリジナルビデオから第1のビデオフレーム画像を選択するためのものであり、
前記画像選択モジュール42は、さらに、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離するためのものであり、
透明化処理モジュール43は、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得るためのものであり、
画像置換モジュール44は、前記オリジナルビデオにおいて前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するためのものである。
さらに、前記第1のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる。
さらに、前記画像選択モジュール42は、具体的には、前記オリジナルビデオにおける1つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第1のビデオフレーム画像を選択するために用いられる。
さらに、前記第1のビデオフレーム画像は、前記オリジナルビデオの前記時間長内の最後の1つのフレームの画像である。
さらに、前記画像選択モジュール42は、具体的には、前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第1のビデオフレーム画像として選択するために用いられる。
さらに、前記目標対象は、人物像である。
さらに、前記透明化処理モジュール43は、具体的には、前記第1のビデオフレーム画像に対応する赤青緑の3つの色チャネルの第1の画素値を取得することと、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤青緑の3色チャネルの第2の画素値を取得することと、前記第1の画素値、前記第2の画素値及び予め設定された透明度に基づいて、エフェクト画像を決定することとに用いられる。
さらに、前記透明化処理モジュール43は、具体的には、式
r=r1×(1-a)+r0×aと、
g=g1×(1-a)+g0×aと、
b=b1×(1-a)+b0×aと
に基づいて、エフェクト画像を決定するために用いられ、ここで、r、g、bはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、r1、g1、b1はそれぞれ、前記第1のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、r0、g0、b0はそれぞれ、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。
画像処理装置の実施例の動作原理、実現される技術的効果などに関する詳細の説明は、前述の画像処理方法の実施例における関連説明を参照することができるため、ここではこれ以上説明しない。
以下、本開示の実施例を実現することに適合する電子機器500の構造模式図を示す図5を参照する。本開示の実施例中の端末機器は、例えば、携帯電話、ノートパソコン、デジタル放送受信機、PDA(パーソナルデジタルアシスタント)、PAD(タブレット)、PMP(可搬式マルチメディア再生機)、車載端末(例えば、車載ナビゲーション端末)などの携帯端末、及び例えばデジタルTV、デスクトップコンピュータなどの固定端末を含み得るが、それらに限られない。図5に示された電子機器は一例に過ぎず、本開示の実施例の機能及び使用範囲に何の制限も加えない。
図5に示すように、電子機器500は処理装置(例えば、中央処理装置、グラフィックプロセッサーなど)501を含んでもよく、それはリードオンリーメモリ(ROM)502に記憶されたプログラム又は記憶装置508からランダムアクセスメモリ(RAM)503にロードされたプログラムによって各種の適切な動作及び処理を実行することができる。RAM 503には、電子機器500の操作に必要な各種のプログラムやデータがさらに格納されている。処理装置501、ROM 502及びRAM 503は、バス504を介して相互に接続される。入力/出力(I/O)インタフェース505もバス504に接続される。
一般的には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラヘッド、マイクロホン、加速度計、ジャイロなどを含む入力装置506と、例えば液晶ディスプレイ(LCD)、スピーカー、発振器などを含む出力装置507と、例えば磁気テープ、ハードディスクなどを含む記憶装置508と、通信装置509とがI/Oインタフェース505に接続されていてもよい。通信装置509は、電子機器500が他のデバイスと無線又は有線通信してデータを交換することを可能にする。図5に各種の装置を備えた電子機器500が示されているが、示された装置の全てを実施したり、具備したりすることを要求する意図がないことを理解されたい。それ以上又は以下の装置を代替的に実施したり、具備したりすることが可能である。
特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスは、コンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは非一時的なコンピュータ読み取り可能な媒体に搭載された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例では、該コンピュータプログラムは、通信装置509によってネットワークからダウンロード及びインストールされ、又は記憶装置508からインストールされ、又はROM 502からインストールされ得る。処理装置501によって該コンピュータプログラムが実行されると、本開示の実施例の方法で特定された上記機能が実行される。
なお、本開示における上記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体若しくはコンピュータ読み取り可能な記憶媒体又はそれらの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線又は半導体のシステム、装置又はデバイス或いはそれらの任意の組み合わせであってもよいが、それらに限られない。コンピュータ読み取り可能な記憶媒体は、より具体的な例として、1つ又は複数の導線を有する電気接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置又はそれらの任意の適切な組み合わせを含んでもよいが、それらに限られない。本開示では、コンピュータ読み取り可能な記憶媒体はプログラムを含むか記憶するいかなる有形媒体であってもよく、該プログラムはコマンド実行システム、装置又はデバイスに使用されるか、それらと組み合わせて使用されることが可能である。本開示では、コンピュータ読み取り可能な信号媒体は、ベースバンドで伝播されるデータ信号又は搬送波の一部として伝播するデータ信号を含んでもよく、その中にコンピュータ読み取り可能なプログラムコードを搭載している。このように伝播されるデータ信号は多種の形式を採用してもよく、電磁信号、光信号又はそれらの任意の適切な組み合わせを含むが、それらに限られない。コンピュータ読み取り可能な信号媒体は更に、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、該コンピュータ読み取り可能な信号媒体は、コマンド実行システム、装置又はデバイスに使用されるかそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは任意の適切な媒体で伝送可能であり、電線、光ケーブル、RF(ラジオ周波数)など又はそれらの任意の適切な組み合わせを含んでもよいが、それらに限られない。
いくつかの実施形態において、クライアント、サーバは、HTTP(HyperText Transfer Protocol、ハイパーテキスト転送プロトコル)などの任意の現在既知の又は将来開発されるネットワークプロトコルを用いて通信することができ、任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、ネット間ネット(例えば、インターネット)、及びエンドツーエンドネットワーク(例えば、ad hocエンドツーエンドネットワーク)、並びに現在既知の又は将来開発される任意のネットワークを含む。
上記コンピュータ読み取り可能な媒体は、上記電子機器に含まれるものであってもよいし、該電子機器に実装されていない単独したものであってもよい。
上記コンピュータ読み取り可能な媒体には、1つ又は複数のプログラムが搭載されており、上記1つ又は複数のプログラムが該電子機器によって実行されると、該電子機器に、オリジナルビデオを取得することと、前記オリジナルビデオから第1のビデオフレーム画像を選択することと、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離することと、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得ることと、前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することとを実行させる。
本開示の操作を実行するためのコンピュータプログラムコードは、1種又は多種のプログラミング言語又はそれらの組み合わせを用いて書くことが可能であり、上記プログラミング言語は、オブジェクト指向のプログラミング言語、例えばJava(登録商標)、Smalltalk(登録商標)、C++を含み、更に一般の手続き型プログラミング言語、例えば「C」言語又は類似的なプログラミング言語を含むが、それらに限られない。プログラムコードは、完全にユーザコンピュータで実行したり、部分的にユーザコンピュータで実行したり、独立したソフトウェアパッケージとして実行したり、一部をユーザコンピュータで一部をリモートコンピュータで実行したり、完全にリモートコンピュータ又はサーバで実行したりすることができる。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク(LAN)又は広域ネットワーク(WAN)を含む任意のネットワークによってユーザコンピュータに接続でき、又は外部コンピュータに接続できる(例えば、インターネットサービスプロバイダーを用いてインターネット経由で接続する)。
添付図面のうちフローチャート及びブロック図は、本開示の各種の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント又はコードの一部分を代表することができ、該モジュール、プログラムセグメント又はコードの一部分は、指定された論理機能を実現するための1つ又は複数の実行可能命令を含む。なお、いくつかの置換としての実現では、ブロックに表記される機能は、図面に示したものと異なる順序で実現されてもよい。例えば、二つの連続的に示されたブロックは、実質的には、基本的に並列に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図及び/又はフローチャートにおける各ブロック、並びにブロック図及び/又はフローチャートにおけるブロックの組み合わせは、指定される機能又は操作を実行するハードウェアに基づく専用システムによって実現してもよいし、又は専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
本開示の実施例に係るユニットはソフトウェアで実現してもよいし、ハードウェアで実現してもよい。ここで、ユニットの名称は該ユニット自身を限定しない場合がある。例えば、第1の取得手段は、「少なくとも2つのインターネットプロトコルアドレスを取得する手段」と記述してもよい。
本明細書で上述された機能は、少なくとも部分的に1つ又は複数のハードウェア論理構成要素によって実行され得る。例えば、使用可能な例示的なハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、複合プログラマブル論理装置(CPLD)などを含むが、それらに限られない。
本開示において、機械読み取り可能な媒体は、有形媒体であってもよく、コマンド実行システム、装置、又はデバイスによって使用され、あるいは、コマンド実行システム、装置、又はデバイスと組み合わせて使用されるプログラムを含み、又は記憶することができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置、もしくはデバイス、又は上記の任意の好適な組み合わせを含み得るが、それらに限られない。機械読み取り可能な記憶媒体のより具体的な例は、1つ又は複数の配線に基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスクリードオンリメモリ(CD-ROM)、光記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含む。
本開示の1つ又は複数の実施例によれば、
オリジナルビデオを取得することと、
前記オリジナルビデオから第1のビデオフレーム画像を選択することと、
前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離することと、
前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得ることと、
前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することと
を含む画像処理方法を提供する。
さらに、前記第1のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる。
さらに、前述した、前記オリジナルビデオから第1のビデオフレーム画像を選択することは、具体的には、前記オリジナルビデオにおける1つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第1のビデオフレーム画像を選択することである。
さらに、前記第1のビデオフレーム画像は、前記オリジナルビデオの前記時間長内の最後の1つのフレームの画像である。
さらに、前述した、前記オリジナルビデオから第1のビデオフレーム画像を選択することは、具体的には、前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第1のビデオフレーム画像として選択することである。
さらに、前記目標対象は、人物像である。
さらに、前述した、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得ることは、
前記第1のビデオフレーム画像に対応する赤青緑の3つの色チャネルの第1の画素値を取得することと、
前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤青緑の3色チャネルの第2の画素値を取得することと、
前記第1の画素値と、前記第2の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することと
を含む。
さらに、前述した、前記第1の画素値と、前記第2の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することは、式
r=r1×(1-a)+r0×aと、
g=g1×(1-a)+g0×aと、
b=b1×(1-a)+b0×aと
に基づいて、エフェクト画像を決定することを含み、ここで、r、g、bはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、r1、g1、b1はそれぞれ、前記第1のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、r0、g0、b0はそれぞれ、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。
本開示の1つ又は複数の実施例によれば、
オリジナルビデオを取得するためのビデオ取得モジュールと、
前記オリジナルビデオから第1のビデオフレーム画像を選択するための画像選択モジュールであって、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離するための画像選択モジュールと、
前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得るための透明化処理モジュールと、
前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するための画像置換モジュールと
を含む画像処理装置を提供する。
さらに、前記第1のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる。
さらに、前記画像選択モジュールは、具体的には、前記オリジナルビデオにおける1つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第1のビデオフレーム画像を選択するために用いられる。
さらに、前記第1のビデオフレーム画像は、前記オリジナルビデオの前記時間長内の最後の1つのフレームの画像である。
さらに、前記画像選択モジュールは、具体的には、前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第1のビデオフレーム画像として選択するために用いられる。
さらに、前記目標対象は、人物像である。
さらに、前記透明化処理モジュールは、具体的には、前記第1のビデオフレーム画像に対応する赤青緑の3つの色チャネルの第1の画素値を取得することと、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤青緑の3色チャネルの第2の画素値を取得することと、前記第1の画素値、前記第2の画素値及び予め設定された透明度に基づいて、エフェクト画像を決定することとに用いられる。
さらに、前記透明化処理モジュールは、具体的には、式
r=r1×(1-a)+r0×aと、
g=g1×(1-a)+g0×aと、
b=b1×(1-a)+b0×aと
に基づいて、エフェクト画像を決定するために用いられ、ここで、r、g、bはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、r1、g1、b1はそれぞれ、前記第1のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、r0、g0、b0はそれぞれ、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である。
本開示の1つ又は複数の実施例によれば、
非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するために用いられるプロセッサであって、前記プロセッサが実行すると、上記画像処理方法を実現させるプロセッサと
を含む電子機器を提供する。
本開示の1つ又は複数の実施例によれば、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行されると、前記コンピュータに上記画像処理方法を実行させるコンピュータ読み取り可能な記憶媒体を提供する。
上述したのは本開示の好ましい実施例及び適用する技術原理の説明に過ぎない。本開示に係る開示の範囲は、上記技術特徴の特定の組み合わせによる技術案に限定されなく、上記開示の構想を逸脱することなく上記技術特徴又はそれと同等な特徴を任意に組み合わせて形成した他の技術案をも同時に含むべきであることが当業者に自明である。例えば、上記特徴と本開示に開示された(それらに限らない)類似的な機能を有する技術的特徴を互いに取り替えて形成した技術案をも含む。
また、各操作は、特定の順序で記述されているが、これは、そのような操作が、示されているその特定の順序で、又は順次的な順序で実行されることを求めている、と理解されるべきではない。所定の環境では、マルチタスク及び並行処理が有利であり得る。同様に、いくつかの具体的な実現の詳細が上記の記述に含まれているが、それらは、本開示の範囲を制限するものとして解釈されるべきではない。個々の実施例に関連して記載されている特定の特徴は、単一の実施例において組み合わせても実現可能である。逆に、単一の実施例に関連して記載されている様々な特徴はまた、複数の実施例で別々に、又は何らかの適切なサブコンビネーションで実現可能である。
本主題は、構造的特徴及び/又は方法論理動作に特有の言語で記述されたが、添付の特許請求の範囲に限定された主題は、必ずしも上記で記述された特定の特徴又は動作に限定されないことを理解されたい。むしろ、上述された特定の特徴及び動作は、特許請求の範囲を実現する例示的な形態に過ぎない。

Claims (12)

  1. オリジナルビデオを取得することと、
    前記オリジナルビデオから第1のビデオフレーム画像を選択することと、
    前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離することと、
    前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得ることと、
    前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成することと
    を含む、ことを特徴とする画像処理方法。
  2. 前記第1のビデオフレーム画像には前記目標対象が含まれ、前記目標対象が前記第1のビデオフレーム画像中で占める画像部分と、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分とは異なる、
    ことを特徴とする請求項1に記載の方法。
  3. 前述した、前記オリジナルビデオから第1のビデオフレーム画像を選択することは、
    前記オリジナルビデオにおける1つの予め設定された時間長のビデオセグメント内で前記目標対象が占める画像部分に変化がないことに応答して、前記ビデオセグメント内から前記第1のビデオフレーム画像を選択することである、
    ことを特徴とする請求項2に記載の方法。
  4. 前記第1のビデオフレーム画像は、前記オリジナルビデオの時間長内の最後の1つのフレームの画像である、
    ことを特徴とする請求項3に記載の方法。
  5. 前述した、前記オリジナルビデオから第1のビデオフレーム画像を選択することは、
    前記オリジナルビデオにおいて前記目標対象が予め設定された動作をしていることに応答して、前記オリジナルビデオから前記目標対象が予め設定された動作をしているビデオフレーム画像を前記第1のビデオフレーム画像として選択することである、
    ことを特徴とする請求項1に記載の方法。
  6. 前記目標対象は、人物像である、
    ことを特徴とする請求項1~5のいずれか1項に記載の方法。
  7. 前述した、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得ることは、
    前記第1のビデオフレーム画像に対応する赤青緑の3つの色チャネルの第1の画素値を取得することと、
    前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤青緑の3色チャネルの第2の画素値を取得することと、
    前記第1の画素値と、前記第2の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することと
    を含むことを特徴とする請求項1~5のいずれか1項に記載の方法。
  8. 前述した、前記第1の画素値と、前記第2の画素値と、予め設定された透明度とに基づいて、エフェクト画像を決定することは、式
    r=r1×(1-a)+r0×aと、
    g=g1×(1-a)+g0×aと、
    b=b1×(1-a)+b0×aと
    に基づいて、エフェクト画像を決定することを含み、ここで、r、g、bはそれぞれ、前記エフェクト画像に対応する赤、緑、青チャンネルの画素値であり、r1、g1、b1はそれぞれ、前記第1のビデオフレーム画像に対応する赤、緑、青チャンネルの画素値であり、r0、g0、b0はそれぞれ、前記目標対象が前記第2のビデオフレーム画像中で占める画像部分に対応する赤、緑、青チャンネルの画素値である、
    ことを特徴とする請求項7に記載の方法。
  9. オリジナルビデオを取得するためのビデオ取得モジュールと、
    前記オリジナルビデオから第1のビデオフレーム画像を選択するための画像選択モジュールであって、前記オリジナルビデオから目標対象を含む第2のビデオフレーム画像を選択し、前記第2のビデオフレーム画像から前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を分離するための前記画像選択モジュールと、
    前記目標対象が前記第2のビデオフレーム画像中で占める画像部分を透明化処理して透明化画像を得、前記透明化画像を前記第1のビデオフレーム画像に重畳してエフェクト画像を得るための透明化処理モジュールと、
    前記オリジナルビデオにおいて、前記第2のビデオフレーム画像を前記エフェクト画像に置き換えて目標ビデオを形成するための画像置換モジュールと
    を含む、ことを特徴とする画像処理装置。
  10. 非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
    前記コンピュータ読み取り可能な命令を実行するために用いられるプロセッサであって、前記プロセッサが実行すると、請求項1~8のいずれか1項に記載の画像処理方法を実現させるプロセッサと
    を含む電子機器。
  11. 非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータによって実行されると、前記コンピュータに請求項1~8のいずれか1項に記載の画像処理方法を実行させるコンピュータ読み取り可能な記憶媒体。
  12. コンピュータプログラム製品であって、前記コンピュータプログラム製品が電子機器上で実行されると、前記電子機器に請求項1~8のいずれか1項に記載の方法を実行させることを特徴とするコンピュータプログラム製品。
JP2022540466A 2019-12-30 2020-12-08 画像処理方法及び装置 Active JP7467642B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911397521.4 2019-12-30
CN201911397521.4A CN113132795A (zh) 2019-12-30 2019-12-30 图像处理方法及装置
PCT/CN2020/134683 WO2021135864A1 (zh) 2019-12-30 2020-12-08 图像处理方法及装置

Publications (2)

Publication Number Publication Date
JP2023509429A true JP2023509429A (ja) 2023-03-08
JP7467642B2 JP7467642B2 (ja) 2024-04-15

Family

ID=76686436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540466A Active JP7467642B2 (ja) 2019-12-30 2020-12-08 画像処理方法及び装置

Country Status (7)

Country Link
US (1) US11798596B2 (ja)
EP (1) EP4068794A4 (ja)
JP (1) JP7467642B2 (ja)
KR (1) KR20220123073A (ja)
CN (1) CN113132795A (ja)
BR (1) BR112022012896A2 (ja)
WO (1) WO2021135864A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923391B (zh) * 2021-09-08 2022-10-14 荣耀终端有限公司 视频处理的方法、设备和存储介质
CN114040129B (zh) * 2021-11-30 2023-12-05 北京字节跳动网络技术有限公司 视频生成方法、装置、设备及存储介质
CN114827754B (zh) * 2022-02-23 2023-09-12 阿里巴巴(中国)有限公司 视频首帧时间检测方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4682928B2 (ja) 2005-06-17 2011-05-11 富士ゼロックス株式会社 アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム
US20080183822A1 (en) 2007-01-25 2008-07-31 Yigang Cai Excluding a group member from receiving an electronic message addressed to a group alias address
CN100505707C (zh) 2007-03-30 2009-06-24 腾讯科技(深圳)有限公司 一种即时通信中群组邮件通信的方法、装置及***
US20100250693A1 (en) 2007-12-29 2010-09-30 Tencent Technology (Shenzhen) Company Ltd. Method, apparatus for converting group message and system for exchanging group message
US8904031B2 (en) 2007-12-31 2014-12-02 Genesys Telecommunications Laboratories, Inc. Federated uptake throttling
US8103134B2 (en) 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
CN102025514A (zh) 2009-09-11 2011-04-20 中兴通讯股份有限公司 即时消息与电子邮件互通的方法与***
JP2013186521A (ja) 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
CN104346157A (zh) * 2013-08-06 2015-02-11 腾讯科技(深圳)有限公司 一种图片处理方法及装置、终端设备
KR20150025214A (ko) * 2013-08-28 2015-03-10 삼성전자주식회사 동영상에 비주얼 객체를 중첩 표시하는 방법, 저장 매체 및 전자 장치
CN104798101B (zh) 2013-08-30 2018-11-23 松下知识产权经营株式会社 化妆辅助装置、化妆辅助方法以及化妆辅助程序
JP2015114694A (ja) 2013-12-09 2015-06-22 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US10453270B2 (en) * 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
CN107665482B (zh) * 2017-09-22 2021-07-23 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN107590810A (zh) * 2017-09-22 2018-01-16 北京奇虎科技有限公司 实现双重曝光的视频数据处理方法及装置、计算设备
CN107705279B (zh) * 2017-09-22 2021-07-23 北京奇虎科技有限公司 实现双重曝光的图像数据实时处理方法及装置、计算设备
CN112541414A (zh) * 2017-10-30 2021-03-23 深圳市大疆创新科技有限公司 一种图像处理方法、装置以及终端
CN110062269A (zh) * 2018-01-18 2019-07-26 腾讯科技(深圳)有限公司 附加对象显示方法、装置及计算机设备
CN108933905A (zh) * 2018-07-26 2018-12-04 努比亚技术有限公司 视频拍摄方法、移动终端和计算机可读存储介质

Also Published As

Publication number Publication date
BR112022012896A2 (pt) 2022-09-06
KR20220123073A (ko) 2022-09-05
WO2021135864A1 (zh) 2021-07-08
CN113132795A (zh) 2021-07-16
JP7467642B2 (ja) 2024-04-15
EP4068794A4 (en) 2022-12-28
EP4068794A1 (en) 2022-10-05
US20220328072A1 (en) 2022-10-13
US11798596B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
JP2023509429A (ja) 画像処理方法及び装置
CN110784754A (zh) 视频显示方法、装置和电子设备
CN110070496B (zh) 图像特效的生成方法、装置和硬件装置
WO2021027631A1 (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
WO2021139372A1 (zh) 图像的处理方法、装置、可读介质和电子设备
WO2021027596A1 (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN112259062A (zh) 特效展示方法、装置、电子设备及计算机可读介质
CN113076048B (zh) 视频的展示方法、装置、电子设备和存储介质
WO2021170013A1 (zh) 图像特效处理方法及装置
WO2022142875A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2023109842A1 (zh) 图像展示方法、装置、电子设备及存储介质
JP7471510B2 (ja) ピクチャのビデオへの変換の方法、装置、機器および記憶媒体
CN111352560B (zh) 分屏方法、装置、电子设备和计算机可读存储介质
WO2021027547A1 (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
WO2023231918A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2023035973A1 (zh) 视频处理方法、装置、设备及介质
WO2023138441A1 (zh) 视频生成方法、装置、设备及存储介质
WO2023098576A1 (zh) 图像处理方法、装置、设备及介质
US11805219B2 (en) Image special effect processing method and apparatus, electronic device and computer-readable storage medium
CN111221444A (zh) 分屏特效处理方法、装置、电子设备和存储介质
WO2021027632A1 (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
WO2021018179A1 (zh) 文字特效处理方法及装置
WO2023036111A1 (zh) 视频处理方法、装置、设备及介质
WO2021004171A1 (zh) 水波纹图像实现方法及装置
US20240163392A1 (en) Image special effect processing method and apparatus, and electronic device and computer readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150