TWI736179B - 圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TWI736179B
TWI736179B TW109108716A TW109108716A TWI736179B TW I736179 B TWI736179 B TW I736179B TW 109108716 A TW109108716 A TW 109108716A TW 109108716 A TW109108716 A TW 109108716A TW I736179 B TWI736179 B TW I736179B
Authority
TW
Taiwan
Prior art keywords
optical flow
frame
image
flow diagram
interpolated
Prior art date
Application number
TW109108716A
Other languages
English (en)
Other versions
TW202117671A (zh
Inventor
李思堯
許翔宇
孫文秀
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202117671A publication Critical patent/TW202117671A/zh
Application granted granted Critical
Publication of TWI736179B publication Critical patent/TWI736179B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明涉及一種圖像處理方法、電子設備和電腦可讀儲存介質，所述方法包括：獲取第t幀圖像到第t-1幀圖像的第一光流圖、第t幀圖像到第t+1幀圖像的第二光流圖、第t+1幀圖像到第t幀圖像的第三光流圖及第t+1幀圖像到第t+2幀圖像的第四光流圖；根據第一光流圖、第二光流圖確定第一插幀光流圖，並根據第三光流圖、第四光流圖確定第二插幀光流圖；根據第一插幀光流圖及第t幀圖像確定第一插幀圖像，並根據第二插幀光流圖圖像及第t+1幀圖像確定第二插幀圖像；對第一插幀圖像及第二插幀圖像進行融合處理，得到***第t幀圖像與第t+1幀圖像之間的插幀圖像。本發明實施例可實現提高獲得的插幀圖像的精度。

Description

圖像處理方法、電子設備和電腦可讀儲存介質
本申請要求在2019年10月30日提交中國專利局、申請號為201911041851.X、發明名稱為“图像处理方法及装置、电子设备和存储介质”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
本發明涉及電腦技術領域，尤其涉及一種圖像處理方法、電子設備和電腦可讀儲存介質。
為了使視訊中的運動看起來更為平滑、流暢，往往在該段視訊的每兩幀圖像之間生成中間幀圖像，並將該中間幀圖像***該兩幀圖像之間。
相關技術中直接或者間接的以兩幀圖像之間的運動為勻速運動為前提假設，利用待插幀的兩幀圖像生成中間幀圖像。
本發明提出了一種圖像處理技術方案。
根據本發明的一方面，提供了一種圖像處理方法，包括：獲取第t幀圖像到第t-1幀圖像的第一光流圖、所述第t 幀圖像到第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，其中，t為整數；根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖；根據所述第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖圖像及所述第t+1幀圖像確定第二插幀圖像；對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
在一種可能的實現方式中，所述根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，包括：根據所述第一光流圖、所述第二光流圖及預設的插幀時間確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，其中，所述預設的插幀時間為位於採集所述第t幀圖像與所述第t+1幀圖像的時間的時間間隔之間的任一時間。
在一種可能的實現方式中，所述根據所述第一插幀光 流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像，包括：對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖；根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
在一種可能的實現方式中，所述對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖，包括：根據所述第一插幀光流圖及所述第t幀圖像確定第三插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第四插幀圖像；確定所述第三插幀圖像中任一位置的第一鄰域，並逆轉所述第一鄰域中至少一個位置在所述第一插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第三插幀圖像中的逆轉光流；確定所述第四插幀圖像中任一位置的第二鄰域，並逆轉所述第二鄰域中至少一個位置在所述第二插幀光流圖中的光流 後，確定逆轉後的至少一個位置的光流均值為該位置在所述第四插幀圖像中的逆轉光流；所述第三插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第一插幀光流圖，所述第四插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第二插幀光流圖。
在一種可能的實現方式中，所述根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像，包括：對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖；根據濾波後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據濾波後的第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
在一種可能的實現方式中，所述對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖，包括：根據逆轉後的所述第一插幀光流圖確定第一採樣偏移量及第一殘差，並根據逆轉後的所述第二插幀光流圖確定第二採樣 偏移量及第二殘差；根據所述第一採樣偏移量及所述第一殘差對所述逆轉後的所述第一插幀光流圖進行濾波，得到濾波後的第一插幀光流圖，並根據所述第二採樣偏移量及所述第二殘差對所述逆轉後的所述第二插幀光流圖進行濾波，得到濾波後的第二插幀光流圖。
在一種可能的實現方式中，所述對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像，包括：根據所述第一插幀圖像及所述第二插幀圖像確定所述插幀圖像中至少部分位置的疊加權重；根據所述第一插幀圖像及所述第二插幀圖像、及所述至少部分位置的疊加權重，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
在一種可能的實現方式中，所述獲取第t幀圖像到第t-1幀圖像的第一光流圖、所述第t幀圖像到第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，包括：對所述第t幀圖像及第t-1幀圖像進行光流預測，得到所述第t幀圖像到第t-1幀圖像的第一光流圖；對所述第t幀圖像及第t+1幀圖像進行光流預測，得到 所述第t幀圖像到第t+1幀圖像的第二光流圖；對所述第t+1幀圖像及所述第t幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t幀圖像的第三光流圖；對所述第t+1幀圖像及所述第t+2幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖。
在一種可能的實現方式中，所述方法可以通過神經網路實現，所述方法還包括：通過預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像組，每個樣本圖像組至少包括待插幀的第i幀樣本圖像和第i+1幀樣本圖像、及第i-1幀樣本圖像、第i+2幀圖像、及***所述第i幀樣本圖像和第i+1幀樣本圖像間的插幀樣本圖像、及所述插幀樣本圖像的插幀時間。
在一種可能的實現方式中，該神經網路包括：第一光流預測網路、第二光流預測網路、圖像合成網路，所述通過預設的訓練集訓練所述神經網路，包括：通過所述第一光流預測網路分別對第i-1幀樣本圖像、第i幀樣本圖像、第i+1幀樣本圖像及第i+2幀樣本圖像進行光流預測，得到所述第i幀樣本圖像到所述第i-1幀樣本圖像的第一樣本光流圖、所述第i幀樣本圖像到所述第i+1幀樣本圖像的第二樣本光流圖、所述第i+1幀樣本圖像到所述第i幀樣本圖像的第三樣本光流圖及所述第i+1幀樣本圖像到所述第i+2幀樣本圖像的第四樣本 光流圖，1<i<I-1，I為圖像的總幀數，i、I為整數；所述第二光流預測網路根據所述第一樣本光流圖、所述第二樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第一樣本插幀光流圖；所述第二光流預測網路根據所述第三樣本光流圖、所述第四樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像；通過所述插幀圖像及所述樣本插幀圖像確定神經網路的圖像損失；根據所述圖像損失，訓練所述神經網路。
在一種可能的實現方式中，所述神經網路還包括光流逆轉網路，所述通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像，包括：通過所述光流逆轉網路對第一樣本插幀光流圖及所述第二樣本插幀光流圖進行光流逆轉，得到逆轉後的第一樣本插幀光流圖、及逆轉後的第二樣本插幀光流圖； 通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
在一種可能的實現方式中，所述神經網路還包括濾波網路，所述通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像，包括：通過所述濾波網路對所述第一樣本插幀光流圖及第二樣本插幀光流圖進行濾波處理，得到濾波後的第一樣本插幀光流圖、及濾波後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述濾波後的第一樣本插幀光流圖及濾波後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
根據本發明的一方面，提供了一種圖像處理裝置，包括：獲取模組，用於獲取第t幀圖像到第t-1幀圖像的第一光流圖、所述第t幀圖像到第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，其中，t為整數；第一確定模組，用於根據所述第一光流圖、所述第二 光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖；第二確定模組，用於根據所述第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖圖像及所述第t+1幀圖像確定第二插幀圖像；融合模組，用於對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
在一種可能的實現方式中，所述第一確定模組，還用於：根據所述第一光流圖、所述第二光流圖及預設的插幀時間確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，其中，所述預設的插幀時間為位於採集所述第t幀圖像與所述第t+1幀圖像的時間的時間間隔之間的任一時間。
在一種可能的實現方式中，所述第二確定模組，還用於：對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖； 根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
在一種可能的實現方式中，所述第二確定模組，還用於：根據所述第一插幀光流圖及所述第t幀圖像確定第三插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第四插幀圖像；確定所述第三插幀圖像中任一位置的第一鄰域，並逆轉所述第一鄰域中各位置在所述第一插幀光流圖中的光流後，確定逆轉後的各位置的光流均值為該位置在所述第三插幀圖像中的逆轉光流；確定所述第四插幀圖像中任一位置的第二鄰域，並逆轉所述第二鄰域中至少一個位置在所述第二插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第四插幀圖像中的逆轉光流；所述第三插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第一插幀光流圖，所述第四插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第二插幀光流圖。
在一種可能的實現方式中，所述第二確定模組，還用 於：對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖；根據濾波後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據濾波後的第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
在一種可能的實現方式中，所述第二確定模組，還用於：根據逆轉後的所述第一插幀光流圖確定第一採樣偏移量及第一殘差，並根據逆轉後的所述第二插幀光流圖確定第二採樣偏移量及第二殘差；根據所述第一採樣偏移量及所述第一殘差對所述逆轉後的所述第一插幀光流圖進行濾波，得到濾波後的第一插幀光流圖，並根據所述第二採樣偏移量及所述第二殘差對所述逆轉後的所述第二插幀光流圖進行濾波，得到濾波後的第二插幀光流圖。
在一種可能的實現方式中，所述融合模組，還用於：根據所述第一插幀圖像及所述第二插幀圖像確定所述插幀圖像中至少部分位置的疊加權重；根據所述第一插幀圖像及所述第二插幀圖像、及所述 至少部分位置的疊加權重，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
在一種可能的實現方式中，所述獲取模組，還用於：對所述第t幀圖像及第t-1幀圖像進行光流預測，得到所述第t幀圖像到第t-1幀圖像的第一光流圖；對所述第t幀圖像及第t+1幀圖像進行光流預測，得到所述第t幀圖像到第t+1幀圖像的第二光流圖；對所述第t+1幀圖像及所述第t幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t幀圖像的第三光流圖；對所述第t+1幀圖像及所述第t+2幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖。
在一種可能的實現方式中，所述裝置可以通過神經網路實現，所述裝置還包括：訓練模組，用於通過預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像組，每個樣本圖像組至少包括待插幀的第i幀樣本圖像和第i+1幀樣本圖像、及第i-1幀樣本圖像、第i+2幀圖像、及***所述第i幀樣本圖像和第i+1幀樣本圖像間的插幀樣本圖像、及所述插幀樣本圖像的插幀時間。
在一種可能的實現方式中，所述神經網路包括：第一光流預測網路、第二光流預測網路、圖像合成網路，所述訓練模組， 還用於：通過所述第一光流預測網路分別對第i-1幀樣本圖像、第i幀樣本圖像、第i+1幀樣本圖像及第i+2幀樣本圖像進行光流預測，得到所述第i幀樣本圖像到所述第i-1幀樣本圖像的第一樣本光流圖、所述第i幀樣本圖像到所述第i+1幀樣本圖像的第二樣本光流圖、所述第i+1幀樣本圖像到所述第i幀樣本圖像的第三樣本光流圖及所述第i+1幀樣本圖像到所述第i+2幀樣本圖像的第四樣本光流圖，1<i<I-1，I為圖像的總幀數，i、I為整數；所述第二光流預測網路根據所述第一樣本光流圖、所述第二樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第一樣本插幀光流圖；所述第二光流預測網路根據所述第三樣本光流圖、所述第四樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像；通過所述插幀圖像及所述樣本插幀圖像確定神經網路的圖像損失；根據所述圖像損失，訓練所述神經網路。
在一種可能的實現方式中，所述神經網路還包括光流逆轉網路，所述訓練模組，還用於：通過所述光流逆轉網路對第一樣本插幀光流圖及所述第二樣本插幀光流圖進行光流逆轉，得到逆轉後的第一樣本插幀光流圖、及逆轉後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
在一種可能的實現方式中，所述神經網路還包括濾波網路，所述訓練模組，還用於：通過所述濾波網路對所述第一樣本插幀光流圖及第二樣本插幀光流圖進行濾波處理，得到濾波後的第一樣本插幀光流圖、及濾波後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述濾波後的第一樣本插幀光流圖及濾波後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
根據本發明的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為呼叫所述記憶體儲存的指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存介 質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備的處理器執行用於實現上述方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
301:獲取模組
302:第一確定模組
303:第二確定模組
304:融合模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音訊組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入輸出介面
S11~S14:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。
圖1示出根據本發明實施例的圖像處理方法的流程圖；圖2示出根據本發明實施例的圖像處理方法的示意圖；圖3示出根據本發明實施例的圖像處理裝置的方塊圖；圖4示出根據本發明實施例的一種電子設備800的方塊圖；及圖5示出根據本發明實施例的一種電子設備1900的方塊圖。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情况。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了衆多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
一段視訊是由一組連續的視訊幀構成的。視訊插幀技 術能夠在一段視訊的每兩幀之間生成中間幀圖像，以提高視訊的幀率，使得視訊中的運動更加平滑、流暢，如果用同樣的幀率播放生成的高幀率視訊，就會有慢動作的效果。但是在插幀過程中，由於實際場景中的運動可能是複雜的，非勻速的，會造成生成的中間幀圖像的準確度不高。基於此，本發明提供了一種圖像處理方法，可以提高生成的中間幀圖像的準確度，以解决上述問題。
圖1示出根據本發明實施例的圖像處理方法的流程圖，該圖像處理方法可以由終端設備或其它處理設備執行，其中，終端設備可以為用戶設備(User Equipment，UE)、移動設備、用戶終端、終端、行動電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。其它處理設備可為伺服器或雲端伺服器等。在一些可能的實現方式中，該圖像處理方法可以通過處理器呼叫記憶體中儲存的電腦可讀指令的方式來實現。
如圖1所示，所述方法可以包括：
在步驟S11中，獲取所述第t幀圖像到所述第t-1幀圖像的第一光流圖、所述第t幀圖像到所述第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，其中，t為整數。
舉例來說，第t幀圖像和第t+1幀圖像可以為視訊中待 插幀的兩幀圖像，第t-1幀圖像、第t幀圖像、第t+1幀圖像及第t+2幀圖像為連續的四張圖像。舉例來說，可以獲取第t幀圖像之前與第t幀圖像相鄰的圖像為第t-1幀圖像，獲取第t+1幀圖像之後與第t+1幀圖像相鄰的圖像為第t+2幀圖像。
在一種可能的實現方式中，上述獲取第t幀圖像到第t-1幀圖像的第一光流圖、所述第t幀圖像到第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，可以包括：對所述第t幀圖像及第t-1幀圖像進行光流預測，得到所述第t幀圖像到第t-1幀圖像的第一光流圖、對所述第t幀圖像及第t+1幀圖像進行光流預測，得到所述第t幀圖像到第t+1幀圖像的第二光流圖、對所述第t+1幀圖像及所述第t幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t幀圖像的第三光流圖、及對所述第t+1幀圖像及所述第t+2幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖。
舉例來說，光流圖是由目標對象在各個位置上的光流所組成的用於描述圖像中目標對象的變化的圖像訊息。可以通過第t-1幀圖像、第t幀圖像進行光流預測，確定第t幀圖像到所述第t-1幀圖像的第一光流圖，通過第t幀圖像、第t+1幀圖像進行光流預測，確定第t幀圖像到所述第t+1幀圖像的第二光流圖，通過第t+1 幀圖像、第t幀圖像進行光流預測，確定第t+1幀圖像到所述第t幀圖像的第三光流圖，及通過第t+1幀圖像、第t+2幀圖像進行光流預測，第t+1幀圖像到所述第t+2幀圖像的第四光流圖。其中，光流預測可以通過預訓練的用於進行光流預測的神經網路實現，還可以通過其他方式實現，本發明對此不做贅述。
在步驟S12中，根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖。
舉例來說，可以假設第t幀圖像為時刻為0時對應的圖像幀，第t+1幀圖像為時刻為1時對應的圖像幀，則t-1幀圖像為時刻為-1時對應的圖像幀，t+2幀為時刻為2時對應的圖像幀。
假設視訊中的元素為勻加速運動，則可以通過第一光流圖、所述第二光流圖任一位置的光流值的變化確定第一插幀光流圖中的該位置的光流值，可以通過第三光流圖、所述第四光流圖任一位置的光流值的變化確定第二插幀光流圖中的該位置的光流值。
在一種可能的實現方式中，上述根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，可以包括：根據所述第一光流圖、所述第二光流圖及預設的插幀時間確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流 圖確定第二插幀光流圖，其中，所述預設的插幀時間為位於採集所述第t幀圖像與所述第t+1幀圖像的時間的時間間隔之間的任一時間。
其中，預設的插幀時間可以為採集第t幀圖像及第t+1幀圖像的時間的時間間隔內的任一時間，例如：第t幀圖像與第t+1幀圖像的時間間隔為1s，則預設的插幀時間可以設置為0至1s之間的任一時間。假設視訊中的元素為勻加速運動，則元素從第t幀圖像中的位置x0到第t-1幀圖像中的位置x-1的光流可以表示為公式一，元素從第t幀圖像中的位置x0到第t+1幀圖像中的位置x1的光流可以表示為公式二，元素從第t幀圖像中的位置x0到s時刻對應的插幀圖像中的位置xs的光流表示為公式三：
Figure 109108716-A0305-02-0021-1
Figure 109108716-A0305-02-0021-2
Figure 109108716-A0305-02-0021-3
其中，f0->-1用於表示元素從0時刻對應的圖像到-1時刻對應的圖像的第一光流，f0->1用於表示元素從0時刻對應的圖像到1時刻對應的圖像的第二光流，f0->s 用於表示元素從0時刻對應的圖像到s時刻對應的第一插幀圖像的第一插幀光流，x -1表示-1時刻對 應的圖像中元素的位置，x 0用於表示0時刻對應的圖像中元素的位置，x 1表示1時刻對應的圖像中元素的位置，x s 用於表示s時刻對應的圖像中元素的位置，v 0表示0時刻對應的元素在圖像中移動的速度，a表示元素在圖像中移動的加速度。
進一步的，由上述公式一、公式二、公式三可以得到元素從0時刻對應的第t幀圖像到s時刻對應的第一插幀圖像的第一插幀光流表示為公式四：
Figure 109108716-A0305-02-0022-4
同理，可以得到元素從1時刻對應的第t+1幀圖像到s時刻對應的第二插幀圖像的第二插幀光流表示為公式五：
Figure 109108716-A0305-02-0022-5
其中，f1->s 用於表示元素從1時刻對應的圖像到s時刻對應的第二插幀圖像的第二插幀光流，f 1->0用於表示元素從1時刻對應的圖像到0時刻對應的圖像的第三光流，f 1->2用於表示元素從1時刻對應的圖像到2時刻對應的圖像的第四光流。
通過上述公式四，可以根據第一光流及第二光流及預設的插幀時間確定第一插幀光流，各個元素的第一插幀光流可以組成第一插幀光流圖，通過上述公式五，可以根據第三光流及第四光流及預設的插幀時間確定第二插幀光流，各個元素的第二插幀光流 可以組成第二插幀光流圖。
需要說明的是，插幀時間可以為第t幀圖像至第t+1幀圖像之間的任一時間，其可以對應一個時間值，也可以對應多個不同的時間值，在插幀時間對應多個不同的時間值時，可以通過上述公式四和公式五分別確定在不同插幀時間對應的第一插幀光流圖及第二插幀光流圖。
在步驟S13中，根據所述第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖圖像及所述第t+1幀圖像確定第二插幀圖像。
舉例來說，第一插幀光流圖為第t幀圖像至第一插幀圖像的光流圖，故通過第一插幀光流圖指導第t幀圖像的運動可以得到第一插幀圖像，同理，第二插幀光流圖為第t+1幀圖像至第二插幀圖像的光流圖，故通過第二插幀光流圖指導第t+1幀圖像的運動可以得到第二插幀圖像。
在步驟S14中，對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
舉例來說，可以對第一插幀圖像及第二插幀圖像進行融合處理(例如：將第一插幀圖像與第二插幀圖像進行疊加)，融合處理得到的結果即為***第t幀圖像與第t+1幀圖像之間的插幀 圖像。
這樣一來，針對待插幀的第t幀圖像和第t+1幀圖像，可以分別對第t-1幀圖像、第t幀圖像、第t+1幀圖像及第t+2幀圖像進行光流預測，得到所述第t幀圖像到所述第t-1幀圖像的第一光流圖、所述第t幀圖像到所述第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，進而根據第一光流圖和第二光流圖及預設的插幀時間確定第一插幀光流圖，根據第三光流圖和第四光流圖及插幀時間確定第二插幀光流圖。根據第一插幀光流圖及第t幀圖像確定第一插幀圖像，並根據第二插幀光流圖圖像及第t+1幀圖像確定第二插幀圖像。對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。本發明實施例提供的圖像處理方法，可以通過多幀圖像確定插幀圖像，能夠感知視訊中物體運動的加速度，能夠提高獲得的插幀圖像的精度，進而可以使插幀的高幀率視訊更加流暢自然，獲得更好的視覺效果。
在一種可能的實現方式中，所述根據所述第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像，可以包括：對所述第一插幀光流圖及所述第二插幀光流圖進行逆 轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖；根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
為了進一步提高所獲得的插幀圖像的精度，可以對第一插幀光流圖及第二插幀光流圖進行逆轉處理，將第一插幀光流圖及第二插幀光流圖中的各位置向相反的方向進行逆轉，以根據逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖確定第一插幀圖像及第二插幀圖像。
舉例來說，對元素由0時刻對應的位置x0移動至s時刻對應的x1位置處對應的光流f0->s的逆轉可以理解為，將其變換為元素由s時刻的x1位置處移動至0時刻對應的位置處對應的光流fs->0。
在一種可能的實現方式中，上述對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖，可以包括：根據所述第一插幀光流圖及所述第t幀圖像確定第三插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第四插幀圖像；確定所述第三插幀圖像中任一位置的第一鄰域，並逆 轉所述第一鄰域中至少一個位置在所述第一插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第三插幀圖像中的逆轉光流；確定所述第四插幀圖像中任一位置的第二鄰域，並逆轉所述第二鄰域中至少一個位置在所述第二插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第四插幀圖像中的逆轉光流；所述第三插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第一插幀光流圖，所述第四插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第二插幀光流圖。
舉例來說，可以首先投影上述第一插幀光流圖至第t幀圖像中，得到第三插幀圖像，其中第t幀圖像中的位置x1在第三插幀圖像中對應於x1+f0->s(x1)，其中，f0->s(x1)為位置x1在第一插幀光流圖中對應的光流。同理，可以投影上述第二插幀光流圖至第t+1幀圖像中，得到第四插幀圖像，其中第t+1幀圖像中的位置x2在第四插幀圖像中對應的與x2+f1->s(x2)，其中，f1->s(x2)為位置x2在第二插幀光流圖中對應的光流。
針對上述第三插幀圖像，可以確定該第三插幀圖像中任一位置的第一鄰域，並逆轉該第一鄰域中各位置在第一插幀光流圖中的光流後，確定逆轉後的各位置的光流的均值為該位置在第三 插幀圖像中的逆轉光流。
示例性的，可以採下述公式六實現對第一插幀光流圖的逆轉處理：
Figure 109108716-A0305-02-0027-6
其中，fs->0(u)可以表示位置u在逆轉後第一插幀光流圖中的光流，x表示位置x移動f 0->s (x)後位於第一鄰域中，N(u)可以表示第一鄰域，f 0->s (x)表示位置x在第一插幀光流圖中的光流，ω(∥x+f 0->s(x)-u∥2)表示-f 0->s (x)的高斯權重，其中，
Figure 109108716-A0305-02-0027-7
同理，第二插幀光流圖的逆轉過程可以參照第一插幀光流圖的逆轉過程，本發明在此不再贅述。
在一種可能的實現方式中，所述根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像，包括：對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖；根據濾波後的第一插幀光流圖及所述第t幀圖像確定第 一插幀圖像，及根據濾波後的第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
舉例來說，可以分別對逆轉後的第一插幀光流圖和第二插幀光流圖進行採樣，例如：僅採樣鄰域中的一個位置，以實現自適應的對逆轉後的第一插幀光流圖及第二插幀光流圖的濾波處理，避免了加權平均的問題，可以減少逆轉後的第一插幀光流圖及第二插幀光流圖中的偽影，去除異常值，進而提高所生成的插幀圖像的精度。
在一種可能的實現方式中，所述對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖，可以包括：根據逆轉後的所述第一插幀光流圖確定第一採樣偏移量及第一殘差，並根據逆轉後的所述第二插幀光流圖確定第二採樣偏移量及第二殘差；根據所述第一採樣偏移量及所述第一殘差對所述逆轉後的所述第一插幀光流圖進行濾波，得到濾波後的第一插幀光流圖，並根據所述第二採樣偏移量及所述第二殘差對所述逆轉後的所述第二插幀光流圖進行濾波，得到濾波後的第二插幀光流圖。
舉例來說，可以通過第一插幀光流圖確定第一採樣偏 移量及第一殘差，其中第一採樣偏移量為第一插幀光流圖的採樣的映射，可以通過第二插幀光流圖確定第二採樣偏移量及第二殘差，其中第二採樣偏移量為第二插幀光流圖的採樣的映射。
示例性的，可以通過下述公式七實現對第一插幀光流圖的濾波處理：
Figure 109108716-A0305-02-0029-10
其中，
Figure 109108716-A0305-02-0029-11
表示位置u在濾波後的第一插幀光流圖中的光流，σ(u)表示第一採樣偏移量，r(u)表示第一殘差，f 0-s (u+σ(u))表示採樣後的位置u在逆轉後的第一插幀光流圖中的光流。
同理，第二插幀光流圖的濾波處理可以參照第一插幀光流圖的濾波處理的過程，本發明在此不再贅述。
這樣，我們通過在一個鄰域中依賴異常值周圍的光流值來採樣，以在鄰域中找到合適的採樣位置，進一步的結合殘差可以提高所獲得的插幀圖像的精度。
在一種可能的實現方式中，所述對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像，可以包括：根據所述第一插幀圖像及所述第二插幀圖像確定所述插幀圖像中至少部分位置的疊加權重；根據第t幀圖像及所述第t+1幀圖像、及所述至少部分 位置的疊加權重，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
舉例來說，可以將第一插幀圖像及第二插幀圖像進行疊加，得到***第t幀圖像與第t+1幀圖像之間的插幀圖像，例如：在疊加過程中，通過第二插幀圖像對第一插幀圖像中被遮擋的位置進行元素補充。這樣一來，可以得到高精度的插幀圖像。
可以通過第一插幀圖像及第二插幀圖像確定插幀圖像中各位置的疊加權重，在位置的疊加權重為0時，可以確定該位置上的元素在第一插幀圖像中被遮擋，在第二插幀圖像中未被遮擋，需要通過第二插幀圖像對第一插幀圖像中的該位置的元素進行補充，在位置的疊加權重為1時，可以確定該位置上的元素在第一插幀圖像中未被遮擋，不需要進行補充操作。
示例性的，可以通過下述公式八實現上述融合操作：
Figure 109108716-A0305-02-0030-9
其中，上述I s (u)可以表示插幀圖像，m(u)可以表示位置u的叠加權重，I 0表示第t幀圖像，I 1表示第t+1幀圖像，f s->0(u)表示元素從插幀圖像的位置u到第t幀圖像的光流，f s->1(u)表示元素從插幀圖像的位置u到第t+1幀圖像的光流，I 0(u+f s->0(u))表示第一插幀圖像， I 1(u+f s->1(u))表示第二插幀圖像。
為了使本領域技術人員更好的理解本發明實施例，以下通過圖2所示的具體示例對發明實施例加以說明。
參照圖2，待插幀圖像為時刻0對應的圖像幀I0及時刻1對應的圖像幀I1，獲取圖像幀I-1和圖像幀I2，輸入上述圖像幀I-1、圖像幀I0、圖像幀I1、和圖像幀I2至第一光流預測網路進行光流預測，得到圖像幀I0至圖像幀I-1的第一光流圖，圖像幀I0至圖像幀I1的第二光流圖，圖像幀I1至圖像幀I0的第三光流圖及圖像幀I1至圖像幀I2的第四光流圖。
輸入第一光流圖、第二光流圖及第插幀時間至第二光流預測網路進行光流預測，得到第一插幀光流圖，輸入第三光流圖、第四光流圖及第插幀時間至第二光流預測網路進行光流預測，得到第二插幀光流圖。
通過光流逆轉網路對第一插幀光流圖進行光流逆轉後，得到逆轉後的第一插幀光流圖，通過光流逆轉網路對第二插幀光流圖進行光流逆轉後，得到逆轉後的第二插幀光流圖。
最後，將逆轉後的第一插幀光流圖及第二插幀光流圖、以及圖像幀I0及圖像幀I1輸入圖像合成網路，通過圖像合成網路合成插幀圖像，包括：通過濾波網路對第一插幀光流圖及第二插幀光流圖進行濾波處理，根據濾波後的第一插幀光流圖及第二插幀 光流圖、以及圖像幀I0及圖像幀I1輸入圖像合成插幀圖像。
在一種可能的實現方式中，上述方法可以通過神經網路實現，所述方法還包括：通過預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像組，每個樣本圖像組至少包括待插幀的第i幀樣本圖像和第i+1幀樣本圖像、及第i-1幀樣本圖像、第i+2幀樣本圖像、及***所述第i幀樣本圖像和第i+1幀樣本圖像間的插幀樣本圖像、及所述插幀樣本圖像的插幀時間。
舉例來說，上述樣本圖像組可以由視訊中進行選擇。例如：可以等間距從視訊中獲取至少連續的五張圖像作為樣本圖像，其中，前兩張圖像及後兩張圖像可以依次作為第i-1幀樣本圖像、第i幀樣本圖像、第i+1幀樣本圖像、第i+2幀樣本圖像，其餘圖像作為***第i幀樣本圖像和第i+1幀樣本圖像間的插幀樣本圖像，第i幀樣本圖像和第i+1幀樣本圖像對應的時間訊息為插幀時間。
可以通過上述樣本圖像組訓練上述神經網路。
在一種可能的實現方式中，該神經網路可以包括：第一光流預測網路、第二光流預測網路、圖像合成網路，所述通過預設的訓練集訓練所述神經網路，可以包括：通過所述第一光流預測網路分別對第i-1幀樣本圖像、第i幀樣本圖像、第i+1幀樣本圖像及第i+2幀樣本圖像進行光 流預測，得到所述第i幀樣本圖像到所述第i-1幀樣本圖像的第一樣本光流圖、所述第i幀樣本圖像到所述第i+1幀樣本圖像的第二樣本光流圖、所述第i+1幀樣本圖像到所述第i幀樣本圖像的第三樣本光流圖及所述第i+1幀樣本圖像到所述第i+2幀樣本圖像的第四樣本光流圖，1<i<I-1，I為圖像的總幀數，i、I為整數；所述第二光流預測網路根據所述第一樣本光流圖、所述第二樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第一樣本插幀光流圖；所述第二光流預測網路根據所述第三樣本光流圖、所述第四樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像；通過所述插幀圖像及所述樣本插幀圖像確定神經網路的圖像損失；根據所述圖像損失，訓練所述神經網路。
舉例來說，第一光流預測網路可以根據第i幀樣本圖像、第i-1幀樣本圖像進行光流預測，得到第i幀樣本圖像至第i-1幀樣本圖像的第一樣本光流圖，第一光流預測網路可以根據第i幀 樣本圖像、第i+1幀樣本圖像進行光流預測，得到第i幀樣本圖像至第i+1幀樣本圖像的第二樣本光流圖，第一光流預測網路可以根據第i+1幀樣本圖像、第i幀樣本圖像進行光流預測，得到第i+1幀樣本圖像至第i幀樣本圖像的第三樣本光流圖，第一光流預測網路可以根據第i+1幀樣本圖像、第i+2幀樣本圖像進行光流預測，得到第i+1幀樣本圖像至第i+2幀樣本圖像的第四樣本光流圖。
其中，上述第一光流預測網路可以為預訓練的用於進行光流預測的神經網路，訓練過程可以參照相關技術，本發明實施例在此不再贅述。
第二光流預測網路可以根據第一樣本光流圖、第二樣本光流圖及插幀樣本圖像的插幀時間進行光流預測，得到第一樣本插幀光流圖，第二光流預測網路可以根據第三樣本光流圖、第四樣本光流圖及插幀樣本圖像的插幀時間進行光流預測，得到第二樣本插幀光流圖，該第二光流預測網路的光流預測過程可以參照前述實施例，本發明在此不再贅述。
圖像合成網路可以根據第一插幀光流圖及第i幀樣本圖像得到第一插幀樣本圖像及根據第二插幀光流圖及第i+1幀樣本圖像得到第二插幀樣本圖像後，將第一插幀樣本圖像及第二插幀樣本圖像進行融合，例如：疊加第一插幀樣本圖像及第二插幀樣本圖像，得到***第i幀樣本圖像及第i+1幀樣本圖像之間的樣本圖像。
根據該插幀樣本圖像及樣本插幀圖像可以確定神經網路的圖像損失，進而根據該圖像損失調整神經網路的網路參數，直至神經網路的圖像損失滿足訓練要求，例如：小於損失閾值。
在一種可能的實現方式中，所述神經網路還包括光流逆轉網路，所述通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像，可以包括：通過所述光流逆轉網路對所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行光流逆轉，得到逆轉後的第一樣本插幀光流圖、及逆轉後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
舉例來說，光流逆轉網路可以對第一樣本插幀光流圖及第二樣本插幀光流圖進行光流逆轉，具體過程可以參照前述實施例，本發明在此不再贅述。圖像合成網路可以在光流逆轉後，根據逆轉後的第一樣本插幀光流圖及第i幀樣本圖像得到第一插幀樣本圖像、根據逆轉後的第二樣本插幀光流圖及第i+1幀樣本圖像得到第二插幀樣本圖像，進而將第一插幀樣本圖像及第二插幀樣本圖像進行融合，得到***第i幀樣本圖像及第i+1幀樣本圖像之間的樣本 圖像。
在一種可能的實現方式中，上述神經網路還可以包括濾波網路，所述通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像，包括：通過所述濾波網路對所述第一樣本插幀光流圖及第二樣本插幀光流圖進行濾波處理，得到濾波後的第一樣本插幀光流圖、及濾波後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述濾波後的第一樣本插幀光流圖及濾波後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
濾波網路可以分別對第一樣本插幀光流圖及第二樣本插幀光流圖進行濾波處理，得到濾波後的第一樣本插幀光流圖及濾波後的第二樣本插幀光流圖，具體過程可以參照前述實施例，本發明在此不再贅述。
圖像合成網路可以根據濾波後的第一樣本插幀光流圖及第i幀樣本圖像得到第一插幀樣本圖像，根據濾波後的第二樣本插幀光流圖及第i+1幀樣本圖像得到第二插幀樣本圖像，進而將第一插幀樣本圖像及第二插幀樣本圖像進行融合，得到***第i幀樣本圖像及第i+1幀樣本圖像之間的樣本圖像。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情况下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖3示出根據本發明實施例的圖像處理裝置的方塊圖，如圖3所示，所述裝置包括：獲取模組301，可以用於獲取第t幀圖像到第t-1幀圖像的第一光流圖、所述第t幀圖像到第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，其中，t為整數；第一確定模組302，可以用於根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖；第二確定模組303，可以用於根據所述第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖 圖像及所述第t+1幀圖像確定第二插幀圖像；融合模組304，可以用於對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
這樣一來，針對待插幀的第t幀圖像和第t+1幀圖像，可以分別對第t-1幀圖像、第t幀圖像、第t+1幀圖像及第t+2幀圖像進行光流預測，得到所述第t幀圖像到所述第t-1幀圖像的第一光流圖、所述第t幀圖像到所述第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖，進而根據第一光流圖和第二光流圖及預設的插幀時間確定第一插幀光流圖，根據第三光流圖和第四光流圖及插幀時間確定第二插幀光流圖。根據第一插幀光流圖及第t幀圖像確定第一插幀圖像，並根據第二插幀光流圖圖像及第t+1幀圖像確定第二插幀圖像。對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。本發明實施例提供的圖像處理裝置，可以通過多幀圖像確定插幀圖像，能夠感知視訊中物體運動的加速度，能夠提高獲得的插幀圖像的精度，進而可以使插幀的高幀率視訊更加流暢自然，獲得更好的視覺效果。
在一種可能的實現方式中，所述第一確定模組，還可 以用於：根據所述第一光流圖、所述第二光流圖及預設的插幀時間確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，其中，所述預設的插幀時間為位於採集所述第t幀圖像與所述第t+1幀圖像的時間的時間間隔之間的任一時間。
在一種可能的實現方式中，所述第二確定模組，還可以用於：對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖；根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
在一種可能的實現方式中，所述第二確定模組，還可以用於：根據所述第一插幀光流圖及所述第t幀圖像確定第三插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第四插幀圖像；確定所述第三插幀圖像中任一位置的第一鄰域，並逆 轉所述第一鄰域中至少一個位置在所述第一插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第三插幀圖像中的逆轉光流；確定所述第四插幀圖像中任一位置的第二鄰域，並逆轉所述第二鄰域中至少一個位置在所述第二插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第四插幀圖像中的逆轉光流；所述第三插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第一插幀光流圖，所述第四插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第二插幀光流圖。
在一種可能的實現方式中，所述第二確定模組，還可以用於：對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖；根據濾波後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據濾波後的第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
在一種可能的實現方式中，所述第二確定模組，還可以用於： 根據逆轉後的所述第一插幀光流圖確定第一採樣偏移量及第一殘差，並根據逆轉後的所述第二插幀光流圖確定第二採樣偏移量及第二殘差；根據所述第一採樣偏移量及所述第一殘差對所述逆轉後的所述第一插幀光流圖進行濾波，得到濾波後的第一插幀光流圖，並根據所述第二採樣偏移量及所述第二殘差對所述逆轉後的所述第二插幀光流圖進行濾波，得到濾波後的第二插幀光流圖。
在一種可能的實現方式中，所述融合模組還可以用於：根據所述第一插幀圖像及所述第二插幀圖像確定所述插幀圖像中至少部分位置的疊加權重；根據所述第一插幀圖像及所述第二插幀圖像、及所述至少部分位置的疊加權重，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
在一種可能的實現方式中，所述獲取模組，還可以用於：對所述第t幀圖像及第t-1幀圖像進行光流預測，得到所述第t幀圖像到第t-1幀圖像的第一光流圖；對所述第t幀圖像及第t+1幀圖像進行光流預測，得到所述第t幀圖像到第t+1幀圖像的第二光流圖；對所述第t+1幀圖像及所述第t幀圖像進行光流預測， 得到所述第t+1幀圖像到所述第t幀圖像的第三光流圖；對所述第t+1幀圖像及所述第t+2幀圖像進行光流預測，得到所述第t+1幀圖像到所述第t+2幀圖像的第四光流圖。
在一種可能的實現方式中，所述裝置可以通過神經網路實現，所述裝置還可以包括：訓練模組，可以用於通過預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像組，每個樣本圖像組至少包括待插幀的第i幀樣本圖像和第i+1幀樣本圖像、及第i-1幀樣本圖像、第i+2幀圖像、及***所述第i幀樣本圖像和第i+1幀樣本圖像間的插幀樣本圖像、及所述插幀樣本圖像的插幀時間。
在一種可能的實現方式中，所述神經網路可以包括：第一光流預測網路、第二光流預測網路、圖像合成網路，所述訓練模組，還可以用於：通過所述第一光流預測網路分別對第i-1幀樣本圖像、第i幀樣本圖像、第i+1幀樣本圖像及第i+2幀樣本圖像進行光流預測，得到所述第i幀樣本圖像到所述第i-1幀樣本圖像的第一樣本光流圖、所述第i幀樣本圖像到所述第i+1幀樣本圖像的第二樣本光流圖、所述第i+1幀樣本圖像到所述第i幀樣本圖像的第三樣本光流圖及所述第i+1幀樣本圖像到所述第i+2幀樣本圖像的第四樣本光流圖，1<i<I-1，I為圖像的總幀數，i、I為整數； 所述第二光流預測網路根據所述第一樣本光流圖、所述第二樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第一樣本插幀光流圖；所述第二光流預測網路根據所述第三樣本光流圖、所述第四樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像；通過所述插幀圖像及所述樣本插幀圖像確定神經網路的圖像損失；根據所述圖像損失，訓練所述神經網路。
在一種可能的實現方式中，所述神經網路還可以包括光流逆轉網路，所述訓練模組，還可以用於：通過所述光流逆轉網路對第一樣本插幀光流圖及所述第二樣本插幀光流圖進行光流逆轉，得到逆轉後的第一樣本插幀光流圖、及逆轉後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
在一種可能的實現方式中，所述神經網路還可以包括濾波網路，所述訓練模組，還可以用於：通過所述濾波網路對所述第一樣本插幀光流圖及第二樣本插幀光流圖進行濾波處理，得到濾波後的第一樣本插幀光流圖、及濾波後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述濾波後的第一樣本插幀光流圖及濾波後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非揮發性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為呼叫所述記憶體儲存的指令，以執行上述方法。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖片搜索方法的指令。
本發明實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖片搜索方法的操作。
本發明實施例還提出一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備的處理器執行用於實現上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖4示出根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是移動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖4，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出(I/O)介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個 或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支持在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電子可抹除可程式化唯讀記憶體(EEPROM)，可抹除可程式化唯讀記憶體(EPROM)，可程式化唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸控式面板(TP)。如果螢幕包括觸控式面板，螢幕可以被實現為觸控式螢幕，以接收來自用戶的輸入信號。觸控式面板包括一個或多個觸控式感測器以感測觸控、滑動和觸控式面板上的手勢。所述觸控式感測器可以不僅感測觸控或滑動動作的邊 界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影鏡頭和/或後置攝影鏡頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影鏡頭和/或後置攝影鏡頭可以接收外部的多媒體資料。每個前置攝影鏡頭和後置攝影鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置為輸出和/或輸入音訊信號。例如，音訊組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊信號。
輸入/輸出介面812為處理組件802和外圍介面模組之間提供介面，上述外圍介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電 子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播頻道接收來自外部廣播管理系統的廣播信號或廣播相關訊息。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於無線射頻辨識(RFID)技術，紅外數據協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、程式可程式邏輯裝置(PLD)、現場可程式化邏輯閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖5示出根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖5，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線的網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程 式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是--但不限於--電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：便携式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或閃存)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能影音光碟(DVD)、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為瞬時信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脉衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、網關電腦和/或邊緣伺服器。每個計算/處理設備中 的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置資料、或者以一種或多種程式語言的任意組合編寫的原始碼或目標代碼，所述程式語言包括面向對象的程式語言-諸如Smalltalk、C++等，以及常規的過程式程式語言-諸如“C”語言或類似的程式語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作為一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括區域網路(LAN)或廣域網路(WAN)-連接到用戶電腦，或者，可以連接到外部電腦(例如利用網際網路服務供應商來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式邏輯電路、現場可程式化邏輯閘陣列(FPGA)或可程式邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和 電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方框以及流程圖和/或方塊圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式資料處理裝置、或其它設備上，使得在電腦、其它可程式資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和 操作。在這點上，流程圖或方塊圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方框、以及方塊圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品例如軟體開發包(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情况下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露 的各實施例。
S11~S14:步驟

Claims (13)

  1. 一種圖像處理方法，包括：獲取第t幀圖像到第t-1幀圖像的第一光流圖、所述第t幀圖像到第t+1幀圖像的第二光流圖、所述第t+1幀圖像到所述第t幀圖像的第三光流圖及所述第t+1幀圖像到第t+2幀圖像的第四光流圖，其中，t為整數；根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖；根據所述第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖圖像及所述第t+1幀圖像確定第二插幀圖像；對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
  2. 如請求項1所述的方法，其中，所述根據所述第一光流圖、所述第二光流圖確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，包括：根據所述第一光流圖、所述第二光流圖及預設的插幀時間確定第一插幀光流圖，並根據所述第三光流圖、所述第四光流圖確定第二插幀光流圖，其中，所述預設的插幀時間為位於採集所述第t幀圖像與所述第t+1幀圖像的時間的時間間隔之間的任一時間。
  3. 如請求項1或2所述的方法，其中，所述根據所述第一插幀 光流圖及所述第t幀圖像確定第一插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像，包括：對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖；根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
  4. 如請求項3所述的方法，其中，所述對所述第一插幀光流圖及所述第二插幀光流圖進行逆轉處理，得到逆轉後的第一插幀光流圖及逆轉後的第二插幀光流圖，包括：根據所述第一插幀光流圖及所述第t幀圖像確定第三插幀圖像，並根據所述第二插幀光流圖及所述第t+1幀圖像確定第四插幀圖像；確定所述第三插幀圖像中任一位置的第一鄰域，並逆轉所述第一鄰域中至少一個位置在所述第一插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第三插幀圖像中的逆轉光流；確定所述第四插幀圖像中任一位置的第二鄰域，並逆轉所述第二鄰域中至少一個位置在所述第二插幀光流圖中的光流後，確定逆轉後的至少一個位置的光流均值為該位置在所述第四插幀圖像中的逆轉光流；所述第三插幀圖像中至少一個位置的逆轉光流組成 所述逆轉後的第一插幀光流圖，所述第四插幀圖像中至少一個位置的逆轉光流組成所述逆轉後的第二插幀光流圖。
  5. 如請求項4所述的方法，其中，所述根據逆轉後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據逆轉後的所述第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像，包括：對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖；根據濾波後的第一插幀光流圖及所述第t幀圖像確定第一插幀圖像，及根據濾波後的第二插幀光流圖及所述第t+1幀圖像確定第二插幀圖像。
  6. 如請求項5所述的方法，其中，所述對所述逆轉後的第一插幀光流圖進行濾波處理，得到濾波後的第一插幀光流圖，並對逆轉後的第二插幀光流圖進行濾波處理，得到濾波後的第二插幀光流圖，包括：根據逆轉後的所述第一插幀光流圖確定第一採樣偏移量及第一殘差，並根據逆轉後的所述第二插幀光流圖確定第二採樣偏移量及第二殘差；根據所述第一採樣偏移量及所述第一殘差對所述逆轉後的所述第一插幀光流圖進行濾波，得到濾波後的第一插幀光流圖，並根據所述第二採樣偏移量及所述第二殘差對所述逆轉後的所述第二插幀光流圖進行濾波，得到濾波後的第二插幀光流圖。
  7. 如請求項6所述的方法，其中，所述對所述第一插幀圖像及所述第二插幀圖像進行融合處理，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像，包括：根據所述第一插幀圖像及所述第二插幀圖像確定所述插幀圖像中至少部分位置的疊加權重；根據所述第一插幀圖像及所述第二插幀圖像、及所述至少部分位置的疊加權重，得到***所述第t幀圖像與所述第t+1幀圖像之間的插幀圖像。
  8. 如請求項7所述的方法，其中，所述方法可以通過神經網路實現，所述方法還包括：通過預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像組，每個樣本圖像組至少包括待插幀的第i幀樣本圖像和第i+1幀樣本圖像、及第i-1幀樣本圖像、第i+2幀圖像、及***所述第i幀樣本圖像和第i+1幀樣本圖像間的插幀樣本圖像、及所述插幀樣本圖像的插幀時間。
  9. 如請求項8所述的方法，其中，該神經網路包括：第一光流預測網路、第二光流預測網路、圖像合成網路，所述通過預設的訓練集訓練所述神經網路，包括：通過所述第一光流預測網路分別對第i-1幀樣本圖像、第i幀樣本圖像、第i+1幀樣本圖像及第i+2幀樣本圖像進行光流預測，得到所述第i幀樣本圖像到所述第i-1幀樣本圖像的第一樣本光流圖、所述第i幀樣本圖像到所述第i+1幀樣本圖像的第二樣本光流圖、所述第i+1幀樣本圖像到所述第i幀樣本圖像的第三樣本光流圖及所述第i+1幀 樣本圖像到所述第i+2幀樣本圖像的第四樣本光流圖，1<i<I-1，I為圖像的總幀數，i、I為整數；所述第二光流預測網路根據所述第一樣本光流圖、所述第二樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第一樣本插幀光流圖；所述第二光流預測網路根據所述第三樣本光流圖、所述第四樣本光流圖及所述插幀樣本圖像的插幀時間進行光流預測，得到第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像；通過所述插幀圖像及所述插幀樣本圖像確定神經網路的圖像損失；根據所述圖像損失，訓練所述神經網路。
  10. 如請求項9所述的方法，其中，所述神經網路還包括光流逆轉網路，所述通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述第一樣本插幀光流圖及所述第二樣本插幀光流圖進行融合處理，得到插幀圖像，包括：通過所述光流逆轉網路對第一樣本插幀光流圖及所述第二樣本插幀光流圖進行光流逆轉，得到逆轉後的第一樣本插幀光流圖、及逆轉後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
  11. 如請求項10所述的方法，其中，所述神經網路還包括濾波網路，所述通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述逆轉後的第一樣本插幀光流圖及所述逆轉後的第二樣本插幀光流圖進行融合處理，得到插幀圖像，包括：通過所述濾波網路對所述第一樣本插幀光流圖及第二樣本插幀光流圖進行濾波處理，得到濾波後的第一樣本插幀光流圖、及濾波後的第二樣本插幀光流圖；通過所述圖像合成網路對第i幀樣本圖像及第i+1幀樣本圖像、所述濾波後的第一樣本插幀光流圖及濾波後的第二樣本插幀光流圖進行融合處理，得到插幀圖像。
  12. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為呼叫所述記憶體儲存的指令，以執行請求項1至11中任意一項所述的方法。
  13. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至11中任意一項所述的方法。
TW109108716A 2019-10-30 2020-03-17 圖像處理方法、電子設備和電腦可讀儲存介質 TWI736179B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911041851.XA CN110798630B (zh) 2019-10-30 2019-10-30 图像处理方法及装置、电子设备和存储介质
CN201911041851.X 2019-10-30

Publications (2)

Publication Number Publication Date
TW202117671A TW202117671A (zh) 2021-05-01
TWI736179B true TWI736179B (zh) 2021-08-11

Family

ID=69441936

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108716A TWI736179B (zh) 2019-10-30 2020-03-17 圖像處理方法、電子設備和電腦可讀儲存介質

Country Status (6)

Country Link
US (1) US20220262012A1 (zh)
JP (1) JP2022549719A (zh)
KR (1) KR20220053631A (zh)
CN (1) CN110798630B (zh)
TW (1) TWI736179B (zh)
WO (1) WO2021082241A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727141B (zh) * 2020-05-20 2023-05-12 富士通株式会社 视频帧的插值装置以及方法
CN111372087B (zh) * 2020-05-26 2020-08-28 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质
CN112040311B (zh) * 2020-07-24 2021-10-26 北京航空航天大学 视频图像补帧方法、装置、设备及可存储介质
CN111800652A (zh) * 2020-07-29 2020-10-20 深圳市慧鲤科技有限公司 视频处理方法及装置、电子设备和存储介质
CN112104830B (zh) * 2020-08-13 2022-09-27 北京迈格威科技有限公司 视频插帧方法、模型训练方法及对应装置
CN112954395B (zh) * 2021-02-03 2022-05-17 南开大学 一种可***任意帧率的视频插帧方法及***
CN112995715B (zh) * 2021-04-20 2021-09-03 腾讯科技（深圳）有限公司 视频插帧处理方法、装置、电子设备及存储介质
CN113613011B (zh) * 2021-07-26 2022-09-30 北京达佳互联信息技术有限公司 一种光场图像压缩方法、装置、电子设备及存储介质
CN114286007A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、图像处理方法、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220488A (zh) * 2013-04-18 2013-07-24 北京大学 一种视频帧率上转换装置及方法
TW201840190A (zh) * 2017-03-16 2018-11-01 聯發科技股份有限公司 用於視訊編解碼的基於雙向光流的運動細化的方法及裝置
US20190238880A1 (en) * 2016-09-11 2019-08-01 Lg Electronics Inc. Method and apparatus for processing video signal by using improved optical flow motion vector
CN110310242A (zh) * 2019-06-27 2019-10-08 深圳市商汤科技有限公司 一种图像去模糊方法及装置、存储介质
CN110392282A (zh) * 2018-04-18 2019-10-29 优酷网络技术（北京）有限公司 一种视频插帧的方法、计算机存储介质及服务器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
JP2008135980A (ja) * 2006-11-28 2008-06-12 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置
TWI335184B (en) * 2007-05-09 2010-12-21 Himax Tech Ltd Method of doubling frame rate of video signals
CN102184552B (zh) * 2011-05-11 2013-06-26 上海理工大学 一种基于差分融合与图像边缘信息的运动目标检测方法
CN105590327A (zh) * 2014-10-24 2016-05-18 华为技术有限公司 运动估计方法及装置
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10410358B2 (en) * 2017-06-26 2019-09-10 Samsung Electronics Co., Ltd. Image processing with occlusion and error handling in motion fields
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
CN110191299B (zh) * 2019-04-15 2020-08-04 浙江大学 一种基于卷积神经网络的多重帧插值方法
CN110322525B (zh) * 2019-06-28 2023-05-02 连尚（新昌）网络科技有限公司 一种动图处理方法及终端
CN110267098B (zh) * 2019-06-28 2022-05-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220488A (zh) * 2013-04-18 2013-07-24 北京大学 一种视频帧率上转换装置及方法
US20190238880A1 (en) * 2016-09-11 2019-08-01 Lg Electronics Inc. Method and apparatus for processing video signal by using improved optical flow motion vector
TW201840190A (zh) * 2017-03-16 2018-11-01 聯發科技股份有限公司 用於視訊編解碼的基於雙向光流的運動細化的方法及裝置
CN110392282A (zh) * 2018-04-18 2019-10-29 优酷网络技术（北京）有限公司 一种视频插帧的方法、计算机存储介质及服务器
CN110310242A (zh) * 2019-06-27 2019-10-08 深圳市商汤科技有限公司 一种图像去模糊方法及装置、存储介质

Also Published As

Publication number Publication date
KR20220053631A (ko) 2022-04-29
CN110798630B (zh) 2020-12-29
CN110798630A (zh) 2020-02-14
TW202117671A (zh) 2021-05-01
US20220262012A1 (en) 2022-08-18
WO2021082241A1 (zh) 2021-05-06
JP2022549719A (ja) 2022-11-28

Similar Documents

Publication Publication Date Title
TWI736179B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI740309B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
WO2021155632A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN113766313B (zh) 视频数据处理方法及装置、电子设备和存储介质
TW202113680A (zh) 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體
WO2020155609A1 (zh) 一种目标对象处理方法、装置、电子设备及存储介质
TW202029055A (zh) 一種行人識別方法、裝置、電子設備及非臨時性電腦可讀儲存介質
TW202139140A (zh) 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
TWI738172B (zh) 影片處理方法及裝置、電子設備、儲存媒體和電腦程式
WO2017031875A1 (zh) 在聊天界面更改表情符号的方法、装置及终端设备
EP3136391B1 (en) Method, device and terminal device for video effect processing
TWI759830B (zh) 網路訓練方法、圖像生成方法、電子設備及電腦可讀儲存介質
WO2020228418A1 (zh) 视频处理方法及装置、电子设备和存储介质
WO2020133966A1 (zh) 锚点确定方法及装置、电子设备和存储介质
TW202113752A (zh) 神經網路訓練及圖像生成方法、電子設備、儲存媒體
WO2021189704A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN108881952B (zh) 视频生成方法及装置、电子设备和存储介质
TWI719777B (zh) 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體
WO2019205605A1 (zh) 人脸特征点的定位方法及装置
WO2021036013A1 (zh) 检测器的配置方法及装置、电子设备和存储介质
KR20210054522A (ko) 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체
WO2019227915A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN109982127A (zh) 弹幕速度的控制方法及装置
CN113506323B (zh) 图像处理方法及装置、电子设备和存储介质
WO2021169137A1 (zh) 图像处理方法及装置、电子设备和存储介质