KR20210048544A - 비디오 이미지 처리 방법 및 장치 - Google Patents

비디오 이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR20210048544A
KR20210048544A KR1020217009399A KR20217009399A KR20210048544A KR 20210048544 A KR20210048544 A KR 20210048544A KR 1020217009399 A KR1020217009399 A KR 1020217009399A KR 20217009399 A KR20217009399 A KR 20217009399A KR 20210048544 A KR20210048544 A KR 20210048544A
Authority
KR
South Korea
Prior art keywords
image
frame
convolution kernel
deblurring
feature
Prior art date
Application number
KR1020217009399A
Other languages
English (en)
Inventor
샹첸 조우
지아웨이 장
시지에 렌
Original Assignee
선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 센스타임 테크놀로지 컴퍼니 리미티드 filed Critical 선전 센스타임 테크놀로지 컴퍼니 리미티드
Publication of KR20210048544A publication Critical patent/KR20210048544A/ko

Links

Images

Classifications

    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 비디오 이미지 처리 방법으로서, 다중 프레임의 연속 비디오 이미지를 획득하는 단계 - 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수임 - ; 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 단계; 및 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법을 개시한다.

Description

비디오 이미지 처리 방법 및 장치
관련 출원의 상호 참조
본 발명은 출원번호가 201910325282.5이고 출원일자가 2019년 04월 22일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 인용되어 본 발명에 병합된다.
본 발명은 이미지 처리 기술분야에 관한 것으로, 특히 비디오 이미지 처리 방법 및 장치에 관한 것이다.
핸드헬드 카메라 및 온보드 카메라의 응용이 대중화됨에 따라 점점 더 많은 사람들이 카메라를 사용하여 비디오를 촬영하고 촬영된 비디오를 기반으로 처리를 수행할 수 있다. 예를 들어 드론과 자율 주행 자동차는 촬영된 비디오를 기반으로 추적, 회피 등 기능을 구현할 수 있다.
카메라의 지터, 디포커스, 촬영 대상의 고속 이동 등으로 인해 촬영된 비디오가 흐려지기 쉬운 경향이 존재한다. 예를 들어, 로봇이 움직일 때 카메라의 지터 또는 촬영 대상의 움직임에 의한 블러링으로 인해 일반적으로 촬영에 실패하거나 비디오를 기반으로 후속 처리를 실행할 수 없게 된다. 종래의 방법은 광학 흐름이나 신경망을 통해 비디오 이미지의 디블러링을 구현할 수 있으나 디블러링 효과가 좋지 않다.
본 발명의 실시예는 비디오 이미지 처리 방법 및 장치를 제공한다.
제1 양태에 따르면, 본 발명의 실시예는 비디오 이미지 처리 방법으로서, 다중 프레임의 연속 비디오 이미지를 획득하는 단계 - 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수임 - ; 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 단계; 및 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법을 제공한다.
제1 양태에 의해 제공되는 기술적 해결수단을 통해 비디오 이미지 중 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득한 후, 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지를 컨볼루션 처리하여 제N 프레임의 이미지의 블러링을 효과적으로 처리함으로써 디블러링 처리된 제N 프레임의 이미지를 획득할 수 있다.
가능한 구현형태에서, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 단계는, 처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 단계를 포함하되, 상기 처리할 이미지는 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득된다.
이러한 가능한 구현형태에서, 제N-1 프레임의 이미지의 픽셀점 및 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보에 기반하여 픽셀점의 디블러링 컨볼루션 커널을 획득하고, 제N 프레임의 이미지 중 픽셀점의 디블러링을 구현하기 위해 상기 디블러링 컨볼루션 커널을 사용하여 제N 프레임의 이미지 중 대응되는 픽셀점을 디컨볼루션 처리하며; 제N 프레임의 이미지의 각 픽셀점에 대해 각각 하나의 디블러링 컨볼루션 커널을 생성함으로써 제N 프레임의 이미지(불균일하게 블러링된 이미지)의 디블러링을 구현할 수 있으며, 디블러링 처리된 이미지는 선명하고 자연스럽다.
다른 가능한 구현형태에서, 상기 처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 단계는, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하는 단계 - 상기 모션 정보는 속도 및 방향을 포함함 - ; 및 상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보에 기반하여 픽셀점의 정렬 컨볼루션 커널을 획득하고, 후속적으로 상기 정렬 커널을 통해 정렬 처리할 수 있다. 다음 정렬 커널을 컨볼루션 처리하여 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보를 추출함으로써 디블러링 커널을 획득한다. 따라서 디블러링 커널이 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보 뿐만 아니라 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보도 포함할 수 있어 이는 제N 프레임의 이미지의 블러링 제거 효과를 향상시키는데 유리하다.
또 다른 가능한 구현형태에서, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 단계; 및 상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지의 특징 이미지를 디블러링 처리함으로써 디블러링 과정에서 데이터 처리량을 감소시키고 처리 속도를 빠르게 향상시킬 수 있다.
또 다른 가능한 구현형태에서, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 단계는, 상기 디블러링 컨볼루션 커널의 채널 수가 상기 제N 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 디블러링 컨볼루션 커널의 차원을 조정하는 단계; 및 차원이 조정된 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제1 특징 이미지를 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 디블러링 컨볼루션 커널의 차원과 제N 프레임의 이미지의 특징 이미지의 차원이 동일하도록 디블러링 컨볼루션 커널의 차원을 조정하고, 나아가 차원 디블러링 컨볼루션 커널을 조정하여 제N 프레임의 이미지의 특징 이미지에 대한 컨볼루션 처리를 구현한다.
또 다른 가능한 구현형태에서, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득한 후에, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득하는 단계를 더 포함한다.
이러한 가능한 구현형태에서, 정렬 컨볼루션 커널을 통해 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제N-1 프레임의 이미지의 특징 이미지를 제N 프레임 시각에 정렬시킨다.
또 다른 가능한 구현형태에서, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득하는 단계는, 상기 정렬 컨볼루션 커널의 채널 수가 상기 제N-1 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 정렬 컨볼루션 커널의 차원을 조정하는 단계; 및 차원이 조정된 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제2 특징 이미지를 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 정렬 컨볼루션 커널의 차원이 제N-1 프레임의 이미지의 특징 이미지의 차원과 동일하도록 정렬 컨볼루션 커널의 차원을 조정하고, 나아가 차원 정렬 컨볼루션 커널을 조정하여 제N-1 프레임의 이미지의 특징 이미지에 대한 컨볼루션 처리를 구현한다.
또 다른 가능한 구현형태에서, 상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는, 상기 제1 특징 이미지 및 상기 제2 특징 이미지를 융합 처리하여 제3 특징 이미지를 획득하는 단계; 및 상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 제1 특징 이미지 및 제2 특징 이미지를 융합함으로써 제N 프레임의 이미지에 대한 디블러링 효과를 개선한 후, 융합된 제3 특징 이미지를 디코딩 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하는 단계는, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩 처리하여 상기 처리할 이미지를 획득하는 단계; 상기 처리할 이미지를 인코딩 처리하여 제4 특징 이미지를 획득하는 단계; 상기 제4 특징 이미지를 컨볼루션 처리하여 제5 특징 이미지를 획득하는 단계; 및 컨볼루션 처리를 통해 상기 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 상기 정렬 컨볼루션 커널을 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 처리할 이미지를 컨볼루션 처리하여 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출한 후, 후속 처리가 용이하도록 컨볼루션 처리를 통해 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정한다.
또 다른 가능한 구현형태에서, 상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계는, 컨볼루션 처리를 통해 상기 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득하는 단계; 상기 제4 특징 이미지 및 상기 제6 특징 이미지를 융합 처리하여 제7 특징 이미지를 획득하는 단계; 및 상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 디블러링 컨볼루션 커널이 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 포함할뿐만 아니라 제N-1 프레임의 이미지의 픽셀점에 대한 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보도 포함할 수 있도록, 정렬 컨볼루션 커널을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득함으로써 후속적으로 디블러링 컨볼루션 커널을 통한 제N 프레임의 이미지의 블러링 제거 효과를 향상시킨다.
또 다른 가능한 구현형태에서, 상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계는, 상기 제7 특징 이미지를 컨볼루션 처리하여 제8 특징 이미지를 획득하는 단계; 및 컨볼루션 처리를 통해 상기 제8 특징 이미지의 채널 수를 상기 제1 기설정된 값으로 조정하여 상기 디블러링 컨볼루션 커널을 획득하는 단계를 포함한다.
이러한 가능한 구현형태에서, 제7 특징 이미지를 컨볼루션 처리하여 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출한 후, 후속 처리가 용이하도록 컨볼루션 처리를 통해 제8 특징 이미지의 채널 수를 제1 기설정된 값으로 조정한다.
또 다른 가능한 구현형태에서, 상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는, 상기 제3 특징 이미지를 디컨볼루션 처리하여 제9 특징 이미지를 획득하는 단계; 상기 제9 특징 이미지를 컨볼루션 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하는 단계; 및 상기 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 상기 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하되, 상기 제N 프레임의 이미지에서 상기 제1 픽셀점의 위치는 상기 디코딩 처리된 제N 프레임의 이미지에서 상기 제2 픽셀점의 위치와 동일하다.
이러한 가능한 구현형태에서, 디컨볼루션 처리와 컨볼루션 처리를 통해 제3 특징 이미지를 디코딩 처리하고, 디코딩 처리된 제N 프레임의 이미지를 획득한 후, 제N 프레임의 이미지와 디코딩 처리된 제N 프레임의 이미지 중 대응되는 픽셀점의 픽셀값을 더하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하고, 나아가 디블러링 효과를 향상시킨다.
제2 양태에 따르면, 본 발명의 실시예는 또한 비디오 이미지 처리 장치로서, 다중 프레임의 연속 비디오 이미지를 획득하는 획득 유닛 - 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수임 - ; 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 제1 처리 유닛; 및 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 제2 처리 유닛을 포함하는 비디오 이미지 처리 장치를 제공한다.
가능한 구현형태에서, 상기 제1 처리 유닛은, 처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 제1 컨볼루션 처리 서브 유닛을 포함하되, 상기 처리할 이미지는 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득된다.
다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛은, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하되, 상기 모션 정보는 속도 및 방향을 포함하고; 상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제2 처리 유닛은, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 제2 컨볼루션 처리 서브 유닛; 및 상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 디코딩 처리 서브 유닛을 포함한다.
또 다른 가능한 구현형태에서, 상기 제2 컨볼루션 처리 서브 유닛은, 상기 디블러링 컨볼루션 커널의 채널 수가 상기 제N 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 디블러링 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제1 특징 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득한 후, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 정렬 컨볼루션 커널의 채널 수가 상기 제N-1 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 정렬 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제2 특징 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제2 처리 유닛은, 상기 제1 특징 이미지 및 상기 제2 특징 이미지를 융합 처리하여 제3 특징 이미지를 획득하고; 상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩 처리하여 상기 처리할 이미지를 획득하고; 상기 처리할 이미지를 인코딩 처리하여 제4 특징 이미지를 획득하며; 상기 제4 특징 이미지를 컨볼루션 처리하여 제5 특징 이미지를 획득하고; 컨볼루션 처리를 통해 상기 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 상기 정렬 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛은 또한, 컨볼루션 처리를 통해 상기 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득하고; 상기 제4 특징 이미지 및 상기 제6 특징 이미지를 융합 처리하여 제7 특징 이미지를 획득하며; 상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 제7 특징 이미지를 컨볼루션 처리하여 제8 특징 이미지를 획득하고; 컨볼루션 처리를 통해 상기 제8 특징 이미지의 채널 수를 상기 제1 기설정된 값으로 조정하여 상기 디블러링 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제2 처리 유닛은 또한, 상기 제3 특징 이미지를 디컨볼루션 처리하여 제9 특징 이미지를 획득하고; 상기 제9 특징 이미지를 컨볼루션 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하며; 상기 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 상기 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하되, 상기 제N 프레임의 이미지에서 상기 제1 픽셀점의 위치는 상기 디코딩 처리된 제N 프레임의 이미지에서 상기 제2 픽셀점의 위치와 동일하다.
제3 양태에 따르면, 본 발명의 실시예는 또한 상기 제1 양태 및 그의 임의의 가능한 구현형태의 방법을 실행하기 위한 프로세서를 제공한다.
제4 양태에 따르면, 본 발명의 실시예는 또한 전자 기기로서, 프로세서, 입력 장치, 출력 장치 및 메모리를 포함하되, 상기 프로세서, 입력 장치, 출력 장치 및 메모리는 서로 연결되고, 상기 메모리에는 프로그램 명령이 저장되며; 상기 프로그램 명령이 상기 프로세서에 의해 실행될 경우, 상기 프로세서가 상기 제1 양태 및 그의 임의의 가능한 구현형태의 방법을 실행하도록 하는 전자 기기를 제공한다.
제5 양태에 따르면, 본 발명의 실시예는 또한 컴퓨터 판독 가능한 저장 매체로서, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하며, 상기 프로그램 명령이 전자 기기의 프로세서에 의해 실행될 경우, 상기 프로세서가 상기 제1 양태 및 그의 임의의 가능한 구현형태의 방법을 실행하도록 하는 컴퓨터 판독 가능한 저장 매체를 제공한다.
상기 일반적인 설명과 후술되는 상세한 설명은 예시적이고 해석적인 것일 뿐 본 발명의 실시예를 한정하는 것이 아님을 이해해야 한다.
본 발명의 실시예 또는 배경기술의 기술적 해결수단을 보다 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예 또는 배경기술에 필요한 도면을 설명한다.
여기서 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 본 발명의 실시예에 의해 제공되는 상이한 이미지 중 대응되는 픽셀점의 모식도이다.
도 2는 본 발명의 실시예에 의해 제공되는 하나의 불균일하게 블러링된 이미지이다.
도 3은 본 발명의 실시예에 의해 제공되는 비디오 이미지 처리 방법의 흐름 모식도이다.
도 4는 본 발명의 실시예에 따른 비디오 이미지 처리 방법에서 디블러링 처리의 흐름 모식도이다.
도 5는 본 발명의 실시예에 의해 제공되는 다른 비디오 이미지 처리 방법의 흐름 모식도이다.
도 6은 본 발명의 실시예에 의해 제공되는 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 획득하는 흐름 모식도이다.
도 7은 본 발명의 실시예에 의해 제공되는 인코딩 모듈의 모식도이다.
도 8은 본 발명의 실시예에 의해 제공되는 정렬 컨볼루션 커널 생성 모듈의 모식도이다.
도 9는 본 발명의 실시예에 의해 제공되는 디블러링 컨볼루션 커널 생성 모듈의 모식도이다.
도 10은 본 발명의 실시예에 의해 제공되는 다른 비디오 이미지 처리 방법의 흐름 모식도이다.
도 11은 본 발명의 실시예에 의해 제공되는 자체 적응성 컨볼루션 처리 모듈의 모식도이다.
도 12는 본 발명의 실시예에 의해 제공되는 디코딩 모듈의 모식도이다.
도 13은 본 발명의 실시예에 의해 제공되는 비디오 이미지 디블러링 신경망의 구조 모식도이다.
도 14는 본 발명의 실시예에 의해 제공되는 정렬 컨볼루션 커널 및 디블러링 컨볼루션 커널 생성 모듈의 구조 모식도이다.
도 15는 본 발명의 실시예에 의해 제공되는 비디오 이미지 처리 장치의 구조 모식도이다.
도 16은 본 발명의 실시예에 의해 제공되는 전자 기기의 하드웨어 구조 모식도이다.
당업자가 본 발명의 해결수단을 보다 잘 이해할 수 있도록, 이하 본 발명의 실시예의 도면을 참조하여 본 발명의 실시예의 기술적 해결수단을 명확하고 완전하게 설명한다. 설명되는 실시예는 본 발명의 실시예의 일부일 뿐 전체 실시예가 아님은 물론이며, 당업자가 본 발명의 실시예에 기반하여 진보성 창출에 힘 쓸 필요없이 획득한 다른 모든 실시예는 모두 본 발명의 보호 범위 내에 속한다.
본 발명의 명세서, 청구범위 및 전술한 도면에서 "제1", "제2" 등 용어는 특정 순서를 설명하기보다는 다른 대상을 구별하기 위해 사용된다. 이 밖에, "포함", "구비" 등 용어 및 이들의 임의의 변형은 비 배타적 포함을 커버하도록 의도된다. 예를 들어, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 기기는 나열된 단계 또는 유닛으로 한정되지 않으며, 나열되지 않은 단계 또는 유닛을 선택적으로 더 포함하거나 이러한 과정, 방법, 제품 또는 기기에 고유한 기타 단계 또는 유닛을 선택적으로 더 포함한다.
본 명세서에서 "실시예"에 대한 언급은 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 명세서의 여러 곳에서 나타나는 문구는 반드시 동일한 실시예를 지칭하는 것은 아니며, 다른 실시예와 상호 배타적인 독립적이거나 대안적인 실시예도 아니다. 당업자는 여기에 설명되는 실시예가 다른 실시예와 결합될 수 있음을 명시적 및 암시적으로 이해해야 한다.
본 발명의 실시예에서, "대응"이라는 단어가 많이 나타나는데, 여기서 두 이미지 중 대응되는 픽셀점이란 두 이미지 중 동일한 위치의 두 픽셀점을 지칭한다. 예를 들어, 도 1에 도시된 바와 같이, 이미지 A의 픽셀점 a는 이미지 B의 픽셀점 d에 대응되고, 이미지 A의 픽셀점b는 이미지 B의 픽셀점 c에 대응된다. 복수의 이미지 중 대응되는 픽셀점과 두 이미지 중 대응되는 픽셀점은 동일한 의미를 갖는 것으로 이해해야 한다.
아래에 나타나는 불균일하게 블러링된 이미지란 이미지 내 상이한 픽셀점의 블러링 정도 즉 상이한 픽셀점의 모션 궤적이 상이함을 지칭한다. 예를 들어, 도 2에 도시된 바와 같이, 왼쪽 상단 모서리 영역에 위치한 표지판의 글꼴 블러링 정도가 오른쪽 하단 모서리에 위치한 자동차의 블러링 정도보다 큰 바, 즉 이 두 영역의 블러링 정도는 일치하지 않다. 본 발명의 실시예를 응용하여 불균일하게 블러링된 이미지의 디블러링을 구현할 수 있으며, 아래 본 발명의 실시예의 도면을 참조하여 본 발명의 실시예를 설명한다.
도 3은 본 발명의 실시예에 의해 제공되는 비디오 이미지 처리 방법의 흐름 모식도로서, 도 3에 도시된 바와 같이, 상기 이미지 처리 방법은 하기와 같은 단계를 포함한다.
단계 301에서, 다중 프레임의 연속 비디오 이미지를 획득하되, 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수이다.
본 발명의 실시예에서, 카메라를 통해 비디오를 촬영하여 다중 프레임의 연속 비디오 이미지를 획득할 수 있다. 상기 제N 프레임의 이미지, 제N-1 프레임의 이미지는 다중 프레임의 연속 비디오 이미지 중 인접한 두 프레임의 이미지이고, 제N 프레임의 이미지는 제N-1 프레임의 이미지의 다음 프레임의 이미지이며, 제N 프레임의 이미지는 현재 처리(즉, 본 발명에 의해 제공되는 구현형태를 응용하여 디블러링 처리를 실행함)할 프레임의 이미지이고, 디블러링 처리된 제N-1 프레임의 이미지는 제N-1 프레임의 이미지를 디블러링 처리 후 획득된 이미지이다.
본 발명의 실시예에서 비디오 이미지에 대한 디블러링은 하나의 재귀적 과정인 바, 즉, 디블러링 처리된 제N-1 프레임의 이미지가 제N 프레임의 이미지 디블러링 처리 과정의 입력 이미지로 사용되고, 마찬가지로, 디블러링 처리된 제N 프레임의 이미지가 제N+1 프레임의 이미지 디블러링 처리 과정의 입력 이미지로 사용됨을 이해해야 한다.
선택적으로, N가 1인 경우, 즉 현재 디블러링 처리될 객체가 비디오의 제1 프레임이면, 이때, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지는 모두 제N 프레임, 즉 3개의 제1 프레임의 이미지를 획득한다.
본 발명의 실시예에서, 비디오의 각 프레임의 이미지를 촬영된 시간 순서에 따라 배열하여 획득한 시퀀스를 비디오 프레임 시퀀스라 지칭하고, 디블러링 처리 후 획득한 이미지를 디블러링 처리된 이미지라 지칭한다.
본 발명의 실시예는 비디오 프레임 시퀀스에 따라 비디오 이미지를 디블러링 처리하되, 회당 하나의 프레임의 이미지를 디블러링 처리한다.
선택적으로, 비디오 이미지 및 디블러링 처리된 이미지는 전자 기기의 메모리에 저장될 수 있다. 여기서, 비디오는 비디오 스트림을 의미하는 바, 즉 비디오 프레임 시퀀스의 순서에 따라 비디오 이미지를 전자 기기의 메모리에 저장한다. 따라서, 전자 기기는 메모리로부터 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 직접 획득할 수 있다.
본 발명의 실시예에서 언급한 비디오 이미지는 전자 기기의 카메라에 의한 실시간 촬영을 통해 획득한 비디오일 수 있으며, 전자 기기의 메모리 내에 저장된 비디오 이미지일 수도 있음을 이해해야 한다.
단계 302에서, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득한다.
본 발명의 선택 가능한 실시예에서, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 단계는, 처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 단계를 포함하되, 상기 처리할 이미지는 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득된다.
본 실시예에서, 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 처리할 이미지를 획득한다. 예를 들어(예 1), 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지의 크기가 모두 100*100*3이라고 가정하면, 중첩 후 획득한 처리할 이미지의 크기는 100*100*9인 바, 즉, 3개의 이미지 중 하나의 이미지의 픽셀점 개수에 비해, 3개의 이미지(제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지)를 중첩한 후 획득한 처리할 이미지의 픽셀점의 개수는 변하지 않으나 각 픽셀점의 채널 수는 3개의 이미지 중 어느 하나의 이미지의 3배가 된다.
본 발명의 실시예에서, 처리할 이미지의 픽셀점에 대한 컨볼루션 처리는 임의로 적층된 복수의 컨볼루션 계층으로 구현될 수 있으며, 본 발명의 실시예는 컨볼루션 계층의 개수 및 컨볼루션 계층 중 컨볼루션 커널의 크기에 대해 한정하지 않는다.
처리할 이미지의 픽셀점을 컨볼루션 처리하여 처리할 이미지의 픽셀점의 특징 정보를 추출함으로써 디블러링 컨볼루션 커널을 획득할 수 있다. 여기서, 특징 정보는 상기 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보, 및 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 포함하고, 상기 모션 정보는 제N 프레임의 이미지 중 대응되는 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 속도 및 모션 방향을 포함한다.
본 발명의 실시예의 디블러링 컨볼루션 커널은 처리할 이미지를 컨볼루션 처리하여 획득한 결과이며, 이는 본 발명의 실시예의 후속 처리에서 컨볼루션 처리의 컨볼루션 커널로 사용됨을 이해해야 한다.
또한, 처리할 이미지의 픽셀점에 대한 컨볼루션 처리란 처리할 이미지의 각 픽셀점을 컨볼루션 처리하여 각 픽셀점의 디블러링 컨볼루션 커널을 각각 획득하는 것을 의미함을 이해해야 한다. 예 1에 이어서 계속하여 예를 들면(예 2), 처리할 이미지의 크기가 100*100*9, 즉 처리할 이미지에 100*100개의 픽셀점이 포함되면, 처리할 이미지의 픽셀점을 컨볼루션 처리한 후, 하나의 100*100의 특징 이미지를 획득할 수 있다. 여기서, 상기 100*100의 특징 이미지의 각 픽셀점은 모두 후속적으로 제N 프레임의 이미지의 픽셀점을 디블러링 처리하는 디블러링 컨볼루션 커널로 사용될 수 있다.
단계 303에서, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득한다.
본 발명의 선택 가능한 실시예에서, 도 4에 도시된 바와 같이, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는 하기와 같은 단계를 포함할 수 있다.
단계 3031에서, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득한다.
상기 제N 프레임의 이미지의 특징 이미지는 제N 프레임의 이미지에 대한 특징 추출 처리를 통해 획득할 수 있다. 여기서, 특징 추출 처리는 컨볼루션 처리일 수 있고 풀링 처리일 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.
단계 302의 처리를 통해 처리할 이미지 중 각 픽셀점의 디블러링 컨볼루션 커널을 획득한다. 여기서, 처리할 이미지의 픽셀점의 개수는 제N 프레임의 이미지의 픽셀점의 개수와 동일하고, 처리할 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점은 일대일로 대응된다. 본 발명의 실시예에서, "일대일로 대응"의 의미는 처리할 이미지 중 픽셀점 A와 제N 프레임의 이미지의 픽셀점 B가 일대일로 대응되는 바, 즉 처리할 이미지에서 픽셀점 A의 위치는 제N 프레임의 이미지에서 픽셀점B의 위치와 동일한 것과 같은 예를 참조할 수 있다.
단계 3032에서, 상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득한다.
상기 디코딩 처리는 디컨볼루션 처리를 통해 구현될 수 있고, 디컨볼루션 처리와 컨볼루션 처리의 조합을 통해 획득할 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.
선택적으로, 제N 프레임의 이미지에 대한 디블러링 처리 효과를 개선하기 위해, 제1 특징 이미지를 디코딩 처리하여 획득한 이미지의 픽셀점의 픽셀값과 제N 프레임의 이미지의 픽셀점의 픽셀값을 더하고, "더한" 후 획득한 이미지를 디블러링 처리된 제N 프레임의 이미지로서 사용한다. 상기 "더한” 후 제N 프레임의 이미지의 정보를 이용하여 디블러링 처리된 제N 프레임의 이미지를 획득할 수 있다.
예를 들어, 디코딩 처리 후 획득한 이미지의 픽셀점 C의 픽셀값이 200이고, 제N 프레임의 이미지의 픽셀점 D의 픽셀값이 150이라고 가정하면, "더한” 후 획득한 디블러링 처리된 제N 프레임의 이미지의 픽셀점 E의 픽셀값은 350이되, 여기서, 처리할 이미지에서 C의 위치, 제N 프레임의 이미지에서 D의 위치 및 디블러링 처리된 제N 프레임의 이미지에서 E의 위치는 동일하다.
상기와 같이, 불균일하게 블러링된 이미지 중 상이한 픽셀점의 모션 궤적은 상이하고, 픽셀점의 모션 궤적이 복잡할수록 그 블러링 정도가 높아진다. 본 발명의 실시예는 처리할 이미지의 각 픽셀점에 대해 각각 하나의 디블러링 컨볼루션 커널을 예측하고, 제N 프레임 특징의 픽셀점의 디블러링을 구현하기 위해 예측에 의해 획득된 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지의 특징점을 컨볼루션 처리한다. 불균일하게 블러링된 이미지 중 상이한 픽셀점의 블러링 정도가 다르므로 상이한 픽셀점에 대해 해당 디블러링 컨볼루션 커널을 생성하여 각 픽셀점의 디블러링을 보다 잘 구현하고 나아가 불균일하게 블러링된 이미지의 디블러링을 구현할 수 있음은 물론이다.
본 발명의 실시예는 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보에 기반하여 픽셀점의 디블러링 컨볼루션 커널을 획득하고, 제N 프레임의 이미지 중 픽셀점의 디블러링을 구현하기 위해 상기 디블러링 컨볼루션 커널을 사용하여 제N 프레임의 이미지 중 대응되는 픽셀점을 디컨볼루션 처리하며; 제N 프레임의 이미지의 각 픽셀점에 대해 각각 하나의 디블러링 컨볼루션 커널을 생성함으로써 제N 프레임의 이미지(불균일하게 블러링된 이미지)의 디블러링을 구현할 수 있으며, 디블러링 처리된 이미지가 선명하고 자연스러우며 디블러링 처리 과정은 소모 시간이 짧고 처리 속도가 빠르다.
도 5를 참조하면, 도 5는 본 발명의 실시예에 의해 제공되는 단계 302의 가능한 구현형태의 흐름 모식도로서, 도 5에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 401에서, 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하되, 상기 모션 정보는 속도 및 방향을 포함한다.
본 발명의 실시예에서, "모션 정보는 속도 및 방향을 포함"은, 픽셀점의 모션 정보가 제N-1 프레임 시각(제N-1 프레임의 이미지의 촬영 시각)으로부터 제N 프레임 시각(제N 프레임의 이미지의 촬영 시각)까지의 모션 궤적을 의미하는 것으로 이해할 수 있다.
촬영 대상이 단일 노출 시간 내에 움직이고 모션 궤적이 곡선이므로, 촬영을 통해 획득한 이미지에 블러링이 발생하는데, 즉, 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보는 제N 프레임의 이미지의 디블러링에 도움이 된다.
본 발명의 실시예에서, 처리할 이미지의 픽셀점에 대한 컨볼루션 처리는 임의로 적층된 복수의 컨볼루션 계층에 의해 구현될 수 있으며, 본 발명의 실시예는 컨볼루션 계층의 개수 및 컨볼루션 계층 중 컨볼루션 커널의 크기에 대해 한정하지 않는다.
처리할 이미지의 픽셀점을 컨볼루션 처리하여 처리할 이미지의 픽셀점의 특징 정보를 추출함으로써 정렬 컨볼루션 커널을 획득할 수 있다. 여기서, 해당 특징 정보는 상기 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 포함한다.
본 발명의 실시예의 정렬 컨볼루션 커널은 처리할 이미지를 상기 컨볼루션 처리하여 획득한 결과이며, 이는 본 발명의 실시예의 후속 처리에서 컨볼루션 처리의 컨볼루션 커널로 사용됨을 이해해야 한다. 구체적으로, 정렬 컨볼루션 커널은 처리할 이미지를 컨볼루션 처리하여 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출함으로써 획득되므로, 후속적으로 정렬 컨볼루션 커널을 통해 제N 프레임의 이미지의 픽셀점을 정렬 처리할 수 있다.
본 실시예에서 획득한 정렬 컨볼루션 커널 역시 실시간으로 획득한 것인 바, 즉 상기 처리를 통해 제N 프레임의 이미지의 각 픽셀점의 정렬 컨볼루션 커널을 획득함에 유의해야 한다.
단계 402에서, 상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득한다.
해당 인코딩 처리는 컨볼루션 처리일 수 있고, 풀링 처리일 수도 있다.
가능한 구현형태에서, 상기 인코딩 처리는 컨볼루션 처리이고, 컨볼루션 처리는 임의로 적층된 복수의 컨볼루션 계층에 의해 구현되며, 본 발명의 실시예는 컨볼루션 계층의 개수 및 컨볼루션 계층 중 컨볼루션 커널의 크기에 대해 한정하지 않는다.
단계 402의 컨볼루션 처리는 단계 401의 컨볼루션 처리와 상이하다는 점을 이해해야 한다. 예를 들어, 단계 401의 컨볼루션 처리가 채널 수가 32인 3개의 컨볼루션 계층(컨볼루션 커널의 크기는 3*3임)에 의해 구현되고, 단계 402의 컨볼루션 처리가 채널 수가 64인 컨볼루션 계층(컨볼루션 커널의 크기는 3*3임)에 의해 구현된다고 가정하면, 양자(3개의 컨볼루션 계층과 5개의 컨볼루션 계층)는 본질적으로 모두 컨볼루션 처리이나 양자의 구체적인 구현 과정은 상이하다.
처리할 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득되므로, 처리할 이미지에는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지의 정보가 포함된다. 반면 단계 401의 컨볼루션 처리는 상기 제N 프레임의 이미지의 픽셀점에 대한 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하는데 보다 중점을 두는 바, 즉, 단계 401의 처리를 거쳐 처리할 이미지 중 제N-1 프레임의 이미지와 디블러링 처리된 제N-1 프레임의 이미지 간의 디블러링 처리 정보는 추출되지 않는다.
선택적으로, 정렬 컨볼루션 커널을 인코딩 처리하기 이전에, 융합 후 획득한 정렬 컨볼루션 커널이 제N-1 프레임의 이미지와 디블러링 처리된 제N-1 프레임의 이미지 간의 디블러링 정보를 포함하도록, 처리할 이미지와 정렬 컨볼루션 커널을 융합 처리할 수 있다.
정렬 컨볼루션 커널을 컨볼루션 처리하여 상기 제N-1 프레임의 이미지에 대한 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출함으로써 디블러링 컨볼루션 커널을 획득한다. 여기서, 디블러링 정보는 제N-1 프레임의 이미지의 픽셀점과 제N-1 프레임 디블러링 이미지의 픽셀점 간의 매핑 관계, 즉 디블러링 처리 이전의 픽셀점과 디블러링 처리된 픽셀점 간의 매핑 관계로 이해할 수 있다.
이와 같이, 정렬 컨볼루션 커널을 컨볼루션 처리하여 획득한 디블러링 컨볼루션 커널은 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보외에도, 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보를 포함한다. 후속적으로 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지에 대한 픽셀점을 컨볼루션 처리함으로써 디블러링 효과를 개선할 수 있다.
본 발명의 실시예에서 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보에 기반하여 픽셀점의 정렬 컨볼루션 커널을 획득하고, 후속적으로 상기 정렬 컨볼루션 커널을 정렬 처리한 후, 정렬 컨볼루션 커널을 컨볼루션 처리하여 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보를 추출함으로써 디블러링 컨볼루션 커널을 획득할 수 있으며, 디블러링 컨볼루션 커널이 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보외에도 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보를 포함할 수 있도록 하여 제N 프레임의 이미지의 블러링 제거 효과를 개선하는데 유리하다.
상기 실시예들은 모두 이미지를 컨볼루션 처리하여 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 획득한다. 이미지에 포함된 픽셀점의 수가 많으므로 이미지를 직접 처리하면 처리해야 할 데이터 양이 많고 처리 속도가 느리게 된다. 따라서, 본 발명의 실시예는 특징 이미지에 따라 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 획득하는 구현형태를 제공한다.
도 6을 참조하면, 도 6은 본 발명의 실시예 6에 의해 제공되는 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 획득하는 흐름 모식도로서, 도 6에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 501에서, 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩 처리하여 처리할 이미지를 획득한다.
처리할 이미지를 획득하는 구현형태는 단계 302을 참조할 수 있으며, 여기서는 더 이상 설명하지 않는다.
단계 502에서, 상기 처리할 이미지를 인코딩 처리하여 제4 특징 이미지를 획득한다.
상기 인코딩 처리는 컨볼루션, 풀링 등과 같은 다양한 방식으로 구현될 수 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.
일부 가능한 구현형태에서, 도 7을 참조하면, 도 7에 도시된 모듈은 처리할 이미지를 인코딩 처리할 수 있고, 상기 모듈은 순차적으로 채널 수가 32인 하나의 컨볼루션 계층(컨볼루션 커널의 크기는 3*3임), 채널 수가 32인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임), 채널 수가 64인 하나의 컨볼루션 계층(컨볼루션 커널의 크기는 3*3임), 채널 수가 64인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임), 채널 수가 128인 하나의 컨볼루션 계층(컨볼루션 커널의 크기는 3*3임), 채널 수가 128인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임)을 포함한다.
상기 모듈을 통해 처리할 이미지의 각층에 대해 컨볼루션 처리를 거쳐 처리할 이미지의 인코딩을 완료함으로써 제4 특징 이미지를 획득하되, 여기서, 각 컨볼루션 계층에서 추출한 특징 콘텐츠 및 의미 정보가 모두 상이하다. 구체적으로, 인코딩 처리는 한 단계씩 처리할 이미지의 특징을 추상화하는 동시에 상대적으로 차요한 특징을 단계적으로 제거하므로 뒤로 갈수록 추출되는 특징 이미지의 크기가 작아지며 의미 정보가 집중된다. 다단 컨볼루션 계층을 통해 처리할 이미지를 단계별로 컨볼루션 처리하고 해당 특징을 추출하여 최종적으로 고정된 크기의 제4 특징 이미지를 획득한다. 이와 같이, 처리할 이미지의 주요 콘텐츠 정보(즉 제4 특징 이미지)를 획득하는 동시에 이미지 크기를 축소시키고 데이터 처리량을 감소시키고 처리 속도를 향상시킬 수 있다.
예를 들어(예 3), 처리할 이미지의 크기가 100*100*3이라고 가정하면, 도 7에 도시된 모듈을 통해 인코딩 처리하여 획득한 제4 특징 이미지의 크기는 25*25*128이다.
가능한 구현형태에서, 상기 컨볼루션 처리의 구현 과정은 하기와 같다. 컨볼루션 계층이 처리할 이미지에 대해 컨볼루션 처리를 실행한다. 즉 컨볼루션 커널을 이용하여 처리할 이미지에서 슬라이딩하고, 처리할 이미지의 픽셀과 대응되는 컨볼루션 커널의 수치를 곱한 후, 모든 곱셈된 값을 더하여 컨볼루션 커널의 중간 픽셀에 대응되는 이미지의 픽셀값을 사용하고, 최종적으로 처리할 이미지 중 모든 픽셀을 슬라이딩 처리하여 제4 특징 이미지를 획득한다. 선택적으로, 이러한 가능한 구현형태에서, 컨볼루션 계층의 스텝 사이즈는 2로 설정될 수 있다.
도 8을 참조하면, 도 8은 본 발명의 실시예에 의해 제공되는 정렬 컨볼루션 커널 생성 모듈의 모식도로서, 도 8에 도시된 모듈이 정렬 컨볼루션 커널을 생성하는 구체적인 과정은 단계 503 ~ 504를 참조할 수 있다.
단계 503에서, 상기 제4 특징 이미지를 컨볼루션 처리하여 제5 특징 이미지를 획득한다.
도 8에 도시된 바와 같이, 제4 특징 이미지를 도 8에 도시된 모듈에 입력하되, 제4 특징 이미지는 순차적으로 채널 수가 128인 하나의 컨볼루션 계층(컨볼루션 커널 크기는 3*3임), 채널 수가 64인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임) 처리를 거쳐 제4 특징 이미지에 대한 컨볼루션 처리를 구현하고 제4 특징 이미지의 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보를 추출하여 제5 특징 이미지를 획득한다.
상기 제4 특징 이미지에 대한 처리를 통해 이미지의 크기는 변하지 않는데, 즉 획득된 제5 특징 이미지의 크기와 제4 특징 이미지의 크기는 동일하다.
예3에 이어서 계속하여 예(예 4)를 들면, 제4 특징 이미지의 크기는 25*25*128이고, 단계 303의 처리를 통해 획득한 제5 특징 이미지의 크기 역시 25*25*128이다.
단계 504에서, 컨볼루션 처리를 통해 상기 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 상기 정렬 컨볼루션 커널을 획득한다.
제5 특징 이미지 중 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보를 추가로 추출하기 위해, 도 8의 제4 계층을 통해 제5 특징 이미지를 컨볼루션 처리하여 획득한 정렬 컨볼루션 커널의 크기는
Figure pct00001
(여기서 제4 계층을 통한 컨볼루션 처리는 제5 특징 이미지의 채널 수를 조정함을 이해해야 함)이되, 여기서,
Figure pct00002
는 제5 특징 이미지의 채널 수이고,
Figure pct00003
는 양의 정수이며, 선택적으로,
Figure pct00004
의 값은 5이다. 처리가 용이하도록,
Figure pct00005
를
Figure pct00006
로 조정하되, 여기서,
Figure pct00007
는 제1 기설정된 값이다.
정렬 컨볼루션 커널의 높이와 폭은 모두 25임을 이해해야 한다. 정렬 컨볼루션 커널은 25*25개의 요소를 포함하고, 각 요소는
Figure pct00008
개의 픽셀점을 포함하며, 정렬 컨볼루션 커널에서 상이한 요소의 위치는 상이하다. 예를 들어, 정렬 컨볼루션 커널의 폭과 높이가 위치하는 평면을 xoy 평면으로 가정하면, 정렬 컨볼루션 커널의 각 요소는 모두 좌표(x, y)에 의해 결정될 수 있으며, 여기서 o는 원점이다. 정렬 컨볼루션 커널의 요소는 후속 처리에서 픽셀점을 정렬 처리하는 컨볼루션 커널이며, 각 요소의 크기는 1*1*
Figure pct00009
이다.
예4에 이어서 계속하여 예(예 5)를 들면, 제5 특징 이미지의 크기는 25*25*128이고, 단계 304의 처리를 통해 획득한 정렬 컨볼루션 커널의 크기는 25*25*128*
Figure pct00010
*
Figure pct00011
, 즉 25*25*128
Figure pct00012
이다. 정렬 컨볼루션 커널은 25*25개의 요소를 포함하고, 각 요소는 128개의 픽셀점을 포함하며, 정렬 컨볼루션 커널에서 상이한 요소의 위치는 상이하고, 각 요소의 크기는 1*1*128*
Figure pct00013
이다.
제4 계층이 컨볼루션 계층이고, 컨볼루션 계층의 컨볼루션 커널이 클수록 이에 따른 데이터 처리량이 더 많다. 선택적으로, 도 8의 제4 계층은 채널 수가 128이고, 컨볼루션 커널 크기가 1*1인 컨볼루션 계층이다. 컨볼루션 커널 크기가 1*1인 컨볼루션 계층을 통해 제5 특징 이미지의 채널 수를 조정함으로써 데이터 처리량을 감소시키고 처리 속도를 향상시킬 수 있다.
단계 505에서, 컨볼루션 처리를 통해 상기 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득한다.
단계 504에서 컨볼루션 처리(즉 도 8의 제4 계층)를 통해 제5 특징 이미지의 채널 수를 조정하므로, 정렬 컨볼루션 커널을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하기 이전에 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값(즉 제5 특징 이미지의 채널 수)으로 조정해야 한다.
가능한 구현형태에서, 컨볼루션 처리를 통해 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득한다. 선택적으로, 상기 컨볼루션 처리는 채널 수가 128이고, 컨볼루션 커널 크기가 1*1인 컨볼루션 계층에 의해 구현될 수 있다.
단계 506에서, 상기 제4 특징 이미지 및 상기 제6 특징 이미지를 채널 차원에서 중첩 처리하여 제7 특징 이미지를 획득한다.
본 실시예에서 단계 502 ~ 504는 처리할 이미지 중 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보를 추출하는데 더 중점을 둔다. 후속 처리에서 처리할 이미지 중 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보를 추출해야 하므로, 후속 처리 이전에 제4 특징 이미지와 제6 특징 이미지를 융합함으로써 특징 이미지에 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보가 추가되도록 한다.
가능한 구현형태에서, 제4 특징 이미지와 제6 특징 이미지를 융합 처리(concatenate), 즉 제4 특징 이미지와 제6 특징 이미지를 채널 차원에서 중첩 처리하여 제7 특징 이미지를 획득한다.
단계 507에서, 상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득한다.
제7 특징 이미지에는 이미 추출된 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보가 포함되고, 제7 특징 이미지를 컨볼루션 처리하여 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보를 추가로 추출함으로써 디블러링 컨볼루션 커널을 획득하는 과정은 하기와 같은 단계를 포함한다.
제7 특징 이미지를 컨볼루션 처리하여 제8 특징 이미지를 획득하고; 컨볼루션 처리를 통해 제8 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 디블러링 컨볼루션 커널을 획득한다.
일부 가능한 구현형태에서, 도 9에 도시된 바와 같이, 제7 특징 이미지를 도 9에 도시된 모듈에 입력하고, 제7 특징 이미지는 순차적으로 채널 수가 128인 하나의 컨볼루션 계층(컨볼루션 커널크기는 3*3임), 채널 수가 64인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임) 처리를 거쳐 제7 특징 이미지의 컨볼루션 처리를 구현하여 제7 특징 이미지의 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보를 추출함으로써 제8 특징 이미지를 획득한다.
도 9에 도시된 모듈의 제7 특징 이미지에 대한 처리 과정은 도 8에 도시된 모듈이 제5 특징 이미지에 대한 처리 과정을 참조할 수 있으며, 여기서는 더 이상 설명하지 않는다.
도 8에 도시된 모듈(정렬 컨볼루션 커널을 생성하기 위한 것임)과 도 9에 도시된 모듈(디블러링 컨볼루션 커널을 생성하기 위한 것임)을 비교해보면, 도 8에 도시된 모듈은 도 9에 도시된 모듈보다 컨볼루션 계층(즉 도 8에 도시된 모듈의 제4 계층)을 하나 더 구비할 뿐 나머지 구성은 동일하나 양자의 가중치가 상이함으로 인해 양자의 용도 상이성이 직접 결정됨을 이해해야 한다.
선택적으로, 도 8에 도시된 모듈과 도 9에 도시된 모듈의 가중치는 도 8과 도 9에 도시된 모듈에 대한 훈련을 통해 획득된다.
단계 507에서 획득한 디블러링 컨볼루션 커널은 제7 특징 이미지 중 각 픽셀점을 포함하는 디블러링 컨볼루션 커널이고, 각 픽셀점의 컨볼루션 커널의 크기는 1*1*
Figure pct00014
임을 이해해야 한다.
예5에 이어서 계속하여 예(예 6)를 들면, 제7 특징 이미지의 크기는 25*25*128*
Figure pct00015
*
Figure pct00016
인 바, 즉, 제7 특징 이미지에는 25*25개의 픽셀점이 포함되고, 대응되게, 획득한 디블러링 컨볼루션 커널(크기는 25*25*128
Figure pct00017
)에는 25*25개의 디블러링 컨볼루션 커널이 포함된다(즉 각 픽셀점은 하나의 디블러링 컨볼루션 커널에 대응되며, 각 픽셀점의 디블러링 컨볼루션 커널의 크기는 1*1*128
Figure pct00018
임).
제7 특징 이미지 중 각 픽셀점의 3개 차원의 정보를 한개 차원의 정보로 합성함으로써, 제7 특징 이미지의 각 픽셀점의 정보를 하나의 컨볼루션 커널, 즉 각 픽셀점의 디블러링 컨볼루션 커널로 합성한다.
본 실시예는 후속적으로 정렬 컨볼루션 커널 및 디블러링 컨볼루션 커널을 통해 용이하게 제N 프레임의 이미지를 디블러링 처리하기 위해, 처리할 이미지의 특징 이미지를 컨볼루션 처리하여 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보를 추출함으로써 각 픽셀점의 정렬 컨볼루션 커널을 획득한 후, 제7 특징 이미지를 컨볼루션 처리하여 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보를 추출함으로써 각 픽셀점의 디블러링 컨볼루션 커널을 획득한다.
본 실시예는 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 획득하는 방법을 상세히 설명하였으며, 후술되는 실시예는 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 통해 제N 프레임의 이미지의 디블러링을 구현하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 방법을 상세히 설명한다.
도 10을 참조하면, 도 10은 본 발명의 실시예에 의해 제공되는 다른 비디오 이미지 처리 방법의 흐름 모식도로서, 도 10에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.
단계 901에서, 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지의 특징 이미지의 픽셀점에 대해 컨볼루션 처리하여 제1 특징 이미지를 획득한다.
상기 제N 프레임의 이미지의 특징 이미지는 제N 프레임의 이미지에 대한 특징 추출 처리를 통해 획득될 수 있다. 여기서, 특징 추출 처리는 컨볼루션 처리일 수 있고, 풀링 처리일 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.
가능한 구현형태에서, 도 7에 도시된 인코딩 모듈을 통해 제N 프레임의 이미지에 대해 특징 추출 처리를 실행하여 제N 프레임의 이미지의 특징 이미지를 획득할 수 있다. 여기서, 도 7의 구체적 구성 및 도 7에서 제N 프레임의 이미지에 대한 처리 과정은 단계 502를 참조할 수 있으며, 여기서는 더 이상 설명하지 않는다.
도 7에 도시된 인코딩 모듈을 통해 제N 프레임의 이미지에 대해 특징 추출 처리를 실행하여 획득한 제N 프레임의 이미지의 특징 이미지의 크기는 제N 프레임의 이미지의 크기보다 작고, 제N 프레임의 이미지의 특징 이미지는 제N 프레임의 이미지의 정보(본 발명에서, 해당 정보는 제N 프레임의 이미지 중 블러링 영역의 정보로 이해할 수 있음)를 포함한다. 따라서 후속적으로 제N 프레임의 이미지에 대한 특징 이미지 처리는 데이터 처리량을 감소시키고 처리 속도를 향상시킬 수 있다.
상기와 같이, 처리할 이미지의 각 픽셀점을 컨볼루션 처리하여 각 픽셀점의 디블러링 컨볼루션 커널을 각각 획득하고, 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지의 특징 이미지의 픽셀점에 대한 컨볼루션 처리는, 전술한 실시예에서 획득한 디블러링 컨볼루션 커널 중 각 픽셀점의 디블러링 컨볼루션 커널을 각각 제N 프레임의 이미지의 특징 이미지 중 대응되는 픽셀점의 컨볼루션 커널로 사용하여 제N 프레임의 이미지의 특징 이미지의 각 픽셀점에 대해 컨볼루션 처리를 실행함을 의미한다.
단계 507에서 설명한 바와 같이, 디블러링 컨볼루션 커널의 각 픽셀점의 디블러링 컨볼루션 커널은 제7 특징 이미지 중 각 픽셀점의 정보를 포함하되, 상기 정보는 디블러링 컨볼루션 커널에서 일차원 정보이나 제N 프레임의 이미지의 특징 이미지의 픽셀점은 3차원이므로, 제7 특징 이미지 중 각 픽셀점의 정보를 각각 제N 프레임의 이미지의 특징 이미지 중 각 픽셀점의 컨볼루션 커널로 사용하여 컨볼루션 처리를 실행하기 위해서는 디블러링 컨볼루션 커널의 차원을 조정해야 한다. 상기 고려 사항에 기반하여 단계 901의 구현 과정은 하기와 같은 단계를 포함한다.
디블러링 컨볼루션 커널의 채널 수와 제N 프레임의 이미지의 특징 이미지의 채널 수가 동일하도록, 디블러링 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 디블러링 컨볼루션 커널을 통해 제N 프레임의 이미지의 특징 이미지의 픽셀점에 대해 컨볼루션 처리를 실행하여 제1 특징 이미지를 획득한다.
도 11을 참조하면, 도 11에 도시된 모듈(자체 적응성 컨볼루션 처리 모듈)을 통해 전술한 실시예에서 획득한 디블러링 컨볼루션 커널 중 각 픽셀점의 디블러링 컨볼루션 커널을 제N 프레임의 이미지의 특징 이미지 중 대응되는 픽셀점의 컨볼루션 커널로 사용하여 상기 픽셀점에 대해 컨볼루션 처리를 실행할 수 있다.
도 11의 조정 차원(재구성)은 디블러링 컨볼루션 커널 중 각 픽셀점의 디블러링 컨볼루션 커널의 차원을 의미하는데, 즉 각 픽셀점의 디블러링 커널의 차원은 1*1*
Figure pct00019
로부터
Figure pct00020
*
Figure pct00021
*
Figure pct00022
로 조정된다.
예6에 이어서 계속하여 예(예 7)를 들면, 각 픽셀점의 디블러링 컨볼루션 커널의 크기는 1*1*128
Figure pct00023
이고, 각 픽셀점의 디블러링 컨볼루션 커널을 재구성(reshape)한 후 획득한 컨볼루션 커널의 크기는 128*
Figure pct00024
*
Figure pct00025
이다.
재구성을 통해 제N 프레임의 이미지의 특징 이미지의 각 픽셀점의 디블러링 컨볼루션 커널을 획득하고, 제N 프레임의 이미지의 특징 이미지의 각 픽셀점의 디블러링을 구현하기 위해 각 픽셀점의 디블러링 컨볼루션 커널을 통해 각 픽셀점을 각각 컨볼루션 처리하여 최종적으로 제1 특징 이미지를 획득한다.
단계 902에서, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득한다.
본 발명의 선택 가능한 실시예에서, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득하는 단계는, 상기 정렬 컨볼루션 커널의 채널 수가 상기 제N-1 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 정렬 컨볼루션 커널의 차원을 조정하는 단계; 및 차원이 조정된 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제2 특징 이미지를 획득하는 단계를 포함한다.
본 실시예는 도 11에 도시된 모듈을 통해 전술한 실시예에서 획득한 디블러링 컨볼루션 커널을 제N 프레임의 이미지의 특징 이미지의 각 픽셀점의 디블러링 컨볼루션 커널로 사용하여 제N 프레임의 이미지의 특징 이미지를 디블러링 처리하는 단계 901과 마찬가지로, 도 11에 도시된 모듈의 재구성을 통해 전술한 실시예에서 획득한 정렬 컨볼루션 커널 중 각 픽셀점의 정렬 컨볼루션 커널의 차원을 128*
Figure pct00026
*
Figure pct00027
로 조정하고, 차원이 조정된 정렬 컨볼루션 커널을 통해 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지 중 대응되는 픽셀점을 컨볼루션 처리함으로써 현재 프레임을 기준으로 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지를 정렬 처리한다. 즉 각 픽셀점의 정렬 커널에 포함된 모션 정보에 따라 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지 중 각 픽셀점의 위치를 각각 조정하여 제2 특징 이미지를 획득한다.
디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지에는 대량의 클리어(즉 블러링이 존재하지 않음) 픽셀점이 포함되나, 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점과 현재 프레임의 픽셀점 사이에는 변위가 존재한다. 따라서, 단계 902의 처리를 통해 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점의 위치를 조정하여 위치 조정된 픽셀점이 제N 프레임 시각 위치(해당 위치는 제N 프레임의 이미지에서 촬영 대상의 위치를 의미함)에 더 근접되도록 한다. 이와 같이, 후속 처리는 제2 특징 이미지의 정보를 이용하여 제N 프레임의 이미지의 디블러링을 구현할 수 있다.
단계 901과 단계 902 간에는 선후 순서가 존재하지 않는 바, 즉 먼저 단계 901을 실행한 후 단계 902를 실행할 수 있고, 먼저 단계 902를 실행한 후 단계 901을 실행할 수도 있으며, 단계 901과 단계 902를 동시에 실행할 수도 있음을 이해해야 한다. 나아가, 단계 504를 통해 정렬 컨볼루션 커널을 획득한 후, 먼저 단계 901을 실행한 다음 단계 505 ~ 507을 실행하고, 먼저 단계 505 ~ 507을 실행한 다음 단계 901 또는 단계 902을 실행할 수도 있으며 본 발명의 실시예는 이에 대해 한정하지 않는다.
단계 903에서, 상기 제1 특징 이미지 및 상기 제2 특징 이미지를 융합 처리하여 제3 특징 이미지를 획득한다.
제1 특징 이미지와 제2 특징 이미지를 융합 처리함으로써, 제N-1 프레임의 이미지의 픽셀점과 제N 프레임의 이미지의 픽셀점 간의 모션 정보 및 제N-1 프레임의 이미지의 픽셀점과 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점 간의 디블러링 정보에 기반하여 디블러링을 실행한 기초 상에서 (정렬된) 제N-1 프레임의 이미지의 특징 이미지의 정보를 이용하여 디블러링 효과를 개선할 수 있다.
가능한 구현형태에서, 제1 특징 이미지 및 제2 특징 이미지를 채널 차원에서 중첩 처리(concatenate)하여 제3 특징 이미지를 획득한다.
단계 904에서, 상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득한다.
본 발명의 실시예에서, 디코딩 처리는 디컨볼루션 처리, 역컨볼루션 처리, 쌍선형 보간 처리, 역풀링 처리 중 어느 하나일 수 있고, 디컨볼루션 처리, 역컨볼루션 처리, 쌍선형 보간 처리, 역풀링 처리 중 어느 하나와 컨볼루션 처리의 결합일 수 있으며, 본 발명은 이에 대해 한정하지 않는다.
가능한 구현형태에서, 도 12를 참조하면, 도 12에 도시된 디코딩 모듈은 순차적으로 채널 수가 64인 하나의 디컨볼루션 계층(컨볼루션 커널의 크기는 3*3임), 채널 수가 64인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임), 채널 수가 32인 하나의 디컨볼루션 계층(컨볼루션 커널의 크기는 3*3임), 채널 수가 32인 두개의 잔차 블록(각 잔차 블록은 두개의 컨볼루션 계층을 포함하고, 컨볼루션 계층의 컨볼루션 커널의 크기는 3*3임)을 포함한다. 도 12에 도시된 디코딩 모듈을 통해 제3 특징 이미지를 디코딩 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는, 제3 특징 이미지를 디컨볼루션 처리하여 제9 특징 이미지를 획득하는 단계; 및 제9 특징 이미지를 컨볼루션 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하는 단계를 포함한다.
선택적으로, 디코딩 처리된 제N 프레임의 이미지를 획득한 후에, 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 디블러링 처리된 제N 프레임의 이미지를 획득할 수도 있다. 여기서, 제N 프레임의 이미지에서 제1 픽셀점의 위치와 디코딩 처리된 제N 프레임의 이미지에서 제2 픽셀점의 위치는 동일하므로 디블러링 처리된 제N 프레임의 이미지가 더 자연스럽다.
본 실시예를 통해, 전술한 실시예에서 획득한 디블러링 컨볼루션 커널제N 프레임의 이미지의 특징 이미지를 디블러링 처리하고, 전술한 실시예에서 획득한 정렬 컨볼루션 커널을 통해 제N-1 프레임의 이미지의 특징 이미지를 정렬 처리할 수 있다. 디블러링 처리하여 획득한 제1 특징 이미지 및 정렬 처리하여 획득한 제2 특징 이미지를 융합 후 획득한 제3 특징 이미지를 디코딩 처리함으로써 제N 프레임의 이미지에 대한 디블러링 효과가 개선되어 디블러링 처리된 제N 프레임의 이미지가 보다 자연스럽다. 또한 본 실시예의 디블러링 처리와 정렬 처리의 작용 대상이 모두 특징 이미지이므로, 데이터 처리량이 작고 처리 속도가 빠르며, 비디오 이미지의 실시간 디블러링을 구현할 수 있다.
본 발명은 또한 전술한 실시예의 방법을 구현하기 위한 비디오 이미지 디블러링 신경망을 제공한다.
도 13을 참조하면, 도 13은 본 발명의 실시예에 의해 제공되는 비디오 이미지 디블러링 신경망의 구조 모식도로서, 도 13에 도시된 바와 같이, 비디오 이미지 디블러링 신경망은 인코딩 모듈, 정렬 컨볼루션 커널 및 디블러링 컨볼루션 커널 생성 모듈, 디코딩 모듈을 포함한다. 여기서, 도 13의 인코딩 모듈은 도 7에 도시된 인코딩 모듈과 동일하고, 도 13의 디코딩 모듈은 도 12에 도시된 디코딩 모듈과 동일하므로 여기서는 더 이상 설명하지 않는다.
도 14를 참조하면, 도 14에 도시된 정렬 컨볼루션 커널 및 디블러링 컨볼루션 커널 생성 모듈은 디코딩 모듈, 정렬 컨볼루션 커널 생성 모듈, 디블러링 컨볼루션 커널 생성 모듈을 포함하고, 정렬 컨볼루션 커널 생성 모듈과 디블러링 컨볼루션 커널 생성 모듈 사이에는 채널 수가 128이고, 컨볼루션 커널의 크기가 1*1인 하나의 컨볼루션 계층이 포함되며, 상기 컨볼루션 계층 뒤에는 하나의 융합(concatenate) 계층이 연결된다.
도 14에 도시된 자체 적응성 컨볼루션 계층은 도 11에 도시된 모듈임에 유의해야 한다. 도 14에 도시된 모듈에 의해 생성된 정렬 컨볼루션 커널과 디블러링 컨볼루션 커널은 자체 적응성 컨볼루션 계층을 통해 각각 제N-1 프레임의 이미지의 특징 이미지의 픽셀점 및 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리(즉 정렬 처리 및 디블러링 처리)하여 제N-1 프레임의 이미지의 특징 이미지가 정렬된 특징 이미지 및 제N 프레임의 이미지의 특징 이미지가 디블러링 처리된 특징 이미지를 획득한다.
융합 처리(concatenate)를 통해 상기 정렬된 특징 이미지 및 디블러링 처리된 특징 이미지를 채널 차원에서 직렬 연결하여 제N 프레임의 융합된 특징 이미지을 획득하고, 제N 프레임의 융합된 특징 이미지를 디코딩 모듈에 입력하여 비디오 이미지 디블러링 신경망으로 제N+1 프레임의 이미지를 처리하기 위한 입력으로서 사용한다.
디코딩 모듈을 통해 제N 프레임의 융합된 특징 이미지를 디코딩 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하고, 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 디블러링 처리된 제N 프레임의 이미지를 획득하되, 여기서, 제N 프레임의 이미지에서 제1 픽셀점의 위치와 디코딩 처리된 제N 프레임의 이미지에서 제2 픽셀점의 위치는 동일하다. 또한 제N 프레임의 이미지 및 디블러링 처리된 제N 프레임의 이미지를 비디오 이미지 디블러링 신경망으로 제N+1 프레임의 이미지를 처리하기 위한 입력으로서 사용한다.
상기 과정으로부터 비디오 이미지 디블러링 신경망이 비디오의 각 프레임의 이미지를 디블러링 처리하는데는 4개의 입력이 필요함을 알 수 있다. 디블러링 객체가 제N 프레임의 이미지인 경우를 예로 들면, 상기 4개의 입력은 각각 제N-1 프레임의 이미지, 디블러링 처리된 제N-1 프레임의 이미지, 제N 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지(즉 상기 제N 프레임의 융합된 특징 이미지)이다.
본 실시예에 의해 제공되는 비디오 이미지 디블러링 신경망을 통해 비디오 이미지에 대해 디블러링 처리를 실행할 수 있고, 전체 처리 과정은 4개의 입력만을 통해 디블러링 처리된 이미지를 직접 획득할 수 있어 처리 속도가 빠르다. 디블러링 컨볼루션 커널 생성 모듈과 정렬 컨볼루션 커널 생성 모듈을 통해 이미지의 각 픽셀점에 대해 하나의 디블러링 컨볼루션 커널 및 정렬 컨볼루션 커널을 생성함으로써, 비디오 중 상이한 프레임의 불균일하게 블러링된 이미지에 대한 비디오 이미지 디블러링 신경망의 디블러링 효과를 향상시킬 수 있다.
실시예에 의해 제공되는 비디오 이미지 디블러링 신경망에 기반하여, 본 발명의 실시예는 비디오 이미지 디블러링 신경망의 훈련 방법을 제공한다.
본 실시예는 평균 제곱 오차 손실 함수에 따라 비디오 이미지 디블러링 신경망에 의해 출력된 디블러링 처리된 제N 프레임의 이미지와 제N 프레임의 이미지의 클리어 이미지(즉 제N 프레임의 이미지의 감시 데이터(실측값(ground truth)) 간의 오차를 결정한다. 평균 제곱 오차 손실 함수의 구체적인 표현식은 하기와 같다.
Figure pct00028
(1)
여기서,
Figure pct00029
,
Figure pct00030
,
Figure pct00031
는 각각 제N 프레임의 이미지(비디오 이미지 디블러링 신경망이 제N 프레임의 이미지를 디블러링 처리한다고 가정함)의 채널 수, 높이, 폭이고,
Figure pct00032
은 비디오 이미지 디블러링 신경망에 의해 입력된 디블러링 처리된 제N 프레임의 이미지이며,
Figure pct00033
는 제N 프레임의 이미지의 감시 데이터이다.
지각 손실 함수(perceptual loss function)를 통해 VGG-19 네트워크에 의해 출력된 디블러링 처리된 제N 프레임의 이미지의 특징과 제N 프레임의 이미지의 감시 데이터의 특징 간의 유클리드 거리를 결정한다. 지각 손실 함수의 구체적인 표현식은 하기와 같다.
Figure pct00034
(2)
여기서,
Figure pct00035
은 미리 훈련된 VGG-19 네트워크 중 제j층에 의해 출력된 특징 이미지이고,
Figure pct00036
,
Figure pct00037
,
Figure pct00038
는 각각 상기 특징 이미지의 채널 수, 높이, 폭이며,
Figure pct00039
은 비디오 이미지 디블러링 신경망에 의해 입력된 디블러링 처리된 제N 프레임의 이미지이고,
Figure pct00040
는 제N 프레임의 이미지의 감시 데이터(실측값(ground truth))이다.
마지막으로, 본 실시예는 식 (1) 및 식 (2)를 통해 가중 합산을 실행하여 비디오 이미지 디블러링 신경망의 손실 함수를 획득한다. 그 구체적인 표현식은 하기와 같다.
Figure pct00041
(3)
여기서,
Figure pct00042
는 가중치이고; 선택적으로,
Figure pct00043
는 자연수이다.
선택적으로, 상기 j의 값은 15이고,
Figure pct00044
의 값은 0.01일 수 있다.
본 실시예에 의해 제공되는 손실 함수에 기반하여 본 실시예에 따른 비디오 이미지 디블러링 신경망에 대한 훈련을 완료할 수 있다.
전술한 실시예에 의해 제공되는 비디오 이미지 처리 방법 및 비디오 이미지 디블러링 신경망에 따르면, 본 발명의 실시예는 몇몇 가능한 응용 상황을 제공한다.
본 발명의 실시예를 드론에 응용하여 드론에 의해 촬영 된 비디오 이미지의 블러링을 실시간으로 제거함으로써 사용자에게 보다 선명한 비디오를 제공할 수 있다. 아울러 드론의 비행 제어 시스템이 디블러링 처리된 비디오 이미지에 기반하여 드론의 자세와 모션을 처리 및 제어하여 제어 정밀도를 향상시키고 드론이 다양한 항공 작업을 완료하도록 유력한 지원을 제공할 수 있다.
본 발명의 실시예를 이동 단말기(예를 들어, 휴대폰, 스포츠 카메라 등)에 응용할 수도 있는데, 사용자가 단말기를 사용하여 격렬하게 움직이는 객체의 비디오를 수집하고, 단말기가 본 발명의 실시예에 의해 제공되는 방법을 실행함으로써 사용자에 의해 촬영된 비디오를 실시간으로 처리하여 촬영 대상의 격렬한 운동으로 인한 블러링을 감소시키고 사용자 체험감을 향상시킬 수 있다. 여기서, 촬영 대상의 격렬한 운동이란 단말기와 촬영 대상 간의 상대적인 운동을 의미한다.
본 발명의 실시예에 의해 제공되는 비디오 이미지 처리 방법은 처리 속도가 빠르고 실시간성이 우수하며, 본 발명의 실시예에 의해 제공되는 신경망은 가중치가 작고, 상기 신경망을 실행하는데 필요한 처리 자원이 적어 이동 단말기에 응용될 수 있다.
이상 본 발명의 실시예의 방법을 상세히 설명하였으며, 이하 본 발명의 실시예의 장치를 제공한다.
도 15를 참조하면, 도 15는 본 발명의 실시예에 의해 제공되는 비디오 이미지 처리 장치의 구조 모식도로서, 상기 장치(1)는 획득 유닛(11), 제1 처리 유닛(12) 및 제2 처리 유닛(13)을 포함하고, 여기서,
획득 유닛(11)은 다중 프레임의 연속 비디오 이미지를 획득하되, 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수이며;
제1 처리 유닛(12)은 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하고;
제2 처리 유닛(13)은 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득한다.
가능한 구현형태에서, 상기 제1 처리 유닛(12)은 처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 제1 컨볼루션 처리 서브 유닛(121)을 포함하되, 상기 처리할 이미지는 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득된다.
다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛(121)은, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하되, 상기 모션 정보는 속도 및 방향을 포함하고; 상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제2 처리 유닛(13)은, 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 제2 컨볼루션 처리 서브 유닛(131); 및 상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 디코딩 처리 서브 유닛(132)을 포함한다.
또 다른 가능한 구현형태에서, 상기 제2 컨볼루션 처리 서브 유닛(131)은, 상기 디블러링 컨볼루션 커널의 채널 수가 상기 제N 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 디블러링 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제1 특징 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛(121)은 또한, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득한 후, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛(121)은 또한, 상기 정렬 컨볼루션 커널의 채널 수가 상기 제N-1 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 정렬 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제2 특징 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제2 처리 유닛(13)은, 상기 제1 특징 이미지 및 상기 제2 특징 이미지를 융합 처리하여 제3 특징 이미지를 획득하고; 상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛(121)은 또한, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩 처리하여 상기 처리할 이미지를 획득하고; 상기 처리할 이미지를 인코딩 처리하여 제4 특징 이미지를 획득하며; 상기 제4 특징 이미지를 컨볼루션 처리하여 제5 특징 이미지를 획득하고; 컨볼루션 처리를 통해 상기 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 상기 정렬 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛(121)은 또한, 컨볼루션 처리를 통해 상기 정렬 컨볼루션 커널의 채널 수를 상기 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득하고; 상기 제4 특징 이미지 및 상기 제6 특징 이미지를 융합 처리하여 제7 특징 이미지를 획득하며; 상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제1 컨볼루션 처리 서브 유닛(121)은 또한, 상기 제7 특징 이미지를 컨볼루션 처리하여 제8 특징 이미지를 획득하고; 컨볼루션 처리를 통해 상기 제8 특징 이미지의 채널 수를 상기 제1 기설정된 값으로 조정하여 상기 디블러링 컨볼루션 커널을 획득한다.
또 다른 가능한 구현형태에서, 상기 제2 처리 유닛(13)은 또한, 상기 제3 특징 이미지를 디컨볼루션 처리하여 제9 특징 이미지를 획득하고; 상기 제9 특징 이미지를 컨볼루션 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하며; 상기 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 상기 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하되, 상기 제N 프레임의 이미지에서 상기 제1 픽셀점의 위치는 상기 디코딩 처리된 제N 프레임의 이미지에서 상기 제2 픽셀점의 위치와 동일하다.
일부 실시예에서, 본 발명의 실시예에 의해 제공되는 장치에 포함된 기능 또는 포함된 유닛은 상기 방법 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구체적인 구현은 상기 방법 실시예의 설명을 참조할 수 있으며, 간결성을 위해 여기서는 더 이상 설명하지 않는다.
본 발명의 실시예는 또한 전자 기기로서, 프로세서, 입력 장치, 출력 장치 및 메모리를 포함하되, 상기 프로세서, 입력 장치, 출력 장치 및 메모리는 서로 연결되고, 상기 메모리에는 프로그램 명령이 저장되며; 상기 프로그램 명령이 상기 프로세서에 의해 실행될 경우, 상기 프로세서가 상기 실시예에서 설명한 방법을 실행하도록 하는 전자 기기를 제공한다.
본 발명의 실시예는 또한 본 발명의 실시예에서 설명한 방법을 실행하기 위한 프로세서를 제공한다.
도 16은 본 발명의 실시예에 의해 제공되는 전자 기기의 하드웨어 구조 모식도이다. 상기 전자 기기(2)는 프로세서(21), 메모리(22) 및 카메라(23)를 포함한다. 상기 프로세서(21), 메모리(22) 및 카메라(23)는 커넥터를 통해 커플링되고, 상기 커넥터는 다양한 인터페이스, 전송 라인 또는 버스 등을 포함하나 본 발명의 실시예는 이에 대해 한정하지 않는다. 본 발명의 다양한 실시예에서 커플링은 직접 연결 또는 다양한 인터페이스, 전송 라인 버스 등을 통한 연결과 같은 다른 기기를 통한 간접 연결을 포함하는 특정 방식을 통한 연계를 의미함을 이해해야 한다.
프로세서(21)는 하나 또는 복수의 그래픽 프로세싱 유닛(Graphics Processing Unit, GPU)일 수 있으며, 프로세서(21)가 하나의 GPU인 경우, 상기 GPU는 단일 커널 GPU 또는 멀티 커널 GPU일 수 있다. 선택적으로, 프로세서(21)는 복수의 GPU로 구성된 프로세서 그룹일 수 있고, 복수의 프로세서는 하나 또는 복수의 버스를 통해 서로 커플링된다. 선택적으로, 상기 프로세서는 다른 유형의 프로세서 등일 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.
메모리(22)는 컴퓨터 프로그램 명령을 저장하고 본 발명의 해결수단의 프로그램 코드를 포함하는 다양한 컴퓨터 프로그램 코드를 실행할 수 있다. 선택적으로, 메모리에는 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(Read-Only Memory, ROM), 소거 가능 프로그래머블 롬(Erasable Programmable Read Only Memory, EPROM), 휴대형 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM)가 포함되나 이에 한정되지 않으며 상기 메모리는 관련 명령 및 데이터에 사용된다.
카메라(23)는 관련 비디오 또는 이미지 등을 획득할 수 있다.
본 발명의 실시예에서, 메모리는 관련 명령을 저장하는데 사용될 뿐만 아니라 관련 이미지 및 비디오를 저장하는데에도 사용될 수 있음을 이해할 수 있다. 예를 들어, 상기 메모리는 카메라(23)를 통해 획득한 비디오를 저장하거나 또는 상기 프로세서(21)를 통해 생성한 디블러링 처리된 이미지 등을 저장할 수도 있으며, 본 발명의 실시예는 상기 메모리에 구체적으로 저장되는 비디오 또는 이미지에 대해 한정하지 않는다.
도 16은 비디오 이미지 처리 장치의 단순화된 설계만을 도시함을 이해할 수 있다. 실제 응용에서, 비디오 이미지 처리 장치는 또한 임의의 수의 입력/출력 장치, 프로세서, 컨트롤러, 메모리 등을 포함하나 이에 한정되지 않는 다른 필요한 구성 요소를 포함할 수 있으며, 본 발명의 실시예를 구현할 수 있는 장치는 모두 본 발명의 보호 범위 내에 속한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능한 저장 매체로서, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하며, 상기 프로그램 명령이 전자 기기의 프로세서에 의해 실행될 경우, 상기 프로세서가 본 발명의 실시예의 방법을 실행하도록 하는 컴퓨터 판독 가능한 저장 매체를 제공한다.
본 기술분야의 통상의 기술자는 본문에서 공개된 실시예에서 설명한 각 예시적 유닛 및 알고리즘 단계를 결부하여 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합을 통해 구현될 수 있음을 이해할 것이다. 이러한 기능이 하드웨어 방식으로 실행될지 아니면 소프트웨어 방식으로 실행될지는 기술적 해결수단의 특정 응용과 설계 제약 조건에 따라 결정될 것이다. 전문 기술자는 각각의 특정된 응용에 대해 상이한 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안된다.
본 기술분야의 통상의 기술자는 설명의 편의와 간결함을 위해 상기에서 설명된 시스템, 장치, 유닛의 구체적인 동작 과정은 전술한 방법 실시예 중의 대응되는 과정을 참조할 수 있음을 이해할 것이며, 여기서 더 이상 설명하지 않기로 한다. 본 기술분야의 통상의 기술자는 또한, 본 발명에서 설명한 각 실시예는 각기의 중점이 있고, 설명의 편의와 간결함을 위해 동일하거나 유사한 부분은 상이한 실시예에서 설명하지 않을 수 있고, 따라서, 어느 한 실시예에서 설명하지 않거나 상세하게 설명하지 않은 부분은 다른 실시예를 참조할 수 있음을 이해할 것이다.
본 발명에서 제공된 몇몇 실시예에서, 개시된 시스템, 장치, 방법은 다른 방식으로 구현될 수 있음을 이해해야 할 것이다. 예를 들면, 이상에서 설명한 장치 실시예는 단지 예시적인 것이고, 예를 들면 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고 실제 응용시 다른 구획 방식이 있을 수 있으며, 예를 들면 다수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 집적될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 기재 또는 토론된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형식일 수 있다.
이상에서 분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 다수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 구현할 수 있다.
이밖에, 본 발명의 각 실시예의 각 기능 유닛은 하나의 프로세싱 유닛에 집적될 수 있거나, 각 유닛이 별도로 물리적으로 존재할 수 있거나, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수 있다.
상기 실시예에서, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합에 의해 전체적 또는 부분적으로 구현될 수 있다. 소프트웨어를 사용하여 구현될 경우, 컴퓨터 프로그램 제품의 형태로 전체적 또는 부분적으로 구현될 수 있고, 상기 컴퓨터 프로그램 제품은 하나 또는 복수의 컴퓨터 명령을 포함한다. 컴퓨터 프로그램 명령이 컴퓨터에 로딩되어 실행될 경우, 본 발명의 실시예에 따른 프로세스 또는 기능은 전체적 또는 부분적으로 생성되고, 상기 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그래밍 장치일 수 있다. 상기 컴퓨터 명령은 컴퓨터 판독 가능한 저장 매체에 저장되거나, 하나의 컴퓨터 판독 가능한 저장 매체에서 다른 컴퓨터 판독 가능한 저장 매체로 전송될 수 있으며, 예를 들어, 상기 컴퓨터 명령은 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로부터 유선(예를 들어, 동축 케이블, 광섬유, 디지털 가입자 회선(Digital Subscriber Line, DSL)) 또는 무선 (예를 들어, 적외선, 무선 , 전자 레인지 등) 방식을 통해 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체, 또는 하나 또는 복수의 사용 가능한 매체와 통합된 서버, 데이터 센터 등 데이터 저장 기기일 수 있다. 상기 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 자기 테이프), 광학 매체(예를 들어, 디지털 비디오 디스크(Digital Video Disc, DVD)), 또는 반도체 매체(예를 들어, 솔리드 스테이트 디스크(Solid State Disk, SSD)) 등일 수 있다.
본 기술분야의 통상의 기술자는 상기 방법의 실시예의 전부 또는 부분적 단계는 컴퓨터 프로그램 명령에 의해 관련된 하드웨어를 완료하고, 상기 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 각 방법의 실시예의 단계를 포함한다. 전술한 저장 매체는 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다는 것을 이해할 수 있을 것이다.

Claims (27)

  1. 비디오 이미지 처리 방법으로서,
    다중 프레임의 연속 비디오 이미지를 획득하는 단계 - 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수임 - ;
    상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 단계; 및
    상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 단계는,
    처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 단계를 포함하되, 상기 처리할 이미지는 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득되는 비디오 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 단계는,
    상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하는 단계 - 상기 모션 정보는 속도 및 방향을 포함함 - ; 및
    상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는,
    상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 단계; 및
    상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 단계는,
    상기 디블러링 컨볼루션 커널의 채널 수가 상기 제N 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 디블러링 컨볼루션 커널의 차원을 조정하는 단계; 및
    차원이 조정된 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제1 특징 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  6. 제3항에 있어서,
    상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득한 후에,
    상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득하는 단계를 더 포함하는 비디오 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득하는 단계는,
    상기 정렬 컨볼루션 커널의 채널 수가 상기 제N-1 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 정렬 컨볼루션 커널의 차원을 조정하는 단계; 및
    차원이 조정된 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제2 특징 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는,
    상기 제1 특징 이미지 및 상기 제2 특징 이미지를 융합 처리하여 제3 특징 이미지를 획득하는 단계; 및
    상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  9. 제3항에 있어서,
    상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하는 단계는,
    상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩 처리하여 상기 처리할 이미지를 획득하는 단계;
    상기 처리할 이미지를 인코딩 처리하여 제4 특징 이미지를 획득하는 단계;
    상기 제4 특징 이미지를 컨볼루션 처리하여 제5 특징 이미지를 획득하는 단계; 및
    컨볼루션 처리를 통해 상기 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 상기 정렬 컨볼루션 커널을 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  10. 제9항에 있어서,
    상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계는,
    컨볼루션 처리를 통해 상기 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득하는 단계;
    상기 제4 특징 이미지 및 상기 제6 특징 이미지를 융합 처리하여 제7 특징 이미지를 획득하는 단계; 및
    상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  11. 제10항에 있어서,
    상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 단계는,
    상기 제7 특징 이미지를 컨볼루션 처리하여 제8 특징 이미지를 획득하는 단계; 및
    컨볼루션 처리를 통해 상기 제8 특징 이미지의 채널 수를 상기 제1 기설정된 값으로 조정하여 상기 디블러링 컨볼루션 커널을 획득하는 단계를 포함하는 비디오 이미지 처리 방법.
  12. 제8항에 있어서,
    상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계는,
    상기 제3 특징 이미지를 디컨볼루션 처리하여 제9 특징 이미지를 획득하는 단계;
    상기 제9 특징 이미지를 컨볼루션 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하는 단계; 및
    상기 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 상기 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 단계를 포함하되, 상기 제N 프레임의 이미지에서 상기 제1 픽셀점의 위치는 상기 디코딩 처리된 제N 프레임의 이미지에서 상기 제2 픽셀점의 위치와 동일한 비디오 이미지 처리 방법.
  13. 비디오 이미지 처리 장치로서,
    다중 프레임의 연속 비디오 이미지를 획득하는 획득 유닛 - 상기 다중 프레임의 연속 비디오 이미지는 제N 프레임의 이미지, 제N-1 프레임의 이미지 및 디블러링 처리된 제N-1 프레임의 이미지를 포함하고, 상기 N은 양의 정수임 - ;
    상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지에 기반하여 상기 제N 프레임의 이미지의 디블러링 컨볼루션 커널을 획득하는 제1 처리 유닛; 및
    상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지를 디블러링 처리하여 디블러링 처리된 제N 프레임의 이미지를 획득하는 제2 처리 유닛을 포함하는 비디오 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 제1 처리 유닛은,
    처리할 이미지의 픽셀점을 컨볼루션 처리하여 디블러링 컨볼루션 커널을 획득하는 제1 컨볼루션 처리 서브 유닛을 포함하되, 상기 처리할 이미지는 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩하여 획득되는 비디오 이미지 처리 장치.
  15. 제14항에 있어서,
    상기 제1 컨볼루션 처리 서브 유닛은,
    상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득하되, 상기 모션 정보는 속도 및 방향을 포함하고; 상기 정렬 컨볼루션 커널을 인코딩 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 비디오 이미지 처리 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 제2 처리 유닛은,
    상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제1 특징 이미지를 획득하는 제2 컨볼루션 처리 서브 유닛; 및
    상기 제1 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 디코딩 처리 서브 유닛을 포함하는 비디오 이미지 처리 장치.
  17. 제16항에 있어서,
    상기 제2 컨볼루션 처리 서브 유닛은, 상기 디블러링 컨볼루션 커널의 채널 수가 상기 제N 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 디블러링 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 상기 디블러링 컨볼루션 커널을 통해 상기 제N 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제1 특징 이미지를 획득하는 비디오 이미지 처리 장치.
  18. 제15항에 있어서,
    상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 제N 프레임의 이미지의 픽셀점에 대한 상기 제N-1 프레임의 이미지의 픽셀점의 모션 정보를 추출하기 위해 상기 처리할 이미지를 컨볼루션 처리하여 정렬 컨볼루션 커널을 획득한 후, 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 제2 특징 이미지를 획득하는 비디오 이미지 처리 장치.
  19. 제18항에 있어서,
    상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 정렬 컨볼루션 커널의 채널 수가 상기 제N-1 프레임의 이미지의 특징 이미지의 채널 수와 동일하도록 상기 정렬 컨볼루션 커널의 차원을 조정하고; 차원이 조정된 상기 정렬 컨볼루션 커널을 통해 상기 디블러링 처리된 제N-1 프레임의 이미지의 특징 이미지의 픽셀점을 컨볼루션 처리하여 상기 제2 특징 이미지를 획득하는 비디오 이미지 처리 장치.
  20. 제19항에 있어서,
    상기 제2 처리 유닛은, 상기 제1 특징 이미지 및 상기 제2 특징 이미지를 융합 처리하여 제3 특징 이미지를 획득하고; 상기 제3 특징 이미지를 디코딩 처리하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하는 비디오 이미지 처리 장치.
  21. 제15항에 있어서,
    상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 제N 프레임의 이미지, 상기 제N-1 프레임의 이미지 및 상기 디블러링 처리된 제N-1 프레임의 이미지를 채널 차원에서 중첩 처리하여 상기 처리할 이미지를 획득하고; 상기 처리할 이미지를 인코딩 처리하여 제4 특징 이미지를 획득하며; 상기 제4 특징 이미지를 컨볼루션 처리하여 제5 특징 이미지를 획득하고; 컨볼루션 처리를 통해 상기 제5 특징 이미지의 채널 수를 제1 기설정된 값으로 조정하여 상기 정렬 컨볼루션 커널을 획득하는 비디오 이미지 처리 장치.
  22. 제21항에 있어서,
    상기 제1 컨볼루션 처리 서브 유닛은 또한, 컨볼루션 처리를 통해 상기 정렬 컨볼루션 커널의 채널 수를 제2 기설정된 값으로 조정하여 제6 특징 이미지를 획득하고; 상기 제4 특징 이미지 및 상기 제6 특징 이미지를 융합 처리하여 제7 특징 이미지를 획득하며; 상기 제N-1 프레임의 이미지의 픽셀점에 대한 상기 디블러링 처리된 제N-1 프레임의 이미지의 픽셀점의 디블러링 정보를 추출하기 위해 상기 제7 특징 이미지를 컨볼루션 처리하여 상기 디블러링 컨볼루션 커널을 획득하는 비디오 이미지 처리 장치.
  23. 제22항에 있어서,
    상기 제1 컨볼루션 처리 서브 유닛은 또한, 상기 제7 특징 이미지를 컨볼루션 처리하여 제8 특징 이미지를 획득하고; 컨볼루션 처리를 통해 상기 제8 특징 이미지의 채널 수를 상기 제1 기설정된 값으로 조정하여 상기 디블러링 컨볼루션 커널을 획득하는 비디오 이미지 처리 장치.
  24. 제20항에 있어서,
    상기 제2 처리 유닛은 또한, 상기 제3 특징 이미지를 디컨볼루션 처리하여 제9 특징 이미지를 획득하고; 상기 제9 특징 이미지를 컨볼루션 처리하여 디코딩 처리된 제N 프레임의 이미지를 획득하며; 상기 제N 프레임의 이미지의 제1 픽셀점의 픽셀값과 상기 디코딩 처리된 제N 프레임의 이미지의 제2 픽셀점의 픽셀값을 더하여 상기 디블러링 처리된 제N 프레임의 이미지를 획득하되, 상기 제N 프레임의 이미지에서 상기 제1 픽셀점의 위치는 상기 디코딩 처리된 제N 프레임의 이미지에서 상기 제2 픽셀점의 위치와 동일한 비디오 이미지 처리 장치.
  25. 프로세서로서,
    제1항 내지 제12항 중 어느 한 항에 따른 비디오 이미지 처리 방법을 실행하기 위한 프로세서.
  26. 전자 기기로서,
    프로세서, 입력 장치, 출력 장치 및 메모리를 포함하되, 상기 프로세서, 입력 장치, 출력 장치 및 메모리는 서로 연결되고, 상기 메모리에는 프로그램 명령이 저장되며; 상기 프로그램 명령이 상기 프로세서에 의해 실행될 경우, 상기 프로세서가 제1항 내지 제12항 중 어느 한 항에 따른 비디오 이미지 처리 방법을 실행하도록 하는 전자 기기.
  27. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하며, 상기 프로그램 명령이 전자 기기의 프로세서에 의해 실행될 경우, 상기 프로세서가 제1항 내지 제12항 중 어느 한 항에 따른 비디오 이미지 처리 방법을 실행하도록 하는 컴퓨터 판독 가능한 저장 매체.
KR1020217009399A 2019-04-22 2019-10-29 비디오 이미지 처리 방법 및 장치 KR20210048544A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910325282.5 2019-04-22
CN201910325282.5A CN110062164B (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
PCT/CN2019/114139 WO2020215644A1 (zh) 2019-04-22 2019-10-29 视频图像处理方法及装置

Publications (1)

Publication Number Publication Date
KR20210048544A true KR20210048544A (ko) 2021-05-03

Family

ID=67319990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009399A KR20210048544A (ko) 2019-04-22 2019-10-29 비디오 이미지 처리 방법 및 장치

Country Status (7)

Country Link
US (1) US20210352212A1 (ko)
JP (1) JP7123256B2 (ko)
KR (1) KR20210048544A (ko)
CN (3) CN113992847A (ko)
SG (1) SG11202108197SA (ko)
TW (1) TWI759668B (ko)
WO (1) WO2020215644A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992847A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN112465698A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种图像处理方法和装置
CN111241985B (zh) * 2020-01-08 2022-09-09 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
CN112200732B (zh) * 2020-04-30 2022-10-21 南京理工大学 一种清晰特征融合的视频去模糊方法
KR20220116331A (ko) * 2021-04-07 2022-08-22 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 모델 트레이닝 방법, 보행자 재인식 방법, 장치 및 전자 기기
US20230034727A1 (en) * 2021-07-29 2023-02-02 Rakuten Group, Inc. Blur-robust image segmentation
CN116362976A (zh) * 2021-12-22 2023-06-30 北京字跳网络技术有限公司 一种模糊视频修复方法及装置
CN114708166A (zh) * 2022-04-08 2022-07-05 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及终端
CN116132798B (zh) * 2023-02-02 2023-06-30 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法
CN116128769B (zh) * 2023-04-18 2023-06-23 聊城市金邦机械设备有限公司 摇摆运动机构的轨迹视觉记录***

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
CN101720479A (zh) * 2007-05-02 2010-06-02 新加坡科技研究局 运动补偿的图像平均
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
KR20100090961A (ko) * 2009-02-09 2010-08-18 삼성전자주식회사 가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치
WO2010093040A1 (ja) 2009-02-13 2010-08-19 国立大学法人静岡大学 モーションブラー制御装置、方法、及びプログラム
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
US8379120B2 (en) * 2009-11-04 2013-02-19 Eastman Kodak Company Image deblurring using a combined differential image
JP5204165B2 (ja) * 2010-08-05 2013-06-05 パナソニック株式会社 画像復元装置および画像復元方法
US8860824B2 (en) * 2010-08-06 2014-10-14 Honeywell International Inc. Motion blur modeling for image formation
CN102073993B (zh) * 2010-12-29 2012-08-22 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
CN102158730B (zh) * 2011-05-26 2014-04-02 威盛电子股份有限公司 影像处理***及方法
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
CN103049891B (zh) * 2013-01-25 2015-04-08 西安电子科技大学 基于自适应窗口选择的视频图像去模糊方法
US9392173B2 (en) * 2013-12-13 2016-07-12 Adobe Systems Incorporated Image deblurring based on light streaks
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
CN104135598B (zh) * 2014-07-09 2017-05-17 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN104103050B (zh) * 2014-08-07 2017-03-15 重庆大学 一种基于局部策略的真实视频复原方法
CN106033595B (zh) * 2015-03-13 2021-06-22 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN105405099A (zh) * 2015-10-30 2016-03-16 北京理工大学 一种基于点扩散函数的水下图像超分辨率重建方法
CN105957036B (zh) * 2016-05-06 2018-07-10 电子科技大学 一种加强字符先验的视频去运动模糊方法
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN106791273B (zh) * 2016-12-07 2019-08-20 重庆大学 一种结合帧间信息的视频盲复原方法
CN107273894A (zh) * 2017-06-15 2017-10-20 珠海习悦信息技术有限公司 车牌的识别方法、装置、存储介质及处理器
CN108875486A (zh) * 2017-09-28 2018-11-23 北京旷视科技有限公司 目标对象识别方法、装置、***和计算机可读介质
CN108875900B (zh) * 2017-11-02 2022-05-24 北京旷视科技有限公司 视频图像处理方法和装置、神经网络训练方法、存储介质
CN107944416A (zh) * 2017-12-06 2018-04-20 成都睿码科技有限责任公司 一种通过视频进行真人验证的方法
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108256629B (zh) * 2018-01-17 2020-10-23 厦门大学 基于卷积网络和自编码的eeg信号无监督特征学习方法
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108846861B (zh) * 2018-06-12 2020-12-29 广州视源电子科技股份有限公司 图像单应矩阵计算方法、装置、移动终端及存储介质
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109410130B (zh) * 2018-09-28 2020-12-04 华为技术有限公司 图像处理方法和图像处理装置
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法
CN109360171B (zh) * 2018-10-26 2021-08-06 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN113992847A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置

Also Published As

Publication number Publication date
TWI759668B (zh) 2022-04-01
CN110062164A (zh) 2019-07-26
SG11202108197SA (en) 2021-08-30
CN110062164B (zh) 2021-10-26
CN113992848A (zh) 2022-01-28
US20210352212A1 (en) 2021-11-11
WO2020215644A1 (zh) 2020-10-29
JP2021528795A (ja) 2021-10-21
JP7123256B2 (ja) 2022-08-22
CN113992847A (zh) 2022-01-28
TW202040986A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
KR20210048544A (ko) 비디오 이미지 처리 방법 및 장치
US20210350168A1 (en) Image segmentation method and image processing apparatus
US11688070B2 (en) Video frame segmentation using reduced resolution neural network and masks from previous frames
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
WO2020146911A2 (en) Multi-stage multi-reference bootstrapping for video super-resolution
KR20210079331A (ko) 로봇 이미지 증강 방법 및 장치, 프로세서, 기기, 매체 및 프로그램
JP7133045B2 (ja) 特徴マップ拡大方法、装置、機器及びコンピュータ可読記憶媒体
CN110428382B (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
KR102034967B1 (ko) 움직임 흐림 제거 방법 및 장치
KR20210066366A (ko) 영상 복원 방법 및 장치
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
Conde et al. Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report
CN113949808A (zh) 视频生成方法、装置、可读介质及电子设备
Ma et al. Prores: Exploring degradation-aware visual prompt for universal image restoration
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
WO2023133888A1 (zh) 图像处理方法、装置、遥控设备、***及存储介质
KR20230083212A (ko) 객체 자세 추정 장치 및 방법
KR102522186B1 (ko) 영상의 업샘플링 방법 및 장치
CN111489418B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110545373B (zh) 空间环境的感知方法及装置
KR102233606B1 (ko) 영상 처리 방법 및 그 장치
CN113379600A (zh) 基于深度学习的短视频超分辨率转换方法、装置及介质
KR102236473B1 (ko) 영상 처리 방법 및 그 장치
CN112508801A (zh) 图像处理方法及计算设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right