KR102210940B1 - 전자 장치 및 그 영상 처리 방법 - Google Patents

Abstract

전자 장치가 개시된다. 본 전자 장치는 적어도 하나의 명령어를 저장하는 메모리 및 메모리와 전기적으로 연결되고, 명령어를 실행함으로써, 입력 이미지로부터 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득하며, 입력 이미지 및 노이즈 맵을 복수의 레이어를 포함하는 학습 네트워크 모델에 적용하여 입력 이미지의 품질이 개선된 출력 이미지를 획득하는 프로세서를 포함하고, 프로세서는 복수의 레이어 중 적어도 하나의 중간 레이어로 노이즈 맵을 제공하며, 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

Description

전자 장치 및 그 영상 처리 방법 { ELECTRONIC APPARATUS AND IMAGE PROCESSING METHOD THEREOF }

본 개시는 전자 장치 및 그 영상 처리 방법에 대한 것으로, 더욱 상세하게는 입력 데이터의 품질이 개선된 출력 이미지를 획득하는 전자 장치 및 그 영상 처리 방법에 대한 것이다.

또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.

근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.

인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.

기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.

이러한 인공 지능 기술은 다양하고 복잡한 유형의 이미지 노이즈 제거에 이용될 수 있다. 특히, 비디오를 스트리밍하는 경우, 낮은 비트 전송률로의 압축 과정에서 블록 에지 및 링잉 잡음과 같이 시각적으로 불쾌한 잡음이 유발되므로, 압축 잡음 감소(CAR)가 중요하다.

노이즈 제거를 위해, 일반적으로 이미지 열화 모델 y = x + e이 사용된다. 여기서, y는 깨끗한 이미지 x와 노이즈 e로 구성된 노이즈가 있는 관찰된 이미지이다. 다수의 이미지 노이즈 제거 연구는 비 로컬 자기 유사성(NSS) 모델과 sparse 모델을 포함하여 이미지 추정 모델을 사용하여 x를 추정한다. NSS 모델을 사용하는 대표적인 방법으로는 BM3D 또는 WNN가 있으나, 높은 노이즈 제거 성능을 달성하는 데는 한계가 있다.

최근에는 이러한 한계를 극복하기 위해 discriminative 학습 방법이 개발되었다. BM3D와 같은 NSS 모델에 비해 더 나은 성능을 제공하는 훈련 가능한 비선형 반응 확산(TNRD)이 제안되었으나, 특정 잡음 모델에 대해서만 학습된 점은 단점일 수 있다.

그리고, residual 학습 전략 및 batch normalization를 채택한 DnCNN이 제안되었으나, 이미지 품질 평가를 위한 별도의 CNN이 없다는 단점이 있다.

또한, 불균일한 노이즈 레벨 맵을 입력으로 사용하여 공간적으로 변하는 노이즈를 제거하는 FFDNet이 제안되었으나, 노이즈 맵이 주어진 것으로 가정하는 점 및 노이즈 맵이 첫 번째 레이어에 대해 한 번만 사용되므로 FFDNet의 다른 레이어가 노이즈 맵을 완전히 활용하지 못한다는 한계가 있다.

그리고, Single Image Super-Resolution(SISR)을 위한 잔여 고밀도 네트워크(residual dense network, RDN)의 경우에는 잔여 고밀도 블록을 가진 모든 계층적 특징들을 완전히 사용할 수 있다는 장점이 있으나, 각 잡음 레벨에 맞는 특정 모델만을 학습했다는 한계가 있다.

그에 따라, 입력 이미지 내의 공간적으로 변화하는 잡음을 적응적으로 제거하기 위한 방법이 개발될 필요가 있다.

본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 입력 이미지에 따라 적응적으로 품질을 개선하는 전자 장치 및 그 영상 처리 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는 적어도 하나의 명령어를 저장하는 메모리 및 상기 메모리와 전기적으로 연결되고, 상기 명령어를 실행함으로써, 입력 이미지로부터 상기 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득하며, 상기 입력 이미지 및 상기 노이즈 맵을 복수의 레이어를 포함하는 학습 네트워크 모델에 적용하여 상기 입력 이미지의 품질이 개선된 출력 이미지를 획득하는 프로세서를 포함하고, 상기 프로세서는 상기 복수의 레이어 중 적어도 하나의 중간 레이어로 상기 노이즈 맵을 제공하며, 상기 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 상기 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

또한, 상기 학습 네트워크 모델은 적어도 하나의 서브 레이어를 더 포함하며, 상기 프로세서는 상기 적어도 하나의 서브 레이어를 이용하여 상기 노이즈 맵을 처리하고, 상기 적어도 하나의 중간 레이어로 상기 처리된 노이즈 맵을 제공할 수 있다.

여기서, 상기 프로세서는 상기 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터에 대응되는 복수의 채널 및 추가 채널을 상기 적어도 하나의 중간 레이어 각각에 제공하며, 상기 추가 채널은 상기 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 상기 처리된 노이즈 맵일 수 있다.

한편, 상기 프로세서는 상기 복수의 레이어 중 출력 레이어의 출력 데이터 및 상기 입력 이미지를 믹싱하여 상기 출력 이미지를 획득할 수 있다.

그리고, 상기 프로세서는 상기 입력 이미지를 복수의 레이어를 포함하는 노이즈 맵 생성 모델에 적용하여 상기 노이즈 맵을 획득하며, 상기 노이즈 맵 생성 모델은 상기 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 상기 프로세서는 상기 복수의 레이어 각각에 상기 노이즈 맵을 제공하거나, 상기 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 상기 노이즈 맵을 제공할 수 있다.

그리고, 상기 학습 네트워크 모델은 상기 복수의 레이어 중 입력 레이어로 제공된 상기 복수의 샘플 이미지 각각과 상기 적어도 하나의 중간 레이어로 제공된 상기 복수의 샘플 이미지 각각의 노이즈 맵이, 상기 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 이미지, 및 상기 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 상기 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 상기 복수의 샘플 이미지 각각은 원본 이미지가 압축된 압축 이미지이고, 상기 각 샘플 이미지에 대한 노이즈 맵은 상기 각 샘플 이미지 및 상기 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된 노이즈 맵일 수 있다.

그리고, 상기 프로세서는 동영상에 포함된 복수의 프레임 각각을 상기 입력 이미지로서 상기 학습 네트워크 모델에 적용하여 상기 동영상의 품질이 개선된 출력 동영상을 획득할 수 있다.

한편, 전자 장치는 디스플레이를 더 포함하며, 상기 프로세서는 상기 디스플레이의 해상도에 기초하여 상기 출력 이미지의 해상도를 변환하고, 상기 해상도가 변환된 이미지를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 해상도가 변환된 이미지는 4K UHD(Ultra High Definition) 이미지 또는 8K UHD 이미지일 수 있다.

그리고, 프로세서는 상기 입력 이미지를 객체 영역 및 배경 영역으로 구분하고, 상기 입력 이미지, 상기 노이즈 맵 및 상기 배경 영역에 대한 정보를 상기 학습 네트워크 모델에 적용하여 상기 배경 영역의 품질을 개선하며, 상기 입력 이미지, 상기 노이즈 맵 및 상기 객체 영역에 대한 정보를 타 학습 네트워크 모델에 적용하여 상기 객체 영역의 품질을 개선하고, 상기 품질이 개선된 객체 영역 및 상기 품질이 개선된 배경 영역에 기초하여 상기 출력 이미지를 획득할 수 있다.

여기서, 상기 학습 네트워크 모델은 노이즈를 제거하기 위한 학습 네트워크 모델이고, 상기 타 학습 네트워크 모델은 이미지의 해상도를 업스케일링하기 위한 학습 네트워크 모델일 수 있다.

한편, 상기 프로세서는 상기 입력 이미지를 객체 영역 및 배경 영역으로 구분하고, 상기 객체 영역에 대한 정보 또는 배경 영역에 대한 정보 중 적어도 하나를 상기 학습 네트워크 모델에 적용하여 상기 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다.

한편, 본 개시의 일 실시 예에 따른 전자 장치의 영상 처리 방법은 입력 이미지로부터 상기 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득하는 단계, 학습 네트워크 모델에 포함된 복수의 레이어 중 입력 레이어로 입력 이미지를 제공하고, 상기 복수의 레이어 중 적어도 하나의 중간 레이어로 상기 노이즈 맵을 제공하는 단계 및 상기 입력 이미지 및 상기 노이즈 맵을 상기 학습 네트워크 모델에 적용하여 상기 입력 이미지의 품질이 개선된 출력 이미지를 획득하는 단계를 포함하고, 상기 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 상기 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

또한, 상기 학습 네트워크 모델은 적어도 하나의 서브 레이어를 더 포함하며, 상기 제공하는 단계는 상기 적어도 하나의 서브 레이어를 이용하여 상기 노이즈 맵을 처리하고, 상기 적어도 하나의 중간 레이어로 상기 처리된 노이즈 맵을 제공할 수 있다.

여기서, 상기 제공하는 단계는 상기 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터에 대응되는 복수의 채널 및 추가 채널을 상기 적어도 하나의 중간 레이어 각각에 제공하며, 상기 추가 채널은 상기 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 상기 처리된 노이즈 맵일 수 있다.

한편, 상기 출력 이미지를 획득하는 단계는 상기 복수의 레이어 중 출력 레이어의 출력 데이터 및 상기 입력 이미지를 믹싱하여 상기 출력 이미지를 획득할 수 있다.

그리고, 상기 노이즈 맵을 획득하는 단계는 상기 입력 이미지를 복수의 레이어를 포함하는 노이즈 맵 생성 모델에 적용하여 상기 노이즈 맵을 획득하며, 상기 노이즈 맵 생성 모델은 상기 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 상기 제공하는 단계는 상기 복수의 레이어 각각에 상기 노이즈 맵을 제공하거나, 상기 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 상기 노이즈 맵을 제공할 수 있다.

그리고, 상기 학습 네트워크 모델은 상기 복수의 레이어 중 입력 레이어로 제공된 상기 복수의 샘플 이미지 각각과 상기 적어도 하나의 중간 레이어로 제공된 상기 복수의 샘플 이미지 각각의 노이즈 맵이, 상기 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 이미지, 및 상기 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 상기 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 상기 복수의 샘플 이미지 각각은 원본 이미지가 압축된 압축 이미지이고, 상기 각 샘플 이미지에 대한 노이즈 맵은 상기 각 샘플 이미지 및 상기 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된 노이즈 맵일 수 있다.

그리고, 상기 출력 이미지를 획득하는 단계는 동영상에 포함된 복수의 프레임 각각을 상기 입력 이미지로서 상기 학습 네트워크 모델에 적용하여 상기 동영상의 품질이 개선된 출력 동영상을 획득할 수 있다.

한편, 상기 전자 장치의 디스플레이의 해상도에 기초하여 상기 출력 이미지의 해상도를 변환하는 단계 및 상기 해상도가 변환된 이미지를 디스플레이하는 단계를 더 포함하며, 상기 해상도가 변환된 이미지는 4K UHD(Ultra High Definition) 이미지 또는 8K UHD 이미지일 수 있다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 입력 이미지로부터 노이즈 맵을 획득하여 입력 이미지의 퀄리티를 좀더 정확하게 식별하고, 노이즈 맵에 기초하여 적응적으로 동작하는 학습 네트워크 모델을 이용함에 따라 입력 이미지의 품질을 개선할 수 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 3a 및 도 3b는 본 개시의 다양한 실시 예에 따른 학습 네트워크 모델 및 노이즈 맵 생성 모델을 설명하기 위한 도면들이다.
도 4는 본 개시의 일 실시 예에 따른 노이즈 맵 생성 모델의 학습 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 이미지의 품질을 개선하는 학습 네트워크 모델의 학습 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
도 7는 본 개시의 일 실시 예에 따른 학습 네트워크 모델을 학습하고 이용하기 위한 구성을 나타내는 블록도이다.
도 8a 및 도 8b는 본 개시의 다양한 실시 예에 따른 노이즈 맵 생성 모델의 성능을 설명하기 위한 도면들이다.
도 9a 및 도 9b는 본 개시의 다양한 실시 예에 따른 입력 이미지의 품질을 개선하는 학습 네트워크 모델의 성능을 설명하기 위한 도면들이다.
도 10a 내지 도 10d는 본 개시의 다양한 확장 실시 예를 설명하기 위한 도면들이다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구현 예를 설명하기 위한 도면이다.

전자 장치(100)는 도 1에 도시된 바와 같이, TV, 모니터, 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이 등과 같이 디스플레이를 구비한 장치로서 구현될 수 있다.

또는, 전자 장치(100)는 서버, BD 플레이어, 디스크 플레이어, 스트리밍 Box 등과 같이 외부의 디스플레이가 구비된 장치로 이미지를 제공하는 장치일 수 있다.

다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 이미지를 영상 처리할 수 있는 장치라면 어떠한 장치라도 무방하다.

전자 장치(100)는 다양한 타입의 이미지를 수신할 수 있다. 구체적으로, 전자 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, Ultra HD 이미지 중 어느 하나의 이미지를 수신할 수 있다. 또는, 전자 장치(100)는 MPEG(예를 들어, MP2, MP4, MP7 등), AVC, H.264, HEVC 등으로 압축된 형태의 이미지를 수신할 수도 있다.

예를 들어, 전자 장치(100)는 도 1에 도시된 바와 같이, 전자 장치(100)의 디스플레이와 해상도가 동일하고, 압축되지 않은 이미지(10-1)를 수신할 수 있다. 이 경우, 전자 장치(100)는 수신된 이미지(10-1)에 대한 영상 처리 없이 이미지(10-1)를 디스플레이할 수 있으나, 항상 이미지(10-1)와 같이 퀄리티가 보장된 이미지가 수신되는 것은 아니다.

예를 들어, 전자 장치(100)는 전자 장치(100)의 디스플레이와 해상도가 동일하나, 압축에 의해 열화된 이미지(10-2)를 수신할 수도 있다. 이 경우, 전자 장치(100)는 열화된 이미지(10-2)의 품질을 개선할 필요가 있다.

또는, 전자 장치(100)는 전자 장치(100)의 디스플레이보다 해상도가 낮은 이미지(10-3)를 수신할 수도 있다. 이 경우, 이미지(10-3)에 대한 업스케일링이 수행될 수 있으나, 품질은 낮아질 수 있다. 따라서, 전자 장치(100)는 업스케일링되기 전 이미지(10-3)의 품질을 개선한 후 품질이 개선된 이미지를 업스케일링하거나 업스케일링된 이미지의 품질을 개선할 필요가 있다.

이외에도, 전자 장치(100)는 다양한 유형의 이미지를 수신할 수 있으며, 각 이미지의 특성을 고려한 품질 개선을 수행할 필요가 있다. 이하에서는 전자 장치(100)의 이미지 품질 개선 방법 및 다양한 실시 예에 대하여 설명하도록 한다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.

메모리(110)는 프로세서(120)와 전기적으로 연결되며, 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리(110)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

메모리(110)는 입력 이미지의 품질을 개선하기 위해 이용되는 학습 네트워크 모델을 저장할 수 있다. 여기서, 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 각 샘플 이미지에 대응되는 원본 이미지에 기초하여 기계 학습(Machine Learning)된 모델일 수 있다. 예를 들어, 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 각 샘플 이미지에 대응되는 원본 이미지에 CNN(Convolution Neural Network, 컨벌루션 신경망) 학습된 모델일 수 있다. 여기서, CNN은 음성 처리, 이미지 처리 등을 위해 고안된 특수한 연결 구조를 가진 다층신경망이다.

다만, 이는 일 실시 예에 불과하고, 학습 네트워크 모델은 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 등 다양한 신경망(Neural Network)에 기반한 학습 네트워크 모델일 수도 있다.

한편, 노이즈 맵은 입력 이미지의 퀄리티를 나타낼 수 있다. 예를 들어, 노이즈 맵은 입력 이미지에 포함된 각 픽셀의 퀄리티를 나타내는 정보를 포함하며, 이 경우 노이즈 맵의 크기는 입력 이미지의 크기와 동일할 수 있다. 가령, 입력 이미지가 4 × 4의 크기이면, 노이즈 맵도 4 × 4의 크기일 수 있다. 다만, 이에 한정되는 것은 아니며, 노이즈 맵이 입력 이미지의 퀄리티를 나타낸다면, 그 형태, 정보의 표시 방법 등은 얼마든지 다양한 방법이 이용될 수 있다. 가령, 노이즈 맵의 단위 정보는 입력 이미지의 각 픽셀 값에 대응되는 것이 아니라 입력 이미지의 기설정된 크기의 영역 별 평균 값에 대응될 수도 있다.

메모리(110)는 입력 이미지의 노이즈 맵을 획득하기 위한 노이즈 맵 생성 모델을 더 저장할 수 있다. 여기서, 노이즈 맵 생성 모델은 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵에 기초하여 기계 학습(Machine Learning)된 모델일 수 있다.

입력 이미지의 품질을 개선하기 위해 이용되는 학습 네트워크 모델 및 노이즈 맵 생성 모델에 대한 구체적인 설명은 도면을 통해 후술한다.

프로세서(120)는 메모리(110)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어한다.

일 실시 예에 따라 프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), T-CON(Timing controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

프로세서(120)는 입력 이미지를 영상 처리하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다.

특히, 프로세서(120)는 입력 이미지로부터 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득하며, 입력 이미지 및 노이즈 맵을 복수의 레이어를 포함하는 학습 네트워크 모델에 적용하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다. 입력 이미지의 품질 개선 과정에서 입력 이미지로부터 획득된 노이즈 맵이 이용됨에 따라, 입력 이미지의 타입에 따라 적응적으로 품질 개선이 이루어지며, 품질 개선 효과가 향상될 수 있다.

여기서, 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다. 또한, 학습 네트워크 모델의 복수의 레이어는 입력 레이어, 중간 레이어 및 출력 레이어를 포함할 수 있다. 입력 레이어는 복수의 레이어 중 가장 먼저 연산이 이루어지는 레이어이고, 출력 레이어는 복수의 레이어 중 가장 마지막에 연산이 이루어지는 레이어이며, 중간 레이어는 입력 레이어 및 출력 레이어 사이에 배치된 레이어일 수 있다.

그리고, 프로세서(120)는 복수의 레이어 중 적어도 하나의 중간 레이어로 노이즈 맵을 제공할 수 있다. 특히, 프로세서(120)는 복수의 레이어 각각에 노이즈 맵을 제공하거나, 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 노이즈 맵을 제공할 수 있다. 이러한 동작을 통해 입력 이미지의 품질 개선 과정에서 이미지의 퀄리티가 지속적으로 반영되어 품질 개선 성능이 향상될 수 있다.

가령, 복수의 레이어 중 입력 레이어로만 노이즈 맵이 제공된다면, 복수의 레이어를 거치는 동안, 노이즈 맵의 특성이 희석되어 품질 개선 성능이 저하될 수 있다.

또는, 복수의 레이어 중 출력 레이어로만 노이즈 맵이 제공된다면, 복수의 레이어를 거치는 동안 노이즈 맵이 반영되지 않으며, 결국 출력 레이어에서만 노이즈 맵이 반영된 상태로 품질 개선이 이루어지게 된다. 일반적으로, 학습 네트워크 모델의 레이어가 많을수록 성능이 향상되는 점을 고려했을 때, 출력 레이어 하나에서만 노이즈 맵이 반영된다면 성능이 저하될 수 있다.

따라서, 프로세서(120)가 적어도 하나의 중간 레이어로 노이즈 맵을 제공하게 되면, 입력 레이어 또는 출력 레이어로만 노이즈 맵을 제공하는 경우보다 품질 개선 성능이 향상될 수 있다.

한편, 학습 네트워크 모델은 적어도 하나의 서브 레이어를 더 포함하며, 프로세서(120)는 적어도 하나의 서브 레이어를 이용하여 노이즈 맵을 처리하고, 적어도 하나의 중간 레이어로 처리된 노이즈 맵을 제공할 수 있다.

프로세서(120)는 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터에 대응되는 복수의 채널 및 추가 채널을 적어도 하나의 중간 레이어 각각에 제공할 수 있다. 여기서, 추가 채널은 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 처리된 노이즈 맵일 수 있다. 즉, 프로세서(120)는 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터와 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 처리된 노이즈 맵을 믹싱하지 않고, 병렬적으로 연결하여 적어도 하나의 중간 레이어 각각에 제공할 수 있다.

한편, 프로세서(120)는 학습 네트워크 모델에 포함된 복수의 레이어 중 입력 레이어로 입력 이미지를 제공할 수 있다. 이 경우, 학습 네트워크 모델은 복수의 레이어 중 입력 레이어로 제공된 복수의 샘플 이미지 각각과 적어도 하나의 중간 레이어로 제공된 복수의 샘플 이미지 각각의 노이즈 맵이, 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 이미지, 및 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

또는, 프로세서(120)는 입력 레이어로 입력 이미지를 제공하고, 출력 레이어의 출력 데이터 및 입력 이미지를 믹싱하여 출력 이미지를 획득할 수도 있다. 즉, 프로세서(120)는 입력 레이어 뿐만 아니라 출력 레이어 후단으로도 입력 레이어를 제공할 수도 있다. 이 경우, 학습 네트워크 모델은 복수의 레이어 중 입력 레이어로 제공된 복수의 샘플 이미지 각각과 적어도 하나의 중간 레이어로 제공된 복수의 샘플 이미지 각각의 노이즈 맵이, 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 데이터와 복수의 샘플 이미지 각각이 믹싱된 출력 이미지, 및 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

여기서, 복수의 샘플 이미지 각각은 원본 이미지가 압축된 압축 이미지이고, 각 샘플 이미지에 대한 노이즈 맵은 각 샘플 이미지 및 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된 노이즈 맵일 수 있다.

한편, 프로세서(120)는 입력 이미지를 복수의 레이어를 포함하는 노이즈 맵 생성 모델에 적용하여 노이즈 맵을 획득할 수 있다. 여기서, 노이즈 맵 생성 모델은 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 이미지의 품질 개선을 위한 학습 네트워크 모델을 학습하는 경우 및 노이즈 맵 생성 모델을 학습하는 경우 모두 동일한 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵을 이용할 수 있다. 다만, 이에 한정되는 것은 아니며, 이미지의 품질 개선을 위한 학습 네트워크 모델을 학습하는 경우의 학습 데이터와 노이즈 맵 생성 모델을 학습하는 경우의 학습 데이터는 서로 다를 수도 있다.

한편, 전자 장치(100)는 디스플레이(미도시)를 더 포함하고, 프로세서(120)는 디스플레이의 해상도에 기초하여 출력 이미지의 해상도를 변환하고, 해상도가 변환된 이미지를 디스플레이하도록 디스플레이를 제어할 수 있다. 여기서, 해상도가 변환된 이미지는 4K UHD(Ultra High Definition) 이미지 또는 8K UHD 이미지일 수 있다.

또는, 프로세서(120)는 동영상에 포함된 복수의 프레임 각각을 입력 이미지로서 학습 네트워크 모델에 적용하여 동영상의 품질이 개선된 출력 동영상을 획득할 수도 있다. 예를 들어, 프로세서(120)는 동영상을 디코딩하고, 디코딩된 동영상의 각 프레임을 입력 이미지로서 학습 네트워크 모델에 적용하여 품질을 개선하며, 복수의 품질이 개선된 프레임을 결합하여 품질이 개선된 출력 동영상을 획득할 수도 있다. 여기서, 프로세서(120)는 각 프레임의 노이즈 맵을 획득하고, 각 프레임의 품질 개선에 획득된 노이즈 맵을 이용할 수 있다.

이상과 같이 프로세서(120)는 노이즈 맵을 입력 이미지로부터 획득함에 따라 적응적으로 입력 이미지의 품질을 개선할 수 있다. 또한, 프로세서(120)는 학습 네트워크 모델에 포함된 복수의 레이어 중 적어도 하나의 중간 레이어로 노이즈 맵을 제공함에 따라, 입력 이미지의 퀄리티를 지속적으로 반영한 상태로 영상 처리를 수행할 수 있다. 그에 따라, 입력 이미지의 품질 개선 성능이 향상될 수 있다.

이하에서는 도면을 통해 프로세서(120)의 동작을 좀더 구체적으로 설명한다.

도 3a 및 도 3b는 본 개시의 다양한 실시 예에 따른 학습 네트워크 모델 및 노이즈 맵 생성 모델을 설명하기 위한 도면들이다.

먼저, 프로세서(120)는 도 3a에 도시된 바와 같이, 입력 이미지를 노이즈 맵 생성 모델(Quality Estimation Convolution Neural Network, QECNN, 310)에 적용하여 노이즈 맵을 획득할 수 있다.

노이즈 맵 생성 모델(310)은 복수의 컨볼루션 레이어를 포함할 수 있다. 예를 들어, 복수의 컨볼루션 레이어 각각은 5 × 5의 커널을 이용하여 입력 데이터에 대한 컨볼루션을 수행할 수 있다. 다만, 이에 한정되는 것은 아니며, 얼마든지 다른 형태의 커널이 이용될 수 있다. 또한, 하나의 컨볼루션 레이어는 복수의 커널을 각각 이용하여 입력 데이터에 대한 컨볼루션을 수행할 수도 있다.

복수의 컨볼루션 레이어 중 일부는 컨볼루션의 수행 후, Relu(Rectified Linear Unit) 함수를 이용하여 입력 데이터를 처리할 수도 있다. Relu 함수는 입력 값이 0보다 작으면 0으로 변환하고, 입력 값이 0보다 크면 입력 값을 그대로 출력하는 함수이다. 다만, 이에 한정되는 것은 아니며, 복수의 컨볼루션 레이어 중 일부는 sigmoid 함수를 이용하여 입력 데이터를 처리할 수도 있다.

프로세서(120)는 입력 이미지를 학습 네트워크 모델(Compression Artifact Reduction Convolution Neural Network, CARCNN, 320-1)에 적용하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다. 이때, 프로세서(120)는 복수의 레이어 중 적어도 하나의 중간 레이어로 노이즈 맵을 제공할 수 있다. 예를 들어, 프로세서(120)는 도 3a에 도시된 바와 같이, 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 노이즈 맵을 제공할 수 있다.

학습 네트워크 모델(320-1)은 복수의 컨볼루션 레이어 및 복수의 서브 컨볼루션 레이어(330)를 포함할 수 있다. 예를 들어, 복수의 컨볼루션 레이어 각각은 3 × 3의 커널을 이용하여 입력 데이터에 대한 컨볼루션을 수행하고, 복수의 서브 컨볼루션 레이어(330)는 1 × 1의 커널을 이용하여 노이즈 맵에 대한 컨볼루션을 수행할 수 있다. 할 수 있다. 다만, 이에 한정되는 것은 아니며, 얼마든지 다른 형태의 커널이 이용될 수 있다. 또한, 하나의 컨볼루션 레이어는 복수의 커널을 각각 이용하여 입력 데이터에 대한 컨볼루션을 수행할 수도 있다.

복수의 컨볼루션 레이어 중 일부는 컨볼루션의 수행 후, Relu 함수를 이용하여 입력 데이터를 처리할 수도 있다. 복수의 컨볼루션 레이어 중 다른 일부는 컨볼루션의 수행 후, 배치 정규화(Batch Normalization) 및 Relu 함수를 이용하여 입력 데이터를 처리할 수도 있다. 배치 정규화는 빠른 학습 속도 확보를 위해 각 레이어의 분포를 동일하게 하는 작업이다.

복수의 컨볼루션 레이어 중 입력 레이어에서 출력되는 출력 데이터는 입력 레이어에 포함된 커널의 개수에 대응되는 채널로 구분될 수 있다. 그리고, 복수의 서브 컨볼루션 레이어(330) 중 입력 레이어에 대응되는 서브 컨볼루션 레이어(330)로부터 출력되는 출력 데이터는 입력 레이어에서 출력되는 출력 데이터에 연결(concatenation)되어, 입력 레이어의 다음 레이어로 입력될 수 있다. 예를 들어, 입력 레이어에서 36개의 채널로 구성된 출력 데이터가 출력되고, 입력 레이어에 대응되는 서브 컨볼루션 레이어(330)로부터 1개의 채널로 구성된 출력 데이터가 출력되며, 총 37개의 채널로 구성된 출력 데이터가 입력 레이어의 다음 레이어로 입력될 수 있다. 채널의 개수는 복수의 컨볼루션 레이어 각각의 특성에 따라 달라질 수 있으며, 나머지 컨볼루션 레이어에서도 유사한 동작을 수행하게 된다.

프로세서(120)는 복수의 컨볼루션 레이어 중 출력 레이어의 출력 데이터 및 입력 이미지를 믹싱하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다.

이상과 같이 프로세서(120)는 입력 이미지에 대응되는 노이즈 맵을 획득하고, 입력 이미지의 품질 개선 과정에서 노이즈 맵을 지속적으로 반영함에 따라 품질 개선 성능이 향상될 수 있다.

한편, 도 3a의 학습 네트워크 모델(320-1)은 DnCNN(Denoise Convolution Neural Network) 형태에 노이즈 맵을 지속적으로 반영하기 위한 복수의 서브 컨볼루션 레이어(330)가 추가된 형태를 도시하였으나, 도 3b와 같이 학습 네트워크 모델(320-2)은 RDN(Residual Dense Network) 형태에 노이즈 맵을 지속적으로 반영하기 위한 복수의 서브 컨볼루션 레이어(330)가 추가된 형태로 구현될 수도 있다. 도 3b의 RDB(Residual Dense Block) 레이어는 Residual 블록과 Dense 블록이 결합된 형태로 복수의 컨볼루션 레이어를 포함하며, 복수의 컨볼루션 레이어 각각의 출력이 순차적으로 다음 컨볼루션 레이어로 입력되고 추가적으로 다른 위치에 배치된 컨볼루션 레이어로도 입력될 수 있다. 그리고, RDB 레이어의 최초 입력 데이터와 마지막 레이어를 거친 데이터가 믹싱된 출력 데이터가 RDB 레이어로부터 출력될 수 있다. 도 3b의 경우에도 도 3a와 동일한 노이즈 맵 생성 모델(310)이 이용될 수 있다.

다만, 이에 한정되는 것은 아니며, 학습 네트워크 모델(320-1)은 노이즈 맵을 지속적으로 반영할 수 있는 형태라면 어떠한 기본 모델을 이용하여도 무방하다.

한편, 도 3a 및 도 3b의 모델은 소프트웨어로 구현되어 메모리(110)에 저장된 상태이며, 프로세서(120)는 메모리(110)로부터 각 레이어의 동작을 수행하기 위한 데이터를 독출하여 입력 이미지에 대한 처리를 수행할 수 있다.

도 4는 본 개시의 일 실시 예에 따른 노이즈 맵 생성 모델의 학습 방법을 설명하기 위한 도면이다.

노이즈 맵 생성 모델은 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 노이즈 맵 생성 모델은 제1 샘플 이미지(410-1)의 입력에 따른 출력 데이터와 제1 샘플 이미지(410-1)의 제1 노이즈 맵(420-1)의 관계를 인공지능 알고리즘을 통해 학습할 수 있다. 그리고, 나머지 데이터 쌍((410-2, 420-2), (410-3, 420-3), (410-4, 420-4), ...)의 관계에 대하여도 동일한 학습 과정을 반복하여 노이즈 맵 생성 모델이 획득될 수 있다. 여기서, 각 샘플 이미지에 대한 노이즈 맵은 룰 베이스의 기설정된 알고리즘을 통해 획득된 노이즈 맵일 수 있다. 예를 들어, 제1 샘플 이미지(410-1) 내지 제4 샘플 이미지(410-4)는 각각 JPEG 품질 10, 30, 50, 90의 이미지이고, 제1 노이즈 맵(420-1) 내지 제4 노이즈 맵(420-4)은 각각 제1 샘플 이미지(410-1) 내지 제4 샘플 이미지(410-4)에 대한 노이즈 맵일 수 있다.

한편, 노이즈 맵 생성 모델은 전자 장치(100)가 아닌 다른 장치에서 학습된 모델일 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)의 프로세서(120)가 노이즈 맵 생성 모델을 학습할 수도 있다.

도 5는 본 개시의 일 실시 예에 따른 이미지의 품질을 개선하는 학습 네트워크 모델의 학습 방법을 설명하기 위한 도면이다.

학습 네트워크 모델의 학습 방법은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 학습 네트워크 모델은 제1 샘플 이미지(520-1)의 입력 및 제1 샘플 이미지(520-1)에 대한 제1 노이즈 맵(530-1)의 입력에 따른 출력 데이터와 제1 샘플 이미지(520-1)에 대응되는 원본 이미지(510)의 관계를 인공지능 알고리즘을 통해 학습할 수 있다. 그리고, 나머지 데이터 그룹((520-2, 530-2, 510), (520-3, 530-3, 510)의 관계에 대하여도 동일한 학습 과정을 반복하여 학습 네트워크 모델이 획득될 수 있다. 여기서, 각 샘플 이미지에 대한 노이즈 맵은 룰 베이스의 기설정된 알고리즘을 통해 획득된 노이즈 맵일 수 있다.

한편, 도 5에서는 원본 이미지(510)가 한 종류인 것으로 도시되었으나, 실제 학습 과정에서는 복수의 원본 이미지가 이용될 수 있다. 즉, 도 5의 원본 이미지(510) 외에 추가 원본 이미지 및 추가 원본 이미지를 다양한 압축률로 압축한 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵이 학습 과정에서 이용될 수 있다.

한편, 학습 네트워크 모델은 전자 장치(100)가 아닌 다른 장치에서 학습된 모델일 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)의 프로세서(120)가 학습 네트워크 모델을 학습할 수도 있다.

도 6은 본 개시의 일 실시 예에 따른 전자 장치(100)의 세부 구성을 나타내는 블록도이다.

도 6에 따르면, 전자 장치(100)는 메모리(110), 프로세서(120), 입력부(130), 디스플레이(140) 및 사용자 인터페이스(150)를 포함할 수 있다.

메모리(110)에는 적어도 하나의 명령어가 저장될 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어를 실행하여, 상술한 바와 같은 입력 이미지의 노이즈 맵 획득 동작, 입력 이미지의 품질 개선 동작, 각 인공지능 모델의 학습 동작 등을 수행할 수 있다. 도 6에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대하여는 자세한 설명을 생략하도록 한다.

입력부(130)는 다양한 타입의 컨텐츠, 예를 들어 입력 이미지를 수신한다. 예를 들어, 입력부(130)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 입력 이미지는 디지털 신호가 될 수 있으나, 이에 한정되는 것은 아니다. 또한, 입력부(130)를 통해 동영상이 수신될 수도 있다.

디스플레이(140)는 LCD(liquid crystal display), OLED(organic light-emitting diode), ED(Light-Emitting Diode), micro LED, LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있다.

프로세서(120)는 입력 이미지의 품질이 개선된 출력 이미지를 디스플레이하도록 디스플레이(140)를 제어할 수 있다.

사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린, 리모콘 수신부 등으로 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.

프로세서(120)는 사용자 인터페이스(150)를 통해 입력된 사용자 명령에 따라 입력 이미지의 품질 개선 동작을 수행할 수도 있다.

도 7는 본 개시의 일 실시 예에 따른 학습 네트워크 모델을 학습하고 이용하기 위한 구성을 나타내는 블록도이다. 학습과 영상 처리가 별개의 장치에서 이루어질 수도 있으나, 도 7에서는 설명의 편의를 위해 전자 장치(100)가 학습 네트워크 모델을 학습하는 것으로 설명한다.

도 7를 참조하면, 프로세서(120)는 학습부(710) 또는 영상 처리부(720) 중 적어도 하나를 포함할 수 있다.

학습부(710)는 입력 이미지로부터 노이즈 맵을 획득하는 모델 및 입력 이미지의 품질을 개선하는 모델을 생성 또는 학습시킬 수 있다. 학습부(710)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 인식 모델을 생성할 수 있다.

일 예로, 학습부(710)는 입력 이미지 및 입력 이미지에 대한 노이즈 맵을 학습 데이터로서 이용하여 입력 이미지로부터 노이즈 맵을 획득하기 위한 모델을 생성, 학습 또는 갱신시킬 수 있다. 또한, 학습부(710)는 입력 이미지, 입력 이미지에 대한 노이즈 맵 및 입력 이미지에 대응되는 원본 이미지를 학습 데이터로서 이용하여 입력 이미지 및 노이즈 맵으로부터 원본 이미지를 획득하기 위한 모델을 생성, 학습 또는 갱신시킬 수 있다.

영상 처리부(720)는 소정의 데이터(예를 들어, 입력 이미지)를 학습 네트워크 모델의 입력 데이터로 사용하여, 소정의 데이터의 품질이 개선된 출력 데이터를 획득할 수 있다.

일 예로, 영상 처리부(720)는 입력 이미지의 노이즈 맵을 획득하고, 노이즈 맵에 기초하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다.

학습부(710)의 적어도 일부 및 영상 처리부(720)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(710) 및 영상 처리부(720) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 객체 인식 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(710) 및 영상 처리부(720)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

이 경우, 학습부(710) 및 영상 처리부(720)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(710) 및 영상 처리부(720) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부의 서버에 포함될 수 있다. 또한, 학습부(710) 및 영상 처리부(720)는 유선 또는 무선으로 통하여, 학습부(710)가 구축한 모델 정보를 영상 처리부(720)로 제공할 수도 있고, 학습부(1120)로 입력된 데이터가 추가 학습 데이터로서 학습부(710)로 제공될 수도 있다.

도 8a 및 도 8b는 본 개시의 다양한 실시 예에 따른 노이즈 맵 생성 모델의 성능을 설명하기 위한 도면들이다.

먼저, 도 8a에는 이미지의 품질에 따른 제1 노이즈 맵과 노이즈 맵 생성 모델로부터 출력된 제2 노이즈 맵의 평균 제곱 오차(Mean Square Error)를 도시하였으며, LIVE1 영상 데이터 세트가 이용되었다. 예를 들어, 원본 이미지를 압축하는 경우, 압축된 이미지로부터 룰 베이스의 기설정된 알고리즘을 통해 제1 노이즈 맵을 획득할 수 있고, 압축된 이미지를 노이즈 맵 생성 모델에 적용하여 제2 노이즈 맵을 획득할 수 있으며, 제1 노이즈 맵 및 제2 노이즈 맵의 평균 제곱 오차를 획득할 수 있다.

도 8a의 Q(압축 인자)는 압축에 따른 퀄리티를 나타내며, 10에서 90으로 갈수록 원본 이미지에 가까워진다. 또한, 레이어가 8개인 경우, 12개인 경우 및 16개인 경우를 구분하였으며, 레이어가 많을수록 평균 제곱 오차가 낮아질 수 있다. 이는 도 8b에 좀더 명확하게 도시되어 있다.

그리고, 레이어가 일정 개수 이상인 경우, Q와는 크게 상관 없이 제1 노이즈 맵과 매우 유사한 제2 노이즈 맵이 획득됨을 알 수 있다.

도 9a 및 도 9b는 본 개시의 다양한 실시 예에 따른 입력 이미지의 품질을 개선하는 학습 네트워크 모델의 성능을 설명하기 위한 도면들이다.

도 9a는 classic5 또는 LIVE1 영상 데이터 세트에서 Q가 10부터 90까지인 압축 이미지를 다양한 방법으로 압축 잠음을 감소시킨 후 산출한 평균 PSNR/SSIM 결과를 나타낸다. PSNR(Peak Signal-to-noise ratio)은 최대 신호 대 잡음비로서 신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타내며, SSIM(Structural Similarity Index)은 구조적 유사 지수로서 압축 및 변환에 의해 발생하는 왜곡에 대하여 원본 영상에 대한 유사도를 나타낸다.

도 9a에 도시된 바와 같이, Q가 높을수록 품질 개선 성능이 좋으며, 종래의 DnCNN보다 QEDnCNN의 성능이 개선되었고, 종래의 RDN보다 QERDN의 성능이 개선되었음을 확인할 수 있다.

도 9b는 QEDnCNN과 QERDN를 비교한 도면으로, 일반적으로 QEDnCNN이 QERDN보다 성능이 좋음을 알 수 있다.

도 10a 내지 도 10d는 본 개시의 다양한 확장 실시 예를 설명하기 위한 도면들이다.

프로세서(120)는 입력 이미지 내의 객체 영역 및 배경 영역을 구분하여 입력 이미지의 품질을 개선할 수도 있다. 예를 들어, 프로세서(120)는 도 10a에 도시된 바와 같이, 원본 이미지를 객체만을 포함하는 객체 이미지 및 객체를 제외한 나머지 영역만을 포함하는 배경 이미지로 구분하고, 객체 이미지 및 배경 이미지 각각의 품질을 개선하고, 품질이 개선된 객체 이미지 및 품질이 개선된 배경 이미지를 합성하여 품질이 개선된 출력 이미지를 획득할 수도 있다.

프로세서(120)는 다양한 방법으로 입력 이미지의 객체 영역 및 배경 영역을 식별할 수 있다. 예를 들어, 프로세서(120)는 픽셀 값에 기초하여 입력 이미지 내에서 기설정된 형상의 객체를 식별하고, 객체가 식별된 영역을 제외한 나머지 영역을 배경 영역으로 식별할 수 있다.

또는, 프로세서(120)는 객체 인식을 위한 인공지능 모델을 이용하여 입력 이미지 내에서 기설정된 형상의 객체를 식별하고, 객체가 식별된 영역을 제외한 나머지 영역을 배경 영역으로 식별할 수도 있다.

이상의 예는 일 실시 예에 불과하고, 프로세서(120)는 얼마든지 다양한 방법으로 입력 이미지 내의 객체 영역 및 배경 영역을 식별할 수 있다.

프로세서(120)는 복수의 이미지 품질 개선 모델을 이용하여 객체 영역 및 배경 영역을 구분하여 이미지 처리할 수 있다. 예를 들어, 프로세서(120)는 도 10b에 도시된 바와 같이, 입력 이미지 및 입력 이미지 내의 객체 영역 정보를 제1 이미지 품질 개선 모델(1010)에 적용하여 입력 이미지 내의 객체 영역의 품질을 개선하고, 입력 이미지 및 입력 이미지 내의 배경 영역 정보를 제2 이미지 품질 개선 모델(1020)에 적용하여 입력 이미지 내의 배경 영역의 품질을 개선할 수 있다. 그리고, 프로세서(120)는 품질이 개선된 객체 영역 및 품질이 개선된 배경 영역을 합성하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수 있다.

여기서, 객체 영역 정보는 도 10a의 좌측 하단과 같은 도면이고, 배경 영역 정보는 도 10a의 우측 하단과 같은 도면일 수 있다. 또는, 객체 영역 정보는 및 배경 영역 정보는 픽셀 값을 포함하지 않고, 객체 영역과 배경 영역을 구분하기 위한 영역 정보만을 포함할 수도 있다. 예를 들어, 객체 영역 정보는 객체 영역을 1로 표시하고, 배경 영역을 0으로 표시하는 이미지이고, 배경 영역 정보는 배경 영역을 1로 표시하고, 객체 영역을 0으로 표시하는 이미지일 수도 있다.

제1 이미지 품질 개선 모델(1010)은 입력 이미지로부터 노이즈 맵을 획득하기 위한 제1 노이즈 맵 생성 모델 및 입력 이미지의 객체 영역의 품질을 개선하기 위한 제1 학습 네트워크 모델을 포함할 수 있다. 그리고, 제2 이미지 품질 개선 모델(1020)은 입력 이미지로부터 노이즈 맵을 획득하기 위한 제2 노이즈 맵 생성 모델 및 입력 이미지의 배경 영역의 품질을 개선하기 위한 제2 학습 네트워크 모델을 포함할 수 있다.

제1 노이즈 맵 생성 모델은 객체 영역의 노이즈 맵을 생성하기 위한 모델이고, 제2 노이즈 맵 생성 모델은 배경 영역의 노이즈 맵을 생성하기 위한 모델일 수 있다.

제1 학습 네트워크 모델은 객체 영역의 이미지 품질을 개선하기 위한 모델이고, 제2 학습 네트워크 모델은 배경 영역의 이미지 품질을 개선하기 위한 모델일 수 있다. 이를 위해, 제1 학습 네트워크 모델 및 제2 학습 네트워크 모델은 학습 과정에서 서로 다른 샘플 이미지가 이용될 수 있다. 예를 들어, 제1 학습 네트워크 모델은 원본 이미지와 원본 이미지의 해상도를 낮춘 후 업스케일링한 이미지를 학습시켜 생성되고, 제2 학습 네트워크 모델은 원본 이미지와 원본 이미지에 노이즈를 추가한 이미지를 학습시켜 생성될 수 있다. 이 경우, 프로세서(120)는 제1 학습 네트워크 모델을 이용하여 객체 영역의 해상도가 확대된 것과 같은 선명한 결과물을 획득하고, 제2 학습 네트워크 모델을 이용하여 배경 영역의 노이즈가 제거된 결과물을 획득할 수 있다. 프로세서(120)는 이상과 같은 방식을 통해 객체 영역 및 배경 영역에 대해 상이한 이미지 처리를 수행할 수 있다.

도 10b에서는 입력 이미지 만이 제1 노이즈 맵 생성 모델 및 제2 노이즈 생성 모델에 적용되는 것으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 입력 이미지 뿐만 아니라 객체 영역 정보를 제1 노이즈 맵 생성 모델에 추가로 적용하고, 입력 이미지 뿐만 아니라 배경 영역 정보를 제2 노이즈 맵 생성 모델에 추가로 적용할 수도 있다.

또는, 프로세서(120)는 하나의 이미지 품질 개선 모델을 이용하여 객체 영역 및 배경 영역을 구분하여 이미지 처리할 수 있다. 예를 들어, 프로세서(120)는 도 10c에 도시된 바와 같이, 입력 이미지 및 노이즈 맵 뿐만 아니라 객체 영역 정보 또는 배경 영역 정보 중 적어도 하나를 학습 네트워크 모델(CARCNN)에 추가로 적용하여 입력 이미지의 품질이 개선된 출력 이미지를 획득할 수도 있다.

여기서, 객체 영역 정보 및 배경 영역 정보는 도 10b와 동일할 수 있다. 또는, 객체 영역 정보 및 배경 영역 정보로서 객체 영역을 1로 표현하고, 배경 영역을 0으로 표현하는 하나의 이미지가 이용될 수도 있다. 다만, 이에 한정되는 것은 아니며, 객체 영역 및 배경 영역을 구분할 수 있다면 어떠한 방법이라도 무방하다.

학습 네트워크 모델은 객체 영역 정보 및 배경 영역 정보의 타입에 대응되도록 학습된 모델일 수 있다. 가령, 객체 영역을 1로 표현하고, 배경 영역을 0으로 표현한 하나의 이미지를 이용하는 경우, 학습 과정에서도 동일한 타입의 이미지가 이용될 수 있다.

또한, 학습 네트워크 모델의 학습 과정에서 이용되는 복수의 샘플 이미지 역시 객체 영역 및 배경 영역의 품질 개선 방식이 서로 다른 샘플 이미지일 수 있다. 가령, 복수의 샘플 이미지의 객체 영역은 배경 영역보다 높은 수준으로 품질이 개선된 영역일 수 있다. 여기서, 복수의 샘플 이미지는 원본 이미지의 열화를 통해 획득될 수 있다. 즉, 복수의 샘플 이미지는 원본 이미지의 객체 영역과 배경 영역이 서로 다른 수준으로 열화되는 방법을 통해 획득될 수 있다. 또는, 복수의 샘플 이미지 각각은 대응되는 원본 이미지의 객체 영역 및 배경 영역이 상이한 방식으로 압축된 압축 이미지일 수도 있다.

즉, 도 10c의 학습 네트워크 모델은 입력 이미지의 객체 영역 및 배경 영역을 식별하고, 객체 영역 및 배경 영역을 구분하여 품질 개선을 수행할 수 있다.

도 10c에서 이미지 품질 개선 모델은 노이즈 맵 생성 모델(QECNN) 및 학습 네트워크 모델을 포함하고, 입력 이미지 만이 노이즈 맵 생성 모델에 적용되는 것으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(120)는 입력 이미지 뿐만 아니라 객체 영역 정보 또는 배경 영역 정보 중 적어도 하나를 노이즈 맵 생성 모델에 추가로 적용하여 입력 이미지에 대한 노이즈 맵을 획득할 수도 있다.

또는, 프로세서(120)는 입력 이미지를 복수의 블록으로 구분하고, 각 블록을 객체 영역 및 배경 영역으로 구분하며, 객체 영역 및 배경 영역을 별도의 인공지능 모델을 통해 처리할 수도 있다. 예를 들어, 프로세서(120)는 도 10d에 도시된 바와 같이, 입력 이미지를 기설정된 크기의 블록으로 순차적으로 구분하고, 각 블록이 객체 영역인지 배경 영역인지 식별할 수 있다. 그리고, 프로세서(120)는 객체 영역으로 식별된 블록을 제1 이미지 품질 개선 모델(1030)에 적용하여 제1 출력 블록(1050-1)을 획득하고, 배경 영역으로 식별된 블록을 제2 이미지 품질 개선 모델(1040)에 적용하여 제2 출력 블록(1050-2)을 획득하며, 제1 출력 블록(1050-1) 및 제2 출력 블록(1050-2)을 병합하여 출력 이미지를 획득할 수 있다.

여기서, 제1 이미지 품질 개선 모델(1030)의 학습 과정에서는 객체 영역을 나타내는 복수의 샘플 블록이 이용될 수 있으며, 제2 이미지 품질 개선 모델(1040)의 학습 과정에서는 배경 영역을 나타내는 복수의 샘플 블록이 이용될 수 있다.

이상과 같이 프로세서(120)는 입력 이미지 내의 객체 영역과 배경 영역을 구분하여, 입력 이미지의 품질을 개선할 수도 있다.

도 11은 본 개시의 일 실시 예에 따른 전자 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.

먼저, 입력 이미지로부터 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득한다(S1110). 그리고, 학습 네트워크 모델에 포함된 복수의 레이어 중 입력 레이어로 입력 이미지를 제공하고, 복수의 레이어 중 적어도 하나의 중간 레이어로 노이즈 맵을 제공한다(S1120). 그리고, 입력 이미지 및 노이즈 맵을 학습 네트워크 모델에 적용하여 입력 이미지의 품질이 개선된 출력 이미지를 획득한다(S1130). 여기서, 학습 네트워크 모델은 복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

여기서, 학습 네트워크 모델은 적어도 하나의 서브 레이어를 더 포함하며, 제공하는 단계(S1120)는 적어도 하나의 서브 레이어를 이용하여 노이즈 맵을 처리하고, 적어도 하나의 중간 레이어로 처리된 노이즈 맵을 제공할 수 있다.

그리고, 제공하는 단계(S1120)는 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터에 대응되는 복수의 채널 및 추가 채널을 적어도 하나의 중간 레이어 각각에 제공하며, 추가 채널은 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 처리된 노이즈 맵일 수 있다.

한편, 출력 이미지를 획득하는 단계(S1130)는 복수의 레이어 중 출력 레이어의 출력 데이터 및 입력 이미지를 믹싱하여 출력 이미지를 획득할 수 있다.

그리고, 노이즈 맵을 획득하는 단계(S1110)는 입력 이미지를 복수의 레이어를 포함하는 노이즈 맵 생성 모델에 적용하여 노이즈 맵을 획득하며, 노이즈 맵 생성 모델은 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 제공하는 단계(S1120)는 복수의 레이어 각각에 노이즈 맵을 제공하거나, 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 노이즈 맵을 제공할 수 있다.

그리고, 학습 네트워크 모델은 복수의 레이어 중 입력 레이어로 제공된 복수의 샘플 이미지 각각과 적어도 하나의 중간 레이어로 제공된 복수의 샘플 이미지 각각의 노이즈 맵이, 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 이미지, 및 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델일 수 있다.

한편, 복수의 샘플 이미지 각각은 원본 이미지가 압축된 압축 이미지이고, 각 샘플 이미지에 대한 노이즈 맵은 각 샘플 이미지 및 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된 노이즈 맵일 수 있다.

그리고, 출력 이미지를 획득하는 단계(S1130)는 동영상에 포함된 복수의 프레임 각각을 입력 이미지로서 학습 네트워크 모델에 적용하여 동영상의 품질이 개선된 출력 동영상을 획득할 수 있다.

한편, 전자 장치의 디스플레이의 해상도에 기초하여 출력 이미지의 해상도를 변환하는 단계 및 해상도가 변환된 이미지를 디스플레이하는 단계를 더 포함하며, 해상도가 변환된 이미지는 4K UHD(Ultra High Definition) 이미지 또는 8K UHD 이미지일 수 있다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 입력 이미지로부터 노이즈 맵을 획득하여 입력 이미지의 퀄리티를 좀더 정확하게 식별하고, 노이즈 맵에 기초하여 적응적으로 동작하는 학습 네트워크 모델을 이용함에 따라 입력 이미지의 품질을 개선할 수 있다. 즉, 전자 장치는 입력 이미지로부터 노이즈 맵을 획득하여 잡음 제거에 이용하기 때문에 공간적으로 변화하는 이미지의 잡음 제거 효과가 뛰어나며, 압축 아티팩트를 감소시킬 수 있다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 전자 장치 110 : 메모리
120 : 프로세서 130 : 입력부
140 : 디스플레이 150 : 사용자 인터페이스

Claims (20)

1. 적어도 하나의 명령어를 저장하는 메모리; 및
   상기 메모리와 전기적으로 연결되고,
   상기 명령어를 실행함으로써, 입력 이미지로부터 상기 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득하며, 상기 입력 이미지 및 상기 노이즈 맵을 복수의 레이어를 포함하는 학습 네트워크 모델에 적용하여 품질이 개선된 출력 이미지를 획득하는 프로세서;를 포함하고,
   상기 프로세서는,
   상기 복수의 레이어 중 적어도 하나의 중간 레이어로 상기 노이즈 맵을 제공하며,
   상기 학습 네트워크 모델은,
   복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 상기 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델이고,
   상기 각 샘플 이미지는, 상기 대응되는 원본 이미지가 압축된 압축 이미지이고,
   상기 각 샘플 이미지에 대한 노이즈 맵은, 상기 각 샘플 이미지 및 상기 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된, 전자 장치.
2. 제1항에 있어서,
   상기 학습 네트워크 모델은,
   적어도 하나의 서브 레이어를 더 포함하며,
   상기 프로세서는,
   상기 적어도 하나의 서브 레이어를 이용하여 상기 노이즈 맵을 처리하고, 상기 적어도 하나의 중간 레이어로 상기 처리된 노이즈 맵을 제공하는, 전자 장치.
3. 제2항에 있어서,
   상기 프로세서는,
   상기 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터에 대응되는 복수의 채널 및 추가 채널을 상기 적어도 하나의 중간 레이어 각각에 제공하며,
   상기 추가 채널은, 상기 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 상기 처리된 노이즈 맵인, 전자 장치.
4. 제1항에 있어서,
   상기 프로세서는,
   상기 복수의 레이어 중 출력 레이어의 출력 데이터 및 상기 입력 이미지를 믹싱하여 상기 출력 이미지를 획득하는, 전자 장치.
5. 제1항에 있어서,
   상기 프로세서는,
   상기 입력 이미지를 복수의 레이어를 포함하는 노이즈 맵 생성 모델에 적용하여 상기 노이즈 맵을 획득하며,
   상기 노이즈 맵 생성 모델은,
   상기 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델인, 전자 장치.
6. 제1항에 있어서,
   상기 프로세서는,
   상기 복수의 레이어 각각에 상기 노이즈 맵을 제공하거나, 상기 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 상기 노이즈 맵을 제공하는, 전자 장치.
7. 제1항에 있어서,
   상기 학습 네트워크 모델은,
   상기 복수의 레이어 중 입력 레이어로 제공된 상기 복수의 샘플 이미지 각각과 상기 적어도 하나의 중간 레이어로 제공된 상기 복수의 샘플 이미지 각각의 노이즈 맵이, 상기 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 이미지, 및 상기 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 상기 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델인, 전자 장치.
8. 제1항에 있어서,
   상기 복수의 샘플 이미지 각각은,
   원본 이미지가 압축된 압축 이미지이고,
   상기 각 샘플 이미지에 대한 노이즈 맵은,
   상기 각 샘플 이미지 및 상기 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된 노이즈 맵인, 전자 장치.
9. 제1항에 있어서,
   상기 프로세서는,
   동영상에 포함된 복수의 프레임 각각을 상기 입력 이미지로서 상기 학습 네트워크 모델에 적용하여 상기 동영상의 품질이 개선된 출력 동영상을 획득하는, 전자 장치.
10. 제1항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 디스플레이의 해상도에 기초하여 상기 출력 이미지의 해상도를 변환하고, 상기 해상도가 변환된 이미지를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 해상도가 변환된 이미지는,
    4K UHD(Ultra High Definition) 이미지 또는 8K UHD 이미지인, 전자 장치.
11. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 이미지를 객체 영역 및 배경 영역으로 구분하고,
    상기 입력 이미지, 상기 노이즈 맵 및 상기 배경 영역에 대한 정보를 상기 학습 네트워크 모델에 적용하여 상기 배경 영역의 품질을 개선하며,
    상기 입력 이미지, 상기 노이즈 맵 및 상기 객체 영역에 대한 정보를 타 학습 네트워크 모델에 적용하여 상기 객체 영역의 품질을 개선하고,
    상기 품질이 개선된 객체 영역 및 상기 품질이 개선된 배경 영역에 기초하여 상기 출력 이미지를 획득하는, 전자 장치.
12. 제11항에 있어서,
    상기 학습 네트워크 모델은, 노이즈를 제거하기 위한 학습 네트워크 모델이고,
    상기 타 학습 네트워크 모델은, 이미지의 해상도를 업스케일링하기 위한 학습 네트워크 모델인, 전자 장치.
13. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 이미지를 객체 영역 및 배경 영역으로 구분하고,
    상기 객체 영역에 대한 정보 또는 배경 영역에 대한 정보 중 적어도 하나를 상기 학습 네트워크 모델에 적용하여 상기 품질이 개선된 출력 이미지를 획득하는, 전자 장치.
14. 전자 장치의 영상 처리 방법에 있어서,
    입력 이미지로부터 상기 입력 이미지의 퀄리티를 나타내는 노이즈 맵을 획득하는 단계;
    학습 네트워크 모델에 포함된 복수의 레이어 중 입력 레이어로 입력 이미지를 제공하고, 상기 복수의 레이어 중 적어도 하나의 중간 레이어로 상기 노이즈 맵을 제공하는 단계; 및
    상기 입력 이미지 및 상기 노이즈 맵을 상기 학습 네트워크 모델에 적용하여 품질이 개선된 출력 이미지를 획득하는 단계;를 포함하고,
    상기 학습 네트워크 모델은,
    복수의 샘플 이미지, 각 샘플 이미지에 대한 노이즈 맵 및 상기 각 샘플 이미지에 대응되는 원본 이미지의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델이고,
    상기 각 샘플 이미지는, 상기 대응되는 원본 이미지가 압축된 압축 이미지이고,
    상기 각 샘플 이미지에 대한 노이즈 맵은, 상기 각 샘플 이미지 및 상기 각 샘플 이미지에 대응되는 원본 이미지로부터 획득된, 영상 처리 방법.
15. 제14항에 있어서,
    상기 학습 네트워크 모델은,
    적어도 하나의 서브 레이어를 더 포함하며,
    상기 제공하는 단계는,
    상기 적어도 하나의 서브 레이어를 이용하여 상기 노이즈 맵을 처리하고, 상기 적어도 하나의 중간 레이어로 상기 처리된 노이즈 맵을 제공하는, 영상 처리 방법.
16. 제15항에 있어서,
    상기 제공하는 단계는,
    상기 적어도 하나의 중간 레이어 각각의 이전 레이어에서 출력되는 출력 데이터에 대응되는 복수의 채널 및 추가 채널을 상기 적어도 하나의 중간 레이어 각각에 제공하며,
    상기 추가 채널은, 상기 적어도 하나의 중간 레이어 각각에 대응되는 서브 레이어에서 출력되는 상기 처리된 노이즈 맵인, 영상 처리 방법.
17. 제14항에 있어서,
    상기 출력 이미지를 획득하는 단계는,
    상기 복수의 레이어 중 출력 레이어의 출력 데이터 및 상기 입력 이미지를 믹싱하여 상기 출력 이미지를 획득하는, 영상 처리 방법.
18. 제14항에 있어서,
    상기 노이즈 맵을 획득하는 단계는,
    상기 입력 이미지를 복수의 레이어를 포함하는 노이즈 맵 생성 모델에 적용하여 상기 노이즈 맵을 획득하며,
    상기 노이즈 맵 생성 모델은,
    상기 복수의 샘플 이미지 및 각 샘플 이미지에 대한 노이즈 맵의 관계를 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델인, 영상 처리 방법.
19. 제14항에 있어서,
    상기 제공하는 단계는,
    상기 복수의 레이어 각각에 상기 노이즈 맵을 제공하거나, 상기 복수의 레이어 중 입력 레이어를 제외한 나머지 레이어 각각에 상기 노이즈 맵을 제공하는, 영상 처리 방법.
20. 제14항에 있어서,
    상기 학습 네트워크 모델은,
    상기 복수의 레이어 중 입력 레이어로 제공된 상기 복수의 샘플 이미지 각각과 상기 적어도 하나의 중간 레이어로 제공된 상기 복수의 샘플 이미지 각각의 노이즈 맵이, 상기 복수의 레이어에 의해 순차적으로 처리되어 획득된 출력 이미지, 및 상기 복수의 샘플 이미지 각각에 대응되는 원본 이미지의 관계를 상기 인공지능 알고리즘을 통해 학습하여 획득된 인공지능 모델인, 영상 처리 방법.

Images