KR102460390B1

KR102460390B1 - 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Info

Publication number: KR102460390B1
Application number: KR1020180008923A
Authority: KR
Inventors: 천민수; 박용섭; 김창한; 박재연; 안일준; 오희석; 이태미; 조기흠
Original assignee: 삼성전자주식회사
Priority date: 2018-01-24
Filing date: 2018-01-24
Publication date: 2022-10-28
Also published as: US20210065339A1; KR20190090262A; EP3686836A1; CN111492400A; WO2019147028A1; EP3686836A4; US11315223B2

Abstract

영상 처리 장치가 개시된다. 본 영상 처리 장치는, LDR(Low Dynamic Range) 영상을 저장하는 메모리, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR 영상의 밝기를 조절하고, 밝기가 조절된 LDR 영상을 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 프로세서를 포함한다.

Description

영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체{ IMAGE PROCESSING APPARATUS, METHOD FOR PROCESSING IMAGE AND COMPUTER-READABLE RECORDING MEDIUM }

본 개시는 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체에 대한 것으로, 보다 상세하게는, 고품질의 HDR 영상을 생성하는 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체에 관한 것이다.

영상 기술이 발전함에 따라 디지털 카메라가 표현할 수 있는 대비의 한계를 넘어 더 넓은 대비를 갖는 이미지인 HDR(High Dynamic Range) 이미지를 얻는 기술이 개발되었다.

구체적으로, HDR 영상의 표시가 가능한 디스플레이가 등장하여 확산되고 있는 추세에 따라, 기존 LDR 또는 SDR 영상을 이용하여 HDR 영상을 생성하는 Inverse Tone Mapping Operation(ITMO) 기술이 연구되고 있다.

기존 ITMO 기술에서는 영상 전체의 밝기를 목표한 밝기 값으로 확장하고, 이 과정에서 생성된 컨투어 아티팩트(contour artifact)를 제거하기 위해 블렌딩 동작을 수행하였다. 이로 인해, HDR 영상의 일부 영역이 흐릿해 보이는 문제가 발생하였다. 또한, 영상의 연속성을 위한 후처리로 인해 과도한 연산량이 필요하다는 문제가 있었다.

이에 따라, 연산량을 줄이면서도 선명한 HDR 영상을 합성하기 위한 기술의 필요성이 대두되었다.

본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 연산량을 감소시키면서 선명한 HDR 영상을 생성하기 위한 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체를 제공함에 있다.

본 개시의 일 실시 예에 따른 영상 처리 장치는, LDR(Low Dynamic Range) 영상을 저장하는 메모리, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 상기 LDR 영상의 밝기를 조절하고, 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 프로세서를 포함한다.

이 경우, 상기 메모리에는, 원본 HDR 영상 및 상기 원본 HDR 영상에 대응되는 학습용 LDR 영상이 저장되고, 상기 제1 파라미터는, 상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것일 수 있다.

이 경우, 상기 제2 파라미터는, 상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것일 수 있다.

한편, 상기 프로세서는, 상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 상기 제1 파라미터를 학습할 수 있다.

한편, 상기 프로세서는, 네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 상기 제1 파라미터를 학습할 수 있다.

한편, 상기 프로세서는, 상기 밝기가 조절된 LDR 영상의 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 픽셀 별 보정 값을 식별할 수 있다.

한편, 상기 프로세서는, 상기 밝기가 조절된 LDR 영상의 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 픽셀별 보정 값을 식별할 수 있다.

한편, 상기 프로세서는, 상기 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작과 상기 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작을 병렬적으로 수행할 수 있다.

한편, 상기 프로세서는, 상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 상기 픽셀 별 밝기 비율을 식별할 수 있다.

한편, 본 개시의 일 실시 예에 따른 영상 처리 방법은, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR(Low Dynamic Range) 영상의 밝기를 조절하는 단계 및 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계를 포함한다.

이 경우, 상기 제1 파라미터는, 원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것일 수 있다.

한편, 상기 제2 파라미터는, 상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것일 수 있다.

한편, 상기 제1 파라미터는, 상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 학습된 것일 수 있다.

한편, 상기 제1 파라미터는, 네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 학습된 것일 수 있다.

한편, 상기 픽셀 별 보정 값은, 상기 밝기가 조절된 LDR 영상의 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 식별될 수 있다.

한편, 상기 픽셀 별 보정 값은, 상기 밝기가 조절된 LDR 영상의 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 식별될 수 있다.

한편, 상기 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작 및 상기 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작은 병렬적으로 수행될 수 있다.

한편, 상기 픽셀 별 밝기 비율은, 상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 식별될 수 있다.

한편, 본 개시의 일 실시 예에 따른 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서, 상기 영상 처리 방법은, 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR(Low Dynamic Range) 영상의 밝기를 조절하는 단계 및 상기 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계를 포함할 수 있다.

도 1은 본 개시의 일 실시 예에 따른 영상 처리 시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 간략한 구성을 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구체적인 구성을 설명하기 위한 블럭도,
도 4 내지 도 9는 본 개시의 다양한 실시 예에 따른 HDR 영상 생성을 위한 학습 과정을 설명하기 위한 도면, 그리고,
도 10은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다.

도 1은 본 개시의 일 실시 예에 따른 영상 처리 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 개시의 일 실시 예에 다른 영상 처리 시스템(1000)은 제1 영상 처리 장치(100-1) 및 제2 영상 처리 장치(100-2)를 포함한다.

구체적으로, 제1 영상 처리 장치(100-1) 및 제2 영상 처리 장치(100-2)는 동작 범위(dynamic range)가 상이한 것일 수 있다. 여기서, 동작 범위란 디지털 영상에서 가장 밝은 부분과 가장 어두운 부분의 명암 비율을 의미할 수 있으며, 명암 비율 수준에 따라 LDR(Low Dynamic Range), 또는 SDR(Standard Dynamic Range), HDR(High Dynamic Range) 등으로 구분될 수 있다.

도 1에서는 카메라인 제1 영상 처리 장치(100-1)에서 생성된 영상을 디스플레이 장치인 제2 영상 처리 장치(100-2)에서 표시하는 경우를 예시로 도시하였다. 그러나, 이에 한정되지 않고, 각 영상 처리 장치가 모두 카메라이거나, 디스플레이 장치일 수 있으며, 영상 처리가 가능한 서버를 포함할 수도 있다. 또는, 영상 처리 장치는 PC, 스마트폰과 같은 모바일 장치, 셋탑박스 등 영상 처리가 가능한 모든 장치를 포함할 수 있다.

제1 영상 처리 장치(100-1)의 동작 범위가 제2 영상 처리 장치(100-2)보다 더 좁은 경우, 제1 영상 처리 장치(100-1)에서 생성된 LDR(Low Dynamic Range) 영상 또는 SDR(Standard Dynamic Range) 영상을 동작 범위가 넓은 제2 영상 처리 장치(100-2)에서 표시하기 위한 HDR 영상이 생성될 수 있다. 한편, 이하에서는 설명의 편의를 위하여 동작 범위가 좁은 영상은 LDR 영상이라고 통칭하여 기재하기로 한다.

한편, 제1 영상 처리 장치(100-2)의 동작 범위가 제2 영상 처리 장치(100-2)보다 더 넓은 경우, 제1 영상 처리 장치(100-1)에서 생성된 영상의 세밀한 명암을 동작 범위가 좁은 제2 영상 처리 장치(100-2)에서 표시할 수 있도록 HDR 영상이 생성될 수 있다.

이때, 제1 영상 처리 장치(100-1)에서 HDR 영상을 생성하여 제2 영상 처리 장치(100-2)에 전송하거나, 제2 영상 처리 장치(100-2)에서 제1 영상 처리 장치(100-1)로부터 영상을 수신하여 HDR 영상을 생성할 수도 있다. 또는, 도시되지는 않았지만, 별도의 외부 장치인 서버 등에서 제1 영상 처리 장치(100-1)로부터 수신된 영상을 이용하여 HDR 영상을 생성하고, 생성된 HDR 영상을 제2 영상 처리 장치(100-2)로 전송할 수도 있다.

도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 간략한 구성을 설명하기 위한 블럭도이다.

도 2를 참조하면, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.

메모리(110)는 영상 처리 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다.

구체적으로, 메모리(110)는 LDR 영상을 저장할 수 있다. 이때, 메모리(110)는 LDR 영상의 동작 범위(Dynamic Range)에 대한 정보를 저장할 수 있다. 또한, 생성하고자 하는 HDR 영상의 동작 범위에 대한 정보를 저장할 수 있다. 이때, HDR 영상에 대한 동작 범위는 영상 처리 장치(100)에서 표시할 수 있는 동작 범위일 수 있다.

그리고, 메모리(110)는 HDR 영상 생성에 이용되는 복수의 파라미터를 저장할 수 있다. 예를 들어, 메모리(110)는 LDR 영상의 밝기를 조절하는 밝기 비율을 식별 하기 위한 파라미터를 저장할 수 있다. 여기서, 밝기를 조절한다는 것은 LDR 영상의 동작 범위와 HDR 영상의 동작 범위를 매핑하는 것을 의미할 수 있다. 그리고, 식별(idendify)한다는 것은 판단(determine), 산출(calculate), 추출(extract), 생성(generate) 등의 의미를 포함할 수 있다.

이때, 밝기를 조절하기 위한 밝기 비율은 픽셀별로 식별된 것일 수 있다. 그리고, 메모리(110)는 식별된 밝기 비율을 이용하여 밝기가 조절된 영상에 보정을 수행하기 위한 보정 값을 식별하기 위한 파라미터를 저장할 수 있다. 이때, 보정 값 또한 픽셀별로 식별된 것일 수 있다. 이때, 저장된 파라미터는 미리 학습된 것일 수 있다.

그리고, 메모리(110)에는 저장된 파라미터의 학습에 사용하기 위한 원본 HDR 영상 및 원본 HDR 영상에 대응되는 LDR 영상이 저장될 수 있다. 이때, 원본 HDR 영상에 대응되는 LDR 영상은 파라미터 학습에 사용되는 것으로 학습용 LDR 영상이라고 지칭할 수 있다.

그리고, 메모리(110)는 저장된 파라미터를 이용하여 픽셀 별 밝기 비율 또는 픽셀 별 보정 값을 획득하기 위한 네트워크 구조를 저장할 수 있다. 이때, 네트워크 구조는 딥 러닝(deep learning) 구조를 포함할 수 있다. 그리고, 네트워크 구조는 사용자의 설계에 의해 생성된 것일 수 있다. 그리고, 파라미터를 학습하기 위한 트레이닝 셋(training set)에서도 저장된 네트워크 구조가 사용될 수 있다.

프로세서(120)는 복수의 기설정된 파라미터 및 LDR 영상을 이용하여 HDR 영상을 생성할 수 있다. 구체적으로, 복수의 파라미터는 LDR 영상의 밝기 조절을 위한 비율을 식별하기 위한 제1 파라미터 및 밝기 조절된 LDR 영상의 픽셀 값을 보정하는 보정 값을 식별하기 위한 제2 파라미터를 포함할 수 있다. 이때, 제1 파라미터 및 제2 파라미터는 미리 학습된 것일 수 있다. 파라미터를 학습하기 위한 트레이닝 셋(training set)에 대해서는 이하 설명하기로 한다.

한편, 트레이닝 셋을 통해 학습된 파라미터를 이용하여, 학습된 스케일링 네트워크에 입력된 데이터에 대한 결과 데이터를 획득하는 과정을 테스트라고 지칭할 수 있다. 구체적으로, 테스트 셋(test set)의 LDR 영상이 입력되면, 프로세서(120)는 학습된 파라미터가 적용된 스케일링 네트워크를 이용하여 HDR 영상을 생성할 수 있다. 다시 말해, 실제 구현시에는 영상 처리 장치(100)에 미리 학습된 파라미터로 동작하는 테스트 셋만이 탑재될 수 있다. 그리고, 프로세서(120)는 생성된 HDR 영상의 픽셀 값의 정확도를 식별하여 스케일링 네트워크의 성능을 판단할 수 있다.

구체적으로, 프로세서(120)는 제1 파라미터를 이용하여 픽셀별 밝기 비율을 식별할 수 있다. 그리고, 프로세서(120)는 LDR 영상에 식별된 픽셀별 밝기 비율을 곱셈 연산하여 LDR 영상의 밝기를 조절하여 HDR 영상을 생성할 수 있다. 설명의 편의를 위해 제1 파라미터 및 제2 파라미터와 같이 하나의 파라미터인 것으로 기재하였으나, 실제로는 제1 파라미터는 픽셀별 밝기 비율을 식별하는데 이용되는 복수의 파라미터를 의미하는 것이고, 제2 파라미터는 픽셀별 보정 값을 식별하는데 이용되는 복수의 파라미터를 의미하는 것이다.

한편, 프로세서(120)는 LDR 영상의 각 픽셀의 인접한 픽셀의 밝기를 더 고려하여 픽셀별 밝기 비율을 식별할 수 있다. 즉, 제1 파라미터는 인접한 픽셀의 밝기를 고려하기 위한 파라미터를 더 포함할 수 있다. 구체적으로, 픽셀의 밝기가 동일하더라도, 인접한 픽셀들의 밝기가 어두우면, 인접한 픽셀들의 밝기가 밝은 경우보다 밝기가 어둡도록 밝기 비율을 식별할 수 있다. 이로 인해, 픽셀의 밝기에만 기초하여 동작 범위를 확장했던 기존 기술에 비해, 영상의 로컬 특징을 고려한 HDR 영상을 생성할 수 있게 된다. 그리고, LDR 영상의 밝기 및 HDR 영상의 밝기의 대응관계는 선형이 아닌 비선형적 특징을 가질 수 있다.그리고, 프로세서(120)는 픽셀별 밝기 비율을 이용하여 LDR 영상의 밝기를 조절하고, 픽셀별 보정 값을 가감하여 HDR 영상을 생성할 수도 있다. 여기서, 픽셀별 보정 값은 제2 파라미터를 이용하여 식별된 것일 수 있다. 구체적으로, 프로세서(120)는 LDR 영상에 식별된 픽셀별 밝기 비율을 이용하여 밝기를 조절하고, 밝기가 조절된 영상에 식별된 픽셀별 보정 값을 가감하여 HDR 영상을 생성할 수 있다.

이때, 프로세서(120)는 밝기가 조절된 영상 내 기설정된 값 미만의 밝기를 갖는 영역을 판단할 수 있다. 그리고, 프로세서(120)는 판단된 영역 내 픽셀 간 밝기의 차이가 크도록 픽셀별 보정 값을 식별할 수 있다. 이는, 어두운 영역 내 엣지(edge)가 존재하지만, 픽셀 간 밝기의 차이가 미세하여 사용자가 엣지의 존재를 확인하기 어려운 경우, 픽셀 간 밝기의 차이가 크도록 보정하여 어두운 영역 내 엣지의 존재를 드러내기 위한 것이다.

한편, 프로세서(120)는 밝기가 조절된 영상 내 기설정된 값 이상의 밝기를 갖는 영역을 판단할 수 있다. 여기서 기설정된 값은 상술한 어두운 영역을 판단하기 위한 기설정된 값과는 다른 값일 수 있다. 그리고, 프로세서(120)는 판단된 영역 내 픽셀 간 밝기의 차이가 작도록 픽셀별 보정 값을 식별할 수 있다. 이는, 태양, 광원 등과 같이 너무 밝은 영역에서는, 실제로는 존재하지 않는 엣지가 영상 상에서 나타나는 경우 이를 제거하기 위한 것이다. 구체적으로, 밝기가 최대인 지점을 중심으로부터 거리가 멀어질수록 밝기의 값이 연속적으로 감소하는데, 영상 상에서는 밝기가 단계적으로 감소하는 것처럼 보이는 경우의 보정을 위한 것이다.

이때, 프로세서(120)는 픽셀별 밝기 비율 및 픽셀별 보정 값을 병렬적으로 식별할 수 있다. 여기서, 병렬적이라는 것은 복수의 학습 네트워크가 서로 독립적으로 이용되는 것을 의미할 수 있다.

한편, 프로세서(120)는 파라미터를 미리 학습할 수 있으며, 이하에서는 파라미터를 학습하기 위한 트레이닝 셋(training set)에 대해 설명한다.

우선, 프로세서(120)는 메모리(110)에 저장된 원본 HDR 영상 및 원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 파라미터를 학습할 수 있다.

구체적으로, 프로세서(120)는 학습용 LDR 영상에 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 적용하여 밝기를 조절할 수 있다. 그리고, 프로세서(120)는 밝기가 조절된 학습용 LDR 영상에 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR 영상을 생성할 수 있다.

그리고, 프로세서(120)는 생성된 HDR 영상과 원본 HDR 영상을 비교하여 제1 파라미터 및 제2 파라미터를 학습할 수 있다.

구체적으로, 프로세서(120)는 생성된 HDR 영상 및 메모리(110)에 저장된 원본 HDR 영상의 밝기의 차이가 최소가 되도록 제1 파라미터를 학습할 수 있다.

그리고, 프로세서(120)는 보정 값을 가감하여 생성된 HDR 영상의 픽셀 값 및 메모리(110)에 저장된 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 제2 파라미터를 학습할 수 있다. 이때, 프로세서(120)는 보정 값을 가감하여 생성된 HDR 영상의 밝기 및 원본 HDR 영상의 밝기의 차이가 최소가 되도록 제1 파라미터를 학습할 수도 있다.이때, 프로세서(120)는 학습용 LDR 영상의 밝기 값의 범위 및 원본 HDR 영상의 밝기 값의 범위의 정규화(normalization)를 고려하여 제1 파라미터를 학습할 수 있다. 기존에는 LDR 영상으로 HDR 영상을 생성하기 위해 동작 범위를 일치시키는 정규화 작업이 필수적이었다. 그러나, 본 개시에 따르면, 프로세서(120)가 정규화를 고려한 제1 파라미터를 이용하여 픽셀 별 밝기 비율을 식별하기 때문에 별도의 정규화 동작이 필요 없어 연산량을 감소시키고 연산 속도를 향상시킬 수 있다.

이때, 프로세서(120)는 제1 파라미터 및 제2 파라미터를 병렬적으로 학습하여 식별할 수 있다. 여기서, 병렬적이라는 것은 복수의 학습 네트워크가 서로 독립적으로 이용되는 것을 의미할 수 있다.

한편, 이상에 기재된 프로세서(120)의 구동 동작은 도 4에 도시된 네트워크 구조에 기초한 것일 수 있다. 이러한 네트워크 구조는 사용자의 설계에 의해 변경될 수 있으며, 네트워크 구조의 다양한 실시 예는 이하 도 5 내지 도 9를 참조하여 자세히 설명하기로 한다.

즉, 영상 처리 장치(100)의 네트워크 구조가 도 4에 도시된 것과 같다면, 프로세서(120)는 픽셀별 밝기 비율 및 픽셀별 보정 값을 병렬적으로 식별하여 한 번의 곱셈 연산 및 덧셈 연산을 이용하여 HDR 영상을 생성할 수 있다.

다만, 사용자의 설계에 따라, 네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 프로세서(120)는 적어도 하나의 곱셈 연산 및 적어도 하나의 덧셈 연산을 이용하여 HDR 영상을 생성할 수도 있게 된다. 구체적으로, 프로세서(120)는 변경된 네트워크 구조에 기초하여 파라미터를 학습하고, 학습된 파라미터를 이용하여 HDR 영상을 생성할 수 있다.

상술한 바와 같이, 학습된 밝기 비율을 이용하여 곱셈 연산을 수행하고, 학습된 보정 값을 이용하여, 국부적인 보정을 수행함으로써, 연산량을 최소화하면서 선명한 HDR 영상을 생성할 수 있다. 한편, 학습을 통해 파라미터를 식별함으로써, 이미 촬영된 단일 LDR 영상만으로도 HDR 촬영 영상 수준의 풍부한 동작 범위로 표현할 수 있게 된다.

도 3은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구체적인 구성을 설명하기 위한 블럭도이다.

도 3을 참조하면, 영상 처리 장치(100)는 메모리(110), 프로세서(120), 통신부(130), 디스플레이(140), 버튼(150), 비디오 프로세서(160) 및 촬상부(170)를 포함할 수 있다. 여기서, 메모리(110) 및 프로세서(120)는 도 2에 도시된 구성과 동일한 바, 중복된 기재는 생략한다.

우선, 프로세서(120)는 RAM(121), ROM(122), CPU(123), GPU(Graphic Processing Unit)(124), 버스(125)를 포함할 수 있다. RAM(121), ROM(122), CPU(123), GPU(Graphic Processing Unit)(124) 등은 버스(125)를 통해 서로 연결될 수 있다.

CPU(123)는 메모리(110)에 액세스하여, 메모리(110))에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 메모리(110)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.

GPU(124)는 영상 처리 장치(100)의 부팅이 완료되면, 디스플레이(140)에 UI를 디스플레이한다. 구체적으로는, GPU(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면(또는 사용자 인터페이스 창)은 디스플레이(140)로 제공되어, 메인 표시 영역 및 서브 표시 영역에 각각 표시된다.

통신부(130)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 구체적으로, 통신부(130)는 외부 장치로부터 LDR 영상 또는 SDR 영상을 수신할 수 있다. 이때, 프로세서(120)는 수신된 LDR 영상 및 메모리(110)에 저장된 영상 처리 장치(100)의 동작 범위를 이용하여 HDR 영상을 생성할 수 있다.

또는, 통신부(130)는 외부 디스플레이 장치로부터 외부 디스플레이 장치의 동작 범위를 수신할 수도 있다. 이때, 프로세서(120)는 LDR영상 및 수신된 외부 디스플레이 장치의 동작 범위를 이용하여 HDR 영상을 생성할 수 있다. 그리고, 통신부(130)는 생성된 HDR 영상을 디스플레이 장치와 같은 외부 장치로 전송할 수 있다.

구체적으로, 통신부(130)는 외부 장치로부터 안테나, 케이블 또는 포트와 같은 유선 방식을 통하여 영상을 입력받거나, 와이파이(Wi-Fi), 블루투스와 같은 무선 방식을 통하여 영상을 입력받을 수 있다. 한편, 실제 구현시에는, 영상 처리 장치(100)는 영상 처리 장치(100)에 구비된 메모리(110)에 저장된 복수의 영상 중 사용자가 선택한 영상을 입력받아 영상 처리할 수도 있다.

영상 처리 장치(100)가 무선 통신이 가능한 경우, 통신부(130)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩을 포함할 수 있다. 구체적으로, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.

디스플레이(140)는 프로세서(120)에 의해 생성 HDR 영상을 표시할 수 있다. 디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 또한, 디스플레이(140)은 플렉서블 디스플레이로 구현될 수도 있다.

한편, 다양한 실시 형태에 따라, 영상 처리 장치(100)에 디스플레이(140)는 구비되지 않을 수도 있다.

버튼(150)은 영상 처리 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.

비디오 프로세서(160)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(110)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(160)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

촬상부(170)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 구체적으로, 촬상부(170)는 HDR 영상을 생성하기 위한 하나 이상의 영상을 촬상할 수 있다.

한편, 촬상부(170)는 렌즈, 이미지 센서 등을 포함할 수 있다. 그리고, 촬상부(170)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 그리고, 다양한 실시 형태에 따라, 영상 처리 장치(100)에 촬상부(170)는 구비되지 않을 수도 있다.

그 밖에, 도 3에 도시하지는 않았으나, 실시 예에 따라서는, 영상 처리 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 오디오 프로세서, 마이크, 오디오 출력부, 다양한 센서 등을 더 포함할 수 있음은 물론이다.

도 4 내지 도 9는 본 개시의 다양한 실시 예에 따른 네트워크를 이용한 HDR 영상 생성 과정을 설명하기 위한 도면이다.

도 4는 스케일링 네트워크가 식(1)과 같은 일차 함수로 설계된 실시 예를 나타낸 것이다. 이때, 스케일링 네트워크는 사용자 입력에 따라 설계된 것일 수 있다.

HDR = A * LDR + B (1)

여기서, A는 밝기 비율을 의미하고, B는 보정 값을 의미할 수 있다.

도 4를 참조하면, 영상 처리 장치는 입력된 LDR 영상(410)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.

구체적으로, 영상 처리 장치는 밝기 비율을 식별하기 위한 제1 파라미터를 이용하여 밝기 비율을 식별하는 제1 네트워크(411)를 통해 밝기 비율을 식별할 수 있다. 그리고, 보정 값을 식별하기 위한 제2 파라미터를 이용하여 보정 값을 식별하는 제2 네트워크(412)를 통해 보정 값을 식별할 수 있다. 이때, 영상 처리 장치는 제1 네트워크(411) 및 제2 네트워크 (412)를 병렬적으로 구동할 수 있다.

그리고, 영상 처리 장치는 입력된 LDR 영상(410)에 제1 네트워크(411)를 이용하여 식별된 밝기 비율을 곱셈 연산을 통해 적용할 수 있다. 구체적으로, 밝기 비율은 LDR 영상(410)의 각 픽셀의 값에 따라 다른 값이 식별되며, 영상 처리 장치는 LDR 영상(410)의 각 픽셀에, 픽셀 별로 대응되는 밝기 비율을 곱하여 LDR 영상(410)의 밝기를 조절할 수 있다.

그 다음, 영상 처리 장치는 밝기가 조절된 LDR 영상에 제2 네트워크(412)를 이용하여 식별된 보정 값을 가감하여 HDR 영상(420)을 생성할 수 있다. 이때, 보정 값이 양수인 경우 보정 값을 가한다고 지칭하며, 보정 값이 양수인 경우 보정 값을 감한다고 지칭할 수 있다.

그리고, 영상 처리 장치는 저장된 원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 생성된 HDR 영상과 원본 HDR 영상을 비교하여 밝기 값의 차이가 최소가 되도록 제1 네트워크(411)의 제1 파라미터를 학습할 수 있다. 그리고, 영상 처리 장치는 저장된 원본 HDR 영상과 생성된 HDR 영상을 비교하여 픽셀 값의 차이가 최소가 되도록 제2 네트워크(412)의 제2 파라미터를 학습할 수 있다.

상술한 바와 같이, 본 개시에 따르면 곱셈 연산을 이용하기 때문에 정규화 과정이 필요 없어 연산량이 감소하며, 빠르게 학습이 가능하고, 픽셀 별로 보정을 수행함으로써, 영상의 국부적인 특징을 반영하여 보다 선명한 HDR 영상 생성이 가능하게 된다.

한편, 도 4에서는 스케일링 네트워크가 일차 함수로 설계된 것으로 한정하여 설명하였으나, 네트워크 구조를 변경하기 위한 사용자의 제어 명령 입력에 따라 다양한 함수로 설계될 수 있다. 이때, 스케일링 네트워크를 구성하는 복수의 네트워크는 목적에 따라 파라미터가 다르게 설정되는 바, 이하에서는 네트워크의 용도를 한정하지 않고, 제1 네트워크 및 제2 네트워크로 지칭하기로 한다.

구체적으로, 도 5는 스케일링 네트워크가 식(2)와 같은 다차 함수로 설계된 실시 예를 설명하기 위한 도면이다.

HDR = A * LDR³ + B * LDR² + C * LDR + D (2)

도 5를 참조하면, 영상 처리 장치는 입력된 LDR 영상(510) 및 스케일링 네트워크를 이용하여 HDR 영상(520)을 생성할 수 있다.

이때, 영상 처리 장치는 도 4와 같이, 입력된 LDR 영상(510)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.

구체적으로, 영상 처리 장치는 밝기 비율을 식별하기 위한 제1 파라미터를 이용하는 제1 네트워크(511)를 통해 제1 값을 식별할 수 있다. 그리고, 제2 파라미터를 이용하는 제2 네트워크(512)를 통해 제2 값을 식별할 수 있다. 이때, 영상 처리 장치는 제1 네트워크(511) 및 제2 네트워크 (512)를 병렬적으로 구동할 수 있다.

한편, 도 5에서는 도 4와 다르게 제1 네트워크(511) 및 제2 네트워크(512) 내에도 곱셈 또는 덧셈 연산이 수행될 수 있다. 이에 따라, 영상 처리 장치는 스케일링 네트워크가 다차 함수인 경우에도 입력된 LDR 영상(510)에서 HDR 영상(520)을 생성하기 위한 가장 적합한 값을 식별할 수 있는 파라미터를 학습할 수 있다.

한편, 스케일링 네트워크는 스케일링 네트워크를 구성하는 복수의 네트워크는 도 6 및 도 7과 같이 직렬적으로 구동될 수도 있다.

구체적으로, 도 6을 참조하면, 영상 처리 장치는 입력된 LDR 영상(610)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어로 구성된 네트워크를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.

구체적으로, 영상 처리 장치는 제1 파라미터를 이용하는 제1 네트워크(611)를 통해 제1 값을 식별할 수 있다. 그리고, 영상 처리 장치는 입력된 LDR 영상(610)에 식별된 제1 값을 곱셈 연산을 이용하여 적용할 수 있다.

그리고, 영상 처리 장치는 제1 값이 적용된 LDR 영상의 특징 맵을 제 2 값을 이용하는 제2 네트워크(612)를 통해 제2 값을 식별할 수 있다. 그리고, 영상 처리 장치는 밝기가 조절된 LDR 영상에 식별된 제2 값을 덧셈 연산으로 적용하여 HDR 영상(620)을 생성할 수 있다.

한편, 도 7을 참조하면, 영상 처리 장치는 입력된 LDR 영상(710)을 컨벌루션 레이어(convolution layer)를 통과시켜 특징 맵을 추출하고, 추출된 특징 맵을 복수의 레이어로 구성된 네트워크를 통과시켜 HDR 영상을 생성하기 위한 값을 식별할 수 있다.

구체적으로, 영상 처리 장치는 제1 파라미터를 이용하는 제1 네트워크(711)를 통해 제1 값을 식별할 수 있다. 그리고, 영상 처리 장치는 입력된 LDR 영상(710)에 식별된 제1 값을 덧셈 연산을 이용하여 적용할 수 있다.

그리고, 영상 처리 장치는 제1 값이 적용된 LDR 영상의 특징 맵을 제 2 값을 이용하는 제2 네트워크(712)를 통해 제2 값을 식별할 수 있다. 그리고, 영상 처리 장치는 밝기가 조절된 LDR 영상에 식별된 제2 값을 덧셈 연산으로 적용하여 HDR 영상(720)을 생성할 수 있다. 도 4에서는 입력된 LDR 영상의 특징 맵을 이용하여 제2 값에 대응되는 보정 값을 식별한 반면, 도 6 및 도 7에서는 제1 값이 적용된 LDR 영상의 특징 맵을 이용하여 제2 값을 식별하는 차이가 있다.

한편, 도 8 및 도 9와 같이, 스케일링 네트워크는 다항 함수가 아닌 로그 함수 또는 지수 함수에 대응되는 레이어를 포함할 수 있다.

도 8은 스케일링 네트워크가 식(3)과 같은 로그 함수로 설계된 실시 예를 설명하기 위한 도면이다.

(3)

여기서 A는 적어도 하나의 곱셈 연산을 포함하는 제1 네트워크를 이용하여 식별된 제1 값일 수 있다.

그리고, 도 8을 참조하면, 영상 처리 장치는 입력 값(810)의 역수에 제2 네트워크를 이용하여 식별된 제2 값을 덧셈 연산을 이용하여 적용한 후 로그 함수인 ln을 취하는 레이어를 통과시킨 후 제1 값과 곱센 연산하여 출력 값(820)을 식별할 수 있다. 식(3)에 따르면, 도 8에서 제 2값은 -1일 수 있다.

도 9는 스케일링 네트워크가 식(4)와 같은 지수 함수로 설계된 실시 예를 설명하기 위한 도면이다.

(4)

그리고, 도 9를 참조하면, 영상 처리 장치는 입력 값(910)에 식별된 제 1값을 곱셈 연산으로 적용한 후 밑이 e인 지수 함수로 변환하는 레이어를 통과시킬 수 있다. 그리고, 영상 처리 장치는 지수 함수로 변환된 값 및 제2 네트워크를 이용하여 제2 값을 식별할 수 있다. 그리고, 영상 처리 장치는 지수 함수로 변환된 값에 식별된 제2 값을 덧셈 연산을 이용하여 적용할 수 있다. 그리고, 영상 처리 장치는 제2 값이 적용된 값의 역수를 취하여 출력 값(920)을 식별할 수 있다. 식(4)에 따르면, 도 9에서 제2 값은 1일 수 있다.

상술한 바와 같이, 본 개시에 따르면, 입력되는 데이터 간의 관계를 알고 있을 때, 최적화된 값을 학습할 수 있게 된다.

도 10은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.

도 10을 참조하면, 영상 처리 장치는 제1 파라미터를 이용하여 식별된 픽셀 별 밝기 비율을 이용하여 LDR 영상의 밝기를 조절할 수 있다(S1010). 구체적으로, 영상 처리 장치는 기저장된 제1 파라미터를 이용하여 저장된 LDR 영상 또는 수신된 LDR 영상의 픽셀 별로 HDR 영상을 생성하기 위한 밝기 비율을 식별할 수 있다. 이때, 제1 파라미터는 미리 학습된 것일 수 있다. 구체적으로, 제1 파라미터는 테스트 셋에 포함된 네트워크와 동일한 구조의 네트워크를 이용하여 미리 학습된 것일 수 있다. 그리고, 영상 처리 장치는 LDR 영상의 각 픽셀의 인접한 픽셀의 밝기를 더 고려하여 픽셀별 밝기 비율을 식별할 수 있다.

그리고, 영상 처리 장치는 밝기가 조절된 LDR 영상의 픽셀 값에, 제2 파라미터를 이용하여 식별된 픽셀 별 보정 값을 가감하여 HDR 영상을 획득할 수 있다(S1020). 구체적으로, 영상 처리 장치는 밝기가 조절된 LDR 영상 중 기설정된 값 미만의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 크도록 픽셀 별 보정 값을 식별할 수 있다. 한편, 영상 처리 장치는 밝기가 조절된 LDR 영상 중 기설정된 값 이상의 밝기를 갖는 영역 내 픽셀 간 밝기 차이가 작도록 픽셀 별 보정 값을 식별할 수 있다. 이때, 제2 파라미터는 미리 학습된 것일 수 있다. 구체적으로, 제2 파라미터는 테스트 셋에 포함된 네트워크와 동일한 구조의 네트워크를 이용하여 미리 학습된 것일 수 있다. 그리고, 영상 처리 장치는 네트워크의 구조에 따라 밝기 비율과 보정 값을 병렬적으로 식별할 수 있다.

이상에 기재한 본 개시의 다양한 실시 예에 따르면, 학습된 파라미터를 이용하여 식별된 밝기 비율을 이용하여 곱셈 연산을 수행하고, 학습된 파라미터를 이용하여 식별된 보정 값을 이용하여, 국부적인 보정을 수행함으로써, 연산량을 최소화하면서 선명한 HDR 영상을 생성할 수 있다. 한편, 학습을 통해 파라미터를 식별함으로써, 이미 촬영된 단일 LDR 영상만으로도 HDR 촬영 영상 수준의 풍부한 동작 범위로 표현할 수 있게 된다.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 영상 처리 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

1000 : 영상 처리 시스템 100 : 영상 처리 장치
110 : 메모리 120 : 프로세서

Claims

영상 처리 장치에 있어서,
LDR(Low Dynamic Range) 영상을 저장하는 메모리;
제1 네트워크에 상기 LDR 영상을 입력하여 상기 LDR 영상에 포함된 복수의 픽셀에 대응되는 밝기 비율을 획득하고, 제2 네트워크에 상기 LDR 영상을 입력하여 상기 LDR 영상에 포함된 복수의 픽셀에 대응되는 보정 값을 획득하며,
상기 획득된 밝기 비율에 상기 LDR의 픽셀 값을 곱하여 상기 LDR 영상의 밝기를 조절하고,
상기 밝기가 조절된 LDR 영상의 픽셀 값에, 상기 획득된 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 프로세서;를 포함하며,
상기 제1 및 제2 네트워크는 컨벌루션 레이어를 포함하는 영상 처리 장치.
제1항에 있어서,
상기 메모리에는,
상기 제1 및 제2 네트워크에 대응되는 파라미터들을 학습하기 위한 원본 HDR 영상 및 상기 원본 HDR 영상에 대응되는 학습용 LDR 영상이 저장되고,
상기 제1 네트워크에 대응되는 제1 파라미터는,
상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것인, 영상 처리 장치.
제2항에 있어서,
상기 제2 네트워크에 대응되는 제2 파라미터는,
상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것인, 영상 처리 장치.
제2항에 있어서,
상기 프로세서는,
상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 상기 제1 파라미터를 학습하는 영상 처리 장치.
제2항에 있어서,
상기 프로세서는,
네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 상기 제1 파라미터를 학습하는 영상 처리 장치.
삭제
삭제
제1항에 있어서,
상기 프로세서는,
상기 제1 네트워크에 대응되는 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작과 상기 제2 네트워크에 대응되는 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작을 병렬적으로 수행하는 영상 처리 장치.
제1항에 있어서,
상기 프로세서는,
상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 상기 픽셀 별 밝기 비율을 식별하는 영상 처리 장치.
영상 처리 방법에 있어서,
LDR(Low Dynamic Range) 영상을 획득하는 단계;
제1 네트워크에 상기 LDR 영상을 입력하여 상기 LDR 영상에 포함된 복수의 픽셀에 대응되는 밝기 비율을 획득하고, 제2 네트워크에 상기 LDR 영상을 입력하여 상기 LDR 영상에 포함된 복수의 픽셀에 대응되는 보정 값을 획득하는 단계;
상기 획득된 밝기 비율에 상기 LDR의 픽셀 값을 곱하여 상기 LDR 영상의 밝기를 조절하는 단계; 및
상기 밝기가 조절된 LDR 영상의 픽셀 값에, 상기 획득된 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계;를 포함하며,
상기 제1 및 제2 네트워크는 컨벌루션 레이어를 포함하는 영상 처리 방법.
제10항에 있어서,
상기 제1 네트워크에 대응되는 제1 파라미터는,
원본 HDR 영상에 대응되는 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 밝기와 상기 원본 HDR 영상의 밝기의 차이가 최소가 되도록 학습된 것인, 영상 처리 방법.
제11항에 있어서,
상기 제2 네트워크에 대응되는 제2 파라미터는,
상기 학습용 LDR 영상을 이용하여 생성된 HDR 영상의 픽셀 값과 상기 원본 HDR 영상의 픽셀 값의 차이가 최소가 되도록 학습된 것인, 영상 처리 방법.
제11항에 있어서,
상기 제1 파라미터는,
상기 학습용 LDR 영상의 밝기 값의 범위 및 상기 원본 HDR 영상의 밝기 값의 범위의 정규화를 고려하여 학습된 것인, 영상 처리 방법.
제11항에 있어서,
상기 제1 파라미터는,
네트워크 구조를 변경하기 위한 제어 명령이 입력되면, 적어도 하나의 곱셈 연산을 이용하여 식별된 픽셀별 밝기 비율에 기초하여 학습된 것인, 영상 처리 방법.
삭제
삭제
제10항에 있어서,
상기 제1 네트워크에 대응되는 제1 파라미터를 이용한 픽셀별 밝기 비율 식별 동작 및 상기 제2 네트워크에 대응되는 제2 파라미터를 이용한 픽셀별 보정 값 식별 동작은 병렬적으로 수행되는 영상 처리 방법.
제10항에 있어서,
상기 픽셀 별 밝기 비율은,
상기 LDR 영상의 픽셀 별로 인접한 픽셀의 밝기를 더 고려하여 식별되는, 영상 처리 방법.
영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서,
상기 영상 처리 방법은,
LDR(Low Dynamic Range) 영상을 획득하는 단계;
제1 네트워크에 상기 LDR 영상을 입력하여 상기 LDR 영상에 포함된 복수의 픽셀에 대응되는 밝기 비율을 획득하고, 제2 네트워크에 상기 LDR 영상을 입력하여 상기 LDR 영상에 포함된 복수의 픽셀에 대응되는 보정 값을 획득하는 단계;
상기 획득된 밝기 비율에 상기 LDR의 픽셀 값을 곱하여 상기 LDR 영상의 밝기를 조절하는 단계; 및
상기 밝기가 조절된 LDR 영상의 픽셀 값에, 상기 획득된 보정 값을 가감하여 HDR(High Dynamic Range) 영상을 획득하는 단계;를 포함하며,
상기 제1 및 제2 네트워크는 컨벌루션 레이어를 포함하는 컴퓨터 판독가능 기록 매체.