KR102484386B1 - 영상을 스케일링하는 전자 장치 및 그 동작 방법 - Google Patents

영상을 스케일링하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102484386B1
KR102484386B1 KR1020200052905A KR20200052905A KR102484386B1 KR 102484386 B1 KR102484386 B1 KR 102484386B1 KR 1020200052905 A KR1020200052905 A KR 1020200052905A KR 20200052905 A KR20200052905 A KR 20200052905A KR 102484386 B1 KR102484386 B1 KR 102484386B1
Authority
KR
South Korea
Prior art keywords
image
kernel
pixel
scaling
value
Prior art date
Application number
KR1020200052905A
Other languages
English (en)
Other versions
KR20210133802A (ko
Inventor
안일준
이태미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200052905A priority Critical patent/KR102484386B1/ko
Priority to PCT/KR2020/015426 priority patent/WO2021221250A1/ko
Publication of KR20210133802A publication Critical patent/KR20210133802A/ko
Application granted granted Critical
Publication of KR102484386B1 publication Critical patent/KR102484386B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

제1 영상의 각 영역별 특징에 기초하여, 제1 영상에 포함되는 픽셀들과 제2 영상에 포함되는 픽셀들의 상대적인 위치 관계를 결정하고, 상대적인 위치 관계 및 제1 영상에 포함된 픽셀들의 값에 기초하여, 위치 변환 특징 정보를 획득하고, 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행함으로써, 제1 영상을 스케일링한 제2 영상을 생성하는, 전자 장치에서 제1 영상을 스케일링하여 제2 영상을 생성하는 방법이 제공된다.

Description

영상을 스케일링하는 전자 장치 및 그 동작 방법 {Electronic device and operating method for scaling image}
본 개시는, 영상을 스케일링하는 전자 장치 및 그 동작 방법에 관한 것이다.
컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network) 등에서, 입력 영상의 크기와 다른 출력 영상을 생성하기 위해 디컨볼루션 레이어가 이용될 수 있다.
예를 들면, 입력 영상의 적어도 하나의 픽셀에 기초하여, 입력 영상이 스케일링된 출력 영상의 제1 픽셀이 생성될 수 있다. 또한, 출력 영상의 각 픽셀이 생성되는데 이용되는 입력 영상의 픽셀들은, 출력 영상의 각 픽셀의 위치에 기초하여, 결정될 수 있다.
그러나, 단순히, 출력 영상의 각 픽셀의 위치에 따라, 출력 영상의 각 픽셀이 생성되는데 이용되는 입력 영상의 픽셀이 결정되는 경우, 출력 영상의 각 픽셀이 생성되는데 적합하지 않은 입력 영상의 픽셀들이 이용되는 문제가 발생될 수 있다.
본 개시가 해결하고자 하는 과제는 전술한 문제를 해결하기 위한 것으로서, 영상을 스케일링하는 전자 장치 및 그 동작 방법을 제공하기 위한 것이다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 전자 장치에서 제1 영상을 스케일링하여 제2 영상을 생성하는 방법에 있어서, 상기 제1 영상의 각 영역별 특징에 기초하여, 상기 제1 영상에 포함되는 픽셀들과 제2 영상에 포함되는 픽셀들의 상대적인 위치 관계를 결정하는 단계; 상기 결정된 상대적인 위치 관계 및 상기 제1 영상에 포함된 픽셀들의 값에 기초하여, 위치 변환 특징 정보를 획득하는 단계; 및 상기 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행함으로써, 상기 제1 영상을 스케일링한 제2 영상을 생성하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 제2 측면은, 제1 영상을 스케일링하여 제2 영상을 생성하는 전자 장치에 있어서, 상기 제1 영상을 저장하는 메모리; 및 상기 제1 영상의 각 영역별 특징에 기초하여, 상기 제1 영상에 포함되는 픽셀들과 제2 영상에 포함되는 픽셀들의 상대적인 위치 관계를 결정하고, 상기 결정된 상대적인 위치 관계 및 상기 제1 영상에 포함된 픽셀들의 값에 기초하여, 위치 변환 특징 정보를 획득하고, 상기 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행함으로써, 상기 제1 영상을 스케일링한 제2 영상을 생성하는 적어도 하나의 프로세서를 포함하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 제3 측면은, 제1 측면의 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 제공할 수 있다.
일 실시 예에 의하면 입력 영상의 각 영역별 특징을 고려하여, 출력 영상의 제1 픽셀을 생성하는데 적합한, 입력 영상의 픽셀들이 결정될 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치가 디컨볼루션 연산을 이용하여 영상을 생성하는 방법을 나타내는 도면이다.
도 2는 일 실시예에 따라 영상을 비 정수 배 업 스케일하는 경우를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 제1 영상을 업 스케일하기 위한 디컨볼루션에 적용되는 스케일링 커널에 포함되는 가중치들의 경향성을 결정하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 제1 영상을 업 스케일하기 위한 디컨볼루션에 적용되는 스케일링 커널을 모델링하는 방법을 설명하기 위한 도면이다.
도 5는, 일 실시예에 따른 제1 영상을 업 스케일하기 위한 디컨볼루션을 나타내는 도면이다.
도 6은 일 실시예에 따른 영상 처리 장치가 제1 영상을 업 스케일하기 위해 디컨볼루션을 수행하는 과정을 설명하기 위한 도면이다.
도 7은, 일 실시예에 따른, 변환 특징 정보들을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시 예에 의한 제1 영상을 스케일링하여 제2 영상을 생성하는 일 예를 나타낸 블록도이다.
도 9는 일 실시 예에 의한 제1 커널 및 제2 커널에 기초하여, 오프셋 및 보상 가중치를 획득하는 일 예를 나타낸 도면이다.
도 10은 일 실시 예에 의한 제1 커널 및 제3 커널에 기초하여, 오프셋 및 보상 가중치를 획득하는 일 예를 나타낸 도면이다.
도 11은 일 실시 예에 의한 전자 장치의 내부 구성을 설명하기 위한 블록도이다.
도 12는 일 실시 예에 의한 전자 장치의 내부 구성을 설명하기 위한 블록도이다.
도 13은 일 실시 예에 의한 영상을 스케일링하는 방법을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 영상 처리 장치가 디컨볼루션 연산을 이용하여 영상을 생성하는 방법을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 전자 장치(1000)는 뉴럴 네트워크(Neural Network)(30)를 이용하여, 영상을 생성할 수 있다. 일 실시 예에 의한 전자 장치(1000)는 뉴럴 네트워크(30)를 이용하여, 제1 영상(10, input)에 기초하여, 제2 영상(20, output)을 생성할 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 제1 영상(10)에 기초하여 제2 영상(20)을 생성하고, 생성된 제2 영상(20)을 전자 장치(1000)에 포함된 디스플레이 또는 외부 디스플레이 장치에 표시할 수 있다.
일 실시예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 차량(vehicle) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 전자 장치(1000)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔목 밴드, 발목 밴드, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의한 뉴럴 네트워크(30)는 하나 이상의 디컨볼루션(deconvolution) 레이어들을 포함할 수 있으며, 디컨볼루션 레이어들 각각에서는, 디컨볼루션 레이어에 입력된 영상(input)과 스케일링 커널(Scaling kernel)의 디컨볼루션(deconvolution) 연산을 수행할 수 있으며, 디컨볼루션 연산 결과, 출력 영상(output)을 생성할 수 있다.
일 실시 예에 의한 디컨볼루션 연산은, 다양한 유형의 컨볼루션 연산 중 하나이다.
일 실시 예에 의한 스케일링 커널은, 입력 영상에 기초하여 출력 영상을 생성하기 위하여, 미리 학습된 값들을 포함하는 행렬일 수 있다. 상술한 예에 한하지 않고, 스케일링 커널은, 입력 영상과의 디컨볼루션 연산을 통해, 출력 영상이 생성될 수 있는, 다양한 형태의 데이터일 수 있다.
일 실시 예에 의한 디컨볼루션 연산은, 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network)에서, 입력 영상(10)을 업 스케일하기 위해 이용될 수 있으며, 예를 들어, 초 해상도(super-resoultion) 영상 생성, 자동-엔코더(auto-encoder), 스타일 변환(style transfer) 등 다양한 분야에 이용될 수 있다. 다만, 이에 한정되지 않는다.
일 실시 예에 따라, 디컨볼루션 연산 결과 생성된 업 스케일된 제2 영상(20, output)의 크기는 제1 영상(10, input)의 크기보다 클 수 있다.
도 2는 일 실시예에 따라 영상을 비 정수 배 업 스케일하는 경우를 설명하기 위한 도면이다.
도 2를 참조하면, 영상이 표시되는 디스플레이는 모듈 단위로 구성될 수 있으며, 이때, 모듈을 조합하는 방법에 따라 디스플레이의 크기가 다양하게 결정될 수 있다. 예를 들어, 모듈 하나(201)의 크기가 9.8인치, 480x270의 해상도를 가지는 경우, 8 x 8 모듈들을 포함하는 Ultra-HD(4K) 해상도를 가지는 제1 디스플레이(210)를 구성할 수 있다. 또는, 9 x 9 모듈들을 포함하는 4320 x 2430의 해상도(예를 들어, 약 4.5K 해상도)를 가지는 제2 디스플레이(220)를 구성할 수 있다.
일 실시 예에 따른 전자 장치(1000)는, 4K 해상도를 가지는 영상을 9/8배 업 스케일함으로써, 제1 디스플레이(210)에 출력할 수 있는, 4K 해상도를 가지는 영상을 제2 디스플레이(220)에 출력할 수 있다.
도 3은 일 실시예에 따른 제1 영상을 업 스케일하기 위한 디컨볼루션에 적용되는 스케일링 커널에 포함되는 가중치들의 경향성을 결정하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 제2 영상의 픽셀 값을 계산할 때, 제2 영상의 픽셀의 위치에 따라, 제1 영상의 픽셀 값에 적용되는 가중치들의 경향성을 찾기 위하여, 큐빅 B-스플라인 보간법을 적용한 예를 나타낸다.
도 3을 참조하면, 제1 그래프(310)는, 제1 영상의 4개의 픽셀 값들(xi-1, xi, xi+1, xi+2)을 이용하여, 제2 영상의 픽셀 값을 계산하는 경우에, 4개의 픽셀 값들(xi-1, xi, xi+1, xi+2) 각각에 적용되는 가중치를 나타내는 곡선들(B0(u), B1(u), B2(u), B3(u))을 포함한다. 이때, 곡선들(B0(u), B1(u), B2(u), B3(u))은, 큐빅 B 스플라인 곡선들이며, 도 3에 도시된 바와 같이, B0(u), B1(u), B2(u), B3(u)는 u에 대한 함수로 나타난다. 변수 u의 의미는 이하에서 자세히 설명하기로 한다.
예를 들어, 제1 영상과 제2 영상을 동일한 크기로 가정하고, 제1 영상에 포함되는 인접하는 픽셀들의 거리를 1로 하면, 제1 영상의 픽셀들의 위치는 정수로 표현되고, 제2 영상의 픽셀들의 위치는 실수로 표현될 수 있다. 예를 들어, 제1 영상의 픽셀들은, xi(i=0, 1, 2, 3,.., n)으로 표현될 수 있으며, 인덱스 i는 해당 픽셀의 좌표 값(위치)을 나타낼 수 있다. 제2 영상의 픽셀들은, yj(j = 실수)로 표현될 수 있으며, j는 해당 픽셀의 좌표 값(위치)을 나타낼 수 있다.
한편, 도 3을 참조하면, 제2 영상에 포함되는 픽셀(yj)의 값은, j에 버림 연산을 수행하여, 정수 i를 결정하고, 제1 영상에 포함되는 픽셀들 중 4개의 픽셀들(xi-1, xi, xi+1, xi+2)에 기초하여, 결정될 수 있다.
예를 들어, yj =B0(u)*xi-1+B1(u)*xi+B2(u)*xi+1+B3(u)*xi+2로 나타낼 수 있다.
이때, u는 제1 영상과 제2 영상을 동일한 크기로 가정하였을 때, 제2 영상에 포함된 픽셀 yj에 대응하는 지점이, 제1 영상의 픽셀들 xi와 xi+1 사이에 위치할 때, 픽셀 xi와 픽셀 yj에 대응하는 지점 사이의 거리로 나타낼 수 있다. 이에 따라, u의 값은 0 이상 1미만이다. 도 3을 참조하면, u는 j를 버림한 값(예를 들어, 정수 i)과 j의 차이(j-i)로 표현될 수 있다.
한편, 곡선들(B0(u), B1(u), B2(u), B3(u))은, 도 4에 도시된 바와 같이, 행렬 B(u)로 나타낼 수 있으며, 제1 영상의 4개의 픽셀들(xi-1, xi, xi+1, xi+2)은 행렬 I로 나타낼 수 있다. 이에 따라, 픽셀 yj의 값은 다음과 같은 수학식 1에 의해 결정될 수 있다.
Figure 112020044831916-pat00001
이때, 기호 <A, B>F의 연산은 컨볼루션 연산을 의미한다. 즉, 행렬 A와 행렬 B에서 동일한 위치의 원소들끼리 곱한 값들을 합하는 연산을 의미한다.
한편, 도 3의 행렬 B는, 입력 I에 적용되는 가중치들의 경향성을 찾기 위하여, B-큐빅 스플라인 곡선들을 적용한 것으로, 도 3의 행렬 B에서 u에 대한 행렬을 제외한 나머지 부분(330, 예를 들어, 계수(1/6)와 행렬 B'의 엘리먼트들)은 훈련을 통하여, 적절한 값으로 결정될 수 있다.
도 4는 일 실시예에 따른 제1 영상을 업 스케일하기 위한 디컨볼루션에 적용되는 스케일링 커널을 모델링하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 도 3의 행렬 B에서 u에 대한 행렬을 제외한 나머지 부분(330, 예를 들어, 계수(1/6)와 행렬 B'의 엘리먼트들)은, 도 4에 도시된 바와 같이, 훈련 가능한 값인
Figure 112020044831916-pat00002
ij로 표현되도록 모델링할 수 있다. 이에 따라, 도 4의 행렬 K는, 제1 영상을 업 스케일하기 위한 디컨볼루션에 적용되는 훈련 가능한 스케일링 커널을 나타내며, 훈련 가능한 행렬
Figure 112020044831916-pat00003
(410)와 행렬 U의 곱으로 표현될 수 있다. 예를 들어, 행렬 K는 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112020044831916-pat00004
이때, 행렬
Figure 112020044831916-pat00005
와 행렬 U는 각각 도 4에 도시된 바와 같이 표현될 수 있다.
또한, 제1 영상을 업 스케일하기 위한 디컨볼루션 연산은, 다음의 수학식 3과 같이 표현될 수 있다.
Figure 112020044831916-pat00006
수학식 3에서, 행렬 Ii는 제2 영상에 포함되는 픽셀 값 yj를 계산하기 위해 이용되는, 제1 영상의 픽셀 값들을 나타낸다. 또한, 행렬 Uj는, 행렬
Figure 112020044831916-pat00007
와 연산되는 대신에, 행렬 Ii와 연산되도록 행렬 Uj의 위치가 변경될 수 있다.
이에 따라, 행렬 Kj(=
Figure 112020044831916-pat00008
Uj)는 uj의 함수로 나타나는 행렬로, uj의 값에 따라 변하는(space-varient) 행렬이었으나, 행렬
Figure 112020044831916-pat00009
는 uj의 값에 따라 변하지 않는(space-invarient) 행렬이 된다. 또한, 컨볼루션 연산에서 순서는 바뀔 수 있으므로, 제2 영상의 픽셀 값 yj는 다음의 수학식 4와 같이 나타낼 수 있다.
Figure 112020044831916-pat00010
수학식 4에서 파라미터들의 의미는, 이하, 도 5를 참조하여 자세히 설명하기로 한다.
도 5는, 일 실시예에 따른 제1 영상을 업 스케일하기 위한 디컨볼루션을 나타내는 도면이다.
도 5를 참조하면, x는 제1 영상을 나타내며, y는 x를 비-정수 배 업 스케일한 제2 영상을 나타낸다. 또한, i는 제1 영상에 포함되는 픽셀들의 인덱스를 나타내는 값으로, x와 y를 동일한 크기로 나타내고, 제1 영상에 포함되는 인접하는 픽셀들 사이의 거리를 1로 하였을 때, x에 포함되는 픽셀들의 위치를 나타내는 값이다. i는 0, 1, ..., n의 정수 값으로 표현될 수 있다. 또한, j는 제2 영상에 포함되는 픽셀들의 인덱스를 나타내는 값으로, 제2 영상에 포함되는 픽셀들의 위치를 나타내는 값이다. 제1 영상의 픽셀들의 위치(예를 들어, 좌표)가 정수로 표현되면, 제2 영상의 픽셀들의 위치(예를 들어, 좌표)는 실수로 표현될 수 있다. 따라서, j는 실수 값으로 표현될 수 있다.
도 4에서 설명한 바와 같이, 제2 영상에 포함되는 픽셀(yj)의 값은
Figure 112020044831916-pat00011
로 나타낼 수 있으며, 이때, 행렬 Uj는 uj에 대한 함수로 표현되며, uj값에 따라 결정된다. 이때, uj값은 픽셀 yj와 제1 영상의 픽셀 xi의 상대적인 거리에 따라, 결정되는 값이며, uj의 값은 0 이상 1 미만이다. 또한, 픽셀 xi의 인덱스 i 는, 픽셀 yj의 인덱스 j에 버림 연산을 수행한 값으로 결정된다.
예를 들어, 픽셀 y1.2 의 값을 구하는 경우, j는 1.2이므로, 1.2에 버림 연산을 수행한 값 1이 i값이 되며, xi는 x1이 된다. 또한, u1.2는 0.2가 된다. 따라서, 행렬 Uj는 계산하고자 하는 픽셀 값 yj의 인덱스 j에 따라 다르게 결정된다.
또한, 행렬 Ii도 yj의 인덱스 j에 따라 다르게 결정된다. 예를 들어, 인덱스 j에 따라 인덱스 i 값이 결정되며, 인덱스 i에 따라, 행렬 Ii=[xi-1, xi, xi+1, xi+2]가 결정된다. 예를 들어, 인덱스 j가 1.2이고 인덱스 i가 1인 경우, 행렬 I1=[x0, x1, x2, x3]으로 결정될 수 있다. 다만, 행렬 Ii에 포함되는 엘리먼트들의 개수에 따라 행렬 Ii는 다르게 구성될 수 있다.
한편, 행렬 Θ는 훈련에 의해 결정되는 값으로, 계산하고자 하는 픽셀 값 yj의 인덱스 j 또는, uj와 상관없이 동일하게 적용될 수 있다.
도 6은 일 실시예에 따른 영상 처리 장치가 제1 영상을 업 스케일하기 위해 디컨볼루션을 수행하는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 영상 처리 장치(100)는 제1 영상(610)에 포함되는 픽셀들과 제2 영상(620)에 포함되는 픽셀들의 상대적인 위치 관계 및 제1 영상(610)에 포함되는 픽셀들의 값에 기초하여, 위치 변환 특징 정보들(640)을 획득할 수 있다.
예를 들어, 영상 처리 장치(100)는 제1 영상에 포함되는 픽셀 값들을 이용하여, 변환 특징 정보들(630)을 생성할 수 있다. 도 6에 도시된 바와 같이, 변환 특징 정보들은 n개일 수 있으며, 이때, n은, 제2 영상에 포함되는 하나의 픽셀 값을 계산하기 위해 이용되는 제1 영상에 포함되는 픽셀들의 개수와 동일하다. 도 6에서는, 제1 영상에 포함되는 4개의 픽셀 값들을 이용하여, 제2 영상의 하나의 픽셀 값을 계산하는 경우를 도시한다.
일 실시예에 따른 변환 특징 정보들(630)은, 4개의 변환 특징 정보들(제1 변환 특징 정보(Xk-1), 제2 변환 특징 정보(Xk), 제3 변환 특징 정보(Xk+1) 및 제4 변환 특징 정보(Xk+2))을 포함할 수 있다. 변환 특징 정보들(630)을 생성하는 방법에 대해서는 도 7을 참조하여, 자세히 설명하기로 한다.
도 7은, 일 실시예에 따른, 변환 특징 정보들을 생성하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 제1 영상(610)과 제2 영상(620)을 동일한 크기로 가정하고, 제1 영상(610)에 포함되는 인접하는 픽셀들의 거리를 1로 하면, 제1 영상의 픽셀들의 위치는 정수로 표현되고, 제2 영상의 픽셀들의 위치는 실수로 표현될 수 있다. 예를 들어, 제1 영상(610)의 픽셀들은, xi(i=0, 1, 2, 3,.., n)으로 표현될 수 있으며, 인덱스 i는 해당 픽셀의 좌표 값(위치)을 나타낼 수 있다. 제2 영상의 픽셀들은, yj(j = j0, j1, j2,..., jm, j는 실수)로 표현될 수 있으며, j는 해당 픽셀의 좌표 값(위치)을 나타낼 수 있다. 또한, 제1 영상에 포함되는 픽셀 값은 xi= x0, x1, x2,..., xn으로 나타낼 수 있으며, 제2 영상에 포함되는 픽셀 값은 yj=yj0, yj1, yj2,..., yjm으로 나타낼 수 있다.
일 실시 예에 의한 변환 특징 정보들(630)은, 제2 영상(620)과 동일한 크기를 가지도록 생성될 수 있다. 예를 들어, 제2 영상의 크기가 W X H이면, 변환 특징 정보들의 크기도 W x H일 수 있다.
일 실시 예에 의한 변환 특징 정보들(630) 각각에 포함되는 샘플 값들은, 샘플들 각각에 대응하는 제2 영상(620)의 픽셀의 위치(인덱스)에 기초하여 결정될 수 있다. 예를 들어, 제2 영상(620)의 제1 픽셀(740)은 인덱스 j0 값을 가지며, j0에 버림 연산을 수행한 값 k0를 결정할 수 있다. 따라서, 제1 픽셀(740)에 대응하는 위치의 샘플 값들(S11, S21, S31, S41)은, k0 값에 기초하여 결정된다.
또한, 일 실시 예에 의한 변환 특징 정보(630) 각각에 포함되는 샘플 값들은, 상기 결정된 k0에 더해, 제1 영상(610)의 각 영역별 특징에 기초하여, 결정된 적어도 하나의 오프셋 값(dk0-1, dk0, dk0+1, dk0+2)에 따라, 제1 픽셀(740)에 대응하는 위치의 샘플 값들(S11, S21, S31, S41)이 결정될 수 있다.
일 실시 예에 의한 오프셋 값은, 제1 영상(610)의 각 픽셀에 대하여, 제2 영상(620)의 하나의 픽셀이 생성되는데 이용되는 제1 영상(610)의 픽셀 개수만큼, 결정될 수 있다. 예를 들어, 제2 영상(620)에서 하나의 픽셀이 생성되는데, 4개의 제1 영상(610)의 서로 다른 픽셀이 이용되는 경우, 제1 영상(610)의 각각의 픽셀에 대해, 4개의 오프셋 값이 각각 결정될 수 있다.
일 실시 예에 의한 오프셋 값은, 오프셋 값을 결정하기 위하여 미리 학습된 제1 커널과, 제1 영상(610)간 컨볼루션 연산이 수행된 결과에 따라서, 결정될 수 있다. 일 실시 예에 의한 제1 커널은, 제1 커널을 이용하여 제1 영상(610)이 스케일링됨으로써 생성된 제2 영상(620)과, 정답으로 설정된 제2 영상 간의 차이가 최소화되도록, 미리 학습될 수 있다.
일 실시 예에 의한 컨볼루션 연산에 의하면, 제1 영상(610)의 영역별로 특징 정보에 대응한 값들이 추출될 수 있다. 따라서, 일 실시 예에 의하면, 제1 영상(610)과 미리 학습된 제1 커널 간 컨볼루션 연산이 수행됨으로써, 제1 영상(610)의 각 영역별 특징에 따라 다르게 결정된 오프셋 값이, 제1 영상의 각각의 픽셀에 대하여 결정될 수 있다.
일 실시 예에 의하면, k0 값에 오프셋 값이 더해진 값을 제1 영상(610) 픽셀에 대한 인덱스 값으로 결정함으로써, 제1 픽셀(740)에 대응하는 위치의 샘플 값들(S11, S21, S31, S41)이 결정될 수 있다.
예를 들어, 제1 변환 특징 정보(731)의 제1 샘플 값(S11)은, k0-1+dk0-1를 인덱스로 가지는 제1 영상의 픽셀 값(
Figure 112020044831916-pat00012
)으로 결정되고, 제2 변환 특징 정보(732)의 제2 샘플 값(S21)은 k0+dk0을 인덱스로 가지는 제1 영상의 픽셀 값(
Figure 112020044831916-pat00013
)으로 결정되며, 제3 변환 특징 정보(733)의 제3 샘플 값(S31)은 k0+1+ dk0+1을 인덱스로 가지는 제1 영상의 픽셀 값(
Figure 112020044831916-pat00014
)으로 결정되고, 제4 변환 특징 정보(734)의 제4 샘플 값(S41)은 k0+2+dk0+2를 인덱스로 가지는 제1 영상의 픽셀 값(
Figure 112020044831916-pat00015
)으로 결정된다.
일 실시 예에 따라 오프셋 값이 적용된 인덱스 값이, 정수값이 아닌 경우, 샘플 값은, 상기 인덱스 값을 정수 값으로 올림한 값 및 내림한 값과 각각 대응되는 제1 영상의 픽셀 값들에, 상기 인덱스 값의 소수점 이하의 값에 따라서, 가중치가 적용된 값들의 합으로 결정될 수 있다.
예를 들어, 오프셋 값이 적용된 인덱스 값이 2.3인 경우, 2.3을 정수 값으로 올림 및 내림한 값인, 2와 3을 인덱스 값으로 가지는 제1 영상의 픽셀 값들인, x(2) 및 x(3)의 픽셀 값에 기초하여, 샘플 값이 결정될 수 있다. 또한, 2.3의 소수점 이하의 값이 0.3이므로, 인덱스 2 및 3의 픽셀 값 중 인덱스 2의 픽셀값에 더 가까운 값으로 샘플값이 결정됨이 바람직하다. 따라서, x(2) 및 x(3)의 픽셀 값에 각각 0.7 및 0.3을 곱하여 더한 값, 즉, x(2)*0.7+x(3)*0.3 값이 샘플값으로 결정될 수 있다.
따라서, 일 실시 예에 의한 전자 장치(1000)는, 제2 영상(620)의 제1 픽셀(740)에 대응하는 위치의, 제1 영상(610)의 기준 픽셀의 인덱스 k0 값을 결정한 후, 상기 기준 픽셀(k0)에 대한 오프셋 값(dk0-1, dk0, dk0+1, dk0+2)에 따라서, 제1 픽셀(740)에 대응하는 위치의 샘플 값들(S11, S21, S31, S41)을 결정할 수 있다.
일 실시 예에 따라 오프셋 값이 적용되기 전, 각각 샘플 값으로 결정되는 제1 영상의 픽셀 값들은, 각각 1 픽셀의 일정한 간격으로 위치한 픽셀들의 값으로 결정될 수 있다. 그러나, 오프셋 값이 적용된 인덱스 값에 따라서, 샘플 값으로 결정되는 제1 영상의 픽셀 값들은, 다양한 간격으로 위치한 픽셀들의 값으로 결정될 수 있다.
예를 들어, 제1 영상(610)의 영역들 중, 고주파수 영역(ex. 엣지, 경계선)에 포함된 픽셀값에 대한 오프셋 값들은, 제2 영상(620)의 하나의 픽셀을 생성하는데 이용되는, 제1 영상(610)의 픽셀들 간 간격이 상대적으로 좁아지도록 결정될 수 있다. 따라서, 일 실시 예에 의하면, 좁은 영역에 위치한 제1 영상(610)의 픽셀 값들에 기초하여, 제2 영상(620)의 픽셀들이 생성됨에 따라, 제2 영상(620)의 고주파수 영역에서, 블록화되거나, 라인 영역이 흐릿해지는 에러가 최소화될 수 있다.
반면, 제1 영상(610)의 영역들 중, 저주파수 영역(ex. 배경, 단색면)에 포함된 픽셀값에 대한 오프셋 값들은, 제2 영상(620)의 하나의 픽셀을 생성하는데 이용되는, 제1 영상(610)의 픽셀들 간 간격이 상대적으로 넓어지도록 결정될 수 있다.
전자 장치(1000)는, 이와 동일한 방식으로, 제2 영상(620)과 동일한 크기를 가지는 제1 내지 제4 변환 특징 정보들(731, 732, 733, 734)를 획득할 수 있다.
다시 도 6을 참조하면, 영상 처리 장치(100)는 제1 내지 제4 변환 특징 정보들(630)에 uj 3, uj 2, uj 1, uj 0을 각각 곱하여, 위치 변환 특징 정보들(640)을 생성할 수 있다.
또한, 전자 장치(1000)는 위치 변환 특징 정보들(640)과 스케일링 커널(650)의 컨볼루션 연산을 수행함으로써, 제1 영상(610)이 비-정수 배 업 스케일된 제2 영상(620)을 획득할 수 있다. 또한, 일 실시 예에 의한 스케일링 커널에 포함되는 가중치들의 개수는, 제2 영상에 포함되는 하나의 픽셀 값을 계산하기 위해 이용되는 제1 영상에 포함되는 픽셀들의 개수 n에 기초하여 결정될 수 있다.
일 실시 예에 의하면, 제1 영상(610)의 각 픽셀에 대해 오프셋 값이 결정되는 경우와 동일하게, 제1 영상(610)의 각 픽셀에 대한, 보상 가중치 값들이 결정될 수 있다. 일 실시 예에 의하면, 제1 영상(610)의 각 픽셀마다 결정된 오프셋 값들의 수와 동일한 개수의 보상 가중치 값들이 결정될 수 있고, 보상 가중치 값들은 스케일링 커널(650)에 포함된 가중치 값들에 적용될 수 있다.
일 실시 예에 의한 보상 가중치 값들은, 미리 학습된 스케일링 커널(650)이, 일 실시 예에 의한 오프셋 값이 이용되지 않은 상태에서 학습된 커널인 점을 고려하여, 스케일링 커널(650)을 보정하기 위한 값이다.
일 실시 예에 의한 보상 가중치 값들(wk0-1, wk0, wk0+1, wk0+2)은, 오프셋 값과 동일하게, 제1 영상(610)의 각 영역별 특징에 기초하여, 제1 영상(610)의 각 픽셀에 대해, 제2 영상(620)의 하나의 픽셀이 생성되는데 이용되는 제1 영상(610)의 픽셀 개수만큼, 결정될 수 있다. 예를 들어, 제2 영상(620)에서 하나의 픽셀이 생성되는데, 4개의 제1 영상(610)의 서로 다른 픽셀이 이용되는 경우, 제1 영상(610)의 각각의 픽셀에 대해, 4개의 보상 가중치 값들이 각각 결정될 수 있다.
일 실시 예에 의한 보상 가중치 값은, 보상 가중치 값을 결정하기 위하여 미리 학습된 제2 커널과, 제1 영상(610)간 컨볼루션 연산이 수행된 결과에 따라서, 결정될 수 있다. 일 실시 예에 의한 제2 커널은, 제1 커널과 함께 제2 커널을 이용하여, 제1 영상(610)이 스케일링됨으로써 생성된 제2 영상(620)과, 정답으로 설정된 제2 영상 간의 차이가 최소화되도록, 미리 학습될 수 있다.
또한, 일 실시 예에 의한 보상 가중치 값은, 제1 영상(610)과 컨볼루션 연산이 수행되는 대신, 제1 커널에 의해 획득된 오프셋 값과 컨볼루션 연산이 수행되는, 제3 커널에 기초하여 결정될 수도 있다. 예를 들면, 보상 가중치 값은, 보상 가중치 값을 결정하기 위하여 미리 학습된 제3 커널과, 오프셋 값들 간 컨볼루션 연산이 수행된 결과에 따라서, 결정될 수 있다. 일 실시 예에 의한 제3 커널은, 제2 커널과 마찬가지로, 제1 커널과 함께 제3 커널을 이용하여, 제1 영상(610)이 스케일링됨으로써 생성된 제2 영상(620)과, 정답으로 설정된 제2 영상 간의 차이가 최소화되도록, 미리 학습될 수 있다.
일 실시 예에 의한 컨볼루션 연산에 의하면, 제1 영상(610)의 영역별로 특징 정보에 대응한 값들이 추출될 수 있다. 따라서, 일 실시 예에 의하면, 제1 영상(610)과 미리 학습된 제2 커널 간 컨볼루션 연산이 수행됨으로써, 제1 영상(610)의 각 영역별 특징에 따라 다르게 결정된 보상 가중치 값이, 제1 영상의 각각의 픽셀에 대하여 결정될 수 있다. 제3 커널이 이용되는 경우도, 제1 영상(610)의 컨볼루션 연산으로 획득된 오프셋 값과, 컨볼루션 연산이 수행되므로, 제1 영상(610)의 각 영역별 특징에 따라 다르게 결정된 보상 가중치 값이, 제1 영상의 각각의 픽셀에 대하여 결정될 수 있다.
일 실시 예에 의하면, 스케일링 커널(650)의 가중치 값들에 보상 가중치 값들이 적용된 후, 위치 변환 특징 정보들(640)과 스케일링 커널(650)의 컨볼루션 연산이 수행될 수 있다.
예를 들어, 제1 영상(610)에, 도 6의 디컨볼루션 연산이 수행되어 업 스케일된 제2 영상(620)의 픽셀 yj0의 값은, 다음의 수학식 5와 같이 나타낼 수 있다.
Figure 112020044831916-pat00016
도 8은 일 실시 예에 의한 제1 영상(610)을 스케일링하여 제2 영상(620)을 생성하는 일 예를 나타낸 블록도이다.
도 8을 참조하면, 전자 장치(1000)는, 스케일링 처리부(810)에서, 제1 영상(610)을 스케일링하여, 제2 영상(620)을 생성할 수 있다.
일 실시 예에 의한 스케일링 처리부(810)는, 오프셋 획득부(811), 인덱스 결정부(812), 보상 가중치 획득부(813) 및 컨볼루션 연산부(814)를 포함하여, 제1 영상(610)이 스케일링된 제2 영상(620)을 생성할 수 있다.
일 실시 예에 의한 오프셋 획득부(811)는, 제1 영상(610)의 각 픽셀에 대하여, 제2 영상(620)의 하나의 픽셀이 생성되는데 이용되는 제1 영상(610)의 픽셀 개수만큼의 오프셋 값들을 결정할 수 있다. 일 실시 예에 의한 오프셋 획득부(811)는, 오프셋 값을 결정하기 위하여 미리 학습된 제1 커널과, 제1 영상(610)간 컨볼루션 연산이 수행된 결과에 따라서, 제1 영상의 각 픽셀에 대한 오프셋 값을 획득할 수 있다.
일 실시 예에 의한 인덱스 결정부(812)는, 제2 영상(610)의 제1 픽셀(740)과 대응되는 제1 영상(610)의 기준 픽셀의 인덱스 값(즉, 제1 픽셀(740)의 인덱스 값을 버림한 값)이 k0 인 경우, 오프셋 값들(dk0-1, dk0, dk0+1, dk0+2)을 상기 인덱스에 적용(ex. 인덱스 값에 오프셋 값을 더함)함으로써, 변환 특징 정보(630) 각각에 포함되는 샘플 값들을 결정하기 위한, 제1 영상(610)의 픽셀들에 대한 인덱스 값을 결정할 수 있다. 예를 들어, 제1 변환 특징 정보(731)에 대한 제1 샘플 값(S11)은, k0-1+dk0-1를 인덱스로 가지는 제1 영상(610)의 픽셀 값으로 결정될 수 있다. 일 실시 예에 의하면, 인덱스 값이 정수가 아닌 실수값인 경우에는, 제1 영상(610)의 복수 개의 픽셀 값들 간 가중치 합으로 샘플값이 결정될 수 있다.
따라서, 일 실시 예에 의한 제2 영상(620)에 대한 하나의 픽셀을 생성하기 위한, 샘플 값들에 대응하는, 제1 영상(610)의 픽셀들의 간격은, 제1 영상(610)의 영역 특성(ex. 주파수 특성)에 따라 결정된 오프셋 값에 따라서, 적응적으로 결정될 수 있다.
일 실시 예에 의한 보상 가중치 획득부(813)는, 오프셋 값과 동일하게, 제1 영상(610)의 각 영역별 특징에 기초하여, 제1 영상(610)의 각 픽셀에 대해, 제2 영상(620)의 하나의 픽셀이 생성되는데 이용되는 제1 영상(610)의 픽셀 개수만큼, 보상 가중치 값들을 결정할 수 있다.
일 실시 예에 의한 보상 가중치 획득부(813)는, 보상 가중치 값을 결정하기 위하여 미리 학습된 제2 커널과, 제1 영상(610)간 컨볼루션 연산이 수행된 결과에 따라서, 보상 가중치 값을 획득할 수 있다.
또한, 일 실시 예에 의한 보상 가중치 획득부(813)는, 제2 커널 대신, 보상 가중치 값을 결정하기 위하여 미리 학습된 제3 커널과, 제1 커널에 의해 획득된 오프셋 값들 간 컨볼루션 연산이 수행된 결과에 따라서, 보상 가중치 값을 획득할 수도 있다.
일 실시 예에 따라 획득된 보상 가중치 값은, 스케일링 커널(650)의 가중치 값들에 보상 가중치 값들이 적용된 후, 컨볼루션 연산부(814)에 의해, 위치 변환 특징 정보들(640)과 스케일링 커널(650)의 컨볼루션 연산이 수행될 수 있다.
도 9는 일 실시 예에 의한 제1 커널 및 제2 커널에 기초하여, 오프셋 및 보상 가중치를 획득하는 일 예를 나타낸 도면이다.
일 실시 예에 의하면, 제1 영상(610)의 픽셀 중 인덱스 i의 픽셀(xi)에 대해, 제1 커널과의 컨볼루션 연산(910)이 수행됨으로써, 픽셀(xi)와 대응되는 오프셋 값들(di-1, di, di+1, di+2)이 획득될 수 있다.
일 실시 예에 의한 제1 커널은, 제1 영상(610)의 각 픽셀에 대한 오프셋 값들을 획득하기 위하여 미리 학습된 값들을 포함하는 3x3 크기의 행렬로 구성될 수 있다. 일 실시 예에 의한 제1 커널은, 픽셀(xi)가 속한 영역의 특징(ex. 고주파수 영역 또는 저주파수 영역)에 기초하여, 적합한 오프셋 값들이 출력될 수 있도록, 미리 학습될 수 있다.
일 실시 예에 따라 획득된 오프셋 값에 따라서, 제2 영상(620)의 픽셀 y의 인덱스 값을 버림한 값이 i으로 획득됨에 따라, 픽셀 y에 대한 제1 영상(610)의 기준 픽셀이 xi 인 경우, 픽셀 y을 생성하기 위해 이용되는 제1 영상(610)의 픽셀들의 인덱스 값은, i-1, i, i+1,i+2가 아닌, 오프셋 값들로 위치가 조정된, i-1+di-1, i+di, i+1+di+1,i+2+di+2 으로 결정될 수 있다.
따라서, 위치 간격이 1픽셀로 일정한, i-1, i, i+1,i+2 대신, 제1 영상(610)의 영역별 특성(ex. 주파수 특성)에 따라서, 적응적으로 결정된 오프셋 값으로 위치가 조정된 제1 영상(610)의 픽셀 값들에 기초하여 제2 영상(620)의 픽셀 값이 생성될 수 있다.
일 실시 예에 의하면, 제1 영상(610)의 픽셀 중 인덱스 i의 픽셀(xi)에 대해, 제2 커널과의 컨볼루션 연산(920)이 수행됨으로써, 픽셀(xi)와 대응되는 보상 가중치 값들(wi-1, wi, wi+1, wi+2)이 획득될 수 있다.
일 실시 예에 의한 제2 커널은, 제1 영상(610)의 각 픽셀에 대한 보상 가중치 값들을 획득하기 위하여 미리 학습된 값들을 포함하는 3x3 크기의 행렬로 구성될 수 있다. 일 실시 예에 의한 제2 커널은, 픽셀(xi)가 속한 영역의 특징(ex. 고주파수 영역 또는 저주파수 영역)에 기초하여, 적합한 보상 가중치 값들이 출력될 수 있도록, 미리 학습될 수 있다.
일 실시 예에 의한 제2 커널에 기초하여 획득된 보상 가중치 값들은, 제2 영상(620)의 픽셀 y를 획득하는데 이용되는, 스케일링 커널(940)의 가중치 값들에 적용될 수 있다. 일 실시 예에 의하면, 상술한 수학식 5와 같이, 각각 오프셋 값이 적용된 제1 영상(610)의 픽셀들과 대응되는 구성 요소에 보상 가중치 값들이 적용(930)될 수 있다.
도 10은 일 실시 예에 의한 제1 커널 및 제3 커널에 기초하여, 오프셋 및 보상 가중치를 획득하는 일 예를 나타낸 도면이다.
일 실시 예에 의하면, 도 9에 도시된 예와 동일하게, 제1 영상(610)의 픽셀 중 인덱스 i의 픽셀(xi)에 대해, 제1 커널과의 컨볼루션 연산(1010)이 수행됨으로써, 픽셀(xi)와 대응되는 오프셋 값들(di-1, di, di+1, di+2)이 획득될 수 있다.
또한, 일 실시 예에 의하면, 제1 커널과의 컨볼루션 연산(1010)의 결과인, 오프셋 값들(di-1, di, di+1, di+2)과, 제3 커널과의 컨볼루션 연산(1020)이 수행됨으로써, 픽셀(xi)와 대응되는 보상 가중치 값들(w'i-1, w'i, w'i+1, w'i+2)이 획득될 수 있다.
일 실시 예에 의한 제3 커널은, 오프셋 값들(di-1, di, di+1, di+2)과의 컨볼루션 연산을 통해, 제1 영상(610)의 각 픽셀에 대한 보상 가중치 값들을 획득하기 위하여, 미리 학습된 값들을 포함하는 3x3 크기의 행렬로 구성될 수 있다. 일 실시 예에 의한 제3 커널은, 픽셀(xi)가 속한 영역의 특징(ex. 고주파수 영역 또는 저주파수 영역)이 이미 고려된 오프셋 값들(di-1, di, di+1, di+2)에 기초하여, 적합한 보상 가중치 값들이 출력될 수 있도록, 미리 학습될 수 있다.
일 실시 예에 따른, 도 9의 제2 커널에 따른 컨볼루션 연산(920)에 기초하여 획득된 보상 가중치 값들(wi-1, wi, wi+1, wi+2) 및 제3 커널에 따른 컨볼루션 연산(1020)에 기초하여 획득된 보상 가중치 값들(w'i-1, w'i, w'i+1, w'i+2)은 서로 대응될 수 있다. 일 실시 예에 의한 제2 커널 및 제3 커널은, 제1 영상(610)을 스케일링하여, 최적의 제2 영상(620)이 생성될 수 있도록, 각각 다르게 학습된 커널이므로, 보상 가중치 값들(wi-1, wi, wi+1, wi+2)과 보상 가중치 값들(w'i-1, w'i, w'i+1, w'i+2)은, 실질적으로 동일한 값일 수 있다. 상술한 예에 한하지 않고, 스케일링 커널(1040)의 각 가중치에 적용될 수 있는, 보상 가중치 값들은, 다양한 방법에 따라 학습된 커널에 기초하여 획득될 수 있다.
일 실시 예에 의한 제3 커널에 기초하여 획득된 보상 가중치 값들은, 제2 영상(620)의 픽셀 y를 획득하는데 이용되는, 스케일링 커널(1040)의 가중치 값들에 적용될 수 있다. 일 실시 예에 의하면, 상술한 수학식 5와 같이, 각각 오프셋 값이 적용된 제1 영상(610)의 픽셀들과 대응되는 구성 요소에 보상 가중치 값들이 적용(1030)될 수 있다.
도 11은 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 설명하기 위한 블록도이다.
도 12는 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 설명하기 위한 블록도이다.
도 11을 참조하면, 전자 장치(1000)는, 프로세서(1300), 및 메모리(1700)을 포함할 수 있다. 그러나, 도 11에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 11에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
예를 들면, 전자 장치(1000)는 도 12에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 제어부(1300) 및 메모리(1700) 이외에 사용자 입력부(1100), 센싱부(1400), A/V 입력부(1600), 통신부(1500) 및 출력부(1200)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 사용자 입력부(1100)는, 제1 영상을 스케일링하여 제2 영상을 생성하기 위한 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 일 실시 예에 의하면, 디스플레이부(1210)는 제1 영상을 스케일링하여 생성된 제2 영상을 표시할 수 있다.
한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1000)의 구현 형태에 따라 전자 장치(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 진동 모터(1230)는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
일 실시 예에 의하면, 음향 출력부(1220) 및 진동 모터(1230)는 영상이 스케일링된 결과와 관련된 정보를 출력할 수 있다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
전자 장치(1000)는 적어도 하나의 프로세서(1300)를 포함할 수 있다. 예를 들면, 전자 장치(1000)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), NPU(Neural Processing Unit) 등의 다양한 종류의 프로세서를 포함할 수 있다.
프로세서(1300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(1700)로부터 프로세서(1300)에 제공되거나, 통신부(1500)를 통해 수신되어 프로세서(1300)로 제공될 수 있다. 예를 들면 프로세서(1300)는 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 명령을 실행하도록 구성될 수 있다.
일 실시 예에 의한 프로세서(1300)는 제1 영상 및 제2 영상 간의 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행함으로써, 제1 영상이 스케일링된 영상인, 제2 영상을 생성할 수 있다. 일 실시 예에 의한 위치 변환 특징 정보는, 제1 영상에 포함된 픽셀들의 값과, 제1 영상의 픽셀들과 제2 영상의 픽셀들 간의 상대적인 위치 관계에 기초하여 획득될 수 있다. 또한, 일 실시 예에 의한 상대적인 위치 관계는, 제1 영상의 각 영역별 특징에 기초하여 결정될 수 있다. 예를 들면, 상대적인 위치 관계는, 제1 영상의 적어도 하나의 픽셀과, 제1 커널과의 컨볼루션 연산이 수행된 결과에 기초하여 획득될 수 있다.
일 실시 예에 의하면, 제1 영상의 각 영역별 특징에 기초하여, 제2 영상에 포함되는 하나의 픽셀의 위치에 대한 제1 영상에 포함되는 n개의 픽셀들이 식별됨으로써, 상대적인 위치 관계가 결정될 수 있다. 일 실시 예에 의하면, 제2 영상의 하나의 픽셀을 획득하기 위해, 상기 n개의 픽셀들이 이용될 수 있다.
일 실시 예에 의한, 프로세서(1300)는 제2 영상의 하나의 픽셀이 나타내는 인덱스 값에 버림 연산을 수행하여, kj(kj=정수)를 결정하고, 제1 영상의 각 영역별 특징에 기초하여, 상기 kj 에 대응하는 n개의 오프셋 값을 획득할 수 있다. 일 실시 예에 의한 n개의 오프셋 값은, 상기 kj 에 대응하는 제1 영상의 픽셀을 포함한, 제1 영상의 적어도 하나의 픽셀과 제1 커널과의 컨볼루션 연산에 기초하여 획득될 수 있다.
또한, 프로세서(1300)는 n개의 오프셋 값에 기초하여, 상기 하나의 픽셀을 획득하기 위한, n개의 픽셀들을 식별할 수 있다. 예를 들면, kj에 기초하여 결정된 n개의 인덱스 값(ex. kj-1, kj, kj+1, kj+2)에, 각각 대응되는 n개의 오프셋 값을 더한 값을 인덱스로 하는, n개의 픽셀들이 식별될 수 있다.
일 실시 예에 의한 상대적인 위치 관계가, 제1 영상의 각 영역별 특징에 따라 결정된 오프셋 값에 기초하여 결정됨에 따라서, 스케일링 커널도, 제1 영상의 각 영역별 특징에 기초하여 획득된 보상 가중치 값에 따라 보정될 수 있다. 일 실시 예에 의한 스케일링 커널이, 상기 오프셋 값을 고려하지 않은 상태에서 학습된 커널이므로, 보상 가중치 값에 따라 보정된 후, 제2 영상 생성을 위해, 이용될 수 있다.
일 실시 예에 의한 보상 가중치 값은, 제1 영상의 적어도 하나의 픽셀 및 제2 커널과의 컨볼루션 연산이 수행된 결과에 따라 결정되거나, 상술한 제1 커널의 컨볼루션 연산 결과와, 제3 커널과의 컨볼루션 연산이 수행된 결과에 따라 결정될 수 있다.
일 실시 예에 의한 프로세서(1300)는, 제1 영상의 각 영역별 특징에 기초하여, 스케일링 커널에 포함된 각각의 가중치 값들에 적용될 적어도 하나의 보상 가중치 값을 결정할 수 있다. 예를 들면, 보상 가중치 값은, 제2 커널 또는 제3 커널에 의한 컨볼루션 연산 결과에 따라 획득될 수 있다. 또한, 프로세서(1300)는 적어도 하나의 보상 가중치 값을 스케일링 커널의 적어도 하나의 가중치 값에 적용시킨 후, 적어도 하나의 보상 가중치 값이 적용된 스케일링 커널에 기초하여, 제1 영상이 스케일링된 제2 영상을 생성할 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Geomagnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(1500)는, 전자 장치(1000)가 서버(2000) 또는 외부 장치(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시 예에 의한, 통신부(1500)는 영상을 스케일링하는데 필요한 데이터를 송수신할 수 있다. 예를 들면, 통신부(1500)는, 스케일링을 위한 제1 영상을 외부로부터 수신하거나, 제1 영상이 스케일링된 결과 생성된 제2 영상을 외부로 전송할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
일 실시 예에 의한 메모리(1700)는 제1 영상을 스케일링하여 제2 영상을 생성하는데 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리(1700)는, 제1 영상과, 컨볼루션 연산을 통해 제2 영상을 생성하는데 필요한, 커널들(ex. 스케일링 커널, 제1 커널, 제2 커널, 제3 커널)을 저장할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다.
도 13은 일 실시 예에 의한 영상을 스케일링하는 방법을 나타낸 순서도이다.
도 13을 참조하면, 단계 1310에서, 전자 장치(1000)는, 제1 영상의 각 영역별 특징에 기초하여, 제1 영상에 포함된 픽셀들과 제2 영상에 포함된 픽셀들의 상대적인 위치 관계를 결정할 수 있다. 일 실시 예에 의한 제1 영상의 각 영역별 특징은, 예를 들면, 각 영역별 주파수 특성을 포함할 수 있다. 일 실시 예에 의한 상대적인 위치 관계는, 제1 영상의 각 영역별 특징에 기초하여 결정될 수 있다. 예를 들면, 상대적인 위치 관계는, 제1 영상의 적어도 하나의 픽셀과, 제1 커널과의 컨볼루션 연산이 수행된 결과에 기초하여 획득될 수 있다.
일 실시 예에 의하면, 제1 영상의 각 영역별 특징(ex. 주파수 특성)에 기초하여, 제2 영상에 포함되는 하나의 픽셀의 위치에 대한 제1 영상에 포함되는 n개의 픽셀들이 식별됨으로써, 상대적인 위치 관계가 결정될 수 있다. 일 실시 예에 의하면, 제2 영상의 하나의 픽셀을 획득하기 위해, 상기 n개의 픽셀들이 이용될 수 있다.
일 실시 예에 의한, 전자 장치(1000)는 제2 영상의 하나의 픽셀이 나타내는 인덱스 값에 버림 연산을 수행하여, kj(kj=정수)를 결정하고, 제1 영상의 각 영역별 특징에 기초하여, 상기 kj 에 대응하는 n개의 오프셋 값을 획득할 수 있다. 일 실시 예에 의한 n개의 오프셋 값은, 상기 kj 에 대응하는 제1 영상의 픽셀을 포함한, 제1 영상의 적어도 하나의 픽셀과 제1 커널과의 컨볼루션 연산에 기초하여 획득될 수 있다.
또한, 전자 장치(1000)는 n개의 오프셋 값에 기초하여, 상기 하나의 픽셀을 획득하기 위한, n개의 픽셀들을 식별할 수 있다. 예를 들면, kj에 기초하여 결정된 n개의 인덱스 값(ex. kj-1, kj, kj+1, kj+2)에, 각각 대응되는 n개의 오프셋 값을 더한 값을 인덱스로 하는, n개의 픽셀들이 식별될 수 있다.
단계 1320에서, 전자 장치(1000)는 상대적인 위치 관계 및 제1 영상에 포함된 픽셀들의 값에 기초하여, 위치 변환 특징 정보를 획득할 수 있다. 일 실시 예에 의한 위치 변환 특징 정보는, 제2 영상의 각 픽셀을 생성하는데 이용되는 샘플값들을 포함할 수 있다.
일 실시 예에 의한 샘플값은, 단계 1310에서 결정된 상대적인 위치 관계에 따라, 제2 영상의 각 픽셀과 대응되는 제1 영상의 인덱스 값의 픽셀 값에 따라서 결정될 수 있다. 일 실시 예에 의한 제1 영상의 인덱스 값은, 오프셋 값이 더해짐에 따라서, 정수가 아닌 실수값으로 결정될 수 있다. 이 경우, 샘플값은, 인덱스 값의 소수점 이하의 값에 따라 가중치가 적용된 제1 영상의 픽셀 값들의 합으로 결정될 수 있다.
단계 1330에서, 전자 장치(1000)는 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행하여, 제1 영상을 스케일링한 제2 영상을 생성할 수 있다.
일 실시 예에 의하면 상대적인 위치 관계가, 제1 영상의 각 영역별 특징에 따라 결정된 오프셋 값에 기초하여 결정됨에 따라서, 스케일링 커널도, 제1 영상의 각 영역별 특징에 기초하여 획득된 보상 가중치 값에 따라 보정된 후에, 위치 변환 특징 정보와의 컨볼루션 연산이 수행될 수 있다.
일 실시 예에 의한 보상 가중치 값은, 제1 영상의 적어도 하나의 픽셀 및 제2 커널과의 컨볼루션 연산이 수행된 결과에 따라 결정되거나, 상술한 제1 커널의 컨볼루션 연산 결과와, 제3 커널과의 컨볼루션 연산이 수행된 결과에 따라 결정될 수 있다.
일 실시 예에 의한 전자 장치(1000)는 제1 영상의 각 영역별 특징(ex. 주파수 특성)에 기초하여, 스케일링 커널에 포함된 각각의 가중치 값들에 적용될 적어도 하나의 보상 가중치 값을 결정할 수 있다. 예를 들면, 보상 가중치 값은, 제2 커널 또는 제3 커널에 의한 컨볼루션 연산 결과에 따라 획득될 수 있다. 또한, 프로세서(1300)는 적어도 하나의 보상 가중치 값을 스케일링 커널의 적어도 하나의 가중치 값에 적용시킨 후, 적어도 하나의 보상 가중치 값이 적용된 스케일링 커널에 기초하여, 제1 영상이 스케일링된 제2 영상을 생성할 수 있다.
일 실시 예에 의하면 입력 영상의 각 영역별 특징을 고려하여, 출력 영상의 제1 픽셀을 생성하는데 적합한, 입력 영상의 픽셀들이 결정될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 전자 장치에서 제1 영상을 스케일링하여 제2 영상을 생성하는 방법에 있어서,
    상기 제2 영상의 제1 픽셀을 생성하기 위한 상기 제1 영상의 기준 픽셀을 획득하는 단계;
    상기 제1 영상의 기준 픽셀과 제1 커널과의 컨볼루션 연산에 기초하여, 상기 기준 픽셀에 대응되는 복수의 오프셋 값들을 획득하는 단계;
    상기 제1 영상의 기준 픽셀 및 상기 복수의 오프셋 값들에 기초하여, 상기 제2 영상의 제1 픽셀을 생성하기 위한 상기 제1 영상의 복수의 픽셀들을 결정하는 단계;
    상기 제1 영상의 복수의 픽셀들에 기초하여, 위치 변환 특징 정보를 획득하는 단계; 및
    상기 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행함으로써, 상기 제1 영상을 스케일링한 제2 영상을 생성하는 단계를 포함하고,
    상기 제1 커널은 제1 영상의 영역별 특징을 추출하기 위하여 학습된 것을 특징으로 하는, 방법.
  2. 제1항에 있어서, 상기 제1 영상의 영역별 특징은,
    상기 제1 영상의 영역별 주파수 특성을 포함하는, 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 스케일링 커널의 각각의 가중치 값들에 적용될 적어도 하나의 보상 가중치 값은
    상기 복수의 오프셋 값들과 제3 커널과의 컨볼루션 연산이 수행된 결과에 기초하여, 결정되는, 방법.
  5. 제1항에 있어서,
    상기 제1 영상의 각 영역별 특징에 기초하여, 상기 스케일링 커널에 포함된 각각의 가중치 값들에 적용될 적어도 하나의 보상 가중치 값을 결정하는 단계; 및
    상기 적어도 하나의 보상 가중치 값을 상기 스케일링 커널의 적어도 하나의 가중치 값에 적용시키는 단계를 더 포함하고,
    상기 적어도 하나의 보상 가중치 값이 적용된 상기 스케일링 커널에 기초하여, 상기 제2 영상이 생성되는, 방법.
  6. 제5항에 있어서, 상기 적어도 하나의 보상 가중치 값은
    상기 제1 영상의 적어도 하나의 픽셀과, 제2 커널과의 컨볼루션 연산이 수행된 결과에 기초하여, 결정되는, 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상을 동일한 크기로 가정하여, 상기 제1 영상에 포함되는 픽셀들의 위치를 인덱스 i(i= 정수)로 나타내고, 상기 제2 영상에 포함되는 픽셀들의 위치를 인덱스 j(j=실수)로 나타내며,
    상기 복수의 오프셋 값들을 획득하는 단계는
    상기 제2 영상의 제1 픽셀이 나타내는 인덱스 값에 버림 연산을 수행하여, kj(kj=정수)를 결정하고, 상기 제1 영상의 각 영역별 특징에 기초하여, 상기 kj 에 대응하는 상기 제1 영상의 기준 픽셀에 대한 복수의 오프셋 값들을 획득하는 단계를 포함하는, 방법.
  9. 제1 영상을 스케일링하여 제2 영상을 생성하는 전자 장치에 있어서,
    상기 제1 영상을 저장하는 메모리; 및
    상기 제2 영상의 제1 픽셀을 생성하기 위한 상기 제1 영상의 기준 픽셀을 획득하고,
    상기 제1 영상의 기준 픽셀과 제1 커널과의 컨볼루션 연산에 기초하여, 상기 기준 픽셀에 대응되는 복수의 오프셋 값들을 획득하고,
    상기 제1 영상의 기준 픽셀 및 상기 복수의 오프셋 값들에 기초하여, 상기 제2 영상의 제1 픽셀을 생성하기 위한 상기 제1 영상의 복수의 픽셀들을 결정하고,
    상기 제1 영상의 복수의 픽셀들에 기초하여, 위치 변환 특징 정보를 획득하고,
    상기 위치 변환 특징 정보와 스케일링 커널과의 컨볼루션 연산을 수행함으로써, 상기 제1 영상을 스케일링한 제2 영상을 생성하는 적어도 하나의 프로세서를 포함하고,
    상기 제1 커널은 제1 영상의 영역별 특징을 추출하기 위하여 학습된 것을 특징으로 하는, 전자 장치.
  10. 제9항에 있어서, 상기 제1 영상의 영역별 특징은,
    상기 제1 영상의 영역별 주파수 특성을 포함하는, 전자 장치.
  11. 삭제
  12. 제9항에 있어서, 상기 스케일링 커널의 각각의 가중치 값들에 적용될 적어도 하나의 보상 가중치 값은
    상기 복수의 오프셋 값들과 제3 커널과의 컨볼루션 연산이 수행된 결과에 기초하여, 결정되는, 전자 장치.
  13. 제9항에 있어서, 상기 적어도 하나의 프로세서는
    상기 제1 영상의 각 영역별 특징에 기초하여, 상기 스케일링 커널에 포함된 각각의 가중치 값들에 적용될 적어도 하나의 보상 가중치 값을 결정하고,
    상기 적어도 하나의 보상 가중치 값을 상기 스케일링 커널의 적어도 하나의 가중치 값에 적용시키고,
    상기 적어도 하나의 보상 가중치 값이 적용된 상기 스케일링 커널에 기초하여, 상기 제2 영상이 생성되는, 전자 장치.
  14. 제13항에 있어서, 상기 적어도 하나의 보상 가중치 값은
    상기 제1 영상의 적어도 하나의 픽셀과, 제2 커널과의 컨볼루션 연산이 수행된 결과에 기초하여, 결정되는, 전자 장치.
  15. 삭제
  16. 제9항에 있어서, 상기 제1 영상과 상기 제2 영상을 동일한 크기로 가정하여, 상기 제1 영상에 포함되는 픽셀들의 위치를 인덱스 i(i= 정수)로 나타내고, 상기 제2 영상에 포함되는 픽셀들의 위치를 인덱스 j(j=실수)로 나타내며,
    상기 적어도 하나의 프로세서는,
    상기 제2 영상의 제1 픽셀이 나타내는 인덱스 값에 버림 연산을 수행하여, kj(kj=정수)를 결정하고, 상기 제1 영상의 각 영역별 특징에 기초하여, 상기 kj 에 대응하는 상기 제1 영상의 기준 픽셀에 대한 복수의 오프셋 값들을 획득하는, 전자 장치.
  17. 제1항, 제2항, 제4항 내지 제6항 및 제8항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020200052905A 2020-04-29 2020-04-29 영상을 스케일링하는 전자 장치 및 그 동작 방법 KR102484386B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200052905A KR102484386B1 (ko) 2020-04-29 2020-04-29 영상을 스케일링하는 전자 장치 및 그 동작 방법
PCT/KR2020/015426 WO2021221250A1 (ko) 2020-04-29 2020-11-05 영상을 스케일링하는 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052905A KR102484386B1 (ko) 2020-04-29 2020-04-29 영상을 스케일링하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20210133802A KR20210133802A (ko) 2021-11-08
KR102484386B1 true KR102484386B1 (ko) 2023-01-03

Family

ID=78332067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052905A KR102484386B1 (ko) 2020-04-29 2020-04-29 영상을 스케일링하는 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102484386B1 (ko)
WO (1) WO2021221250A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522260B1 (ko) * 2015-01-27 2015-05-26 주식회사 칩스앤미디어 해상도 변환 방법 및 그 장치
JP2016139980A (ja) * 2015-01-28 2016-08-04 セイコーエプソン株式会社 画像処理装置、画像処理方法および表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101225056B1 (ko) * 2006-01-27 2013-01-23 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
KR20170087734A (ko) * 2016-01-21 2017-07-31 한국전자통신연구원 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법
KR102478606B1 (ko) * 2016-07-18 2022-12-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522260B1 (ko) * 2015-01-27 2015-05-26 주식회사 칩스앤미디어 해상도 변환 방법 및 그 장치
JP2016139980A (ja) * 2015-01-28 2016-08-04 セイコーエプソン株式会社 画像処理装置、画像処理方法および表示装置

Also Published As

Publication number Publication date
KR20210133802A (ko) 2021-11-08
WO2021221250A1 (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN108475171B (zh) 具有柔性显示器的电子设备以及用于操作电子设备的方法
CN110352446B (zh) 用于获得图像的方法和装置及其记录介质
CN107945163B (zh) 图像增强方法及装置
US10726585B2 (en) Method and electronic device for converting color of image
US9779522B2 (en) Method for processing information and electronic device
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
US20170309216A1 (en) Device and method for displaying content
EP3842989B1 (en) Method and electronic device for reading barcode
CN113168038B (zh) 一种显示图像的方法、装置
KR20110091301A (ko) 마우스 포인터 제어 장치 및 방법
CN111062981A (zh) 图像处理方法、装置及存储介质
US11106913B2 (en) Method and electronic device for providing object recognition result
CN110162956B (zh) 确定关联账户的方法和装置
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN111950570A (zh) 目标图像提取方法、神经网络训练方法及装置
CN112989198B (zh) 推送内容的确定方法、装置、设备及计算机可读存储介质
US11252400B2 (en) Method, device, and recording medium for processing image
CN111353946A (zh) 图像修复方法、装置、设备及存储介质
KR102484386B1 (ko) 영상을 스케일링하는 전자 장치 및 그 동작 방법
KR20150099672A (ko) 전자 장치 및 그것의 디스플레이 제어 방법
CN110163192B (zh) 字符识别方法、装置及可读介质
CN115423680A (zh) 人脸妆容迁移方法、设备及计算机可读存储介质
US20220187092A1 (en) Electronic device for acquiring location information on basis of image, and method for operating same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant