KR20180105294A

KR20180105294A - 이미지 압축 장치

Info

Publication number: KR20180105294A
Application number: KR1020170031973A
Authority: KR
Inventors: 박성모; 김성은; 김주엽; 김진규; 오광일; 이주현
Original assignee: 한국전자통신연구원
Priority date: 2017-03-14
Filing date: 2017-03-14
Publication date: 2018-09-28
Also published as: US20180268571A1; US10319115B2

Abstract

본 발명에 따른 이미지 압축 장치는 컨볼루션 신경망(CNN; Convolution Neural Network) 트레이닝을 수행하여 외부로부터 수신된 이미지로부터 객체를 식별하도록 구성되는 객체 추출부, 식별된 객체를 기반으로 이미지 내에서 식별된 객체가 포함된 영역의 양자화 파라미터를 조절하도록 구성되는 파라미터 조절부, 및 조절된 양자화 파라미터를 기반으로 이미지를 압축하도록 구성되는 이미지 압축부를 포함한다.

Description

이미지 압축 장치{IMAGE COMPRESSION DEVICE}

본 발명은 이미지 압축에 관한 것으로, 더욱 상세하게는 이미지 압축 장치에 관한 것이다.

영상 압축 기술은 영상 서비스 관련 콘텐츠에 대한 수요 증가로 인하여, 스마트폰, 영상 회의, 감시 카메라, 영상 저장, 블랙박스, 고해상도 TV 등과 같은 다양한 산업 분야에서 널리 사용되는 기술이다. 일 예로서, 영상 압축 표준 중 하나인 H.264 표준은 국제 동영상 표준 제정 그룹인 ITU(International Telecommunication Union)의 VCEG(Video Coding Experts Group) 및 ISO(International Organization for Standardization)의 MPEG(Moving Picture Experts Group)에서 공동으로 개발하고 있는 표준이며, 현재 영상 압축 기술 분야에서 널리 사용되고 있다.

최근에는 H.264 표준보다 높은 압축률을 갖는 HEVC(High-Efficiency Video Coding) 표준이 개발되었으며, HEVC 표준은 다양한 영상 압축 시스템 및 다양한 환경에서 사용될 수 있는 범용 동영상 부호화 기술이다. HEVC는 고속 알고리즘을 통해 고속 처리에 유리한 장점을 가지고 있으나, 하드웨어 복잡도가 높은 단점을 가지고 있다.

본 발명은 상술된 종래의 영상 압축 기술의 단점을 해결하기 위한 것으로써, 본 발명의 목적은 CNN(Convolution Neural Network) 알고리즘을 이용하여 이미지 내의 객체, 글자, 배경를 분류하고, 이를 기반으로 양자화 파라미터를 조절함으로써 향상된 압축률 및 향상된 이미지 품질을 제공하는 이미지 압축 장치를 제공함에 있다.

본 발명의 실시 예에 따른 이미지 압축 장치는 컨볼루션 신경망(CNN, Convolution Neural Network) 트레이닝을 수행하여 외부로부터 수신된 이미지로부터 객체를 식별하도록 구성되는 객체 추출부, 상기 식별된 객체를 기반으로 상기 이미지 내에서 상기 식별된 객체가 포함된 영역의 양자화 파라미터를 조절하도록 구성되는 파라미터 조절부, 및 상기 조절된 양자화 파라미터를 기반으로 상기 이미지를 압축하도록 구성되는 이미지 압축부를 포함한다.

실시 예로서, 상기 객체 추출부는 상기 수신된 이미지에서 수정-영역들(modified-regions)을 설정하고, 상기 설정된 수정-영역들 중 일부 수정-영역에 대하여 상기 CNN 트레이닝을 수행함으로써 상기 일부 수정-영역에 포함된 객체의 종류를 식별하도록 구성된다.

실시 예로서, 상기 객체 추출부는 상기 설정된 수정-영역들 각각의 픽셀 변화 량을 기반으로 상기 설정된 수정-영역들 각각을 배경 영역 및 객체 영역 중 하나로 분류하도록 구성된다.

실시 예로서, 상기 객체 추출부는 상기 설정된 수정-영역들 각각에서, 상기 픽셀 변화 량이 기준 값보다 작은 경우, 상기 수정-영역을 상기 배경 영역으로 분류하고, 상기 픽셀 변화 량이 기준 값 이상인 경우, 상기 수정-영역을 상기 객체 영역으로 분류하도록 구성된다.

실시 예로서, 상기 객체 추출부는 상기 객체 영역으로 분류된 수정-영역을 변환-영역으로 변환하고, 상기 변환-영역을 입력으로 사용하여 상기 CNN 트레이닝을 수행함으로써, 상기 객체 영역에 포함된 상기 객체의 종류를 식별하도록 구성된다.

실시 예로서, 상기 파라미터 조절부는 상기 배경 영역에 대한 양자화 파라미터를 제1 값으로 설정하고, 상기 객체 영역에 대한 양자화 파라미터를 상기 제1 값보다 작은 제2 값으로 설정하도록 구성된다.

실시 예로서, 상기 파라미터 조절부는 상기 배경 영역에 대한 상기 양자화 파라미터를 제1 값으로 설정하고, 상기 객체 영역에 포함된 상기 객체의 종류가 텍스트인 경우, 상기 객체 영역에 대한 상기 양자화 파라미터를 상기 제1 값보다 작은 제2 값으로 설정하고, 상기 객체 영역에 포함된 상기 객체의 종류가 텍스트가 아닌 경우, 상기 객체 영역에 대한 상기 양자화 파라미터를 상기 제2 값보다 작은 제3 값으로 설정하도록 구성된다.

본 발명에 따르면, CNN(Convolution Neural Network) 알고리즘을 이용하여 이미지 내의 객체, 글자, 배경를 분류하고, 이를 기반으로 양자화 파라미터를 조절함으로써, 이미지 품질의 열화 없이 이미지 압축률이 향상된 이미지 압축 장치가 제공된다.

또한, 본 발명에 따르면, CNN(Convolution Neural Network) 알고리즘을 이용하여 이미지 내의 객체, 글자, 배경를 분류하고, 이를 기반으로 양자화 파라미터를 조절함으로써, 양자화 파라미터를 빠르게 설정할 수 있기 때문에, 향상된 압축률을 갖는 이미지 압축 장치가 제공된다.

도 1은 본 발명의 실시 예에 따른 이미지 압축 장치를 보여주는 블록도이다.
도 2는 도 1의 이미지 압축 장치의 동작을 보여주는 순서도이다.
도 3은 도 2의 S120 단계를 상세하게 보여주는 순서도이다.
도 4는 도 3의 동작을 설명하기 위한 도면이다.
도 5은 도 3의 S130 단계의 동작을 상세하게 보여주는 순서도이다.
도 6은 도 5의 동작을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 이미지 압축 장치가 적용된 사용자 장치를 예시적으로 보여주는 블록도이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예들이 상세하게 설명된다. 이하의 설명에서, 상세한 구성들 및 구조들과 같은 세부적인 사항들은 단순히 본 발명의 실시 예들의 전반적인 이해를 돕기 위하여 제공된다. 그러므로 본 발명의 기술적 사상 및 범위로부터의 벗어남 없이 본문에 기재된 실시 예들의 변형들은 당업자에 의해 수행될 수 있다.

더욱이, 잘 알려진 기능들 및 구조들에 대한 설명들은 명확성 및 간결성을 위하여 생략된다. 본문에서 사용된 용어들은 본 발명의 기능들을 고려하여 정의된 용어들이며, 특정 기능에 한정되지 않는다. 용어들의 정의는 상세한 설명에 기재된 사항을 기반으로 결정될 수 있다.

이하의 도면들 또는 상세한 설명에서의 모듈들은 도면에 도시되거나 또는 상세한 설명에 기재된 구성 요소 이외에 다른 것들과 연결될 수 있다. 모듈들 또는 구성 요소들 사이의 연결은 각각 직접적 또는 비직접적일 수 있다. 모듈들 또는 구성 요소들 사이의 연결은 각각 통신에 의한 연결이거나 또는 물리적인 접속일 수 있다.

상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 계층(layer) 등의 용어를 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(MEMS; microelectromechanical system), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.

또한, 다르게 정의되지 않는 한, 본문에서 사용되는 기술적 또는 과학적인 의미를 포함하는 모든 용어들은 본 발명이 속하는 기술 분야에서의 당업자에 의해 이해될 수 있는 의미를 갖는다. 일반적으로 사전에서 정의된 용어들은 관련된 기술 분야에서의 맥락적 의미와 동등한 의미를 갖도록 해석되며, 본문에서 명확하게 정의되지 않는 한, 이상적 또는 과도하게 형식적인 의미를 갖도록 해석되지 않는다.

도 1은 본 발명의 실시 예에 따른 이미지 압축 장치(100)를 보여주는 블록도이다. 도 1을 참조하면, 이미지 압축 장치(100)(또는 이미지 인코더)는 외부로부터 이미지(IMG)를 수신하고, 수신된 이미지(IMG)를 압축하여 압축된 이미지(IMG_C)(또는 인코딩된 이미지)를 출력하도록 구성될 수 있다. 이미지 압축 장치(100)는 객체 추출부(110), 파라미터 처리부(120), 및 이미지 압축부(130)를 포함할 수 있다.

객체 추출부(110)는 컨볼루션 신경망(CNN; Convolution Neural Network) 기반의 객체 추출 동작을 수행할 수 있다. 즉, 객체 추출부(110)는 CNN-기반 추출부일 수 있다.

객체 추출부(110)는 외부 장치로부터 이미지(IMG)를 수신할 수 있다. 이미지(IMG)는 사진, 영상, 화상 정보 등과 같은 영상 데이터를 가리킬 수 있다. 객체 추출부(110)는 CNN 트레이닝을 수행하여, 이미지(IMG)에 포함된 객체들을 검출할 수 있다.

예를 들어, 객체 추출부(110)는 입력 이미지(IMG)를 복수의 수정-영역(Modified-Region)으로 분할하고, 픽셀 변화 량을 기반으로 분할된 수정-영역을 복수의 카테고리들로 분류할 수 있다. 예시적으로, 픽셀 변화 량은 픽셀 값의 영역 내에서, 주변 픽셀들 사이의 픽셀 값의 변화 량을 가리킬 수 있다. 또는 픽셀 변화 량은 이전 프레임에서 동일한 위치의 픽셀과의 픽셀 값 차이(또는 변화 량)을 가리킬 수 있다.

일 예로서, 제1 수정-영역에 포함된 픽셀들의 픽셀 변화 량이 특정 기준 값보다 작은 경우, 객체 추출부(110)는 제1 수정-영역을 배경과 대응되는 카테고리(즉, 배경 영역)로써 분류할 수 있다. 또는 제1 수정-영역에 포함된 픽셀들의 픽셀 변화 량이 특정 기준 값보다 큰 경우, 객체 추출부(110)는 제1 수정-영역을 객체와 대응되는 카테고리(즉, 객체 영역)로써 분류할 수 있다.

이후에, 객체 추출부(110)는 객체와 대응되는 카테고리로 분류된 수정-영역에 대하여 CNN 트레이닝을 수행함으로써, 수정-영역에 포함된 객체의 종류를 식별할 수 있다. 즉, 객체 추출부(110)는 특정 조건(예를 들어, 픽셀 변화 량)을 기반으로 이미지(IMG)의 배경 영역, 객체 영역 등을 분류하고, CNN 트레이닝을 기반으로 객체-영역에 포함된 객체들(예를 들어, 사람, 사물, 동물, 문자, 숫자 등)을 식별할 수 있다. 예시적으로, 본문에서, 이러한 객체 추출부(110)의 동작은 "MR-CNN(Modified Region CNN) 트레이닝"이라 칭한다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.

파라미터 처리부(120)는 객체 추출부의 MR-CNN 트레이닝 결과를 기반으로 각 수정-영역에 대한 양자화 파라미터(QP; Quantization Parameter)를 조절할 수 있다. 예를 들어, 파라미터 처리부(120)는 배경 영역으로 분류된 수정-영역에 대한 양자화 파라미터를 제1 양자화 파라미터로 설정할 수 있다. 또는 파라미터 처리부(120)는, 텍스트가 식별된, 수정-영역에 대한 양자화 파라미터를 제1 양자화 파라미터보다 작은 제2 양자화 파라미터로 설정할 수 있다. 또는 파라미터 처리부(120)는, 사물이 식별된, 수정-영역에 대한 양자화 파라미터를 제1 및 제2 양자화 파라미터들보다 작은 제3 양자화 파라미터로 설정할 수 있다.

예시적으로, 양자화 파라미터가 클수록, 이미지에 대한 데이터 손실은 증가하나, 이미지에 대한 압축률이 향상될 수 있다. 이와 반대로, 양자화 파라미터가 작을 수록, 이미지에 대한 압축률은 감소되나, 이미지 품질이 향상될 수 있다. 즉, 파라미터 처리부(120)는 객체 추출부(110)의 CNN 동작 결과를 기반으로 각 수정-영역에 대한 양자화 파라미터를 다르게 설정함으로써, 이미지 품질이 중요한 영역(예를 들어, 사물이 검출된 수정-영역)은 이미지 품질을 향상시키고, 그렇지 않은 영역(예를 들어, 배경 영역)은 압축률을 향상시킬 수 있다.

이미지 압축부(130)는 파라미터 처리부(120)에 의해 조절된 양자화 파라미터를 사용하여 이미지(IMG)를 압축하고, 압축된 이미지(IMG_C)를 출력할 수 있다. 예시적으로, 이미지 압축부(130)는 조절된 양자화 파라미터를 사용하여, 잘 알려진 영상 압축 방식을 기반으로 이미지(IMG)를 압축하여 압축된 이미지(IMG_C)를 출력할 수 있다.

예시적으로, 압축된 이미지(IMG_C)는 외부 저장 장치, 서버, 또는 표시 장치 등으로 제공될 수 있다.

상술된 바와 같이, 본 발명에 따른 이미지 압축 장치(100)(또는 이미지 인코더)는 MR-CNN 트레이닝 동작을 통해 이미지(IMG) 내의 복수의 영역들에 대한 양자화 파라미터를 각각 조절함으로써, 종래의 영상 압축 방식들과 비교하여 이미지 압축 성능이 향상되고, 이미지 품질 저하를 방지할 수 있다. 또한, 본 발명에 따른 MR-CNN 기반의 트레이닝 동작은 종래의 심층 신경망 기반의 트레이닝 동작과 비교하여 빠르게 객체를 식별할 수 있기 때문에, 양자화 파라미터가 빠르게 조절될 수 있다. 따라서, 본 발명에 따르면, 향상된 성능을 갖는 이미지 압축 장치가 제공된다.

도 2는 도 1의 이미지 압축 장치의 동작을 보여주는 순서도이다. 도 1 및 도 2를 참조하면, S110 단계에서, 이미지 압축 장치(100)는 외부 장치(예를 들어, 메모리, 저장 장치, 서버, 카메라, 블랙 박스, 감시용 영상 장치 등)로부터 이미지(IMG)를 수신할 수 있다. 이미지(IMG)는 복수의 프레임을 포함하는 비디오 데이터이거나 또는 정지 상태의 화면을 보여주는 사진 데이터일 수 있다.

S120 단계에서, 이미지 압축 장치(100)는 수신된 이미지에 대한 MR-CNN 동작을 수행하여 수정-영역들에 대한 객체를 식별할 수 있다. 예를 들어, 도 1을 참조하여 설명된 바와 같이, 이미지 압축 장치(100)의 객체 추출부(110)는 이미지(IMG)를 복수의 수정-영역(Modified region)으로 구분하고, 픽셀 변화 량을 기반으로 수정-영역들을 복수의 카테고리(또는 배경 영역 및 객체 영역)로 분류할 수 있다. 이후에, 객체 추출부(110)는 CNN 트레이닝을 수행하여 객체 영역으로 분류된 수정-영역들에 포함된 객체들을 식별할 수 있다. 즉, MR-CNN 동작을 통해 이미지(IMG)에 포함된 배경 영역 또는 객체 영역이 분류될 수 있고, 객체 영역에 포함된 객체들의 종류가 식별될 수 있다.

S130 단계에서, 이미지 압축 장치(100)는 MR-CNN 동작 결과를 기반으로 이미지 압축을 위한 양자화 파라미터를 조절할 수 있다. 예를 들어, 앞서 설명된 바와 같이, MR-CNN 동작을 통해, 이미지(IMG)에 포함된 배경 영역 또는 객체 영역이 분류될 수 있고, 객체 영역에 포함된 객체들의 종류가 식별될 수 있다. 이미지 압축 장치(100)의 파라미터 처리부(120)는 배경으로 분류된 영역(또는 수정-영역)에 대한 양자화 파라미터를 제1 양자화 파라미터으로 조절할 수 있고, 객체로 분류된 영역(또는 수정-영역)에 대한 양자화 파라미터를 제2 양자화 파라미터(단, 제2 양자화 파라미터는 제1 양자화 파라미터보다 작음)로 조절할 수 있다.

예시적으로, 객체 영역에서 식별된 객체를 기반으로 제2 양자화 파라미터의 크기가 조절될 수 있다. 예를 들어, 객체 영역에서 식별된 객체가 텍스트인 경우, 양자화 파라미터는 제2 양자화 파라미터로 조절될 수 있고, 객체 영역에서 식별된 객체가 사물(또는 사람 또는 동물 등)인 경우, 양자화 파라미터는 제3 양자화 파라미터(단, 제3 양자화 파라미터는 제2 양자화 파라미터보다 큼)으로 조절될 수 있다.

다시 말해서, 이미지 내에서 픽셀 변화 량이 상대적으로 작은 객체(예를 들어, 텍스트, 또는 움직임이 작은 사물 등)에 대하여, 양자화 파라미터를 상대적으로 크게 설정함으로써, 이미지 압축률을 향상시킬 수 있다. 또한, 이미지 내에서 픽셀 변화 량이 상대적으로 큰 객체(예를 들어, 움직이는 동물, 사물, 사람 등)에 대하여, 양자화 파라미터를 상대적으로 작게 설정함으로써, 이미지 품질을 향상시킬 수 있다.

S140 단계에서, 이미지 압축 장치(100)는 조절된 양자화 파라미터를 기반으로 이미지에 대한 압축 동작을 수행할 수 있다. 예시적으로, 압축 동작은 H.264, JPEG, MPEG, HEVC 등과 같은 다양한 영상 압축 알고리즘을 기반으로 수행될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

상술된 바와 같이, 본 발명에 따른 이미지 압축 장치는 이미지 압축 장치(100)는 MR-CNN 기반의 트레이닝 동작을 통해 이미지(IMG) 내의 배경, 객체 등을 빠르게 식별함으로써, 양자화 파라미터를 빠른 시간 내에 결정할 수 있다. 또한, 본 발명에 따른 이미지 압축 장치(100)는 이미지(IMG) 내에 포함된 객체에 따라 양자화 파라미터를 다르게 조절함으로써, 이미지 품질의 열화 없이 이미지 압축률이 향상될 수 있다. 따라서, 본 발명에 따르면, 향상된 성능을 갖는 이미지 압축 장치가 제공된다.

도 3은 도 2의 S120 단계를 상세하게 보여주는 순서도이다. 도 4는 도 3의 동작을 설명하기 위한 도면이다. 예시적으로, 도 3 및 도 4를 참조하여, 도 1의 객체 추출부(110)의 동작이 상세하게 설명된다. 도 3 및 도 4를 참조하여 설명되는 객체 추출부(110)의 동작은 단순히 본 발명의 실시 예를 구체적으로 설명하기 위한 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 1, 도 3, 및 도 4를 참조하면, S110 단계의 동작 이후에, S121 단계에서, 객체 추출부(110)는 이미지(IMG)에 대한 수정-영역을 설정할 수 있다. 예를 들어, 이미지 압축 장치(100)가 도 4에 도시된 이미지(IMG)를 수신한 것으로 가정한다. 이 때, 객체 추출부(110)는 이미지(IMG)에서 제1 내지 제3 수정-영역들(MR1~MR3)을 설정할 수 있다. 예시적으로, 도면의 간결성을 위하여, 제1 내지 제3 수정-영역들(MR1~MR3)이 서로 구분된 것으로 도시되나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이미지(IMG) 내에서 복수의 수정-영역이 설정될 수 있고, 복수의 수정-영역 중 일부 영역들 또는 일부 영역들의 일부분이 서로 중첩될 수 있다.

S122 단계에서, 객체 추출부(110)는 설정된 수정-영역들을 픽셀 변화량을 기반으로 분류할 수 있다. 예시적으로, 픽셀 변화 량은 주변 픽셀들 사이에서 픽셀 값들의 변화 량을 가리킬 수 있다. 또는 픽셀 변화 량은 이전 프레임에서 동일한 위치의 픽셀과의 픽셀 값의 차이(또는 변화 량)을 가리킬 수 있다.

예를 들어, 객체 추출부(110)는 제1 내지 제3 수정-영역들(MR1~MR3)에 포함된 픽셀들 사이의 픽셀 변화 량을 특정 기준 값과 비교하고, 비교 결과에 따라 제1 내지 제3 수정-영역들(MR1~MR3)을 분류할 수 있다. 일 예로서, 일반적으로 이미지(IMG)에 포함된 배경에서 픽셀 값의 변화 량은 상대적으로 작을 수 있다. 반면에, 이미지(IMG)에 포함된 다양한 객체(예를 들어, 움직이는 사물, 텍스트, 사람, 동물 등)에서 픽셀 값의 변화 량은 상대적으로 클 수 있다.

이에 따라, 제1 수정-영역(MR1)의 픽셀 변화 량이 기준 값보다 작은 경우, 객체 추출부(110)는 제1 수정-영역(MR1)을 배경 영역으로 분류할 수 있다. 또한, 제2 수정-영역(MR2)의 픽셀 변화 량이 기준 값보다 큰 경우, 객체 추출부(110)는 제2 수정-영역(MR2)을 객체 영역으로 분류할 수 있다. 또한, 제3 수정-영역(MR3)의 픽셀 변화 량이 기준 값보다 큰 경우, 객체 추출부(110)는 제3 수정-영역(MR3)을 객체 영역으로 분류할 수 있다.

상술된 바와 같이, 객체 추출부(110)는 복수의 수정-영역 각각을 배경 영역 또는 객체 영역으로 분류할 수 있다.

S123 단계에서, 객체 추출부(110)는 분류된 수정-영역에 대한 CNN 트레이닝을 수행하여, 분류된 수정-영역에 포함된 객체를 식별할 수 있다. 예를 들어, 객체 추출부(110)는 복수의 수정-영역 중 객체 영역으로써 분류된 수정-영역에 대한 CNN 트레이닝 동작을 수행할 수 있다. 좀 더 상세한 예로서, 객체 추출부(110)는 제3 수정-영역(MR3)에 대한 CNN 트레이닝 동작을 수행할 수 있다. 객체 추출부(110)는 제3 수정-영역(MR3)을 왜곡-영역 또는 워프-영역(WR; Warped-Region, 이하에서, 용어의 명확성 및 구분을 위하여 "변환-영역"이라 칭함.)으로 변환할 수 있다. 예시적으로, 변환-영역(WR)은 CNN 트레이닝의 입력을 위하여, 제3 수정-영역(MR3)의 크기를 변환한 영역을 가리킬 수 있다. 즉, 변환-영역(WR)은 고정된 크기를 갖는 CNN 트레이닝의 입력을 가리킬 수 있다.

객체 추출부(110)는 변환-영역(WR)을 입력으로 사용하여 CNN 트레이닝을 수행할 수 있다. CNN 트레이닝의 결과로써, 변환-영역(WR)에 포함된 객체가 식별될 수 있다. 다시 말해서, CNN 트레이닝의 결과로써, 변환-영역(WR)에 포함된 객체가 자동차인지, 사람인지, 텍스트인지 등이 식별될 수 있다. 도 4에 도시된 바와 같이, CNN 트레이닝 결과로써, 제3 수정-영역(MR3)에 포함된 객체가 자동차임이 결정될 것이다. 비록 도면에 도시되지는 않았으나, 객체 영역으로 분류된 제2 수정-영역(MR2)에 대하여, 상술된 바와 같은 CNN 트레이닝이 수행됨으로써, 제2 수정-영역(MR2)에 포함된 객체가 텍스트임이 결정될 수 있다.

즉, 객체 추출부(110)는 객체 영역으로 분류된 수정-영역들 각각에 대한 CNN 트레이닝을 수행함으로써, 수정-영역에 포함된 객체들의 종류를 식별할 수 있다.

예시적으로, S123 단계의 동작 이후에, 이미지 압축 장치(100)는 S130 단계의 동작을 수행할 수 있다.

도 5은 도 3의 S130 단계의 동작을 상세하게 보여주는 순서도이다. 도 6은 도 5의 동작을 설명하기 위한 도면이다. 예시적으로, 도 5 및 도 6을 참조하여, 파라미터 처리부(120)의 동작이 상세하게 설명된다. 도 5 및 도 6을 참조하여 설명되는 파라미터 처리부(120)의 동작은 단순히 본 발명의 실시 예를 구체적으로 설명하기 위한 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한, 양자화 파라미터는 제1, 제2 또는 제3 양자화 파라미터들로 설정되는 실시 예가 도 5에 도시되나, 본 발명의 범위가 이에 한정되는 것은 아니며, 객체 추출부(110)에서 식별되는 객체의 종류에 따라 양자화 파라미터는 다양하게 설정될 수 있다.

도 1, 도 5 및 도 6을 참조하면, S120 단계의 동작(즉, 객체 추출부(110)의 객체 식별 동작) 이후에, S131 단계에서, 파라미터 처리부(120)는 수정-영역이 배경 영역인지 판별할 수 있다. 예를 들어, 도 3의 S122 단계를 참조하여 설명된 바와 같이, 객체 추출부(110)에 의해 제1 수정-영역(MR1)은 배경 영역으로써 분류될 수 있다.

수정-영역이 배경 영역인 경우, S132 단계에서, 파라미터 처리부(120)는 수정-영역에 대한 양자화 파라미터를 제1 양자화 파라미터(QP1)로 설정할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 파라미터 처리부(120)는 배경 영역으로써 분류된 제1 수정-영역(MR1)에 대한 양자화 파라미터를 제1 양자화 파라미터(QP1)로 설정할 수 있다. 예시적으로, 제1 양자화 파라미터(QP1)는 상대적으로 큰 값일 수 있다. 예시적으로, 양자화 파라미터가 상대적으로 크다는 것은 이미지 압축률이 상대적으로 높다는 것을 의미한다.

수정-영역이 배경 영역이 아닌 경우, S133 단계에서, 파라미터 처리부(120)는 수정-영역에 포함된 객체가 텍스트인지 판별할 수 있다. 예를 들어, 도 3의 S122 단계 및 S123 단계를 참조하여 설명된 바와 같이, 객체 추출부(110)에 의해 제2 및 제3 수정-영역들(MR2, MR3)은 객체 영역으로 분류될 수 있고, 제2 수정-영역(MR2)에 포함된 객체는 텍스트인 것으로 식별되고, 제3 수정-영역(MR3)에 포함된 객체는 자동차인 것으로 판별될 수 있다. 파라미터 처리부(120)는 CNN 트레이닝 결과를 기반으로 객체 추출부(110)에 의해 분류되거나 또는 식별된 객체의 종류를 판별할 수 있다.

수정-영역에 포함된 객체가 텍스트인 경우, S134 단계에서, 파라미터 처리부(120)는 수정-영역에 대한 양자화 파라미터를 제2 양자화 파라미터(QP2)로 설정할 수 있다. 이 때, 제2 양자화 파라미터(QP2)는 앞서 설명된 제1 양자화 파라미터(QP1)보다 작을 수 있다. 예를 들어, 앞서 설명된 바와 같이, 제2 수정-영역(MR2)에 포함된 객체는 텍스트인 것으로 식별될 수 있고, 이에 따라, 파라미터 처리부(120)는 제2 수정-영역(MR2)에 대한 양자화 파라미터를 제2 양자화 파라미터(QP2)로 설정할 수 있다.

수정-영역에 포함된 객체가 텍스트가 아닌 경우, S135 단계에서, 파라미터 처리부(120)는 수정-영역에 대한 양자화 파라미터를 제3 양자화 파라미터(QP3)로 설정할 수 있다. 이 때, 제3 양자화 파라미터(QP3)는 제1 및 제2 양자화 파라미터들(QP1, QP2)보다 작을 수 있다. 예를 들어, 제3 수정-영역(MR3)은 객체 추출부(110)에 의해 객체 영역으로 분류되고, 제3 수정-영역(MR3)에 포함된 객체는 자동차인 것으로 식별될 수 있다. 이에 따라, 파라미터 처리부(120)는 제3 수정-영역(MR3)에 대한 양자화 파라미터를 제3 양자화 파라미터(QP3)로 설정할 수 있다.

예시적으로, S131 단계 내지 S135 단계의 동작들이 수행된 이후에, S140 단계의 동작이 수행될 수 있다. 예를 들어, 이미지 압축 장치(100)는 제1 내지 제3 수정-영역들(MR1~MR3)에 제1 내지 제3 양자화 파라미터들(QP1~QP3)을 각각 적용하여 압축된 이미지(IMG_C)를 출력하도록 구성될 수 있다.

예시적으로, 양자화 파라미터가 클수록 이미지 압축률은 증가하는 대신에 이미지 왜곡 또는 품질 열화가 증가할 수 있다. 반면에, 양자화 파라미터가 작을수록 이미지 압축률은 감소하는 대신에, 이미지 왜곡 또는 품질 열화가 감소할 수 있다. 즉, 본 발명에 따른 이미지 압축 장치(100)는 이미지(IMG)에 포함된 객체의 특성에 따라 양자화 파라미터를 서로 다르게 설정함으로써, 이미지 압축률을 향상시킴과 동시에, 이미지 품질의 열화를 최소화할 수 있다.

예를 들어, 이미지(IMG)에 포함된 배경 영역에서, 일반적으로 픽셀 값의 변화 량이 상대적으로 작기 때문에, 높은 압축률을 적용하더라도 이미지 품질에 대한 열화가 작을 수 있다. 반면에, 사물, 사람, 동물, 텍스트 등과 같은 객체에서, 일반적으로 픽셀 값의 변화 량이 상대적으로 크기 때문에, 높은 압축률을 적용할 경우, 이미지 품질에 대한 열화가 증가할 수 있다. 이에 따라, 본 발명에 따른 이미지 압축 장치(100)는 배경 영역으로 분류된 제1 수정-영역(MR1)에 제1 양자화 파라미터(QP1)를 적용하고, 객체 영역으로 분류된 제2 및 제3 수정-영역들(MR2, MR3)에 제2 및 제3 양자화 파라미터들(QP2, QP3)(QP2 및 QP3는 QP1보다 작음)을 적용함으로써, 이미지 압축률을 최대화함과 동시에, 이미지 품질의 열화를 감소시킬 수 있다.

또한, 본 발명에 따른 이미지 압축 장치(100)는 이미지(IMG)에 포함된 객체의 종류에 따라 양자화 파라미터를 다르게 설정할 수 있다. 예를 들어, 제2 수정-영역(MR2)과 같이, 포함된 객체가 텍스트로 식별된 경우, 텍스트에 대한 픽셀 변화 량은 상대적으로 작기 때문에, 상대적으로 높은 압축률(배경 영역에 대한 압축률보다는 낮음)을 적용하더라도, 이미지 열화가 크기 않을 수 있다. 반면에, 제3 수정-영역(MR3)과 같이, 포함된 객체가 자동차(또는 다른 사물, 사람, 동물 등)로 식별된 경우에서, 자동차에 대한 픽셀 변화량은 상대적으로 크기 때문에, 상대적으로 높은 압축률을 적용하면, 이미지의 품질에 대한 열화가 발생할 수 있다. 이에 따라, 본 발명에 따른 이미지 압축 장치(100)는 이미지(IMG)에 포함된 객체의 종류에 따라 양자화 파라미터를 다르게 설정함으로써, 이미지 압축률을 최대화함과 동시에, 이미지 품질의 열화를 감소시킬 수 있다.

예시적으로, 앞서 설명된 본 발명의 실시 예들을 구현하기 위한 순서도에서는 일부 수정-영역에 대한 영역 분류, 객체 식별, 및 양자화 파라미터 설정의 동작이 순차적으로 도시되었으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 본 발명에 따른 이미지 장치(100)는 복수의 수정-영역들 또는 분할된 영역들에 대하여 앞서 설명된 동작들을 순차적으로 또는 병렬로, 또는 동시에 수행할 수 있다. 또는, 본 발명에 따른 이미지 압축 장치(100)는 이미지(IMG) 내의 각 영역들에 대한 양자화 파라미터가 모두 설정될 때까지 상술된 동작을 반복 수행할 수 있다.

또한, 본 발명에 따른 이미지 압축 장치(100)는 상술된 수정-영역 단위로 영역 분류, 객체 식별, 양자화 파라미터 조절 및 이미지 압축을 수행하도록 구성될 수 있다. 또는 본 발명에 따른 이미지 압축 장치(100)는 하나의 이미지 내에의 수정-영역들에 대한 양자화 파라미터를 모두 설정한 이후에, 하나의 이미지에 대한 압축 동작을 수행하도록 구성될 수 있다.

또한, 앞서 설명된 실시 예들에서, 일부 객체의 종류(텍스트 및 자동차)를 기준으로 본 발명의 실시 예가 설명되었으나, 본 발명의 범위가 이에 한정되는 것은 아니며, 다양한 객체의 종류(정지된 다양한 사물들, 움직이는 다양한 사물, 사람, 동물 등)가 식별될 수 있으며, 양자화 파라미터는 각 객체의 종류에 따라 서로 다르게 설정될 수 있다. 일 예로서, 식별된 객체가 동일한 자동차더라도, 움직이는 자동차를 포함하는 영역과 정지된 자동차가 포함된 영역의 양자화 파라미터들은 서로 다르게 설정될 수 있다.

상술된 바와 같이, 본 발명에 따른 이미지 압축 장치는 CNN 트레이닝을 통해 이미지(IMG) 내의 영역을 분류하고, 영역 내에 포함된 객체들을 빠르게 식별할 수 있다. 이미지 압축 장치는 분류된 영역 및 식별된 객체들을 기반으로 양자화 파라미터를 서로 다르게 설정함으로써, 이미지 품질의 열화를 방지함과 동시에 이미지(IMG)에 대한 압축률을 향상시킬 수 있다.

예시적으로, 상술된 본 발명의 실시 예에서, 이미지의 압축률 및 품질을 조절하는 구성 요소로써 양자화 파라미터가 설명되었으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 본 발명에 따른 이미지 압축 장치는, 이미지 품질의 열화 없이 압축률이 최대가 되도록, 식별된 객체를 기반으로 압축 동작에서 사용되는 다양한 파라미터들 중 적어도 하나를 조절하거나 또는 각 영역에 따른 압축 방식을 조절하도록 구성될 수 있다.

종래의 영상 압축 기술중 하나인 HEVC(High-Efficiency Video Coding)에서, 인터 예측을 위하여 양자화 파라미터를 기반으로 스킵 모드(skip mode)를 결정하는 방법은 인터 모드에서 향상된 속도를 제공한다. 그러나, 결정 방법에 대한 수식이 복잡하기 때문에, 이를 구현하기 위한 하드웨어 복잡도가 증가하며, 깊이 정보에 따른 직렬 처리로 인한 속도가 저하되는 문제점이 있다. 그러나, 본 발명에 따른 이미지 압축 장치(100)는 CNN 트레이닝을 기반으로 각 영역들에 대한 양자화 파라미터를 빠르게 설정할 수 있기 때문에, 종래 기술에서의 문제점인 하드웨어 구성의 복잡성을 감소시킬 수 있다. 또한, SoC(System-on-Chip)으로 구현시, 병렬 처리가 용이하므로, 이미지 압축 동작의 속도가 향상된다.

도 7은 본 발명에 따른 이미지 압축 장치가 적용된 사용자 장치를 예시적으로 보여주는 블록도이다. 도 7을 참조하면, 사용자 장치(1000)는 프로세서(1100), 이미지 압축 장치(1200), 이미징 장치(1300), 네트워크 모듈(1400), 및 저장 장치(1500)를 포함할 수 있다. 예시적으로, 사용자 장치(1000)는 UMPC (Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP (portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), DMB (Digital Multimedia Broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 영상 녹화기(digital picture recorder), 디지털 영상 재생기(digital picture player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player) 등과 같은 컴퓨팅 시스템들 중 하나로 제공될 수 있다.

프로세서(1100)는 사용자 장치(1000)의 제반 동작을 제어할 수 있다. 프로세서(1100)는 사용자 장치(1000)에 포함된 구성 요소들, 운영 체제(OS; Operating System) 등을 구동시킬 수 있다. 응용 프로세서(1100)는 그래픽 엔진, 또는 사용자 시스템(1000)에 포함된 구성 요소들을 제어하는 컨트롤러들, 또는 인터페이스들을 포함할 수 있다.

이미지 압축 장치(1200)는 사용자 장치(1000)에서 생성되거나 또는 외부로부터 수신되거나 또는 외부로 출력되는 이미지를 압축(즉, 인코딩)하거나 또는 압축 해체(즉, 디코딩)하도록 구성될 수 있다. 예시적으로, 비록 도면에 도시되지는 않았으나, 이미지 압축 장치(1200)는 기능 블록(IP; Intellectual Property block)의 형태로 프로세서(1100) 내에 내장될 수 있다. 예시적으로, 이미지 압축 장치(1200)는 도 1 내지 도 6을 참조하여 설명된 이미지 압축 장치(100)의 구조를 포함하거나 또는 도 1 내지 도 6을 참조하여 설명된 동작 방법에 따라 이미지를 압축할 수 있다.

이미징 장치(1300)는 이미지 센서, 이미지 센서 모듈, 비디오 카메라, 감시용 카메라, 디지털 카메라 등과 같이 외부의 전경을 캡쳐하여, 이미지 데이터를 획득하도록 구성된 영상 획득 장치일 수 있다. 예시적으로, 이미징 장치(1300)로부터 획득된 이미지 데이터는 이미지 압축 장치(1200)에 의해 압축될 수 있다.

네트워크 모듈(1400)은 외부 장치들과 통신을 수행하도록 구성될 수 있다. 예시적으로, 네트워크 모듈(1400)은CDMA(Code Division Multiple Access), GSM(Global System for Mobile communication), WCDMA(wideband CDMA), CDMA-2000, TDMA(Time Dvision Multiple Access), LTE(Long Term Evolution), Wimax, WLAN, UWB, 블루투스, WI-DI 등과 같은 무선 통신 또는 유선 통신을 지원하도록 구성될 수 있다. 예시적으로, 네트워크 모듈(1400)을 통해 수신된 이미지 데이터는 이미지 압축 장치(1200)에 의해 압축되거나 또는 압축 해제될 수 있다. 또는 이미지 압축 장치(1200)에 의해 압축되거나 또는 압축 해제된 이미지는 네트워크 모듈을 통해 외부 장치(예를 들어, 다른 사용자 장치, 데이터 서버, 또는 표시 장치 등)로 제공될 수 있다.

저장 장치(1500)는 사용자 장치(1000)가 동작하는데 필요한 데이터 또는 동작 중 생성된 데이터를 저장하도록 구성될 수 있다. 저장 장치(1500)는 DRAM(Dynamic Random Access Memory), SDRAM(Synchronous DRAM), SRAM(Static RAM), DDR SDRAM(Double Date Rate SDRAM), DDR2 SDRAM, DDR3 SDRAM, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), NAND flash, NOR flash 등과 같은 대용량 반도체 메모리 장치 또는 HDD(Hard Disk Drive)와 같은 대용량 자기 디스크 장치로 제공될 수 있다. 예시적으로, 저장 장치(1500)에 저장된 이미지 데이터는 이미지 압축 장치(1200)에 의해 압축되거나 또는 압축 해제될 수 있다. 또는 이미지 압축 장치(1200)에 의해 압축되거나 또는 압축 해제된 이미지는 저장 장치(1500)에 저장될 수 있다.

상술된 바와 같이, 본 발명에 따른 이미지 압축 장치는 MR-CNN 트레이닝을 수행하여, 이미지의 영역을 분류하고, 분류된 영역에서 객체를 식별하고, 식별된 객체를 기반으로 각 영역의 양자화 파라미터를 조절할 수 있다. 이에 따라, 이미지 품질의 열화 없이 이미지 압축률이 증가될 수 있다. 따라서, 향상된 성능을 갖는 이미지 압축 장치 및 그것의 동작 방법이 제공된다.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

100: 이미지 압축 장치
110: 객체 추출부
120: 파라미터 조절부
130: 이미지 압축부
IMG: 이미지
IMG_C: 압축된 이미지
MR: 수정-영역
WR: 변환-영역
QP: 양자화 파라미터

Claims

컨볼루션 신경망(CNN; Convolution Neural Network) 트레이닝을 수행하여 외부로부터 수신된 이미지로부터 객체를 식별하도록 구성되는 객체 추출부;
상기 식별된 객체를 기반으로 상기 이미지 내에서 상기 식별된 객체가 포함된 영역의 양자화 파라미터를 조절하도록 구성되는 파라미터 조절부; 및
상기 조절된 양자화 파라미터를 기반으로 상기 이미지를 압축하도록 구성되는 이미지 압축부를 포함하는 이미지 압축 장치.
제 1 항에 있어서,
상기 객체 추출부는 상기 수신된 이미지에서 수정-영역들(modified-regions)을 설정하고, 상기 설정된 수정-영역들 중 일부 수정-영역에 대하여 상기 CNN 트레이닝을 수행함으로써 상기 일부 수정-영역에 포함된 객체의 종류를 식별하도록 구성되는 이미지 압축 장치.
제 2 항에 있어서,
상기 객체 추출부는 상기 설정된 수정-영역들 각각의 픽셀 변화 량을 기반으로 상기 설정된 수정-영역들 각각을 배경 영역 및 객체 영역 중 하나로 분류하도록 구성되는 이미지 압축 장치.
제 3 항에 있어서,
상기 객체 추출부는 상기 설정된 수정-영역들 각각에서, 상기 픽셀 변화 량이 기준 값보다 작은 경우, 상기 수정-영역을 상기 배경 영역으로 분류하고, 상기 픽셀 변화 량이 기준 값 이상인 경우, 상기 수정-영역을 상기 객체 영역으로 분류하도록 구성되는 이미지 압축 장치.
제 3 항에 있어서,
상기 객체 추출부는 상기 객체 영역으로 분류된 수정-영역을 변환-영역으로 변환하고, 상기 변환-영역을 입력으로 사용하여 상기 CNN 트레이닝을 수행함으로써, 상기 객체 영역에 포함된 상기 객체의 종류를 식별하도록 구성되는 이미지 압축 장치.
제 3 항에 있어서,
상기 파라미터 조절부는 상기 배경 영역에 대한 양자화 파라미터를 제1 값으로 설정하고, 상기 객체 영역에 대한 양자화 파라미터를 상기 제1 값보다 작은 제2 값으로 설정하도록 구성되는 이미지 압축 장치.
제 3 항에 있어서,
상기 파라미터 조절부는 상기 배경 영역에 대한 상기 양자화 파라미터를 제1 값으로 설정하고, 상기 객체 영역에 포함된 상기 객체의 종류가 텍스트인 경우, 상기 객체 영역에 대한 상기 양자화 파라미터를 상기 제1 값보다 작은 제2 값으로 설정하고, 상기 객체 영역에 포함된 상기 객체의 종류가 텍스트가 아닌 경우, 상기 객체 영역에 대한 상기 양자화 파라미터를 상기 제2 값보다 작은 제3 값으로 설정하도록 구성되는 이미지 압축 장치.