KR102469039B1

KR102469039B1 - 전방향 카메라에서 효과적인 영상 패딩 방법 및 장치

Info

Publication number: KR102469039B1
Application number: KR1020170113907A
Authority: KR
Inventors: 심동규; 박시내
Original assignee: 광운대학교 산학협력단
Priority date: 2017-09-06
Filing date: 2017-09-06
Publication date: 2022-11-21
Also published as: KR20190027405A

Abstract

본 발명은 전방향 보안 카메라를 위한 고화질 비디오 압축 방법 및 장치에서 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 전방향 카메라의 기하학적 원리를 반영한 패딩을 통해, 움직임 예측을 효과적으로 수행하는 방법 및 장치에 관한 것이다.

Description

전방향 카메라에서 효과적인 영상 패딩 방법 및 장치 {METHOD AND APPARATUS FOR OMNIDIRECTIONAL SECURITY VIDEO CODING IN USING PADDING TECHNIQUE}

본 발명은 전방향 보안 카메라를 위한 고화질 비디오 압축 방법 및 장치에서 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 효과적으로 영상 부호화시 효과적인 패딩을 통해 부호화 효율을 향상시키는 방법 및 장치에 관한 것이다.

최근 불특정 다수에 대한 무차별 범죄 혹은 특정 대상에 대한 보복 범죄, 사회적 취약 계층에 대한 범죄 등 범죄로 인한 사회적인 불안감이 증가하면서 보안을 위한 다양한 장치 및 시스템의 개발이 요구되고 있다. 특히 보안카메라의 경우 범죄의 현장에 대한 증거 혹은 범인의 인상착의에 대한 자료로서 활용이 가능하기 때문에 국가적인 차원의 수요뿐 아니라 개인의 안전을 위한 수요 또한 증가되는 추세이다. 하지만 취득된 자료의 전송 혹은 저장에 있어서의 제한적인 상황으로 인해 화질에 열화가 발생하거나 혹은 저화질의 영상으로 저장할 수 밖에 없는 현실적인 문제를 가지게 된다. 보안 카메라 영상의 다양한 활용을 위해서는 고화질의 영상을 낮은 데이터량으로 저장할 수 있는 고화질의 압축 방법이 요구된다.

대부분의 영상 압축에서 부/복호화 효율은 영상간 압축을 통해 나타나기 때문에, 효과적으로 영상간 압축을 하는 다양한 발명이 수행되었다. 효과적인 패딩 방법은 예측 효율을 향상 시키고 부호화 효율을 향상 시키는 중요한 기술이다.

본 발명의 일부 실시예는 전방향 보안 카메라를 통해 취득된 영상데이터를 효과적으로 압축하는 것을 그 목적으로 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 영상 복호화 장치 및 방법은 프로젝션 된 영상의 기하학적 특징을 이용하여 해당 특징을 반영한 주변 픽셀의 값을 이용하여 패딩을 수행한다.

이를 위해 본 발명의 일 실시예에서는 영상 정보 및 카메라 정보 파싱(parsing)부, 파싱 정보를 이용하여 영상의 정보들을 계산하고 예측하는 정보 취득부, 상기 취득정보를 바탕으로 기하학적 위치의 복원 픽셀 값을 이용하여 복호화 영상에 대해 패딩을 수행하는 패딩 수행부 및 패딩이 수행된 영상에 이용하여 움직임 예측 및 보상 복호화를 수행하는 움직임 보상 수행부를 포함한다.

본 발명은 화면 간 예측 부호화 효율을 향상시키기 위하여, 영상의 특성을 반영하여 패딩 데이터를 생성하고 생성된 페딩 데이터를 활용하여 부/복호화기에서 움직임 예측 및 보상을 수행하는 방법으로 부/복호화 효율을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 구성을 나타내는 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 패딩시 사용되는 복호화 픽셀의 위치 정보를 도시화한 것이다.
도 3은 전방향 카메라의 영상이 프로젝션 된 다양한 실시 예이다.
도 4는 본 발명의 실시예에서 프로젝션된 영상으로 프레임을 구성하는 방법을 도시한 것이다.
도 5는 프로젝션의 모양과 프레임을 구성하는 방법에 대한 또 다른 실시예이다.
도 6은 도 3의 (A)와 같이 프로젝션 된 영상을 평면으로 펼쳤을 때 각각의 패치를 별도로 부/복호화 수행하는 경우에 대한 패딩의 실시 예이다.

하기는 본 명세서에 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 민간 보안 카메라, 민간 보안 시스템, 군용 보안 카메라, 군용 보안 시스템, 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 그리고 코딩유닛이라는 용어는 단위 블록, 블록 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 블록의 분할 정보를 이용하여 블록단위로 영상 복호화를 수행하는 복호화 장치를 도시한다. 복호화 장치는 엔트로피 복호화부(110), 역양자화부(120), 역변환부(130), 화면간예측부(140), 화면내예측부(150), 루프필터부(160), 복원 영상 저장부(170) 중 적어도 하나를 포함할 수 있다.

엔트로피 복호화부(110)는 입력된 비트스트림(100)을 복호화하여 신택스 요소(syntax elements) 및 양자화된 계수 등과 같은 복호화 정보를 출력한다. 출력되는 정보에는 복호호화를 수행하기 위한 다양한 정보가 포함되어 있으며 이러한 정보에는 영상 및 영상 취득 카메라에 대한 정보가 포함될 수 있다. 영상 및 영상 취득정보는 다양한 형태 및 단위로 전송될 수 있으며, 비트스트림에서 추출되거나 비트스트림에서 추출된 정보를 이용하여 계산 혹은 예측될 수 있다.

역양자화부(120) 및 역변환부(130)는 양자화 계수를 수신하여 역양자화 및 역변환을 차례대로 수행하고, 잔차 신호(residual signal)를 출력한다.

화면 간 예측 부(140)는 비트스트림으로부터 추출된 차분 움직임 백터와 예측 움직임백터를 이용하여 움직임 백터를 계산하고 복원 영상 저장부(170)에 저장되어 있는 복원 영상을 이용하여 움직임 보상을 수행하여 예측 신호를 생성한다. 이때 움직임 예측을 수행하는 참조 영상에 대하여 패딩을 수행하게 되는데 패딩시에 도 2 (A), (B)의 밝은 음영과 같이 복호화된 반대편 사이드의 정보를 이용하여 패딩을 수행한다. 그리고 도2(C)의 어두운 음영과 같이 반대편 사이드 복호화 정보의 직접적인 참조가 어려운 경우에는 밝은 음영의 데이터를 이용하여 보간을 통해 패딩을 수행한다. 발명의 실시예에 따라 반대편 사이드의 픽셀값으로 패딩을 수행하고 필터링을 통해 아티펙트를 제거하고 참조 영상으로 사용할 수 있다. 복호화된 값에 필터링 수행여부는 실시 예에 따라 선택적으로 수행하고 부호화기에서 선택 정보를 복호화기로 전송하고 복호화기에서 전송받은 정보를 바탕으로 패팅을 수행할 수도 있고, 패딩 방법을 부/복호화기 사이에 약속하고 별도의 정보 없이 실시 예를 선택적으로 사용할 수 있다. 또한 패딩을 수행하는 픽셀의 가로, 세로 길이는 부/복호화기 간의 약속에 의해 고정된 크기로 수행된다.

도 3은 전방향 카메라의 영상이 프로젝션 된 다양한 실시 예이다. 도 9(A)는 정육면체로 프로젝션 된 모습을 도시화 한 것이다. 해당 실시예에서 센서의 개수가 각 프로젝션 된 면의 개수와 일치하도록 6개가 될 수 있지만 더 적거나 더 많은 경우도 가능하다. 정 6면체로 프로젝션이 되면 6면의 영상이 생성이 되는데 이를 압축 전송하기 위해 도 4의 (A)와 같이 하나의 면을 하나의 프레임으로 구성할 수도 있고 (B)와 같이 동시에 취득 및 프로젝션 된 6개의 영상을 하나의 프레임으로 구성하여 전송할 수도 있다. 이때 6개의 면이 도 4(B)의 어떤 위치에 위치하게 될지는 실시예에 따라 달라 질 수 있다. 도4 (C)는 영상의 프로젝션이 12개의 면을 가진 도형으로 이루어진 경우 이를 하나의 프레임으로 구성한 실시예에 해당한다. 실시 예는 다수의 센서를 가지는 카메라가 동시에 취득된 영상 혹은 영상들을 프로젝션하고 이를 압축 및 전송의 편의를 위해 하나의 프레임을 구성하는 방법에 관한 것으로 카메라가 가지는 센서의 개수 및 프로젝션 모양에 따라 다양한 형태를 가질 수 있으며 실시 예에 따라 다양하게 나타날 수 있다

도 5는 프로젝션의 모양과 프레임을 구성하는 방법에 대한 또 다른 실시예이다. 도 5에서 흰색 부분은 취득 영상이 프로젝션 되어 실제 영상데이터가 존재하는 부분이고, 회식 부분은 영상데이터가 존재하지 않는 부분이다. 프로젝션을 하는 방법이나 프레임을 구성하는 방법에 따라 일반적인 직사각 형태의 프레임에 꽉 찬 형태로 데이터가 존재하지 않을 수 있으며, 그 경우 부호화기에서는 복호화기로 해당 정보를 전송하여야 한다. 실시 예에 따라 흰색 부분을 패딩하여 직사각 형태의 프레임을 구성하고 부/복호화가 이루어질 수도 있고, 패딩 없이 해당 영상 부분만 부/복호화를 할 수도 있다. 두 방법 모두 부/복호화기는 해당 정보를 알고 이를 이용해야 하며, 부호화기에서 복호화기로 해당 정보를 전송할 수도 있고 아니면 부/복호화기간의 약속을 통해 이루어질 수 있다.

도 6은 도 3의 (A)와 같이 프로젝션 된 영상을 평면으로 펼쳤을 때 각각의 패치를 별도로 부/복호화 수행하는 경우에 대한 패딩의 실시 예이다. 도 3의 (A)를 주사위를 펼치듯이 펼치면 (B)와 같이 펼쳐지게 되며 이를 직사각형의 형태로 (A)와 같이 변형할 수 있다. 이때 각각의 면이 어디에 위치하게 되는지는 시스템 단에서 결정하게 되며 해당 정보를 부/복호화기 간의 약속에 의해 별도의 정보 전송 절차 없이 수행될 수도 있고, HLS등의 상위레벨 문맥정보를 통해 부호화기에서 복호화기로 전송하고 복호화기가 복호화 한 후에 해당 정보를 참조할 수 있다. 이때 패딩시 참조하는 복호화 데이터는 (B)를 접었을 때 모서리가 만나는 면의 정보가 될 것이며 이는 기초적인 기하학적 지식으로 충분이 설명될 것이다. 해당 실시 예는 정육면체로 프로젝션된 영상에 대해 도시하였으나 도 3의 다른 프로젝션 예나 본 발명에서 설명하지 않은 다양한 프로젝션의 경우에도 해당 기하학적 원리를 이용하여 패딩시 사용되는 데이터를 정의할 수 있다. 해당 실시에도 도2의 실시예와 같이 데이터가 부족한 공간에 대해서는 보간 필터링을 통해 패딩 데이터를 계산할 수 있다.

해당없음

Claims

비디오 복호화 방법에 있어서,
비트스트림으로부터 영상 정보를 획득하는 단계;
상기 영상 정보를 기초로, 현재 프레임에 인접한 참조 영역을 패딩하는 단계;
상기 패딩된 참조 영역을 기초로, 상기 현재 프레임을 복호화하는 단계를 포함하되,
상기 현재 프레임은, 복수의 영상들을 평면으로 프로젝션하여 획득된 것이고,
상기 복수의 영상들 각각은, 상기 현재 프레임 내 하나의 패치를 구성하고,
상기 프로젝션은, 상기 복수의 영상들의 패치들을 일정 순서에 따라 나열하여 하나의 프레임을 구성하는 것이고,
상기 현재 프레임의 우측에 인접한 참조 영역의 패딩은, 상기 현재 프레임의 복호화된 좌측 정보를 이용하여 수행되는, 비디오 복호화 방법.
제1항에 있어서,
상기 패딩된 참조 영역은, 상기 비트스트림으로부터 시그날링된 필터링 수행 여부를 나타내는 선택 정보를 기초로, 선택적으로 필터링되는, 비디오 복호화 방법.
제1항에 있어서,
상기 참조 영역의 패딩은, 상기 패딩이 수행하는 픽셀의 가로 및 세로 길이가 고정된, 비디오 복호화 방법.
제1항에 있어서,
상기 현재 프레임은, 직사각형의 형태인, 비디오 복호화 방법.
현재 프레임에 인접한 참조 영역을 패딩하는 단계;
상기 패딩된 참조 영역을 기초로, 상기 현재 프레임을 부호화하는 단계를 포함하되,
상기 참조 영역의 패딩의 기초가 되는 영상 정보는 부호화되고,
상기 현재 프레임은, 복수의 영상들을 평면으로 프로젝션하여 획득된 것이고,
상기 복수의 영상들 각각은, 상기 현재 프레임 내 하나의 패치를 구성하고,
상기 프로젝션은, 상기 복수의 영상들의 패치들을 일정 순서에 따라 나열하여 하나의 프레임을 구성하는 것이고,
상기 현재 프레임의 우측에 인접한 참조 영역의 패딩은, 상기 현재 프레임의 복호화된 좌측 정보를 이용하여 수행되는, 비디오 부호화 방법.