KR101355892B1 - 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법 - Google Patents

Abstract

본 발명은 실시간 영상신호 압축을 위한 영상압축 코덱에 적용되는 영상데이터 처리방법에 관한 것으로, 본 발명에 따르면, 처리하고자 하는 데이터의 양보다 두 배의 메모리 공간이 필요한 단점이 있었던 종래의 이중 버퍼링 방식 및 메모리의 사용량은 최소화되나 입출력 순서가 복잡하거나 불규칙할 경우는 적용이 어려웠던 종래의 단일 메모리를 이용한 방식의 문제점을 모두 해결하여, 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법이 제공된다.

Description

실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법{Image data processing method for real-time concurrent single memory input／output access}

본 발명은 실시간 영상신호 압축을 위한 영상압축 코덱에 적용되는 데이터 처리방법에 관한 것으로, 더 상세하게는, 단일 메모리를 사용하는 경우에 불규칙한 임의의 입출력 순서에 대하여도 효율적인 실시간 메모리 입출력이 가능하도록 구성되는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법에 관한 것이다.

일반적으로, 영상신호는, 일반적인 신호 처리와는 달리 처리해야 할 데이터의 양이 방대하며, 또한, 동영상의 경우는, 실시간 처리가 중요하다는 특징을 가지고 있다.

아울러, 영상신호 처리는, 공간적 신호를 처리하는 분야로서, 화질 개선이나 압축, 영상인식 등의 처리를 위해, 많은 양의 공간적 신호를 효율적으로 처리하기 위하여 일정 크기의 블록 단위로 신호를 처리하며, 그 대표적인 예로서 영상압축 코덱이 있다.

또한, 블록 단위로 신호처리를 수행할 경우, 블록 단위로 나누어진 데이터는 필요에 따라 서로 다른 기능을 하는 연속적인 신호처리 경로를 거치게 되며, 이때, 블록 내의 데이터는, 일반적으로, 좌에서 우로, 그리고 위에서 아래로 진행되는 순서를 따른다.

그러나 영상압축 코덱에 있어서는, 예를 들면, JPEG, MPEG의 지그재그 스캔(Zigzag Scan)이나 HEVC의 대각선 스캔(Diagonal Scan)과 같이, 처리순서를 변경해야 할 경우가 발생하며, 특히, 실시간 처리를 위해서는, 입력 데이터를 처리하고자 하는 블록 크기의 메모리에 저장하는 동시에, 그 이전에 저장한 데이터를 새로운 처리순서로 출력시켜야 한다.

아울러, 영상압축은, 대량의 데이터를 일정한 속도를 유지하면서 실시간으로 처리하는 것이 요구되며, 또한, 저전력 동작을 위해 가능한 한 낮은 주파수에서 동작할 수 있는 하드웨어로 구현될 것이 요구된다.

더 상세하게는, 데이터의 처리순서를 변환하는 경우, 일반적으로, 처리하고자 하는 블록의 데이터를 동일한 블록 크기의 메모리에 저장한 후 다시 읽어내는 과정을 거친다.

이때, 이미 저장된 데이터를 다시 읽어내기 위한 처리속도를 일정하게 유지하기 위해 연속하여 입력되는 데이터를 대기시킨다면 결과적으로 전체적인 처리속도를 저하시키게 된다.

따라서 종래에는, 처리하고자 하는 블록의 크기와 같은 크기의 메모리 2개를 사용하여 서로 순서를 바꿔가며 입출력 동작을 수행하는 이중 버퍼링 방식으로 데이터의 순서를 바꾸는 방법이 널리 사용되어 왔다.

즉, 도 1을 참조하면, 도 1은 입출력 데이터의 처리 순서를 바꾸기 위해 일반적으로 쓰이는 종래기술의 예로서, 이중 버퍼링을 이용한 입출력 순서변환방법의 개념을 개략적으로 나타내는 도면이다.

도 1에 나타낸 바와 같이, 이중 버퍼링 방식은, 처리하고자 하는 블록 크기의 메모리 두 개를 이용하여 각각의 메모리가 입출력 동작을 블록 단위로 교대함으로써 실시간 데이터 처리를 수행하며, 범용으로 널리 사용되는 방법이나, 처리하고자 하는 데이터의 양보다 두 배의 메모리 공간이 필요하다는 단점이 있다.

이에 대하여, 도 2를 참조하면, 도 2는 입출력 데이터의 처리 순서를 바꾸기 위해 일반적으로 쓰이는 종래기술의 다른 예로서, 단일 버퍼링을 이용한 입출력 순서변환 방법의 개념을 개략적으로 나타내는 도면이다.

즉, 도 2에 나타낸 바와 같이, 단일 버퍼링을 이용한 방법은, 데이터를 출력하는 동시에 같은 주소에 데이터를 입력함으로써, 처리하는 블록 크기만큼의 메모리만을 사용하는 방법이다.

따라서 도 2에 나타낸 바와 같은 단일 버퍼링 방식을 이용하면 메모리의 사용을 감소할 수 있으나, 단일 버퍼링 방식은, 예를 들면, 2D DCT에서의 전치버퍼의 경우와 같이, 입출력 순서가 단순하고 규칙성을 가지는 경우에 사용할 수 있는 방법으로, 입출력 순서가 복잡하거나 불규칙할 경우는 메모리 접근주소가 매번 불규칙적으로 변화하기 때문에 단일 메모리를 이용한 방식을 적용하기가 어렵다는 단점이 있다.

따라서 상기한 바와 같은 종래의 이중 버퍼링 및 단일 버퍼링의 문제점을 모두 해결하기 위하여는, 입출력 순서가 복잡하거나 불규칙할 경우에도 최소한의 메모리, 즉, 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 하는 새로운 영상데이터 처리방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제공되지 못하고 있는 실정이다.

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 처리하고자 하는 데이터의 양보다 두 배의 메모리 공간이 필요한 단점이 있었던 종래의 이중 버퍼링 방식 및 메모리의 사용량은 최소화되나 입출력 순서가 복잡하거나 불규칙할 경우는 적용이 어려웠던 종래의 단일 메모리를 이용한 방식의 문제점을 모두 해결하여, 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 구성되는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 제공하고자 하는 것이다.

또한, 본 발명에 따르면, 상기한 바와 같은 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 이용하여 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 구성되는 영상압축 코덱 및 영상압축 장치를 제공하고자 하는 것이다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 데이터의 처리순서를 변환하기 위해 입력 데이터를 일정 크기의 블록 단위로 나누어 상기 블록과 동일한 크기의 메모리에 저장하는 동시에 그 이전에 저장한 데이터를 새로운 처리순서로 출력시키는 단일 메모리를 이용한 데이터 입출력 순서변환 처리에서 입출력 순서가 불규칙할 경우에도 실시간으로 동시 입출력 처리가 가능하도록 물리적 주소의 변환을 수행하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법에 있어서, 입력순서와 출력순서는 고정된 대응관계를 유지하므로 n번째 처리된 물리적 주소는 다음 차례에는 항상 고정된 m번째 순서에 처리되며, 1회의 블록처리에서 모든 주소가 빠짐없이 한 번씩 접근되므로, 임의의 물리적 주소가 가질 수 있는 주소는 전체 데이터의 수를 최대값으로 하는 유한하고 고정된 집합으로 제한된다는 규칙에 근거하여, 고정된 특정 물리적 주소가 접근되는 순서 변화를 블록 내 전체 데이터의 수를 최대값으로 하는 고정되고 유한한 순서열로 표현함으로써 각 물리적 주소가 접근되는 순서의 고정된 변화패턴을 순서열 테이블로서 저장하는 순서열 테이블 구성단계; 특정 순서에 처리되는 물리적 순서는 블록이 처리될 때마다 갱신되며 고정된 패턴으로 변화한다는 규칙에 따라, 블록이 한번 처리될 때마다 증가하는 블록카운터를 각각의 상기 변화패턴마다 할당하는 블록카운터 할당단계; 동일 패턴에 속한 처리순서는 시작하는 순서만 다를 뿐 같은 순서열을 보이며 변화한다는 규칙에 따라, 각각의 상기 변화패턴에 속한 처리순서에 고유한 오프셋(offset)을 설정하여 오프셋 테이블로서 저장하는 오프셋 테이블 구성단계; 및 각각의 상기 순서열 테이블과 상기 블록카운터 및 상기 오프셋 테이블의 내용을 조합하여 실제 물리적 주소를 발생시키는 주소발생단계를 포함하여 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법이 제공된다.

여기서, 상기 블록카운터 할당단계는, 각각의 순서열을 동일한 횟수 내에 반복성을 가지는 것끼리 분류하여 동일한 블록카운터를 공유하도록 설정하는 것을 특징으로 한다.

또한, 상기 블록카운터 할당단계는, 동일한 블록카운터 값을 가지는 순서열들에 고유의 오프셋 값을 더하여 최종적인 블록카운터 값을 할당하도록 구성되는 것을 특징으로 한다.

아울러, 상기 주소발생단계는, 각각의 주소를 그룹화하고 각 그룹 내의 주소에 대하여 기본 순서열에 오프셋을 할당하는 것에 의해 주소를 발생하도록 구성되는 것을 특징으로 한다.

더욱이, 상기 주소발생단계는, 그룹화된 주소의 기본 순서열은 고유한 그룹의 크기를 최대값으로 하는 블록카운터에 의해 특정 값이 지정되도록 구성되는 것을 특징으로 한다.

또한, 상기 주소발생단계는, 최종 블록카운터 값을 상기 순서열 테이블의 인덱스로 사용하여 최종 주소값을 결정하도록 구성되는 것을 특징으로 한다.

아울러, 본 발명에 따르면, 상기에 기재된 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 컴퓨터에 실행시키도록 구성된 프로그램이 기록된 컴퓨터에서 판독 가능한 기록매체가 제공된다.

더욱이, 본 발명에 따르면, 상기에 기재된 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 이용하여, 입출력 순서가 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 물리적 주소의 변환을 수행하도록 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상처리장치가 제공된다.

상기한 바와 같이, 본 발명에 따르면, 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법이 제공됨으로써, 처리하고자 하는 데이터의 양보다 두 배의 메모리 공간이 필요한 단점이 있었던 종래의 이중 버퍼링 방식 및 메모리의 사용량은 최소화되나 입출력 순서가 복잡하거나 불규칙할 경우는 적용이 어려웠던 종래의 단일 메모리를 이용한 방식의 문제점을 모두 해결할 수 있다.

또한, 본 발명에 따르면, 상기한 바와 같이 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 구성됨으로써, 실시간 영상압축 코덱에서 작은 면적으로 구현 가능한 동시에 블록의 크키가 커질수록 면적 감소 효과는 커지는 효율적인 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 제공할 수 있다.

도 1은 입출력 데이터의 처리 순서를 바꾸기 위해 일반적으로 쓰이는 종래기술의 예로서, 이중 버퍼링을 이용한 입출력 순서변환방법의 개념을 개략적으로 나타내는 도면이다.
도 2는 입출력 데이터의 처리 순서를 바꾸기 위해 일반적으로 쓰이는 종래기술의 다른 예로서, 단일 버퍼링을 이용한 입출력 순서변환 방법의 개념을 개략적으로 나타내는 도면이다.
도 3은 영상압축에서 공간적 영역의 데이터를 주파수 영역으로 변환하기 위한 이차원 변환과정의 데이터 전치방법의 개념을 개략적으로 나타내는 도면이다.
도 4는 영상압축에서 엔트로피 코딩을 위해 중요도 순으로 데이터를 재배열 과정에 사용되는 8×8 지그재그 스캔의 입출력 순서변환의 개념을 개략적으로 나타내는 도면이다.
도 5는 8×8 지그재그 스캔에서 단일 메모리를 사용하는 방법을 적용시켰을 때의 기본 입출력 순서와 주소열 변화를 표로 나타내는 도면이다.
도 6은 불규칙한 출력 순서를 가지는 차세대 영상압축 코덱에 사용되는 4×4 대각선 스캔의 입출력 순서를 표로 나타낸 도면이다.
도 7은 4×4 블록의 대각선 스캔에서 단일 메모리를 사용한 방법을 적용할 경우의 순서열이 갱신되는 것을 표로 나타낸 도면이다.
도 8은 기본 순서열과 종속되는 순서열과의 오프셋 관계를 표로 나타내는 도면이다.
도 9는 각 순서열이 가지는 반복성과 연관성을 이용하여 구현된 본 발명의 영상데이터 처리방법에 따른 주소 변환기의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 10은 입출력 순서열이 서로 다른 다양한 스캔 블록을 본 발명에 따른 방법과 종래의 이중 버퍼링을 이용한 방법으로 각각 구현하여 비교한 결과를 표로 나타내는 도면이다.
도 11은 8×8 지그재그 스캔에서 동일 순서열에 속하는 처리순서의 실제 주소변화 패턴을 표로 나타내는 도면이다.
도 12는 8×8 지그재그 스캔에서 각 물리적 주소가 접근되는 처리순서에 따른 물리적 주소의 고정된 변화패턴을 나타내는 도면이다.
도 13은 각종 스캔 방법에서 반복되는 주소집합의 크기와 최소공배수를 표로 나타낸 도면이다.
도 14는 출력 순서가 바뀌는 것을 고려하여 작성한 지그재그 8×8 스캔 블록에 대한 테스트 벡터의 예를 나타내는 도면이다.
도 15는 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상 데이터 처리방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상 데이터 처리방법의 구체적인 실시예에 대하여 설명한다.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.

즉, 본 발명은, 후술하는 바와 같이, 처리하고자 하는 데이터의 양보다 두 배의 메모리 공간이 필요한 단점이 있었던 종래의 이중 버퍼링 방식 및 메모리의 사용량은 최소화되나 입출력 순서가 복잡하거나 불규칙할 경우는 적용이 어려웠던 종래의 단일 메모리를 이용한 방식의 문제점을 모두 해결하여, 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법에 관한 것이다.

또한, 본 발명은, 후술하는 바와 같이, 실시간 영상압축 코덱에서 작은 면적으로 구현 가능한 동시에 블록의 크키가 커질수록 면적 감소 효과는 커지는 효율적인 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법에 관한 것이다.

계속해서, 첨부된 도면을 참조하여, 본 발명에 따른 실시간 단일 메모리 동시 입출력을 이용한 영상 데이터 처리방법의 구체적인 내용에 대하여 설명한다.

먼저, 영상압축 과정에서 데이터의 입출력 변환이 발생하는 경우의 예에 대하여 설명하면, 영상압축에서 공간적 영역의 데이터를 주파수 영역으로 바꿔 주는 이차원 변환과정에 사용되는 데이터 전치과정과, 엔트로피 코딩을 위해 중요도에 따른 순서로 데이터를 재배열하는 스캔 과정이 있다.

더 상세하게는, 도 3을 참조하면, 도 3은 영상압축에서 공간적 영역의 데이터를 주파수 영역으로 변환하기 위한 이차원 변환과정의 데이터 전치방법의 개념을 개략적으로 나타내는 도면이다.

즉, 도 3에 나타낸 바와 같이, 이차원 변환과정의 데이터 전치과정은, 데이터 블록의 가로와 세로 방향을 바꿔서 순서를 재배열하며, 재배열 전후의 순서가 규칙적이고 간단하기 때문에 단순한 주소 비트의 재배열만으로도 구현이 가능하다는 장점이 있다.

또한, 영상압축시 변환과정과 양자화를 거친 영상 데이터는 엔트로피 코딩을 거치기에 앞서 중요도가 높은 순으로 재배열되는데, 이때 사용되는 방법의 대표적인 예로서, 예를 들면, 지그재그 스캔이 널리 사용된다.

즉, 도 4 및 도 5를 참조하면, 먼저, 도 4는 영상압축에서 엔트로피 코딩을 위해 중요도 순으로 데이터를 재배열 과정에 사용되는 8×8 지그재그 스캔의 입출력 순서변환의 개념을 개략적으로 나타내는 도면이다.

아울러, 도 5를 참조하면, 도 5는 8×8 지그재그 스캔에서 단일 메모리를 사용하는 방법을 적용시켰을 때의 기본 입출력 순서와 주소열 변화를 표로 나타내는 도면이다.

더 상세하게는, 도 4에 나타낸 바와 같이, 지그재그 스캔에 의해 변환을 거친 데이터는 공간적으로 좌측 상단 방향으로 눈에 민감한 저주파 데이터가 모이게 되며, 여기서, 도 5에 나타낸 바와 같이, 단일 메모리의 적용시 지그재그 스캔에서는 불규칙한 주소열 변화 패턴이 나타남을 알 수 있다.

또한, 영상압축 표준에서 자주 사용되는 8x8 이차원 DCT는, 먼저 1차원 변환을 수행한 후 그 출력의 가로와 세로를 바꾸어 다시 1차원 DCT를 수행하며, 이때, 입출력 데이터의 순서를 바꾸기 위해 전치버퍼가 필요한데, 이 경우는 입출력 순서가 단순하여 단일 메모리 방식으로 간단히 동시 입출력을 위한 구조를 구현할 수 있다.

즉, 도 6을 참조하면, 도 6은 불규칙한 출력 순서를 가지는 차세대 영상압축 코덱에 사용되는 4×4 대각선 스캔(Diagonal Scan)의 입출력 순서를 표로 나타낸 도면이다.

도 6에 나타낸 바와 같이, 이 경우도 마찬가지로, 도 2에 나타낸 바와 같은 단일 메모리를 이용한 동시 입출력 방법을 사용하면, 입출력 순서열이 매번 불규칙하게 변화하기 때문에 구현하기가 어렵다.

여기서, 이러한 문제점을 해결하기 위해, 종래, 예를 들면, "'간접 주소접근 방법을 이용한 효율적인 Zigzag Scanning 하드웨어 설계', 이건중, et. al., 대한전자공학회 대전충남지부학술대회, 대전, 2011."에서 본 발명자 등에 의해 제시된 바와 같이, 매번 갱신되는 주소열을 별도의 주소저장용 메모리에 저장하는 방법이 제시된 바 있다.

더 상세하게는, 상기한 방법은, 매번 바뀌는 물리적 주소를 별도의 메모리에 저장한 후, 다음 순서열은 실제 물리적 주소가 아닌 주소를 저장한 메모리의 주소를 참조하여 결정한다.

따라서 상기한 바와 같은 구성됨으로써 임의의 불규칙한 순서열에도 대응할 수 있는 장점이 있으나, 처리해야 하는 블록의 크기가 커질수록 주소를 저장하는 공간의 크기도 커지게 되어 효용성이 떨어지는 단점이 있다.

즉, 상기한 바와 같이, 입출력 순서가 규칙적이고 간단한 경우라면 입출력 순서가 반복적으로 이루어지므로, 처리하고자 하는 블록 크기의 메모리 한 개만으로 단일 메모리 방법을 이용하여 작은 면적의 구현이 가능하다.

그러나, 불규칙한 입출력 순서의 변환이 일어나는 경우는, 상기한 바와 같은 단일 메모리를 적용한 방법을 사용하면 블록의 데이터를 한번 처리할 때마다 접근해야 하는 주소열의 순서가 새로운 불규칙한 순서열로 바뀌기 때문에 적절한 주소발생기를 구현하기가 어렵다.

그러나 본 발명자들은, 입출력 순서가 불규칙한 경우에도 새롭게 갱신되는 입출력 순서열 패턴의 유한성 및 반복성이 있음을 발견하였다.

계속해서, 도 7을 참조하여, 입출력 순서열과 접근주소의 규칙성에 대하여 설명한다.

즉, 도 7을 참조하면, 도 7은 상기한 4×4 블록의 대각선 스캔에서 단일 메모리를 사용한 방법을 적용할 경우의 순서열이 갱신되는 것을 표로 나타낸 도면이다.

도 7에 나타낸 바와 같이, 단일 메모리를 사용하는 방법을 적용할 경우, 매번 블록을 처리할 때마다 접근하는 주소가 불규칙하게 바뀌는 것을 알 수 있다.

그러나 여기서, 입출력 순서열과 접근주소는 다음과 같은 규칙성을 가진다.

[규칙 1]

입력순서와 출력순서는 고정된 대응관계를 유지한다.

[규칙 2]

1회의 블록처리에서 모든 주소는 한 번만 그러나 빠짐없이 접근한다.

즉, [규칙 1]에 따르면, n번째 처리된 물리적 주소는 다음 차례에는 항상 고정된 m번째 순서에 처리가 된다.

또한, [규칙 2]에 따르면, 임의의 물리적 주소가 가질 수 있는 주소는 전체 데이터의 수를 최대값으로 하는 유한하고 고정된 집합으로 제한된다.

더 상세하게는, 예를 들면, 도 7의 4번째 행의 초기값 3에서부터 처리되는 물리적 주소를 살펴보면, 3 - 8 - 6 - 12 - 7 - 9의 순서가 반복됨을 알 수 있다.

마찬가지로, 집합에 속한 다른 숫자들도 같은 순서로 변화하고, 즉, 초기값 12의 경우 12 - 7 - 9 - 3 - 8 - 6의 순서로 변화한다.

따라서 이러한 규칙에 의해 각각의 데이터를 분석해 보면, 실제 접근하는 물리적 주소는 세 가지 기본 순서열을 바탕으로 변화하고, 나머지는 각 기본 순서열에 오프셋(offset)을 더한 관계를 가지고 있음을 알 수 있다.

즉, 도 8을 참조하면, 도 8은 상기한 바와 같이 하여 기본 순서열과 종속되는 순서열과의 오프셋(offset) 관계를 표로 나타낸 도면이다.

따라서 상기한 바와 같은 내용으로부터, 각 순서마다 처리되는 물리적 주소가 서로 다른 크기의 집합을 이루고 순서가 반복되므로, 각 집합의 크기의 최소공배수를 구하면 전체 순서열이 최소 몇 번의 순환을 거치면 최초의 순서에 이르게 되는지 알 수 있다.

즉, 4×4 대각선 스캔(Diagonal Scan)의 경우, 각 집합의 크기는 1, 4, 6이고, 최소공배수는 12이므로, 12번의 순환을 거치면 처음의 순서열로 돌아오게 됨을 알 수 있다.

아울러, 본 발명자들은, 상기한 바와 같은 내용에 근거하여, 불규칙한 입출력 순서를 가지는 경우에도 단일 메모리 방식을 적용 가능하도록 하는 주소발생기로서의 역할을 하는 주소변환기를 구현하였다.

계속해서, 도 9를 참조하여, 상기한 바와 같이 하여 구현된 본 발명에 따른 주소 변환기의 구체적인 구성에 대하여 설명한다.

즉, 도 9를 참조하면, 도 9는 상기한 바와 같은 각 순서열이 가지는 반복성과 연관성을 이용하여 구현된 본 발명에 따른 주소변환기의 전체적인 구성을 개략적으로 나타내는 도면이다.

더 상세하게는, 도 9에 나타낸 바와 같이, 본 발명에 따른 주소 변환기는, 하나의 픽셀카운터 및 오프셋 테이블과, 복수의 블록 카운터 및 순서열 테이블을 포함하여 구성되어 있다.

더 상세하게는, 각 순서열은 같은 횟수 내에 반복성을 보이는 것끼리 분류하여 동일한 블록카운터를 공유하도록 구성되고, 같은 블록카운터 값을 가지는 순서열들은 고유의 오프셋(offset) 값과 더하여 최종적인 자신의 블록카운터 값을 가지게 된다.

또한, 최종 블록카운터 값은 자신에 맞는 순서열 테이블의 인덱스로 사용되어 최종 주소값을 결정하게 된다.

다음으로, 도 10을 참조하여, 상기한 바와 같이 하여 구성된 본 발명에 따른 영상데이터 처리방법과 종래의 방식을 비교 실험한 결과에 대하여 설명한다.

즉 도 10을 참조하면, 도 10은 입출력 순서열이 서로 다른 다양한 스캔 블록을 본 발명에 따른 방법과 종래의 이중 버퍼링을 이용한 방법으로 각각 구현하여 비교한 결과를 표로 나타내는 도면이다.

여기서, 도 10에 나타낸 비교결과에 있어서, 비교 실험은 TSMC 0.18um CMOS 공정,166MHz를 이용하여 수행되었다.

즉, 도 10에 나타낸 바와 같이, 본 발명에 따르면, 가장 큰 부분을 차지하는 메모리의 크기가 반으로 줄어들어 전체적으로 최소 40% 이상의 면적 감소효과가 있음을 알 수 있다.

따라서 도 10에 나타낸 결과로부터, 최근 새로 제안된 영상표준인 HEVC에서 볼 수 있듯 영상압축의 처리블록은 점점 더 커지고 있는 추세이나, 본 발명에 따르면, 처리 블록의 크기에 상관없이 적용될 수 있을 뿐만 아니라, 블록의 크기가 커질수록 실질적 면적 감소효과는 더 커지는 효율적인 방법임을 알 수 있다.

계속해서, 상기한 바와 같은 대각선 스캔의 경우에 더하여, 지그재그 스캔의 경우에 대하여 설명한다.

상기한 바와 같이, 블록크기의 단일 메모리를 사용하는 입출력 데이터 순서변환은 입력순서와 출력순서가 고정된 대응관계를 유지하며, 1회의 블록처리에서 모든 주소는 한 번만 그리고 빠짐없이 접근된다는 특성이 있다.

이러한 특성에 따라, n번째 처리된 물리적 주소는 다음 차례에는 항상 고정된 m번째 순서로 처리되고, 또한, 1회에 처리되는 데이터의 수는 블록 내의 전체 블록 내의 데이터의 수와 같으므로, 고정된 특정 물리적 주소가 접근되는 순서 변화를 표시하면 블록 내 전체 데이터의 수를 최대값으로 하는 고정되고 유한한 순서열로 표현된다.

즉, 도 11 및 도 12를 참조하면, 도 11은 8×8 지그재그 스캔에서 동일 순서열에 속하는 처리순서의 실제 주소변화 패턴을 표로 나타내는 도면이다.

또한, 도 12를 참조하면, 도 12는 8×8 지그재그 스캔에서 각 물리적 주소가 접근되는 처리순서에 따른 물리적 주소의 고정된 변화패턴을 나타내는 도면이다.

더 상세하게는, 도 11의 첫 번째 행에서 5로 처리되는 물리적 주소의 변화과정을 살펴보면, 5 - 2 - 8 - 17 - 19 - 33 - 42 - 15의 순서대로 순환하면서 반복됨을 알 수 있다.

아울러, 순서열에 속한 다른 숫자에 해당하는 차례의 주소도 또한, 도 12에 나타낸 바와 같이, 시작 주소만 다를 뿐 같은 순서로 변화하는 것을 알 수 있다.

도 11에 나타낸 바와 같이, 각 처리 순서마다 처리되는 물리적 주소는 서로 다른 크기의 집합을 가지며 반복되고 있다.

이때, 각 집합의 크기의 최소공배수는 전체 주소변화가 원래의 초기 순서로 돌아오기까지 걸리는 최소 갱신횟수를 나타내며, 8×8 지그재그 스캔의 경우 각 집합의 크기는, 도 11에 나타낸 바와 같이, 1, 2, 8, 17이고, 최소공배수는 136이므로, 136번의 블록 처리과정을 거치면 처음의 순서열로 돌아오게 됨을 확인할 수 있다.

같은 방법으로, H.264나 HEVC에 사용되는 여러 스캔 방법에 대하여 단일 메모리를 사용하는 방법을 적용하였을 때의 주소변화와 처음의 순서열로 돌아오는 최소 횟수인 최소공배수를 구해보면 도 13에 나타낸 바와 같다.

즉, 도 13을 참조하면, 도 13은 각종 스캔 방법에서 반복되는 주소집합의 크기와 최소공배수를 표로 나타낸 도면이다.

상기한 바와 같이, 특정 순서에 처리되는 물리적 순서는 블록이 처리될 때마다 갱신되며 고정된 패턴으로 변화하고, 또한, 동일 패턴에 속한 처리순서는 시작하는 순서만 다를 뿐 같은 순서열을 보이며 변화한다.

따라서 블록이 한번 처리될 때마다 증가하는 카운터를 각 패턴마다 할당하고 패턴에 속한 처리순서에는 고유한 오프셋을 설정하여 실제 물리적 주소를 발생시킬 수 있다.

즉, 8×8 지그재그 스캔의 경우, 6번째 처리 순서는 8 - 17 - 19 - 33 - 42 - 15 - 5 - 2의 주소변화패턴을 보이며, 이는 앞서 3번째 처리 순서의 변화패턴 2 - 8 - 17 - 19 - 33 - 42 - 15 - 5에 대해 오프셋 값 1을 가지는 변화패턴으로 볼 수 있다.

따라서 4번째 갱신의 9번째 처리순서에 해당하는 주소는, 기본 주소변환 패턴 8 - 17 - 19 - 33 - 42 - 15 - 5 - 2에서 갱신 회수 4에 오프셋 값 1을 더한 5번째 숫자인 42가 됨을 알 수 있다.

이러한 내용에 근거하여, 하드웨어 구현을 위해 각각의 주소를 그룹화하고 각 그룹 내의 주소에 기본 순서열을 바탕으로 하여 오프셋을 할당하는 것에 의해 상기한 도 9에 나타낸 바와 같은 구조의 주소 변환기를 구현할 수 있다.

여기서, 도 9에 나타낸 주소 변환기의 구성에 있어서, 블록 내의 데이터를 세는 카운터가 개개의 주소를 발생시키는 가장 기본적인 요소가 되며, 그룹화된 주소의 기본 순서열은 고유한 그룹의 크기를 최대값으로 하는 카운터에 의해 특정 값이 지정된다.

또한, 그룹의 기본 순서열과 카운터는 대응 관계를 가지며, 개별 주소는 자신에게 할당된 오프셋과 기본 순서열에 의해 주소를 발생시킨다.

다음으로, 본 발명자들은, 상기한 바와 같이 하여 구현된 주소 변환기가 정상적으로 입출력 주소를 발생시키는지를 용이하게 확인하기 위해 입출력 순서 변화를 고려하여 출력 데이터가 순서대로 출력될 수 있도록 하는 입력 데이터를 작성하여 테스트 벡터로 사용하여 시험을 진행하였다.

즉, 도 14를 참조하면, 도 14는 출력 순서가 바뀌는 것을 고려하여 작성한 지그재그 8×8 스캔 블록에 대한 테스트 벡터의 예를 나타내는 도면이다.

여기서, 도 14에 나타낸 예에 있어서는, 정상적인 입출력 대응관계를 고려하여, 정상적인 순서 변환이 이루어지면 출력데이터는 항상 0, 1, 2, 3, ... 이 나오도록 구성하였다.

또한, Verilog HDL로 설계 및 검증을 한 후 TSMC 0.18 CMOS 공정 라이브러리로 합성하여 타이밍과 면적을 확인하였으며, H.264, HEVC에 사용되는 지그재그 4×4, 대각선 4×4 스캔에 대하여도 동일한 방법으로 설계하고, 이중 메모리를 사용하는 기존의 방법과 비교하였으며, 그 결과는 도 10에 나타낸 바와 같다.

상기한 바와 같은 내용으로부터, 통상적으로 영상신호 처리에서 많이 사용되는 데이터 블록의 실시간 입출력 순서 변환은 단순한 순서열 변환일 경우 처리하고자 하는 블록크기에 해당하는 메모리만을 가지고 실시간으로 입출력 데이터를 교환하는 방법으로 구현해 왔으나, 본 발명에 따르면, 그러한 방법을 적용하기 어려웠던 불규칙한 형태의 입출력 순서 변환에서도 갱신되는 순서열이 규칙성과 반복성이 있음을 알 수 있으며, 이에 근거하여 HDL 설계와 ASIC 라이브러리 적용을 통해 면적이나 처리속도 면에서 기존의 방법에 비해 효율적이고 보편적으로 구현할 수 있는 주소 변환기의 구성을 제공할 수 있음을 알 수 있다.

즉, 도 15를 참조하면, 도 15는 상기한 바와 같은 내용에 근거하여 구현된 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.

더 상세하게는, 도 15에 나타낸 바와 같이, 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법은, 상기한 [규칙 1] 및 [규칙 2]에 나타낸 바와 같이, 입력순서와 출력순서는 고정된 대응관계를 유지하므로 n번째 처리된 물리적 주소는 다음 차례에는 항상 고정된 m번째 순서에 처리되며, 1회의 블록처리에서 모든 주소가 빠짐없이 한 번씩 접근되므로 임의의 물리적 주소가 가질 수 있는 주소는 전체 데이터의 수를 최대값으로 하는 유한하고 고정된 집합으로 제한된다는 것에 근거하여, 고정된 특정 물리적 주소가 접근되는 순서 변화를 블록 내 전체 데이터의 수를 최대값으로 하는 고정되고 유한한 순서열로 표현함으로써 각 물리적 주소가 접근되는 순서의 고정된 변화패턴을 순서열 테이블로서 저장하는 순서열 테이블 구성단계(S151)와, 특정 순서에 처리되는 물리적 순서는 블록이 처리될 때마다 갱신되며 고정된 패턴으로 변화한다는 규칙에 따라, 블록이 한번 처리될 때마다 증가하는 블록카운터를 각각의 상기 변화패턴마다 할당하는 블록카운터 할당단계(S152)와, 동일 패턴에 속한 처리순서는 시작하는 순서만 다를 뿐 같은 순서열을 보이며 변화한다는 규칙에 따라, 각각의 상기 변화패턴에 속한 처리순서에 고유한 오프셋(offset)을 설정하여 오프셋 테이블로서 저장하는 오프셋 테이블 구성단계(S153) 및 각각의 상기 순서열 테이블과 상기 블록카운터 및 상기 오프셋 테이블의 내용을 조합하여 실제 물리적 주소를 발생시키는 주소발생단계(S154)를 포함하여 구성된다.

여기서, 상기한 블록카운터 할당단계(S152)는, 각각의 순서열을 동일한 횟수 내에 반복성을 가지는 것끼리 분류하여 동일한 블록카운터를 공유하도록 설정하도록 구성된다.

또한, 상기한 블록카운터 할당단계(S152)는, 동일한 블록카운터 값을 가지는 순서열들에 고유의 오프셋 값을 더하여 최종적인 블록카운터 값을 할당하도록 구성된다.

아울러, 상기한 주소발생단계(S154)는, 각각의 주소를 그룹화하고 각 그룹 내의 주소에 대하여 기본 순서열에 오프셋을 할당하는 것에 의해 주소를 발생하도록 구성된다.

여기서, 그룹화된 주소의 기본 순서열은 고유한 그룹의 크기를 최대값으로 하는 블록카운터에 의해 특정 값이 지정되도록 구성된다.

더욱이, 상기한 주소발생단계(S154)는, 최종적인 블록카운터 값을 순서열 테이블의 인덱스로 사용하여 최종 주소값을 결정하도록 구성된다.

따라서 상기한 바와 같이 하여, 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 구현할 수 있다.

또한, 상기한 바와 같이 하여 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 구현함으로써, 입출력 순서가 복잡하거나 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 하는 것에 의해 처리하고자 하는 데이터의 양보다 두 배의 메모리 공간이 필요한 단점이 있었던 종래의 이중 버퍼링 방식 및 메모리의 사용량은 최소화되나 입출력 순서가 복잡하거나 불규칙할 경우는 적용이 어려웠던 종래의 단일 메모리를 이용한 방식의 문제점을 모두 해결할 수 있다.

즉, 본 발명에 따르면, 실시간 영상압축 코덱에서 작은 면적으로 구현 가능한 임의의 불규칙한 블록 데이터의 순서 변환방법 및 이를 이용한 주소 변환기를 제공할 수 있다.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.

Claims (8)

1. 데이터의 처리순서를 변환하기 위해 입력 데이터를 일정 크기의 블록 단위로 나누어 상기 블록과 동일한 크기의 메모리에 저장하는 동시에 그 이전에 저장한 데이터를 새로운 처리순서로 출력시키는 단일 메모리를 이용한 데이터 입출력 순서변환 처리에서 입출력 순서가 불규칙할 경우에도 실시간으로 동시 입출력 처리가 가능하도록 물리적 주소의 변환을 수행하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법에 있어서,
   입력순서와 출력순서는 고정된 대응관계를 유지하므로 n번째 처리된 물리적 주소는 다음 차례에는 항상 고정된 m번째 순서에 처리되며, 1회의 블록처리에서 모든 주소가 빠짐없이 한 번씩 접근되므로, 임의의 물리적 주소가 가질 수 있는 주소는 전체 데이터의 수를 최대값으로 하는 유한하고 고정된 집합으로 제한된다는 규칙에 근거하여, 고정된 특정 물리적 주소가 접근되는 순서 변화를 블록 내 전체 데이터의 수를 최대값으로 하는 고정되고 유한한 순서열로 표현함으로써 각 물리적 주소가 접근되는 순서의 고정된 변화패턴을 순서열 테이블로서 저장하는 순서열 테이블 구성단계;
   특정 순서에 처리되는 물리적 순서는 블록이 처리될 때마다 갱신되며 고정된 패턴으로 변화한다는 규칙에 따라, 블록이 한번 처리될 때마다 증가하는 블록카운터를 각각의 상기 변화패턴마다 할당하는 블록카운터 할당단계;
   동일 패턴에 속한 처리순서는 시작하는 순서만 다를 뿐 같은 순서열을 보이며 변화한다는 규칙에 따라, 각각의 상기 변화패턴에 속한 처리순서에 고유한 오프셋(offset)을 설정하여 오프셋 테이블로서 저장하는 오프셋 테이블 구성단계; 및
   각각의 상기 순서열 테이블과 상기 블록카운터 및 상기 오프셋 테이블의 내용을 조합하여 실제 물리적 주소를 발생시키는 주소발생단계를 포함하여 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법.
   
2. 제 1항에 있어서,
   상기 블록카운터 할당단계는,
   각각의 순서열을 동일한 횟수 내에 반복성을 가지는 것끼리 분류하여 동일한 블록카운터를 공유하도록 설정하는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법.
   
3. 제 2항에 있어서,
   상기 블록카운터 할당단계는,
   동일한 블록카운터 값을 가지는 순서열들에 고유의 오프셋 값을 더하여 최종적인 블록카운터 값을 할당하도록 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법.
   
4. 제 1항에 있어서,
   상기 주소발생단계는,
   각각의 주소를 그룹화하고 각 그룹 내의 주소에 대하여 기본 순서열에 오프셋을 할당하는 것에 의해 주소를 발생하도록 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법.
   
5. 제 4항에 있어서,
   상기 주소발생단계는,
   그룹화된 주소의 기본 순서열은 고유한 그룹의 크기를 최대값으로 하는 블록카운터에 의해 특정 값이 지정되도록 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법.
   
6. 제 4항에 있어서,
   상기 주소발생단계는,
   최종 블록카운터 값을 상기 순서열 테이블의 인덱스로 사용하여 최종 주소값을 결정하도록 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법.
   
7. 청구항 1항 내지 6항 중 어느 한 항에 기재된 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 컴퓨터에 실행시키도록 구성된 프로그램이 기록된 컴퓨터에서 판독 가능한 기록매체.
   
8. 청구항 1항 내지 6항 중 어느 한 항에 기재된 실시간 단일 메모리 동시 입출력을 위한 영상데이터 처리방법을 이용하여, 입출력 순서가 불규칙할 경우에도 단일 메모리를 이용하여 실시간으로 동시 입출력 처리가 가능하도록 물리적 주소의 변환을 수행하도록 구성되는 것을 특징으로 하는 실시간 단일 메모리 동시 입출력을 위한 영상처리장치.
   

Images