KR102131326B1 - 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법 - Google Patents

영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법 Download PDF

Info

Publication number
KR102131326B1
KR102131326B1 KR1020130099920A KR20130099920A KR102131326B1 KR 102131326 B1 KR102131326 B1 KR 102131326B1 KR 1020130099920 A KR1020130099920 A KR 1020130099920A KR 20130099920 A KR20130099920 A KR 20130099920A KR 102131326 B1 KR102131326 B1 KR 102131326B1
Authority
KR
South Korea
Prior art keywords
pixels
sampling
block
reference block
sample
Prior art date
Application number
KR1020130099920A
Other languages
English (en)
Other versions
KR20150023119A (ko
Inventor
김성제
권녕규
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130099920A priority Critical patent/KR102131326B1/ko
Priority to US14/454,841 priority patent/US10015511B2/en
Publication of KR20150023119A publication Critical patent/KR20150023119A/ko
Application granted granted Critical
Publication of KR102131326B1 publication Critical patent/KR102131326B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은, 소스블록의 픽셀들을 제1 타입 샘플링하여 제1 샘플소스블록을 생성하는 제1 샘플링 단계; 기준블록의 픽셀들을 제1 타입 샘플링하여 제1 샘플기준블록을 생성하는 제2 샘플링 단계; 상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 픽셀값을 비교하여 제1 매칭영역을 결정하는 단계; 상기 제1 매칭영역과 인접한 다수의 영역들과 상기 소스블록의 픽셀값을 비교하여 상기 소스블록에 대응하는 제2 매칭영역을 결정하는 단계를 포함하고, 상기 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되거나, 또는 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하는 것을 특징으로 한다.

Description

영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법{Image Frame Motion Estimation Device, Encoding Method Thereof}
본 발명은 영상 프레임 움직임 추정 장치 및 방법에 관한 것으로, 구체적으로 영상 프레임의 오브젝트의 움직임을 추정하는 장치 및 방법에 관한 것이다.
대역폭이 한정적인 통신분야에서, 영상 신호의 압축은 멀티미디어 어플리케이션을 구현하는데 중요하다. 영상 신호 압축의 목적은 리던던트한 영상 신호를 제거하고, 이미지를 재생하는데 핵심적인 정보만을 추출하는 것이다. 특히, 비디오 신호 압축에서 리던던트한 비디오 신호를 제거하는 중요한 전제 중에 하나는 비디오 시퀀스에서 2개의 인접한 프레임간에는 차이가 거의 없다는 것이다.
따라서, MPEG-4, H.264 / MPEG-4 AVC(Advanced Video Coding)와 같은 코덱에서는 현재 블록의 움직임 벡터를 예측하기 위해 현재 블록들과 이전 블록들의 정보를 이용하여 다양한 방법이 사용되고 있다.
계층적 모션 추정의 장점은 낮은 계산 복잡도를 가지고 빠르게 영상 프레임의 오브젝트의 움직임을 파악할 수 있고, 작은 용량의 메모리를 요구한다는 것이다. 이에 반하여, 계층적 모션 추정의 단점은 오브젝트의 움직임이 정확히 파악되지 않은 가능성이 내제되어 있다는 것이다.
본 발명의 기술적 사상이 해결하려는 과제는 보다 정확하게 영상 프레임의 오브젝트의 움직임을 추정하는 장치 및 방법을 제공하는데 있다.
본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은, 소스블록의 픽셀들을 제1 타입 샘플링하여 제1 샘플소스블록을 생성하는 제1 샘플링 단계; 기준블록의 픽셀들을 제1 타입 샘플링하여 제1 샘플기준블록을 생성하는 제2 샘플링 단계; 상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 픽셀값을 비교하여 제1 매칭영역을 결정하는 단계; 상기 제1 매칭영역과 인접한 다수의 영역들과 상기 소스블록의 픽셀값을 비교하여 상기 소스블록에 대응하는 제2 매칭영역을 결정하는 단계를 포함하고, 상기 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되거나, 또는 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하는 것을 특징으로 한다.
바람직하게는, 상기 제2 매칭영역을 통하여 상기 기준블록과 상기 소스블록 사이의 모션벡터를 결정하는 단계를 더 포함한다.
바람직하게는, 상기 제1 매칭영역을 결정하는 단계는, 상기 제1 샘플소스블록의 제1 픽셀을 상기 제1 샘플기준블록의 픽셀들에 정합시키면서, 상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합을 구하는 단계; 및 상기 각각의 픽셀값의 차이의 합이 최소가 되는 상기 기준블록에서 제1 매칭영역을 결정하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제2 매칭영역을 결정하는 단계는, 상기 제1 매칭영역과 인접한 다수의 영역들에서, 상기 소스블록의 제2 픽셀을 상기 기준블록의 픽셀들에 정합시키면서, 상기 소스블록과 상기 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합을 구하는 단계; 및 상기 각각의 픽셀값의 차이의 합이 최소가 되는 상기 기준블록에서 제2 매칭 영역을 결정하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제1 타입 샘플링은, 샘플링되는 픽셀들의 연결선이 수평 방향 또는 수직 방향으로 직선이 되도록 하는 샘플링인 것을 특징으로 한다.
바람직하게는, 상기 제1 타입 샘플링의 샘플링 타입은 수평소벨필터 및 수직소벨필터를 통과한 상기 소스블록 및 상기 기준블록의 픽셀값들을 비교하여 정해지는 것을 특징으로 한다.
바람직하게는, 상기 수평소벨필터를 통과한 상기 소스블록 및 상기 기준블록의 픽셀값의 합이 상기 수직소벨필터를 통과한 소스블록 및 상기 기준블록의 픽셀값의 합 보다 큰 경우, 제1 타입 육방정계 샘플링은 샘플링되는 픽셀들의 연결선이 수직 방향으로 직선이 되도록 하는 샘플링이고, 상기 수평소벨필터를 통과한 상기 소스블록 및 상기 기준블록의 픽셀값의 합이 상기 수직소벨필터를 통과한 소스블록 및 상기 기준블록의 픽셀값의 합 보다 작은 경우, 제1 타입 육방정계 샘플링은 샘플링되는 픽셀들의 연결선이 수평 방향으로 직선이 되도록 하는 샘플링인 것을 특징으로 한다.
바람직하게는, 상기 소스블록의 픽셀들을 상기 제1 타입 와 방향성이 상이한 제2 타입 샘플링하여 제2 샘플소스블록을 생성하는 제3 샘플링 단계; 상기 기준블록의 픽셀들을 제2 타입 샘플링하여 제2 샘플기준블록을 생성하는 제4 샘플링 단계; 상기 제2 샘플소스블록과 상기 제2 샘플기준블록을 비교하여 상기 기준블록에서 제3 매칭점을 구하는 단계; 및 상기 제3 매칭점 주변에서 상기 소스블록과 상기 기준블록을 비교하여 제4 매칭점을 구하는 단계를 포함한다.
바람직하게는, 상기 제2 매칭점 및 상기 제4 매칭점을 비교하여 상기 기준블록과 상기 소스블록 사이의 모션벡터를 구하는 단계를 더 포함한다.
바람직하게는, 상기 제1 타입 샘플링 및 상기 제2 타입 샘플링은 샘플링되는 픽셀들의 연결선이 상기 소스블록 및 기준블록에서 수평 방향으로 직선이 되도록 픽셀들을 샘플링하거나, 수직 방향으로 직선이 되도록 픽셀들을 샘플링하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정 장치는 소스블록의 픽셀들을 제1 타입 샘플링하여 제1 샘플소스블록을 생성하고, 기준블록의 픽셀들을 제1 타입 샘플링하여 제1 샘플기준블록을 생성하는 샘플링부; 상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 픽셀값을 비교하여 제1 매칭영역을 결정하는 제1 비교부; 및 상기 제1 매칭영역과 인접한 다수의 영역들과 상기 소스블록의 픽셀값을 비교하여 상기 소스블록에 대응하는 제2 매칭영역을 결정하는 제2 비교부를 포함하고, 상기 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되거나, 또는 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하는 것을 특징으로 한다.
바람직하게는, 상기 영상 프레임 움직임 추정 장치는, 상기 제2 매칭영역을 통하여 상기 기준블록과 상기 소스블록 사이의 모션벡터를 결정하는 모션벡터 계산부를 더 포함한다.
바람직하게는, 상기 제1 비교부는, 상기 제1 샘플소스블록의 제1 픽셀을 상기 제1 샘플기준블록의 픽셀들에 정합시키면서, 상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합을 구하고, 상기 각각의 픽셀값의 차이의 합이 최소가 되는 상기 기준블록에서 제1 매칭영역을 결정하는 것을 특징으로 한다.
바람직하게는, 상기 제2 비교부는, 상기 제1 매칭영역과 인접한 다수의 영역들에서, 상기 소스블록의 제2 픽셀을 상기 기준블록의 픽셀들에 정합시키면서, 상기 소스블록과 상기 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합을 구하고, 상기 각각의 픽셀값의 차이의 합이 최소가 되는 상기 기준블록에서 제2 매칭 영역을 결정하는 것을 특징으로 한다.
바람직하게는, 상기 샘플링부는, 상기 소스블록의 픽셀들을 상기 제1 타입와 방향성이 상이한 제2 타입로 샘플링하여 제2 샘플소스블록을 생성하고, 상기 기준블록의 픽셀들을 제2 타입로 샘플링하고, 상기 제1 비교부는, 상기 제2 샘플소스블록과 상기 제2 샘플기준블록을 비교하여 상기 기준블록에서 제3 매칭점을 구하고, 상기 제2 비교부는, 상기 제3 매칭점 주변에서 상기 소스블록과 상기 기준블록을 비교하여 제4 매칭점을 구하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 인코딩 장치 및 방법은 영상 프레임의 오브젝트의 움직임을 정확하게 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임을 인코딩하는 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시 예에 따른 영상 신호 송수신 시스템(1)을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 움직임 벡터 추정 장치(100)를 도시하는 도면이다.
도 4는 소스블록 및 기준블록의 육방정계 샘플링에 대한 설명을 도시하는 도면이다.
도 5는 직교정계 샘플링, 제1 육방정계 샘플링, 제2 육방정계 샘플링을 각각 도시하는 도면이다.
도 6은 제1 비교부가 제1 매칭영역을 결정하는 과정을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법을 나타내는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정 방법을 나타내는 순서도이다.
도 9은 본 발명의 다른 실시예에 따른 움직임 벡터 추정 장치움직임 벡터 추정 장치(300)를 나타내는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정 방법을 나타내는 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 움직임 벡터 추정 장치움직임 벡터 추정 장치(400)를 나타내는 도면이다.
도 12은 본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정방법을 나타내는 순서도이다.
도 13은 본 발명의 다른 실시예에 따른 움직임 벡터 추정 장치움직임 벡터 추정 장치(500)를 나타내는 도면이다.
도 14는 본 발명의 다양한 실시예에 따른 샘플링을 도시하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 이동식 단말기를 도시하는 도면이다.
도 16는 본 발명의 실시 예에 따른 디스플레이 시스템을 나타낸 도면이다.
도 17은 본 발명의 실시 예에 따른 영상 프레임 움직임 추정 장치를 포함하는 디스플레이 장치가 탑재되는 다양한 전자 제품의 응용 예를 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다. 본 발명의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임의 움직임 추정 방법을 나타내는 순서도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 프레임의 움직임을 추정하는 방법은 소스블록의 픽셀들을 제1 타입 샘플링(예를 들어, 육방정계 샘플링)하여 샘플소스블록을 생성하고, 기준블록의 픽셀들을 육방정계 샘플링하여 샘플기준블록을 생성하는 단계(S110), 샘플소스블록과 샘플기준블록의 픽셀값을 비교하여 소스 블록에 대응하는 기준블록에서 제1 매칭영역을 결정하는 단계(S130), 제1 매칭영역과 일정한 거리 이내에 있는 영역에서 소스블록과 기준블록을 비교하여 제2 매칭영역을 결정하는 단계(S150) 및 제2 매칭영역과 소스블록을 통하여 모션벡터를 결정하는 단계(S170)을 포함할 수 있다.
본 명세서에서 언급하는 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되는 경우를 의미할 수 있다. 본 명세서에서 언급하는 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하는 것을 의미할 수 있다. 구체적인 설명은 도 4, 도 5 및 도 14를 참조한다.
본 명세서에서 언급하는 육방정계 샘플링은 제1 타입 샘플링 중에서 샘플링 되는 픽셀들을 연결하는 선이 육각형이 되도록 샘플링하는 것을 말한다.
본 발명의 일 실시예에 따른, 영상 프레임을 인코딩하는 방법은 소스블록 및 기준블록을 제1 타입 샘플링을 하여 상대적으로 작은량의 샘플링 작업을 하면서도, 수평 또는 수직방향으로 높은 샘플링 주파수를 갖도록 할 수 있다.
도 2는 본 발명의 실시 예에 따른 영상 신호 송수신 시스템(1)을 보여주는 블록도이다. 도 2을 참조하면, 영상 신호 송수신 시스템(1)은 영상 프레임 인코딩 장치(10) 및 비트 스트림 디코딩 장치(20)를 포함한다.
영상 프레임 인코딩 장치(10)는 입력되는 영상 프레임들(F)을 인코딩하여 비트 스트림들(Bit Stream, BS)을 생성한다. 인코더(12)는 비트 스트림 단위로 데이터를 전송한다. 생성된 비트 스트림들(BS)은 비트 스트림 디코딩 장치(20)로 전송된다. 비트 스트림 디코딩 장치(20)는 비트 스트림들(BS)을 디코딩하여 출력 영상 프레임들을 발생한다. 출력 영상 프레임들을 수신하는 영상 디스플레이 장치는, 출력 영상 프레임들에 따라 영상을 디스플레이할 것이다.
영상 프레임 인코딩 장치(10)는 전송 프레임 레이트 제어기(Transmitting Frame Rate Controller, 11), 인코더(Encoder, 12) 및 제 1 내부 버퍼(Internal Buffer 1, 13)를 포함한다.
전송 프레임 레이트 제어기(11)는 영상 프레임들(F)을 수신한다. 전송 프레임 레이트 제어기(11)는 영상 프레임들(F)에 기반하여 모션 벡터 정보(Information of Motion Vector, IMV) 및 소스 프레임 정보(Information of Source Frame, ISF)를 생성한다. 구체적으로, 전송 프레임 레이트 제어기(11)에 포함된 움직임 벡터 추정 장치(100)는 모션 벡터 정보(IMV)를 생성한다.
영상 프레임들(F)은 기준 프레임과 소스 프레임으로 구성된다. 모션 벡터 정보(IMV)는, 기준 프레임은 소스 프레임에 포함된 모션 오브젝트들 간의 모션 정보를 포함한다. 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)는 제 1 내부 버퍼(13)에 전송된다.
인코더(12)는 영상 프레임들(F)을 수신한다. 또한, 인코더(12)는 제 1 내부 버퍼(13)로부터 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 수신한다. 소스 프레임 정보(ISF)에 따라, 인코더(12)는 수신되는 영상 프레임들(F) 중 소스 프레임과 기준 프레임을 구별할 수 있다. 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)가 수신되는 경우, 인코더(12)는 기준 프레임 및 모션 벡터(IMV)를 인코딩하고, 비트 스트림들(BS)을 발생한다.
예시적으로, 인코더(12)는 공간 도메인으로부터 주파수 도메인과 같은 다른 도메인으로 영상 프레임들(F)의 영상 데이터를 변환할 수 있다. 예시적으로, 인코더(12)는 각 영상 프레임을 양자화할 수 있다. 예시적으로, 인코더(12)는 엔트로피(entropy) 인코더일 수 있다. 엔트로피 인코더는 컨텍스트 적응형 가변 길이 코딩(Context Adaptive Variable Length Coding, CAVLC)을 사용할 수 있다. 예시적으로, 인코더(12)는 MPEG-1, MPEG-2, MPEG-4, H.263, H.264와 같은 영상 프레임의 압축 표준들에 따라 인코딩을 수행할 수 있다. 인코딩된 데이터는 양자화된 데이터, 공간 도메인이 아닌 다른 도메인으로 변환된 데이터, 압축된 데이터 또는 이들의 임의의 조합을 사용할 수 있다.
전송 프레임 레이트 제어기(11)는 소스 프레임 정보(ISF)를 제공한다. 인코더(12)는 소스 프레임 정보(ISF)에 대응하는 영상 프레임(즉, 소스 프레임)을 인코딩하지 않는다. 인코더(12)는 소스 프레임 정보(ISF)에 대응하는 영상 프레임 대신에 대체 프레임을 인코딩한다. 대체 프레임은 소스 프레임과 기준 프레임의 픽셀값의 차이에 대한 정보를 포함한다. 그리고, 전송 프레임 레이트 제어기(100)는 비트 스트림들(BS)을 수신한 수신 프레임 레이트 제어기(22)에서 소스 프레임이 복구되기 위한 모션 벡터 정보(IMV)를 제공한다.
본 발명의 일 실시예에 따른, 움직임 벡터 추정 장치(100)는 모션 벡터(Motion Vector)를 산출함에 있어서, 제1 타입 샘플링(예를 들어, 육방정계 샘플링)을 사용할 수 있다. 제1 타입 샘플링(육방정계 샘플링)에 대한 구체적인 설명은 도 4, 도 5 및 도 14에서 후술한다. 육각정계 샘플링은 직교정계 샘플링과 달리, 상대적으로 작은량의 샘플링 작업을 하면서도, 수평 또는 수직 방향으로 높은 샘플링 주파수를 갖도록 할 수 있다.
제 1 내부 버퍼(13)는 전송 프레임 레이트 제어기(11)로부터 수신된 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 임시 저장한다. 그리고, 제 1 내부 버퍼(13)는 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 인코더(12)에 제공한다.
비트 스트림들(BS)은 네트워크(130)를 통하여 비트 스트림 디코딩 장치(20)에 전송된다. 예시적으로, 네트워크(130)는 케이블, 광섬유 및 무선 통신 시스템의 일부 중 적어도 하나일 수 있다. 무선 통신 시스템인 경우에, 네트워크(130)는 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 광대역 코드 분할 다중 접속(Wideband CDMA, WCDMA), 주파수 분할 다중 접속(Frequency Division Multiple Access, FDMA), 직교 주파수 분할 다중 접속(Orthogonal FDMA, OFDMA), GSM(Global System for Mobile communication), 개선된 데이터 GSM 환경(Enhanced Data GSM Environment, EDGE), 범용 패킷 무선 서비스(General Packet Radio Service, GPRS), 테트라(TErrestrial Trunked RAdio,TETRA) 중 어느 하나, 또는 그것들의 조합을 사용하는 통신 시스템일 수 있다.
비트 스트림 디코딩 장치(20)는 디코더(Decoder, 21), 수신 프레임 레이트 컨트롤러(Receiving Frame Rate Controller, 22) 및 제 2 내부 버퍼(Internal Buffer 2, 23)를 포함한다.
디코더(21)는 비트 스트림들(BS)을 디코딩하여 디코드된 영상 프레임들(DF), 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 생성한다. 디코드된 영상 프레임들(DF), 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)는 제 2 내부 버퍼(23)에 저장된다.
수신 프레임 레이트 제어기(22)는 제 2 내부 버퍼(23)로부터 디코드된 영상 프레임들(DF), 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 수신한다. 수신 프레임 레이트 제어기(22)는 모션 벡터 정보(IMV)를 이용하여 복구 프레임(RCF)을 생성한다. 복구 프레임(RCF)은 소스 프레임과 마찬가지의 영상 정보를 포함할 것이다. 수신 프레임 레이트 제어기(22)는 소스 프레임 정보(ISF)를 참조하여 제 2 내부 버퍼(23)에 저장된 대체 프레임을 복구 프레임(RCF)으로 대체하여 저장할 것이다.
제 2 내부 버퍼(23)는 디코드된 영상 프레임들(DF), 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 저장한다. 제 2 내부 버퍼(23)는 디코드된 영상 프레임들(DF), 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 수신 프레임 레이트 제어기(22)에 제공한다. 그리고, 제 2 내부 버퍼(23)는 수신 프레임 레이트 제어기(22)로부터 수신된 복구 프레임(RCF)을 저장한다.
예시적으로, 제 1 및 제 2 내부 버퍼들(13,23)은 각각 SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM), EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM (Phase-change RAM), MRAM (Magnetic RAM), RRAM (Resistive RAM), FRAM (Ferroelectric RAM), 및 하드 디스크 드라이브(Hard Disk Drive, HDD) 중 하나, 또는 그것들의 조합으로 구성될 수 있다.
도 3은 본 발명의 일 실시예에 따른, 움직임 벡터 추정 장치(100)를 도시하는 도면이다.
도 3을 참조하면, 움직임 벡터 추정 장치(100)는 모션 탐지부(Motion Detecting Unit, 110), 샘플링부(Sampling Unit, 120), 제1 비교부(Comparision Unit 1, 140), 제2 비교부(Comparision Unit 2, 130), 모션 벡터 계산부(Motion Vector Calculator, 150)를 포함할 수 있다.
모션 탐지부(110)는 프레임(FR)들을 계속적으로 수신할 수 있다. 모션 탐지부(110)는 현재의 프레임을 소스 프레임으로 이전의 프레임을 기준 프레임으로 하여, 현재의 프레임의 오브젝트에 모션이 있는지 여부를 판단할 수 있다. 또한, 모션 탐지부(110)는 모션이 탐지되는 소스 프레임의 일부를 소스블록(SB)으로 설정하고, 그와 대응하는 기준 프레임의 일부를 기준블록(RB)으로 설정할 수 있다. 모션 탐지부(110)는 소스블록정보(Information of Source Block, ISB) 및 기준블록정보(Information of Reference Block, IRB)를 생성하여, 샘플링부(120) 및 제2 비교부(130)에 전송할 수 있다.
샘플링부(120)는 소스블록(ISB) 및 기준블록(IRB)를 수신하여, 소스블록(SB) 및 기준블록(RB)를 샘플링할 수 있다. 샘플링부(120)는 도 4 및 도 5를 참조한다.
도 4는 소스블록 및 기준블록의 육방정계 샘플링에 대한 설명을 도시하는 도면이다.
도 4(a)를 참조하면, 소스블록이 16 X 16 픽셀을 포함한다. 소스블록의 가장 좌측 상부의 픽셀좌표를 (1,1)이라고 가정한다. 예를 들어, 제1 육방정계 샘플링의 경우, (1, 1), (1, 5), (1,9), (1,13), (5,3), (5,7), (5,11), (5,15), (9,1), (9,5), (9, 9), (9, 13), (13, 3), (13, 7), (13, 11), (13, 15) 픽셀을 샘플링하여 4 X 4 샘플소스블록(SSB)를 생성할 수 있다. 이러한 경우, (5, 3), (5, 7), (9, 1), (9, 9), (13, 3), (13, 7) 픽셀은 하나의 육방정계를 구성할 수 있다.
도 4(b)를 참조하면, 기준블록은 48 X 48 픽셀을 포함한다. 예를 들어, 제1 육방정계 샘플링의 경우에는 도 4(a)의 경우와 같이, (1,1),(1,5),(1,9),(1,13), (1,17),(5,3),(5,7),(5,11),(5,15),(5,19),(9,1),(9,5),(9,9),(9,13),(9,17),(13,3),(13,7),(13,11),(13,15),(13,19)?픽셀들을 샘플링하여 12 X 12 샘플기준블록(SRB)를 생성할 수 있다.
도 5는 직교정계 샘플링, 제1 육방정계 샘플링, 제2 육방정계 샘플링을 각각 도시하는 도면이다.
도 5(a)를 참조하면, 16 X 16 픽셀을 포함하는 블록을 직교정계 샘플링을 하는 경우, 수평 방향과 수직 방향 모두 4:1로 샘플링되는 것을 확인할 수 있다.
도 5(b)를 참조하면, 16 X 16 픽셀을 포함하는 블록을 제1 육방정계 샘플링을 하는 경우, 수직방향은 4:1로 샘플링되지만, 수평방향은 2:1로 샘플링되는 것을 확인할 수 있다. 이러한 경우, 샘플링되는 픽셀들의 연결선이 수평방향으로 직선이 되고, 수직방향으로 갈지자형(zigzag) 선이 되는 것을 확인할 수 있다.
도 5(c)를 참조하면, 16 X 16 픽셀을 포함하는 블록을 제2 육방정계 샘플링을 하는 경우, 수평방향은 4:1로 샘플링되지만, 수직방향은 2:1로 샘플링되는 것을 확인할 수 있다. 이러한 경우, 샘플링되는 픽셀들의 연결선이 수직방향으로 직선이 되고, 수평방향으로 갈지자형(zigzag) 선이 되는 것을 확인할 수 있다.
다만, 도 5(a) 내지 도 5(c)에서 샘플링되는 비율은 예시적인 것으로 권리범위를 제한하지 않는다.
본 발명의 일 실시예에 따른 프레임 움직임 추정 방법은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 프레임 움직임 추정 방법은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 프레임 움직임 추정 방법은 가로 및 세로가 2K개(K은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향 또는 수직 방향 중 적어도 하나의 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, K개의 픽셀 마다 하나의 픽셀이 샘플링되도록 할 수 있다.
다시 도 3을 참조하면, 샘플링부(120)는 소스블록(SB) 및 기준블록(RB)를 육방정계 샘플링하여, 샘플소스블록(SSB) 및 샘플기준블록(SRB)을 생성할 수 있다. 샘플링부(120)는 도 5(b) 또는 도 5(c)와 같은 방법을 사용하여 육방정계 샘플링할 수 있다. 샘플링부(120)는 샘플소스블록정보(ISSB) 및 샘플기준블록정보(ISRB)를 제1 비교부(140)에 전달할 수 있다.
제1 비교부(140)는 샘플소스블록(SSB) 및 샘플기준블록(SRB)의 픽셀값을 비교하여 기준블록(RB)에서 제1 매칭영역을 결정할 수 있다. 구체적으로 제1 비교부(140)는 샘플소스블록의 제1 픽셀을 샘플기준블록의 픽셀들에 각각 정합시키면서, 샘플소스블록과 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(140)는 샘플기준블록의 픽셀들 중 샘플소스블록과 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀을 찾는다.
도 6은 제1 비교부가 제1 매칭영역을 결정하는 과정을 도시하는 도면이다.
도 6(a)을 참조하면, 제1 비교부(140)는 4 X 4 샘플소스블록의 픽셀들을 도 6(a)에 도시된 바와 같이, 샘플기준블록의 픽셀들과 정합시키고, 겹치는 부분에 대해서 SAD[1]를 계산한다.
도 6(b)을 참조하면, 제1 비교부(140)는 4 X 4 샘플소스블록의 픽셀들을 도 6(b)에 도시된 바와 같이, 샘플기준블록의 픽셀들과 정합시키고, 겹치는 부분에 대해서 SAD[2]를 계산한다.
도 6(c)을 참조하면, 제1 비교부(140)는 4 X 4 샘플소스블록의 픽셀들을 도 6(c)에 도시된 바와 같이, 샘플기준블록의 픽셀들과 정합시키고, 겹치는 부분에 대해서 SAD[3] 내지 SAD[9]를 각각 계산한다.
도 6(d)을 참조하면, 제1 비교부(140)는 4 X 4 샘플소스블록의 픽셀들을 도 6(d)에 도시된 바와 같이, 샘플기준블록의 픽셀들과 정합시키고, 겹치는 부분에 대해서 SAD[10] 내지 SAD[18]를 계산한다.
도 6(e)을 참조하면, 제1 비교부(140)는 4 X 4 샘플소스블록의 픽셀들을 도 6(e)에 도시된 바와 같이, 샘플기준블록의 픽셀들과 정합시키고, 겹치는 부분에 대해서 SAD[19] 내지 SAD[27]를 계산한다.
도 6(f)을 참조하면, 제1 비교부(140)는 4 X 4 샘플소스블록의 픽셀들을 도 6(f)에 도시된 바와 같이, 샘플기준블록의 픽셀들과 정합시키고, 겹치는 부분에 대해서 SAD[73] 내지 SAD[81]를 계산한다.
제1 비교부(140)는 SAD[1] 내지 SAD[81]을 비교하여 가장 작은값을 결정한다. 예를 들어, SAD[10]의 값이 가장 작은 경우, 제1 비교부(140)는 샘플기준블록에서 제2행의 제1열에 해당하는 픽셀을 SAD가 가장 작은 픽셀로 추출할 수 있다. 또한, 제1 비교부(140)는 샘플기준블록의 제2행의 제1열에 해당하는 픽셀에 대응하는 기준블록의 매칭영역을 제1 매칭영역(MA_1)으로 결정할 수 있다.
다시 도 3을 참조하면, 제1 비교부(140)는 제1 매칭영역정보(IMA_1)을 제2 비교부(130)에 전달할 수 있다.
제2 비교부(130)는 제1 매칭영역정보(IMA_1), 소스블록정보(ISB) 및 기준블록정보(IRB)를 수신할 수 있다. 제2 비교부(130)는 기준블록(RB)에 포함되는 제1 매칭영역(MA_1)의 주변과 소스블록(SB)의 픽셀값을 비교하여 기준블록(RB)에서 제2 매칭영역을 결정할 수 있다.
구체적으로 제2 비교부(130)는 제1 매칭영역과 일정한 거리이내에 있는 영역에서, 소스블록의 제2 픽셀을 기준블록의 픽셀들에 정합시키면서, 소스블록과 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(SAD)를 계산한다. 제2 비교부(130)는 기준블록의 픽셀들 중 소스블록과 기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀을 찾는다.
또한, 제2 비교부(130)는 기준블록의 SAD가 최소가 되는 픽셀에 대응하는 기준블록의 영역을 제2 매칭영역(MA_2)으로 결정할 수 있다. 제2 비교부(130)는 제2 매칭영역 정보(IMA_2)를 모션벡터계산부(150)에 전송할 수 있다.
모션벡터계산부(150)는 제2 매칭영역정보(IMA_2)를 통하여 기준블록(RB) 및 소스블록(SB) 사이의 모션벡터(Motion Vector)를 결정할 수 있다. 구체적으로, 모션벡터계산부(150)는 기준프레임에 포함된 기준블록(RB)의 제2 매칭영역의 오브젝트가 소스프레임에 포함된 소스블록(SB)으로 이동한 것으로 판단하여 모션벡터를 결정할 수 있다. 모션벡터계산부(150)는 모션벡터정보(IMV)를 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 장치가 영상 프레임을 인코딩하는 방법을 나타내는 순서도이다.
도 2, 도 3 및 도 7을 참조하면, 영상 프레임 움직임 추정 장치(10)는 영상 프레임(F)을 수신한다(S210). 움직임 벡터 추정 장치(100)는 수신된 영상 프레임(F)를 수신하여, 모션 벡터 정보(IMV) 및 소스 프레임 정보(ISF)를 생성한다. 모션 탐지부(110)는 영상 프레임의 오브젝트에서 모션이 있는지를 탐지한다(S220).
모션 탐지부(110)는 영상 프레임내에 기준블록(RB) 및 소스블록(SB)를 결정한다(S230). 샘플링부(120)는 소스블록 및 기준블록을 육방정계 샘플링하여, 샘플소스블록 및 샘플기준블록을 생성한다(S240). 제1 비교부(140)는 샘플소스블록 및 샘플기준블록 간의 SAD를 계산하여, 기준블록에서 제1 매칭영역을 결정한다(S250).
제2 비교부(130)는 제1 매칭영역 주변에서 소스블록 및 기준블록 간의 SAD를 계산하여, 기준블록에서 제2 매칭영역을 결정한다(S260). 모션벡터계산부(150)는 제2 매칭영역을 참조하여, 소스블록과 기준블록 간의 모션 벡터를 계산한다(S270).
따라서, 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은 육방정계 샘플링을 통하여, 상대적으로 작은량의 샘플링 작업을 하면서도, 수평 또는 수직 방향으로 높은 샘플링 주파수를 갖도록 할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정 장치가 영상 프레임을 인코딩하는 방법을 나타내는 순서도이다.
도 8의 영상 프레임을 인코딩하는 방법은 제1 매칭영역을 결정하는 단계(S340, S350)을 제외하고 도 7의 영상 프레임을 인코딩하는 방법과 동일하다. 이하, 중복된 설명은 제외한다.
도 9은 본 발명의 다른 실시예에 따른 움직임 벡터 추정 장치(300)를 나타내는 도면이다.
도 9을 참조하면, 움직임 벡터 추정 장치(300)의 모션 탐지부(310), 제1 비교부(340), 제2 비교부(330), 모션 벡터 계산부(350)는 도 3의 움직임 벡터 추정 장치(100)의 구성과 동일하다. 이하, 중복된 설명은 제외한다.
도 8 및 도 9를을 참조하면, 샘플링부(320)는 소스블록 및 기준블록을 제1 타입 육방정계, 제2 타입 육방정계, 직교정계 샘플링하여, 제1 내지 제3 샘플소스블록 및 제1 내지 제3 샘플기준블록을 생성할 수 있다(S340). 샘플링부(320)는 제1 내지 제3 샘플소스블록정보(ISSB[1;3]) 및 제1 내지 제3 샘플기준블록정보(ISRB[1;3])를 제1 비교부(340)에 전송할 수 있다.
구체적으로, 샘플링부(320)는 소스블록 및 기준블록을 도 5(b)와 같은 타입의 육방정계 샘플링을 하여, 제1 샘플소스블록과 제1 샘플기준블록을 생성할 수 있다. 또한, 샘플링부(320)는 소스블록 및 기준블록을 도 5(c)와같은 타입의 육방정계 샘플링을 하여, 제2 샘플소스블록과 제2 샘플기준블록을 생성할 수 있다. 또한, 샘플링부(320)는 소스블록 및 기준블록을 도 5(a)와같은 타입의 직교정계 샘플링을 하여, 제3 샘플소스블록과 제3 샘플기준블록을 생성할 수 있다.
제1 비교부(340)는 제1 내지 제3 샘플소스블록 및 제1 내지 제3 샘플기준블록간의 SAD를 계산하여, 기준블록에서 제1 매칭영역을 결정할 수 있다(S350).
구체적으로, 제1 비교부(340)는 제1 샘플소스블록의 제1 픽셀을 제1 샘플기준블록의 픽셀들에 각각 정합시키면서, 제1 샘플소스블록과 제1 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(340)는 제1 샘플기준블록의 픽셀들 중 제1 샘플소스블록과 제1 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(X)를 찾는다.
또한, 제1 비교부(340)는 제2 샘플소스블록의 제1 픽셀을 제2 샘플기준블록의 픽셀들에 각각 정합시키면서, 제2 샘플소스블록과 제2 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(340)는 제2 샘플기준블록의 픽셀들 중 제2 샘플소스블록과 제2 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(Y)를 찾는다.
또한, 제1 비교부(340)는 제3 샘플소스블록의 제1 픽셀을 제3 샘플기준블록의 픽셀들에 각각 정합시키면서, 제3 샘플소스블록과 제3 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(340)는 제3 샘플기준블록의 픽셀들 중 제3 샘플소스블록과 제3 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(Z)를 찾는다.
제1 비교부(340)는 픽셀(X), 픽셀(Y), 픽셀(Z) 중에서 대응하는 픽셀값의 차이의 합(SAD)이 가장 작은 값에 해당하는 픽셀을 결정한다. 예를 들어, 픽셀(X)에 대응하는 SAD가 가장 작은 경우에, 도 5(b)와 같은 타입의 육방정계 샘플링을 통하여 결정되는 제1 샘플소스블록과 제1 샘플기준블록을 기준으로 모션벡터계산부(350)가 모션벡터를 결정한다.
따라서, 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은 복수의 샘플링 중에서, 소스 프레임에 최적화된 샘플링을 통하여 모션벡터를 결정하여, 비트 스트림(BS)의 크기를 최소화할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정 장치가 영상 프레임을 인코딩하는 방법을 나타내는 순서도이다.
도 10의 영상 프레임을 인코딩하는 방법은 제1 매칭영역을 결정하는 단계(S450, S460)을 제외하고 도 8의 영상 프레임을 인코딩하는 방법과 동일하다. 이하, 중복된 설명은 제외한다.
도 11은 본 발명의 다른 실시예에 따른 움직임 벡터 추정 장치(400)를 나타내는 도면이다.
도 11을 참조하면, 움직임 벡터 추정 장치(400)의 모션 탐지부(410), 샘플링부(420), 모션 벡터 계산부(450)는 도 9의 움직임 벡터 추정 장치(300)의 구성과 동일하다. 이하, 중복된 설명은 제외한다.
도 10 및 도 11를을 참조하면, 샘플링부(420)는 소스블록 및 기준블록을 육방정계 제1 타입, 육방정계 제2 타입, 직교정계 샘플링하여, 제1 내지 제3 샘플소스블록 및 제1 내지 제3 샘플기준블록을 생성할 수 있다(S440). 샘플링부(420)는 제1 내지 제3 샘플소스블록정보(ISSB[1;3]) 및 제1 내지 제3 샘플기준블록정보(ISRB[1;3])를 제1 비교부(440)에 전송할 수 있다.
제1 비교부(440)는 각각의 샘플링 타입별로 제1 내지 제3 샘플소스블록 및 제1 내지 제3 샘플기준블록간의 SAD를 계산하고, 각각의 샘플링 타입별로 기준블록에서 제1 매칭영역을 결정할 수 있다(S450).
구체적으로, 제1 비교부(440)는 제1 샘플소스블록의 제1 픽셀을 제1 샘플기준블록의 픽셀들에 각각 정합시키면서, 제1 샘플소스블록과 제1 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(440)는 제1 샘플기준블록의 픽셀들 중 제1 샘플소스블록과 제1 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(X)를 찾는다.
또한, 제1 비교부(440)는 제2 샘플소스블록의 제1 픽셀을 제2 샘플기준블록의 픽셀들에 각각 정합시키면서, 제2 샘플소스블록과 제2 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(440)는 제2 샘플기준블록의 픽셀들 중 제2 샘플소스블록과 제2 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(Y)를 찾는다.
또한, 제1 비교부(440)는 제3 샘플소스블록의 제1 픽셀을 제3 샘플기준블록의 픽셀들에 각각 정합시키면서, 제3 샘플소스블록과 제3 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제1 비교부(440)는 제3 샘플기준블록의 픽셀들 중 제3 샘플소스블록과 제3 샘플기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(Z)를 찾는다.
제1 비교부(440)는 샘플링 타입별로 결정된 제1 매칭영역정보(IMA_1[1;3])을 제2 비교부(430)에 전송할 수 있다.
제2 비교부(430)는 각각의 샘플링 타입별 제1 매칭영역의 주변에서 소스블록 및 기준블록 간의 SAD를 계산하여, 기준블록에서 제2 매칭영역을 결정할 수 있다(S460).
구체적으로, 제2 비교부(430)는 제1 소스블록의 제1 픽셀을 제1 기준블록의 픽셀들에 각각 정합시키면서, 제1 소스블록과 제1 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제2 비교부(430)는 제1 기준블록의 픽셀들 중 제1 소스블록과 제1 기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(M)를 찾는다.
또한, 제2 비교부(430)는 제2 소스블록의 제1 픽셀을 제2 기준블록의 픽셀들에 각각 정합시키면서, 제2 소스블록과 제2 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제2 비교부(440)는 제2 기준블록의 픽셀들 중 제2 소스블록과 제2 기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(N)를 찾는다.
또한, 제2 비교부(430)는 제3 소스블록의 제1 픽셀을 제3 기준블록의 픽셀들에 각각 정합시키면서, 제3 소스블록과 제3 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합(Sum of Absolute Difference, SAD)을 계산한다. 제2 비교부(430)는 제3 기준블록의 픽셀들 중 제3 소스블록과 제3 기준블록의 겹치는 부분에 대한 픽셀값의 차이의 합(SAD)이 최소가 되는 픽셀(L)를 찾는다.
제2 비교부(430)는 픽셀(M), 픽셀(N), 픽셀(L) 중에서 대응하는 픽셀값의 차이의 합(SAD)이 가장 작은 값에 해당하는 픽셀을 결정한다. 예를 들어, 픽셀(M)에 대응하는 SAD가 가장 작은 경우에, 도 5(b)와 같은 타입의 육방정계 샘플링을 통하여 결정되는 제1 소스블록과 제1 기준블록을 기준으로 모션벡터계산부(450)가 모션벡터를 결정한다.
따라서, 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은 복수의 샘플링 중에서, 소스 프레임에 최적화된 샘플링을 통하여 모션벡터를 결정하여, 비트 스트림(BS)의 크기를 최소화할 수 있다.
도 12은 본 발명의 다른 실시예에 따른 영상 프레임 움직임 추정 장치가 영상 프레임을 인코딩하는 방법을 나타내는 순서도이다.
도 12의 영상 프레임을 인코딩하는 방법은 제1 매칭영역을 결정하는 단계(S540, S550)을 제외하고 도 7의 영상 프레임을 인코딩하는 방법과 동일하다. 이하, 중복된 설명은 제외한다.
도 13은 본 발명의 다른 실시예에 따른 움직임 벡터 추정 장치(500)를 나타내는 도면이다.
도 13을 참조하면, 움직임 벡터 추정 장치(500)의 모션 탐지부(510), 제1 비교부(540), 제2 비교부(530), 모션 벡터 계산부(550)는 도 3의 움직임 벡터 추정 장치(100)의 구성과 동일하다. 한편, 움직임 벡터 추정 장치(500)에 포함된 샘플링부(520)는 필터링부(521)를 더 포함한다. 이하, 중복된 설명은 제외한다.
도 12 및 도 13을 참조하면, 필터링부(521)는 기준블록 및 소스블록을 수평, 수직 소벨 필터링하여 픽셀값을 계산한다(S540).
예를 들어, 필터링부(521)는 기준블록 및 소스블록에 대해서 수평 소벨 필터링을 하고, 필터링된 픽셀값들의 합(PH)을 계산한다. 또한, 필터링부(521)는 기준블록 및 소스블록에 대해서 수직 소벨 필터링을 하고, 필터링된 픽셀값들의 합(PV)을 계산한다.
샘플링부(520)는 소스블록 및 기준블록을 소벨 필터링한 픽셀값이 최소가 되는 유형의 샘플링을 하여, 샘플소스블록 및 샘플기준블록을 생성한다(S550).
예를 들어, 샘플링부(520)는 PH가 PV보다 크다면, 도 5(b)의 도시된 유형의 필터링을 소스블록 및 기준블록에 대해서 수행할 수 있다. 또한, 샘플링부(520)는 PV가 PH보다 크다면, 도 5(c)의 도시된 유형의 필터링을 소스블록 및 기준블록에 대해서 수행할 수 있다. 또한, 샘플링부(520)는 PV와 PH의 크기가 같다면, 도 5(a)의 도시된 유형의 필터링을 소스블록 및 기준블록에 대해서 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은 필터링된 픽셀값을 통하여 샘플링 유형을 정하고, 그 유형에 맞추어 샘플링을 수행하여, 상대적으로 작은량의 샘플링 작업을 하면서도, 높은 샘플링 주파수를 갖도록 할 수 있다.
도 14는 본 발명의 다양한 실시예에 따른 샘플링을 도시하는 도면이다.
도 14(a) 내지 도 14(d)를 참조하면, 16 X 16 픽셀을 포함하는 블록을 제3 유형 샘플링을 하는 경우, 수평 방향과 수직 방향 모두 2:1로 샘플링되는 것을 확인할 수 있다. 즉, 수평 방향 및 수직 방향으로 샘플링된 픽셀을 투사(Projection)하는 경우, 2개의 픽셀 중에서 하나의 픽셀이 샘플링되는 것을 확인할 수 있다. 이러한 경우, 샘플링되는 픽셀들의 연결선이 수평방향과 수직방향으로 갈지자형(zigzag) 선이 되는 것을 확인할 수 있다.
도 14(a) 내지 도 14(d)의 제3 유형의 샘플링은 도 5(b) 또는 도 5(c)의 샘플링을 대체할 수 있다. 예를 들어, 도 1, 7, 8, 10, 12의 제1 타입 육방정계 샘플링 또는 제2 타입 육방정계 샘플링은 도 14의 제3 유형의 샘플링으로 대체할 수 있다.
또한, 도 14(a) 내지 14 5(d)에서 샘플링되는 비율은 예시적인 것으로 권리범위를 제한하지 않는다. 즉, 가로 및 세로가 2N개(N은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향 또는 수직 방향 중 적어도 하나의 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, N개의 픽셀 마다 하나의 픽셀이 샘플링되는 경우라면, 본 발명의 권리 범위에 포함될 것이다.
도 15는 본 발명의 일 실시예에 따른 이동식 단말기를 도시하는 도면이다.
도 15를 참조하면, 이동식 단말기(1000)는 외장 플래시 메모리(1240), 시리얼 인터페이스(1420), 프로세서(1300), DDI(Display Driver IC, 1280)를 포함하는 이동식 단말기용 PCB(1200)을 포함할 수 있다.
시리얼 인터페이스(1420)는, 예를 들어 개인용 컴퓨터(1900) 및 이동식 단말기(1000) 사이에서 정보를 업데이트하거나 정보를 송수신하기 위한 USB 인터페이스일 수 있다. 이러한 정보의 업데이트 또는 정보의 송수신은 셀룰러 모뎀, WLAN, 블루투스 또는 다른 유무선 모뎀 프로세서 및 물리 계층 회로들일 수 있다.
프로세서(1300)는 ROM(1320), RAM(1340), 내부 플래쉬 메모리(1360) 및 이미지 제어부(1400)를 포함할 수 있다. 프로세서(1300)의 이미지 제어부(1400)는 영상 데이터를 가공 처리하여, DDI(1280)에 송신할 수 있다.
이미지 처리부(1400)는 본 발명의 일 실시예에 따른, 도 3, 도 9, 도 11, 도 13의 영상 프레임 움직임 추정 장치(100, 300, 400, 500)가 포함될 수 있다. 따라서, 본 발명의 일 실시예에 따른 이동식 단말기에 내장되는 프로세서(1300)는 DDI(1280)에 영상 데이터 신호를 전송함에 있어서, 상대적으로 작은량의 샘플링 작업으로 높은 샘플링 주파수를 갖도록 할 수 있다.
도 16는 본 발명의 실시 예에 따른 디스플레이 시스템을 나타낸 도면이다.
도 16를 참조하면, 디스플레이 시스템(3000)은 시스템 버스(3500)에 전기적으로 연결되는 프로세서(3100), 디스플레이 장치(3200), 주변 장치(3300) 및 메모리(3400)를 포함할 수 있다.
프로세서(3100)는 주변 장치(3300), 메모리(3400) 및 디스플레이 장치(3200)의 데이터의 입출력을 제어하며, 상기 장치들간에 전송되는 영상 데이터 의 이미지 처리를 수행할 수 있다.
디스플레이 장치(3200)는 패널(3210) 및 구동 회로(3220)를 포함하며, 시스템 버스(3500)를 통해 인가된 영상 데이터들을 구동 회로(3220) 내부에 포함된 프레임 메모리에 저장하였다가 패널(3210)에 디스플레이한다.
프로세서(3100) 또는 디스플레이 장치(3200)에는 도 3, 도 9, 도 11, 도 13의 영상 프레임 움직임 추정 장치(100, 300, 400, 500)가 포함될 수 있다. 따라서, 본 발명의 일 실시예에 따른 디스플레이 시스템에 내장되는 프로세서(3100) 또는 디스플레이 장치(3200)는 영상 데이터 신호를 송수신함에 있어서, 상대적으로 작은량의 샘플링 작업으로 높은 샘플링 주파수를 갖도록 할 수 있다.
주변 장치(3300)는 카메라, 스캐너, 웹캠 등 동영상 또는 정지 영상등을 전기적 신호로 변환하는 장치일 수 있다. 상기 주변 장치(3300)를 통하여 획득된 영상 데이터는 상기 메모리(3400)에 저장될 수 있고, 또는 실시간으로 상기 디스플레이 장치(3200)의 패널에 디스플레이 될 수 있다.
메모리(3400)는 디램과 같은 휘발성 메모리 소자 및/또는 플래쉬 메모리와 같은 비휘발성 메모리 소자를 포함할 수 있다. 메모리(3400)는 DRAM, PRAM, MRAM, ReRAM, FRAM, NOR 플래시 메모리, NAND 플래쉬 메모리, 그리고 퓨전 플래시 메모리(예를 들면, SRAM 버퍼와 NAND 플래시 메모리 및 NOR 인터페이스 로직이 결합된 메모리) 등으로 구성될 수 있다. 메모리(3400)는 주변 장치(3300)로부터 획득된 영상 데이터를 저장하거나 또는 프로세서(3100)에서 처리된 영상 신호를 저장할 수 있다.
본 발명의 실시예에 따른 디스플레이 시스템(3000)은 스마트폰과 같은 모바일 전자 제품에 구비될 수 있다. 그러나 이에 제한되는 것은 아니다. 디스플레이 시스템(3000)은 영상을 표시하는 다양한 종류의 전자 제품에 구비될 수 있다.
도 17은 본 발명의 실시 예에 따른 영상 프레임 움직임 추정 장치(100, 300, 400, 500)를 포함하는 디스플레이 장치(4000)가 탑재되는 다양한 전자 제품의 응용 예를 나타내는 도면이다.
본 발명에 따른 디스플레이 장치(4000)는 다양한 전자 제품에 채용될 수 있다. 휴대폰(4100)에 채용될 수 있음을 물론이고, TV(4200), 은행의 현금 입출납을 자동적으로 대행하는 ATM기(4300), 엘리베이터(4400), 지하철 등에서 사용되는 티켓 발급기(4500), PMP(4600), e-book(4700), 네비게이션(4800) 등에 폭넓게 사용될 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
또한, 본 발명의 일 실시예에 따른 영상 프레임 움직임 추정 방법은, 비디오 인코딩(Video Encoding), 노이즈 리덕션(Noise Reduction), 프레임 레이트 업 컨버젼(Fram Rate Up Conversion)에 응용될 수 있고, 기타 영상 프레임 움직임을 예측 및 계산하여 영상 신호의 압축율을 높이는 장치 및 방법에 응용될 수 있을 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 소스블록의 픽셀들에 제1 타입 샘플링을 수행하여 제1 샘플소스블록을 생성하는 제1 샘플링 단계;
    기준블록의 픽셀들에 상기 제1 타입 샘플링을 수행하여 제1 샘플기준블록을 생성하는 제2 샘플링 단계;
    상기 소스블록의 픽셀들에 제2 타입 샘플링을 수행하여 제2 샘플소스블록을 생성하는 제3 샘플링 단계;
    상기 기준블록의 픽셀들에 상기 제2 타입 샘플링을 수행하여 제2 샘플기준블록을 생성하는 제4 샘플링 단계;
    상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 픽셀값을 비교함으로써 상기 기준 블록 내의 제1 임시 매칭영역을 결정하는 단계;
    상기 제2 샘플소스블록과 상기 제2 샘플기준블록의 픽셀값을 비교함으로써 상기 기준 블록 내의 제2 임시 매칭영역을 결정하는 단계;
    상기 제1 임시 매칭영역의 SAD 값 및 상기 제2 임시 매칭영역의 SAD 값을 비교함으로써 상기 제1 임시 매칭영역 및 상기 제2 임시 매칭영역 중 제1 매칭영역을 결정하는 단계;
    상기 제1 매칭영역과 인접한 다수의 영역들과 상기 소스블록의 픽셀값을 비교하여 상기 소스블록에 대응하는 제2 매칭영역을 결정하는 단계를 포함하고,
    상기 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, 상기 제1 타입 샘플링과 상기 제2 타입 샘플링은 M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하고, 또는 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, 상기 제1 타입 샘플링과 상기 제2 타입 샘플링은 N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하는 것을 특징으로 하는 영상 프레임 움직임 추정 방법.
  2. 제1항에 있어서, 상기 영상 프레임 움직임 추정 방법은,
    상기 제2 매칭영역을 통하여 상기 기준블록과 상기 소스블록 사이의 모션벡터를 결정하는 단계를 더 포함하는 영상 프레임 움직임 추정 방법.
  3. 제2항에 있어서, 상기 제1 임시 매칭영역을 결정하는 단계는,
    상기 제1 샘플소스블록의 제1 픽셀을 상기 제1 샘플기준블록의 픽셀들에 정합시키면서, 상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합을 구하는 단계; 및
    상기 각각의 픽셀값의 차이의 합이 최소가 되는 상기 기준블록에서 제1 임시 매칭영역을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 프레임 움직임 추정 방법.
  4. 제2항에 있어서, 상기 제2 매칭영역을 결정하는 단계는,
    상기 제1 매칭영역과 인접한 다수의 영역들에서, 상기 소스블록의 제2 픽셀을 상기 기준블록의 픽셀들에 정합시키면서, 상기 소스블록과 상기 기준블록의 겹치는 부분에 대해서 각각의 픽셀값의 차이의 합을 구하는 단계; 및
    상기 각각의 픽셀값의 차이의 합이 최소가 되는 상기 기준블록에서 제2 매칭 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 프레임 움직임 추정 방법.
  5. 제1항에 있어서, 상기 제1 타입 샘플링은, 샘플링되는 픽셀들의 연결선이 수평 방향 또는 수직 방향으로 직선이 되도록 하는 샘플링인 것을 특징으로 하는 영상 프레임 움직임 추정 방법.
  6. 제5항에 있어서, 상기 제1 타입 샘플링의 샘플링 타입은 수평소벨필터 및 수직소벨필터를 통과한 상기 소스블록 및 상기 기준블록의 픽셀값들을 비교하여 정해지는 것을 특징으로 하는 영상 프레임 움직임 추정 방법.
  7. 제6항에 있어서, 상기 수평소벨필터를 통과한 상기 소스블록 및 상기 기준블록의 픽셀값의 합이 상기 수직소벨필터를 통과한 소스블록 및 상기 기준블록의 픽셀값의 합 보다 큰 경우, 제1 타입 육방정계 샘플링은 샘플링되는 픽셀들의 연결선이 수직 방향으로 직선이 되도록 하는 샘플링이고,
    상기 수평소벨필터를 통과한 상기 소스블록 및 상기 기준블록의 픽셀값의 합이 상기 수직소벨필터를 통과한 소스블록 및 상기 기준블록의 픽셀값의 합 보다 작은 경우, 제1 타입 육방정계 샘플링은 샘플링되는 픽셀들의 연결선이 수평 방향으로 직선이 되도록 하는 샘플링인 것을 특징으로 하는 영상 프레임 움직임 추정 방법.
  8. 제1항에 있어서, 상기 소스블록의 픽셀들에 상기 제1 타입 와 방향성이 상이한 제3 타입 샘플링을 수행하여 제3 샘플소스블록을 생성하는 제5 샘플링 단계;
    상기 기준블록의 픽셀들에 상기 제3 타입 샘플링을 수행하여 제3 샘플기준블록을 생성하는 제6 샘플링 단계; 및
    상기 제3 샘플소스블록과 상기 제3 샘플기준블록을 비교하여 상기 기준블록에서 제3 임시 매칭영역을 결정하는 단계를 더 포함하고,
    상기 제1 매칭영역을 결정하는 단계는,
    상기 제1 임시 매칭영역의 SAD 값, 상기 제2 임시 매칭영역의 SAD 값 및 상기 제3 임시 매칭영역의 SAD 값을 비교하고,
    상기 제3 타입 샘플링은 직교정계 샘플링인 것을 특징으로 하는 매칭점 주변에서 상기 소스블록과 상기 기준블록을 비교하여 제4 매칭점을 구하는 단계를 포함하는 영상 프레임 움직임 추정 방법.
  9. 삭제
  10. 소스블록의 픽셀들에 제1 타입 샘플링을 수행하여 제1 샘플소스블록을 생성하고, 기준블록의 픽셀들에 상기 제1 타입 샘플링을 수행하여 제1 샘플기준블록을 생성하고, 상기 소스블록의 픽셀들에 제2 타입 샘플링을 수행하여 제2 샘플소스블록을 생성하고, 상기 기준블록의 픽셀들에 상기 제2 타입 샘플링을 수행하여 제2 샘플기준블록을 생성하는 샘플링부;
    상기 제1 샘플소스블록과 상기 제1 샘플기준블록의 픽셀값을 비교함으로써 상기 기준블록 내의 제1 임시 매칭영역을 결정하고, 상기 제2 샘플소스블록과 상기 제2 샘플기준블록의 픽셀값을 비교함으로써 상기 기준블록 내의 제2 임시 매칭영역을 결정하고, 상기 제1 임시 매칭영역의 SAD 값 및 상기 제2 임시 매칭영역의 SAD 값을 비교함으로써 상기 제1 임시 매칭영역 및 상기 제2 임시 매칭영역 중 제1 매칭영역을 결정하는 제1 비교부; 및
    상기 제1 매칭영역과 인접한 다수의 영역들과 상기 소스블록의 픽셀값을 비교하여 상기 소스블록에 대응하는 제2 매칭영역을 결정하는 제2 비교부를 포함하고,
    상기 제1 타입 샘플링은 가로가 N개의 픽셀(N은 자연수)로, 세로가 M 개(M은 자연수)의 픽셀로 이루어진 블록마다 하나의 픽셀을 샘플링하고, 수평 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, 상기 제1 타입 샘플링과 상기 제2 타입 샘플링은 M개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하고, 또는 수직 방향으로 샘플링된 픽셀을 투사(projection)하는 경우, 상기 제1 타입 샘플링과 상기 제2 타입 샘플링은 N개의 픽셀 마다 적어도 두 개의 픽셀이 샘플링되도록 하는 것을 특징으로 하는 영상 프레임 움직임 추정 장치.
KR1020130099920A 2013-08-22 2013-08-22 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법 KR102131326B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130099920A KR102131326B1 (ko) 2013-08-22 2013-08-22 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법
US14/454,841 US10015511B2 (en) 2013-08-22 2014-08-08 Image frame motion estimation device and image frame motion estimation method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130099920A KR102131326B1 (ko) 2013-08-22 2013-08-22 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법

Publications (2)

Publication Number Publication Date
KR20150023119A KR20150023119A (ko) 2015-03-05
KR102131326B1 true KR102131326B1 (ko) 2020-07-07

Family

ID=52480367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130099920A KR102131326B1 (ko) 2013-08-22 2013-08-22 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법

Country Status (2)

Country Link
US (1) US10015511B2 (ko)
KR (1) KR102131326B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206127A1 (en) * 2010-02-05 2011-08-25 Sensio Technologies Inc. Method and Apparatus of Frame Interpolation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
US6560371B1 (en) 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
AU2001211860A1 (en) 2000-10-13 2002-04-22 Nanyang Technological University Centre For Signal Processing A hexagon-based fast search method for block motion estimation in video encoding
US7457361B2 (en) * 2001-06-01 2008-11-25 Nanyang Technology University Block motion estimation method
TW548990B (en) 2001-12-31 2003-08-21 Univ Nat Chiao Tung Fast motion estimation method using N-queen pixel decimation
US20040258154A1 (en) * 2003-06-19 2004-12-23 Microsoft Corporation System and method for multi-stage predictive motion estimation
KR100571920B1 (ko) * 2003-12-30 2006-04-17 삼성전자주식회사 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치
US7609765B2 (en) * 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
TWI256844B (en) * 2004-11-16 2006-06-11 Univ Nat Kaohsiung Applied Sci Flat hexagon-based search method for fast block moving detection
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US20070121728A1 (en) * 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
KR20060123939A (ko) * 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
US8107748B2 (en) 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US8442117B2 (en) * 2006-03-27 2013-05-14 Chang Gung University Method of block matching-based motion estimation in video coding
TWI311297B (en) * 2006-05-02 2009-06-21 Nat Central Universit Method for motion search between video pictures with multiple blocks
KR100912429B1 (ko) 2006-11-09 2009-08-14 삼성전자주식회사 고속 움직임 추정을 위한 영상 검색 방법
US20080260033A1 (en) 2007-04-17 2008-10-23 Horizon Semiconductors Ltd. Hybrid hierarchical motion estimation for video streams
US8165209B2 (en) * 2007-09-24 2012-04-24 General Instrument Corporation Method and apparatus for providing a fast motion estimation process
JP4973591B2 (ja) 2008-05-01 2012-07-11 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
US8055025B2 (en) 2008-06-14 2011-11-08 City University Of Hong Kong Motion estimation method
US20100080298A1 (en) * 2008-09-30 2010-04-01 Hsueh-Ming Hang Refined Weighting Function and Momentum-Directed Genetic search pattern algorithm
TWI384886B (zh) 2009-04-02 2013-02-01 Mstar Semiconductor Inc 移動估測方法
CN102823242B (zh) * 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
US8325815B2 (en) 2010-02-08 2012-12-04 Himax Technologies Limited Method and system of hierarchical motion estimation
KR101630688B1 (ko) * 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
US20150063451A1 (en) * 2013-09-05 2015-03-05 Microsoft Corporation Universal Screen Content Codec

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206127A1 (en) * 2010-02-05 2011-08-25 Sensio Technologies Inc. Method and Apparatus of Frame Interpolation

Also Published As

Publication number Publication date
KR20150023119A (ko) 2015-03-05
US20150055709A1 (en) 2015-02-26
US10015511B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
US11272197B2 (en) Device and method for coding video data
US20220264125A1 (en) Component-dependent sub-block dividing
US10856010B2 (en) Device and method for coding video data based on multiple reference lines
US11438591B2 (en) Video coding method and apparatus
US9332271B2 (en) Utilizing a search scheme for screen content video coding
CN107046645B (zh) 图像编解码方法及装置
JP2007060164A (ja) 動きベクトル検出装置および動きベクトル検出方法
CN106170093B (zh) 一种帧内预测性能提升编码方法
WO2019096221A1 (en) Device and method for coding video data based on adjusted intra mode list
US20180199058A1 (en) Video encoding and decoding method and device
US20130202047A1 (en) Apparatus and method for video encoding/decoding
EP2782344A1 (en) Inter-image prediction method and device and corresponding coding method and apparatus
CN104602018A (zh) 视频数据的运动信息的获取方法和装置、编码方法和装置
KR102131326B1 (ko) 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법
CN105992012B (zh) 一种错误隐藏的方法和装置
CN106534850B (zh) 图像处理装置、图像插值方法和图像编码方法
US20150312590A1 (en) Methods for encoding and decoding a picture and corresponding devices
JP2010278519A (ja) 動きベクトル検出装置
TWI704800B (zh) 子塊的邊界濾波
CN110944211B (zh) 用于帧内预测的插值滤波方法、装置、介质及电子设备
US11076167B2 (en) Device and method for coding video data
Khokhar et al. Performance analysis of fast block matching motion estimation algorithms
KR20180092652A (ko) 해상도에 따른 적응적 장면 전환 감지 방법 및 장치
EP2903276A1 (en) Method for encoding and decoding a picture comprising inpainting of the picture epitome and corresponding devices
WO2020078253A1 (zh) 图像块的变换、反变换方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant