KR20040012714A - 영상정보 압축 방법 - Google Patents

영상정보 압축 방법 Download PDF

Info

Publication number
KR20040012714A
KR20040012714A KR10-2003-7009802A KR20037009802A KR20040012714A KR 20040012714 A KR20040012714 A KR 20040012714A KR 20037009802 A KR20037009802 A KR 20037009802A KR 20040012714 A KR20040012714 A KR 20040012714A
Authority
KR
South Korea
Prior art keywords
image
depth map
reference image
motion vectors
motion
Prior art date
Application number
KR10-2003-7009802A
Other languages
English (en)
Other versions
KR100879324B1 (ko
Inventor
피엘에릭
살리넨사미
Original Assignee
오와이 게임클러스터 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오와이 게임클러스터 리미티드 filed Critical 오와이 게임클러스터 리미티드
Publication of KR20040012714A publication Critical patent/KR20040012714A/ko
Application granted granted Critical
Publication of KR100879324B1 publication Critical patent/KR100879324B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명에서는, 영상정보를 압축하기 위한 방법(800,820), 장치(900) 및 프로그램 제품이 제시된다. 상기 방법은 다음의 단계, 즉 차순위 이미지의 점들을 카메라 파라미터 및 심도 맵을 사용하여 3차원공간으로 투영하는 단계(803) 및 투영된 점들을 상기 3차원공간으로부터 기준이미지 평면으로 투영하는 단계(805)로서 차순위 이미지와 기준이미지간의 변화를 추정하기 위한 동작벡터들을 얻는 단계를 포함한다.

Description

영상정보 압축 방법{A method for compressing video information}
동영상은 개별적인 정지화상들로 이루어지는데 관객들에게 연속적이고 충분히 빠른 속도로 보여지기 때문에 움직인다는 느낌을 갖게 한다. 영상압축의 목표는 동영상 이미지에 대한 정보가 저장 또는 전송될 경우 동영상 이미지를 나타내는데 필요한 데이터의 양을 줄이는 것이다.
오늘날 공통적으로 사용되는 널리 알려진 압축방법들은, 화상들로부터 반복적인 정보를 식별하고 제거함으로써 상기한 목표를 달성하고 있다. 이는 실제에 있어서는 화상들간의 변화가 식별되고 리시버가 이전 화상(또는 이전에 압축된 다른 어떤 이미지)을 기준으로 사용하여 차순위 이미지(next image)를 어떻게 구성할지를 알려준다는 것을 의미한다.
이전 화상들을 기초로 하여 새로운 이미지를 구성하는 한가지 방법은 이미지의 일부분들이 기준이미지와 차순위 이미지 사이에서 얼마나 움직였는지를 식별하는 것이다. 움직임 파라미터를 찾는 프로세스를 동작추정(Motion Estimation)이라 칭하며, 이는 블록단위(block-by-block)를 기초로 기준이미지 부근영역의 유사 블록들을 검색하여 수행되는 것이 일반적이다. 통상적으로, 상기 이미지들은 소정의 정해진 방식에 의해 복수의 블록으로 분할되지만, 상기의 분할작업(즉, 블록들의 블록 크기 및 배치)은 대안적으로는 예를 들어, 분할에 있어 검출된 움직임을 고려하는 동작추정과 동시에 수행될 수도 있다. 그 다음, 동작벡터(Motion Vector)를 사용하여 차순위 이미지 블록의 움직임의 방향 및 길이를 디컴프레서에 알려준다. 블록 분할 및 블록의 동작벡터들에 대한 정보는 디컴프레서가 보다 먼저 재구성된 기준이미지를 사용하여 원래의 차순위 이미지의 추정치(estimate)를 생성할 수 있도록 한다. 이러한 디컴프레서에 의한 작업을 동작 보정(Motion Compensation)동작 보정이라 부르며, 차순위 이미지의 동작 보정 추정치에서는 원 차순위 이미지의 움직임이 흡사하다(mimicked).
일반적으로, 동작 보정은 차순위 이미지를 정확히 카피하지 않기 때문에, 동작 보정 이미지에 대한 교정은 이미지 컴프레서에 의하여 생성된다. 통상적으로, 컴프레서는 동작 보정 측정치와 원래의 차순위 이미지간의 차인 보정 이미지를 결정한다. 이 보정 이미지는 상이 이미지(Difference Image)라 칭한다.
컴프레서 측의 움직임 측정치는 2차원 검색공간에서의 반복적인 검색을 필요로 한다. 대부분의 표준화된 영상 압축 알고리듬에서는, 차순위 이미지의 소정 블록이 취해진 다음, 기준이미지의 부근 블록들과 비교하게 된다. 그 다음 발견된 가장 유사한 블록과 검색된 블록간의 위치차가 추정되어 동작벡터가 된다. 반복적인검색 프로세스에서 소요되는 많은 작업량으로 인해, 이상적인 동작벡터에 대한 과도한 검색은 현재의 컴퓨터 또는 하드웨어 영상압축 시스템에서는 실용적이지 않다.
현재 이용가능한 영상 압축시스템들은 몇몇 우수한 기술들을 사용하고 일부를 절충함으로써 높은 계산상의 부하를 피하려 하고 있다. 그 중 한가지 방법은 검색이 이루어지는 영역을 제한함으로써 표현될 수 있는 최대 동작벡터의 길이도 제한 한다. 또 다른 방법은 소정 블록의 동작벡터를 이웃하는 블록들의 동작벡터를 기초로 측정한다. 하지만, 이러한 방법들은 압축 프로세스의 효율성과 질을 절충하여야 한다.
본 발명은 디지털 영상을 압축하는 방법에 관한 것이다. 특히 본 방법은 디지털 영상의 압축속도를 높이고/거나 그 결과물의 질을 향상시키는데 적용가능하다. 본 발명은 또한 영상 소재가 3차원 모델로부터 합성되어(synthetically) 생성되는 경우에 특히 적합하다.
도 1a는 가상의 영상 이미지를 나타낸 도,
도 1b는 도 1a의 이미지와 관련된 심도 맵을 나타낸 도,
도 2a는 카메라가 이동된 곳에서의 동일 장면의 새로운 이미지를 나타낸 도,
도 2b는 새로운 영상 이미지의 심도 맵을 나타낸 도,
도 3은 도 1a 및 도 2a의 영상 이미지들에 대한 카메라의 위치를 나타낸 도,
도 4는 영상 이미지의 소정의 점의 투영과 관련한 기하하적 구조가 심도 맵 정보를 이용하여 3차원공간으로 거꾸로 투영될 수 있는 것을 나타낸 도,
도 5는 카메라가 정지해 있는 상황에서의 공지된 컴퓨터게임에 본 발명을 적용한 것을 나타낸 도,
도 6은 대략 직진하여 이동하는 카메라를 나타낸 도,
도 7은 우측에서 좌측으로 로테이팅하는 카메라를 나타낸 도,
도 8a, 8b 및 8c는 본 발명의 일 실시예에 따른 방법의 플로우차트,
도 9는 본 발명의 추가 실시예에 따른 영상 컴프레서를 나타낸 도이다.
본 발명의 목적은 영상압축을 위한 효율적인 방법을 제공하는 것이다. 상기 방법은 질을 양보하지 않고도 현재 알려져 있는 방법들보다 현저히 효율적으로 영상을 압축할 수 있게 한다.
본 발명의 상기 및 기타 목적들은 카메라의 움직임에 의하여 야기되는 동작벡터들을 결정하여 상기 동작벡터들을 영상의 압축에 사용함으로써 성취된다.
본 발명에 따른 방법은 소정 방법을 지향하는 독립청구항의 특징규정부에 설명된 바를 특징으로 한다. 본 발명에 따른 컴퓨터 프로그램은 소정 컴퓨터 프로그램을 지향하는 독립청구항에 설명된 바를 특징으로 한다. 본 발명에 따른 영상정보를 압축하는 장치는 소정의 장치를 지향하는 독립청구항의 특징규정부에 설명된 바를 특징으로 한다.
종속항들에는 본 발명의 몇몇 바람직한 실시예들이 기술되어 있다.
본 발명의 기본원칙은 압축될 영상이 알려진 합성모델(synthetic model)로부터 비롯되거나 영상에서의 장면(scene)의 심도 맵(depth map) 모델을 생성하는 것이 가능한 경우에 움직임 추정 프로세스를 위한 새로운 가능성이 생겨난다는 것이다.
영상에서의 장면의 심도 맵이 알려진 경우에는, -단적으로(intuitively)- 상기 장면내에 존재하는 물체의 위치를 3차원공간에서 결정할 수 있다는 것을 의미한다. 보다 정확히 말하면, 이미지평면에서의 점들이 3차원공간으로 투영된다. 3차원공간은 합성모델 또는 실제 세계 중 어느 하나에 해당할 수 있다. 기준이미지와 차순위 이미지간에 카메라 위치 및 방향의 변화가 알려져 있는 경우에는, 카메라의 움직임으로부터 그리고 3차원공간내의 물체의 알려진 위치(또는 3차원공간으로의 투영)를 이용하여 카메라의 움직임을 고려한 차순위 이미지에 대한 동작벡터들을 결정할 수 있다. 카메라의 움직임과 관련된 것 외에 장면에서의 다른 변화가 없다면(즉, 물체가 기준이미지와 차순위 이미지와 관련된 시간 인스턴스(instance)들 사이에 움직임이 없다면), 그 때의 상기 동작벡터들은 기준이미지에 대하여 차순위 이미지를 정확히 나타낼 수 있다.
압축될 영상 이미지는 실제 3차원 세계의 이미지일 수도 있다. 이 경우에는, 이미지 그 자체가 평면으로 투영된 물체의 위치에 대한 정보를 나타내거나 예를 들어 레인지센서(range sensor)를 사용하여 카메라로부터의 물체의 거리에 대한 정보가 측정될 수도 있으므로, 카메라에 대한 물체의 위치를 결정 또는 추정할 수 있다. 대안적으로는, 영상 이미지가 합성모델로부터 비롯될 수도 있다. 컴퓨터 그래픽에서, 합성모델의 뷰(view)가 결정되는 경우에는, 모델내의 물체를 관측자가 식별할 수 있는지 없는지의 여부를 알 필요가 있다. 일반적으로는, z-버퍼가 사용되는데, 표시될 각 화소(pixel)의 심도 값(z-값)이 z-버퍼에 저장되고, 그것의 z-값이 동일 위치에 있는 기존 화소보다 작은 경우에만 새로운 화소가 생성된다. z-버퍼는 뷰의 심도 맵이고 상기 심도 맵은 통상적으로 컴퓨터 그래픽에서 합성모델의 뷰가 생성되는 매 시간마다 생성된다.
블록들에 대해 카메라의 움직임과 관련된 동작벡터들이 결정될 수 있고 블록들의 동작벡터로서 영상압축에 직접적으로 사용될 수 있다. 대안적으로는, 카메라 움직임과 관련된 동작벡터들이 초기값으로 사용될 수 있고, 예를 들어 카메라 움직임의 동작벡터가 가리키는 영역 부근의 유사 블록을 검색함으로써 블록에 대한 보다 정확한 동작벡터들이 결정될 수도 있다.
차순위 이미지의 블록에 대한 동작벡터들을 결정하는 것 외에도, 차순위 이미지에 대한 동작벡터 필드를 결정하는 것이 가능하다. 통상적으로, 동작벡터 필드는 블록들보다 미세한 스케일로 된 동작벡터의 정보를 가리킨다. 동작벡터 필드는 통상적으로 화소 스케일로 움직임을 나타낸다. 움직임 벡터 필드는 블록들에 대한 것과 유사하게 화소 레벨에 따라 직접적으로 결정될 수 있다. 이는, 통상적으로 심도 맵이 이미지화소에 대한 거리정보를 형성하므로 간단하다(straightfoward). 대안적으로는, 블록레벨로 동작벡터 필드를 결정하고 이들 블록-특정(block-specific) 동작벡터들을 사용하여 픽셀-특정(pixel-specific) 움직임 벡터 필드를보간(interpolate)할 수 있다.
동작벡터 필드는 기준이미지 와핑 필드로서 사용될 수도 있다. 이는 기준이미지의 일부를 평면병진(plain translation)시키는 것 뿐만 아니라, 차순위 이미지의 동작 보정 추정치를 형성시킬 경우에 상기 기준이미지의 일부를 축소(contraction)/확대(expansion) 및/또는 로테이션시키는 것이 가능하다는 것을 의미한다. 동작 보정에 있어 동작벡터 필드를 사용하는 것은, 디컴프레서가 그것이 수신하는 정보로부터 동작벡터 필드를 생성시키고 기준이미지에 따라 기준이미지를 와핑할 수 있을 것을 요한다. 디컴프레서는 예를 들어, 압축된 정보흐름의 개시시에 상기 디컴프레서가 지시하는 보간법(interpolation method)을 사용하거나, 대안적으로는 컴프레서 및 디컴프레서가 그들 둘 모두에 의하여 지지되는 보간법을 절충해 사용할 수도 있다. 통상적으로, 일련의 이미지들의 압축시에는 보간법을 변경할 필요가 없으나, 디컴프레서에 새로운 보간법이 알려진다면 상기 변경이 행해질 수 있다.
이미지 재구성의 정확성을 위하여, 통상적으로 컴프레서는 기준이미지와 같은 이전의 이미지를 사용하지 않는다. 통상적으로, 컴프레서는 디컴프레서에 이용될 수 있는 동일한 정보를 이용하여 기준이미지를 재구성한다. 그 다음, 이렇게 재구성된 기준이미지가 움직임 추정 및 보정 이미지를 결정하는데 사용된다. 아래의 본 발명의 상세한 설명에서, 기준이미지란 용어는 이미지압축의 세부사항에 따라 위와 같이 이전의 원래 이미지 또는 재구성된 보다 이전의 이미지 중 어느 하나일 수 있다.
다음의 본 발명에 대한 설명에서는 도 1 내지 도 4를 참조하기로 한다.
본 발명에 따른 방법은 먼저 압축될 차순위(next) 이미지 및 기준이미지에 둘 모두에 대하여, 다음의 데이터, 즉 실제 이미지와 상기 이미지를 위한 카메라 파라미터를 필요로 한다. 또한, 상기 차순위 데이터에 해당하는 심도 맵(depth map)이 필요하다. 통상적으로 심도 맵은 실제 이미지의 각 화소에서 식별물체가 카메라로부터 얼마나 멀리 떨어져 있는지를 나타내는 2차원 어레이의 수이다.
예를 들어, 도 1a 및 도 2a는 2개의 영상 이미지를 예시하고 있다(도 1a에는 영상 이미지I0가, 도 2a에는 영상 이미지I1가 예시되어 있다). 상기 이미지I0와I1은 동일한 장면과 관련되어 있으나, 상기 장면을 포착하는 카메라의 위치 및 방향이 이미지I0와I1에 대하여 상이하다. 도 3은 이미지I0와I1에 대한 카메라의 위치 및 방향을 예시하고 있다.
상기 이미지를 위한 카메라 파라미터로는 카메라 위치, 카메라 방향 및 카메라의 포착거리가 있다. 통상적으로, 카메라 위치(K)는 3차원공간내 소정 점(또는 상기 위치를 향하는 벡터)으로 표현된다. 카메라 방향은 카메라의 3가지 방향벡터 Kx, Ky 및 Kz로 표현되는 것이 보통이다. 포착거리(Dv)는 이미지 평면으로부터의 카메라의 거리이다. 도 4는 이들 카메라 파라미터 K, Kx, Ky, Kz 및 Dv를 예시하고 있다.
이미지 평면내 점들의 x 및 y 좌표는 통상적으로, 이미지 평면내의 소정 점으로부터의 (방향벡터 Kx 및 Ky에 의하여 정의되는 방향으로의) 거리로 정의되며, 벡터 Kz에 의하여 정의되는 방향은 상기 이미지 평면과 교차한다(통상적으로, 상기 점은 이미지의 중심점이다). 도 4는 좌표 x의 상술된 정의를 예시한 것으로, 도 4에 있어, 특히 상기 도 4가 이미지I1과 관련되어 있으므로 상기 좌표는 x1으로 표시되어 있다.
도 1b 및 도 2b는 이미지I0및I1의 심도 맵Z0및Z1을 예시한 것으로, 회색의 음영이 어두울수록 카메라로부터의 물체의 거리, 즉 이미지의 점이 멀다. 심도 맵(Z)은 카메라로부터의 물체(O)의 거리를 벡터 Kz 방향으로 한정한 것이다. 도 4는 점(x1,y1)의 이미지(I1)로 예시되어 있는 물체(O)의 위치가 x1, y1, Z1(x1,y1) 및 이미지(I1)의 카메라 파라미터를 사용하여 3차원공간에서는 어떻게 결정될 수 있는지를 예시하고 있다. 달리 말해, 도 4는 이미지 평면내 점(x1,y1)의 3차원공간(P')의 소정 점으로의 투영을 예시한 것이다.
이미지가 합성모델로부터 생성되는 뷰일 경우, 일반적으로 심도 맵(Z)은 상술된 바와 같이 이미지 생성 프로세스의 부산물(side-product)로 발생된다. 이미지가 실제 세계의 이미지인 경우, 예를 들어 레인지 센서(range sensor)를 사용하여 심도 맵을 결정할 수 있다.
다음에는 예를 들어, 도 1a의 영상 이미지(I0)가 도 2a에 예시된 영상 이미지(I1)에 대한 기준 이미지로서의 역할을 하는 상황에 대하여 고려해 보기로 하자. 또한, 일 예시로서, 이미지I0및I1에서의 사람의 머리를 포함하는 이미지 블록에 대하여 고려해 보기로 하자.
검토대상 블록의 동작벡터(motion vector)에 대한 유용한 근사치를 계산하기 위하여, 이미지I0와I1사이의 모든 변화들이 카메라 파라미터의 변화로 인한 것이라는 가정하에 화소p1(도 2a)이 기준 이미지(I0)내 어디에 있었는 가를 알아내려 한다. 여기서, 이전의 위치를P0라 하였다(도 1a).p0의 x 및 y 성분을 찾기 위해서는, 먼저 이미지 점P1이 이미지I1의 카메라 파라미터를 사용하여 3차원공간(P')으로 역으로 투영된 다음, 3차원공간의 점이 기준이미지의 카메라 파라미터를 사용하여 기준이미지(I0)의 평면으로 투영된다. 통상적으로 차p0-p1라표현되는 두 이미지의 점간의 위치 차는 영상 압축에 사용하기 위한 동작벡터이다.
이미지 평면(I)로부터 3차원공간으로의 투영은 다음의 공식에 의해 행해진다.
여기서, x 및 y는 이미지 평면내 소정 점의 좌표이고, Z(x,y)는 점(x,y)의 심도 맵 값이다. 3차원공간으로부터 이미지공간으로의 투영은 상기 공식에서 x, y 및 Z(x,y)를 풀어서 나오는 공식에 의하여 해결될 수 있다. 두 공식 모두는 3차원 컴퓨터 그래픽의 기본 공식으로 알려져 있다. 좌표, 카메라 파라미터 및 심도 맵은 상술된 것과는 약간 다른 방식으로 정의될 수도 있으나, 당업자라면 상기 투영 공식을 적절히 변경해 이용할 수도 있다.
동작벡터를 계산하기 위하여 제시된 방법은 카메라 파라미터의 변화로부터 기인하는 영상 이미지의 모든 변화를 고려한다. 카메라에 의하여 포착된 장면에서 생길 수 있는 변화와는 상관없이, 차순위 이미지의 화소/블록은, 먼저 차순위 이미지의 카메라 파라미터를 사용하여 3차원공간으로 투영된 다음, 기준이미지의 카메라 파라미터를 사용하여 기준이미지 평면으로 투영된다. 다음으로,p1을 갖는 차순위 이미지 및p ref. 를 갖는 기준이미지의 특정 물체와 관련된 점에 대하여 알아보도록 하자. 하지만, 차순위 이미지가 압축되는 경우에는 통상적으로p ref. 의 값은 알려져 있지 않다(동작 보정(compensation)의 목표가 바로p ref. 의 값을 결정하는 것이다).
차순위 이미지 점p1을P1'(이는 3차원공간의 소정 점임)으로 먼저 투영하고,p1"(이는 기준이미지 평면의 소정 점(x1", y1")이고 댑스 값 z1"을 가짐)으로 재차 투영한다는 것에 유의하라.p1및p1"이 있는 영역에서의 영상 이미지의 변화가 카메라 파라미터에 의해서만 야기된다면, 이때의p1"은p ref. 과 같거나 그에 가깝다. 도 1 내지 도 3은 이 경우를 예시하고 있다.p1"이p ref. 과 같거나 그에 가까운지의 여부를 판단할 수 있는 방법은 댑스 값 z1"과 기준이미지의 댑스-맵 값 Z0(x1", y1")을 비교하는 것이다. 이미지의 변화들이 카메라 파라미터에 의하여 야기된다면, 이 값들은 거의 일치할 것이다(match). 이러한 경우에는, 통상적으로p1에 대하여p1"-p1보다 더욱 정확한 동작벡터를 찾으려 노력할 필요가 없다.
카메라를 교체하여 상기 장면을 포착할 경우에, 상술된 바와 같이 차순위 이미지의 소정 점을 재차 투영하는 것은 그들 이미지의 영역들에 있어 부정확한 동작벡터를 제공하게 된다. 상술된 바와 같이, 보다 정확한 동작벡터를 결정할 필요가 있을지의 여부를 판단하는 보다 손쉬운 계산 방법은 댑스 값 z1"과 댑스-맵 값 Z0(x1",y1")을 비교하는 것이다. 상기 비교시 값들이 근사하지 않는다면, 그 때는 통상적인 검색방법들을 사용하여 보다 정확한 동작 보정 벡터가 결정될 수 있다. 상기 통상적인 동작벡터의 검색방법들을 위한 초기값으로서 상기 값p1"-p1이 사용될 수 있다. 표준의 영상 압축 방법에서는, 각 화소에 대하여 별도의 동작벡터들을 계산하는 대신 예를 들어, 8×8 또는 16×16의 정해진 사이즈 블록에 대하여 계산하는 것이 일반적이다. 이 때문에, 본 발명의 투영방법 역시 계산상의 노력을 덜기 위하여 상기 블록들에 적용되는 것이 바람직하다. 이는, 예를 들어 상기 블록 내의 댑스 값들의 평균을 구하고 상기 평균 댑스 값과 상기 블록의 중심 x 및 y 좌표를 투영 점의 좌표로 사용함으로써 수행될 수 있다.
도 5, 도 6 및 도 7 각각은 공지된 컴퓨터 게임으로부터의 영상 프레임을 위해 제시된 투영방법에 의해 계산된 동작벡터 필드를 나타내고 있다. 상기 컴퓨터 게임에서는 가상의 카메라가 무기에 부착되고 플레이어의 의사에 따라 주위로 움직이고 회전될 수 있다. 상기 도는 움직임 추정 프로세스에 사용되는 블록들로 분할된 게임으로부터의 영상 프레임들을 나타내고 있다. 도 5 내지 도 7은 게임용 영상 프레임을 나타내며, 상기 영상 프레임은 블록들로 분할되어 있다.
도 5에는, 카메라가 정지해 있기 때문에, 투영방법을 사용하여 연산된 동작벡터들이 제공되지 않는다. 도 6은 플레이어가 전진하고 있는 상황을, 도 7은 플레이어가 우측에서 좌측으로 로테이팅하고 있는 것을 나타낸다. 도 5 내지 도 7에서 알 수 있듯이, 상술된 투영방법을 사용하여 생성되는 동작벡터들은 움직임을 어느정도 직관적으로 파악할 수 있게 한다.
상기 상술된 투영방법을 사용하여 연산된 동작벡터들은, 블록기반의 영상 압축용 입력데이터로서 사용되는 대신 기준 이미지 와핑(warping) 필드로서 대체되어 사용될 수 있다. 통상적으로, 기준이미지내 각 화소에 대한 동작벡터들은 블록기반 벡터 필드의 (예를 들어, 바이리니어) 보간(interpolation)에 의하여 연산된다. 대안적으로는, 상기 화소들을 화소단위로(pixel-by-pixel) 투영하는 동작벡터필드를생성시킬 수 있다. 이러한 코스의 방법을 활용하는 것은 동작벡터 필드를 압축된 데이터와 함께 표현하는 정보의 전송(transmission)/저장을 필요로 한다. 기준 이미지 와핑이 이미지압축과 이미지복원(image decompression) 모두에서 수행된다면, 실제 이미지압축 알고리듬의 일부는 와핑된 기준이미지와 차순위 이미지간의 차를 보정하는 것이다.
와핑방법을 사용하는 것은 상기 방법이 동작벡터로 표현될 수 있는 조작(operation)의 집단(set)을 확대시키기 때문에 압축비 및 영상의 질과 관련해 이점이 있다. 통상의 블록기반 영상 압축에 있어, 기준이미지로부터 차순위 이미지를 조성하는데 사용될 수 있는 유일한 조작이 변환(translated) 블록 카피인 경우에, 와핑 방법은 카메라 움직임으로부터 기인하는 이미지의 스케일링 및 로테이션을 정확하게 재생한다. 통상의 반복적 검색방법들을 이용하여 로테이션 및 스케일링 파라미터들을 찾는 것은, 그들이 실제적으로 검색 스페이스내에 새로운 2가지 차원을 부가하기 때문에 영상 압축에 터무니없는 계산상의 댓가를 지불하게 한다.
도 8은 2가지 예시로서 본 발명의 두 실시예에 따른 영상 압축방법(800, 820)의 플로우차트를 예시하고 있다. 스텝 801에서는, 차순위 이미지가 수신되고 상기 차순위 이미지의 카메라 파라미터에 대한 정보가 구축된다. 스텝 802에서는, 상기 차순위 이미지의 심도 맵에 대한 정보가 구축된다. 스텝 803에서는, 카메라 파라미터와 차순위 이미지의 심도 맵을 사용하여 3차원공간으로 차순위 이미지의 블록이 투영된다. 스텝 804에서는, 기준이미지의 카메라 파라미터에 대한 정보가 구축되고, 스텝 805에서는, 3차원공간으로 투영된 점들이 상기 기준이미지 평면으로 투영된다.
스텝 806에서는, 상술된 바와 같이 상기 투영의 결과를 이용하여 동작벡터들이 결정된다. 스텝 807에서는, 카메라 파라미터와 관련된 동작벡터들이 충분히 정확한지의 여부가 결정된다. 이는, 상술된 바와 같이 기준 이미지 심도 맵 값 Z0(x1",y1")과 재차 투영된 이미지 점(p1")의 댑스 값(z1")을 비교하여 수행될 수 있다. 통상적으로, 그 차이에 대한 임계값이 결정되고, 심도 맵 값이 서로 충분히 근사하다면, 보다 정확한 동작벡터를 요하지는 않는다. 필요할 경우, 스텝 808에서는, 초기값으로서 카메라 파라미터와 관련된 동작벡터를 사용하여 보다 정확한 동작벡터들을 검색하며, 이 때 동작 보정 벡터를 찾는 소정의 방법이 적용될 수 있다. 이러한 검색은 동작벡터들이 충분히 정확하지 못한 이미지 영역에서만 이루어지는 것이 바람직하다.
도 8b는 영상 압축방법(800)이 어떻게 지속되는지를 예시하고 있다. 본 방법에서, 동작벡터들은 이미지 압축의 통상적인 방법에서 사용된다. 스텝 809에서는, 동작벡터들을 사용하여 차순위 이미지에 대한 동작 보정 추정치가 결정된다. 그 후, 스텝 810에서는, 차순위 이미지와 동작 보정 추정치를 사용하여 상이 이미지가 결정된다. 스텝 811에서는, 동작벡터들을 나타내는 정보가 전송 및/또는 또 다른 사용을 위해 저장된다. 스텝 812에서는, 상이 이미지를 나타내는 정보가 전송/저장된다. 스텝 813에서는, 전송/저장된 정보를 사용하여 새로운 기준이미지가 생성되며, 여기서의 새로운 기준이미지는 각각 압축된 이미지와 관련하여 생성되거나 동 기준이미지가 복수의 압축된 이미지들을 위하여 사용될 수 있다. 그 후, 방법 800이 스텝 801로부터 계속된다.
도 8c는 방법 820이 어떻게 계속되는지를 예시하고 있다. 방법 820에서는, 스텝 821에서 동작벡터 필드가 결정된다. 상술된 바와 같이, 동작벡터 필드를 결정할 수 있는 방법은 블록-특정(block-specific) 동작벡터들로부터의 화소-특정(pixel-specific) 값을 보간하는 것이다. 스텝 822에서는, 와핑 필드로 동작벡터필드를 사용하여 차순위 이미지의 동작 보정 추정치가 결정된다. 그 후 방법 820은 방법 800과 유사하게 계속된다.
통상적으로 뷰내로 새로운 물체(material)가 들어가는 이미지의 림(rim)에서는, 동작 보정 추정치가 부정확하다. 이러한 상황은 제시된 방법의 기준이미지 밖의 점에 따라 계산된 동작벡터의 경우에서 볼 수 있다. 하지만, 본 경우에 있어서도 마찬가지로 상이 이미지가 동작 보정 추정치의 부정확성을 다룬다.
도 9는 일 예시로서, 본 발명의 일 실시예에 따른 영상 컴프레서(900)의 개략적인 블록도를 예시하고 있다. 영상 컴프레서는 기준이미지를 저장하는 수단(901), 차순위 이미지를 수신하는 수단(902) 및 차순위 이미지와 기준이미지간의 변화를 추정하기 위한 동작벡터를 결정하는 수단(903)을 구비한다. 또한, 상기 영상 컴프레서는 차순위 이미지의 심도 맵과 카메라 파라미터에 대한 정보를 구축하는 수단(904) 및 기준이미지의 카메라 파라미터를 저장하는 수단(905)을 더욱 포함하여 이루어진다. 예를 들어, 수단 904는 레인지 센서로부터의 거리정보를 수신하거나 또는 3-D 디스플레이 콘트롤러의 메모리로부터의 정보를 수신/패치(fetch)하도록 배치될 수 있다. 동작벡터 측정치를 결정하는 수단(903)은 차순위 이미지점들의 3차원공간으로의 투영 및 3차원공간 점들의 기준이미지로의 투영을 계산하도록 배치된다.
영상 컴프레서는 기준이미지의 심도 맵에 대한 정보를 저장하는 수단(카메라 파라미터의 저장에 사용되는 동일 메모리 수단(905)을 사용하여 실시될 수도 있음) 및 동작벡터들의 정확성을 추정하는 수단(906)을 더욱 포함할 수도 있다. 상기 동작벡터들의 정확성을 평가하는 수단은 필요할 경우 통상적인 검색방법에 의해 보다 정확한 동작벡터들을 결정하도록 배치될 수도 있다.
통상적으로, 영상 컴프레서는 차순위 이미지에 대한 동작 보정 측정치를 구성하는 수단(907) 및 차순위 이미지와 동작 보정 측정치간의 상이 이미지를 결정하는 수단(908)을 더욱 포함하여 이루어진다. 동작 보정 측정치를 구성하는 수단(907)은 동작벡터들을 사용하도록 배치되거나, 대안적으로는 동작벡터 필드를 구성하고 그 동작벡터 필드에 따른 기준이미지를 와핑하도록 배치될 수도 있다.
또한, 그것은 통상 동작벡터들과 상이 이미지를 나타내는 정보를 전송/저장하는 수단(909)를 포함한다. 통상적으로, 전송/저장된 정보를 사용하여 새로운 기준이미지를 구성하는 수단(910) 역시 영상 컴프레서의 일부이다.
본 발명에 따른 장치 및 컴퓨터 프로그램은 본 발명에 따른 소정의 방법에 따라 기능하도록 배치될 수도 있다.
통상적으로 종래의 동작 보정 영상 압축에 의하여 얻어지는 프로세서 및 여타 리소스는 실시간 영상 압축에 의하여 과도한 요건들이 장비에 부과되도록(posed) 하는데 비하면, 상술된 방법은 압축된 영상의 사용을 위한 새로운 가능성을 열었다. 이제는, 그것이 아니었다면 영상 스트림을 실시간으로 압축시켜야만 했을 계산상의 능력(computational power)이 결과물의 질을 향상시키는데 사용되어 다중 동시 영상 스트림을 압축시키거나 적정한 경우 이미지 압축과 동시에 여타의 업무를 수행할 수 있게 되었다.
앞선 설명의 관점에 있어서, 당업자라면 본 발명의 범위내에서 다양한 수정이 이루어질 수 있음을 이해할 것이다. 본 발명의 몇가지 바람직한 실시예를 상세히 설명하였으나, 그에 대한 많은 수정 및 변형이 가능하며, 그들 모두는 첨부된 독립청구항에 의하여 정의되는 바와 같은 본 발명의 범위내에 있다는 것을 이해해야 한다.

Claims (11)

  1. 영상정보를 압축하는 방법(800,820)에 있어서,
    - 카메라 파라미터 및 심도 맵(depth map)을 사용하여 차순위 이미지(next image)의 점들(points)을 3차원공간으로 투영시키는 단계(803), 및
    - 투영된 점들을 상기 3차원공간으로부터 기준이미지 평면(reference image surface)으로 투영하는 단계(805)로서, 그에 의해 상기 차순위 이미지와 기준이미지간의 변화를 추정하는 동작벡터(motion vector)들을 얻는 상기 투영단계(805)를 포함하는 것을 특징으로 하는 방법(800,820).
  2. 제1항에 있어서,
    상기 심도 맵은 컴퓨터 디스플레이 컨트롤러의 메모리내에 있는 심도 맵으로부터 또는 실제 물체까지의 거리를 측정함으로써 얻어지는(derived) 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서,
    - 상기 3차원공간으로 투영된 점의 댑스 값을 상기 기준이미지의 평면으로 투영된 점의 심도 맵 값과 비교하여 얻어진 동작벡터들의 정확성을 추정하는 단계(807)를 더욱 포함하여 이루어지는 것을 특징으로 하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    얻어진 동작벡터들의 추정된 정확도에 따라, 상기한 바와 같이 얻어진 동작벡터들이 이미지 압축 동작벡터들로 사용되거나, 이미지 압축 동작벡터 검색(808)을 위한 초기값으로서 사용되는 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    - 얻어지고/거나 검색된 동작벡터들을 사용하여 상기 차순위 이미지에 대한 동작벡터 필드를 결정하는 단계(821). 및
    - 상기 동작벡터 필드를 상기 기준이미지의 와핑(warping) 필드로서 사용하여 상기 차순위 이미지에 대한 동작 보정 추정치(motion compensated estimate)를 결정하는 단계(822)를 포함하는 것을 특징으로 하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    동작벡터들은 정해진(fixed) 크기의 이미지 블록들에 대해 결정되고 각각의 블록에 대해 단 하나의 동작벡터만이 결정되는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 심도 맵을 사용하여 각각의 이미지 블록에 대해 평균 댑스가 결정되고 블록의 중심점이 투영되는 점인 것을 특징으로 하는 방법.
  8. 컴퓨터 프로그램으로서, 컴퓨터에서 상기 프로그램이 운영될 경우 제1항의 모든 단계들을 수행하도록 되어 있는 컴퓨터 프로그램 코드 수단을 포함하는 것을 특징으로 하는 상기 컴퓨터 프로그램.
  9. 제8항에 있어서,
    판독가능한 컴퓨터 매체(medium)로 구현되는 컴퓨터 프로그램.
  10. 영상정보의 동작 보정 압축을 위한 장치(900)로서,
    - 기준이미지를 저장하는 수단(901),
    - 차순위 이미지를 수신하는 수단(902), 및
    - 상기 차순위 이미지와 기준이미지간의 변화를 추정하는 동작벡터들을 결정하는 수단(903)을 포함하는 상기 장치에 있어서,
    - 차순위 이미지의 심도 맵 및 상기 카메라 파라미터에 대한 정보를 구축하는 수단(904), 및
    상기 기준이미지의 카메라 파라미터에 대한 정보를 저장하는 수단(906)을 더욱 포함하여 이루어지고,
    상기 움직임 벡터 추정치들을 결정하는 수단(903)이, 상기 차순위 이미지의 심도 맵 및 카메라 파라미터들을 사용하여 상기 차순위 이미지 점들의 3차원공간으로의 투영 및 상기 기준이미지의 카메라 파라미터를 사용하여 3차원공간 점들의 상기 기준이미지로의 투영을 계산하도록 배치되는 것을 특징으로 하는 장치(900).
  11. 제10항에 있어서,
    - 상기 기준이미지의 심도 맵에 대한 정보를 저장하는 수단(906) 및
    - 상기 동작벡터들의 정확성을 추정하는 수단(905)을 더욱 포함하여 이루어지는 것을 특징으로 하는 장치.
KR1020037009802A 2001-01-24 2002-01-23 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체 KR100879324B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20010143A FI109633B (fi) 2001-01-24 2001-01-24 Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
FI20010143 2001-01-24
PCT/FI2002/000050 WO2002060183A1 (en) 2001-01-24 2002-01-23 A method for compressing video information

Publications (2)

Publication Number Publication Date
KR20040012714A true KR20040012714A (ko) 2004-02-11
KR100879324B1 KR100879324B1 (ko) 2009-01-19

Family

ID=8560113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037009802A KR100879324B1 (ko) 2001-01-24 2002-01-23 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체

Country Status (8)

Country Link
US (1) US7894525B2 (ko)
EP (1) EP1364535B1 (ko)
JP (1) JP4004408B2 (ko)
KR (1) KR100879324B1 (ko)
CN (1) CN1270542C (ko)
ES (1) ES2729193T3 (ko)
FI (1) FI109633B (ko)
WO (1) WO2002060183A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866106B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 깊이 영상의 프레임간의 평면 예측 방법 및 평면 예측 장치

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075441A (en) 1996-09-05 2000-06-13 Key-Trak, Inc. Inventoriable-object control and tracking system
AU2003208477A1 (en) 2002-03-01 2003-09-16 T5 Labs Ltd Centralised interactive graphical application server
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
CA2595568C (en) * 2005-01-27 2013-11-12 Thomson Licensing Edge based cmy automatic picture registration
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
EP1955553A2 (en) * 2005-11-23 2008-08-13 Koninklijke Philips Electronics N.V. Rendering views for a multi-view display device
US7916141B2 (en) * 2006-04-10 2011-03-29 Choi Kum-Young Image processing system using vector pixel
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
JP4931223B2 (ja) * 2007-03-30 2012-05-16 株式会社バンダイナムコゲームス 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム
US8049658B1 (en) * 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
CN101802867B (zh) * 2007-07-18 2012-11-21 新加坡南洋理工大学 提供图形数据以及显示图形数据的方法
CN101822067B (zh) * 2007-07-26 2013-04-24 皇家飞利浦电子股份有限公司 深度相关信息传播方法和设备
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
JP5039921B2 (ja) * 2008-01-30 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮システム、プログラムおよび方法
JP2009230635A (ja) * 2008-03-25 2009-10-08 Olympus Imaging Corp 画像データ生成装置、画像データ生成方法、および画像データ生成用プログラム
WO2009131703A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법
CN101374243B (zh) * 2008-07-29 2010-06-23 宁波大学 一种应用于3dtv与ftv***的深度图编码压缩方法
CN101374242B (zh) * 2008-07-29 2010-06-02 宁波大学 一种应用于3dtv与ftv***的深度图编码压缩方法
WO2010021666A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
US20100073491A1 (en) * 2008-09-22 2010-03-25 Anthony Huggett Dual buffer system for image processing
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
BRPI0924045A2 (pt) 2009-01-07 2017-07-11 Thomson Licensing Estimação de profundidade conjunta
US9723319B1 (en) 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US11013995B2 (en) * 2009-06-01 2021-05-25 Sony Interactive Entertainment LLC Qualified video delivery methods
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101660312B1 (ko) * 2009-09-22 2016-09-27 삼성전자주식회사 3차원 비디오의 움직임 탐색 장치 및 방법
GB2480422B (en) * 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
US20110242271A1 (en) * 2010-03-31 2011-10-06 Google Inc. Synthesizing Panoramic Three-Dimensional Images
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
US8676591B1 (en) 2010-08-02 2014-03-18 Sony Computer Entertainment America Llc Audio deceleration
US9878240B2 (en) 2010-09-13 2018-01-30 Sony Interactive Entertainment America Llc Add-on management methods
KR20170129297A (ko) 2010-09-13 2017-11-24 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 게임 서버
KR101682137B1 (ko) * 2010-10-25 2016-12-05 삼성전자주식회사 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
CN102821275B (zh) * 2011-06-08 2017-08-08 南京中兴软件有限责任公司 数据压缩方法及装置、数据解压缩方法及装置
CN102263958A (zh) * 2011-07-26 2011-11-30 中兴通讯股份有限公司 基于h2***估计算法的初始点获取方法及装置
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
EP2727366B1 (en) * 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
CN103392189B (zh) * 2012-02-23 2017-10-31 史克威尔·艾尼克斯控股公司 动态图像传输服务器、动态图像播放装置以及控制方法
KR101536501B1 (ko) 2012-04-12 2015-07-13 신라 테크놀로지스, 인크. 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
CN103716641B (zh) * 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
US9984504B2 (en) 2012-10-01 2018-05-29 Nvidia Corporation System and method for improving video encoding using content information
US10237563B2 (en) 2012-12-11 2019-03-19 Nvidia Corporation System and method for controlling video encoding using content information
CN103108183B (zh) * 2013-02-01 2015-04-29 中国科学技术大学 一种三维视频中Skip和Direct模式运动矢量的预测方法
US10242462B2 (en) 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
KR101632992B1 (ko) * 2014-07-03 2016-06-30 성균관대학교산학협력단 깊이 와핑에 기반한 폐색 컬링을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US10356417B2 (en) * 2016-09-30 2019-07-16 Intel Corporation Method and system of video coding using projected motion vectors
CN106651921B (zh) * 2016-11-23 2020-02-04 中国科学院自动化研究所 运动检测方法及躲避和跟踪运动目标的方法
US10499054B2 (en) 2017-10-12 2019-12-03 Mitsubishi Electric Research Laboratories, Inc. System and method for inter-frame predictive compression for point clouds
WO2021108626A1 (en) * 2019-11-27 2021-06-03 Compound Eye Inc. System and method for correspondence map determination
WO2021150784A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for camera calibration
WO2021150779A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
US11833419B2 (en) 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
US20240163477A1 (en) * 2022-11-10 2024-05-16 Rovi Guides, Inc. 3d prediction method for video coding
WO2024126279A1 (en) * 2022-12-12 2024-06-20 Interdigital Ce Patent Holdings, Sas A coding method or apparatus based on an indication of camera motion information

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5511153A (en) * 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
JPH07287775A (ja) 1994-04-19 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> ３次元映像表示方法および装置
FR2724033B1 (fr) * 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
JP3797498B2 (ja) 1996-06-11 2006-07-19 ソニー株式会社 メモリ制御装置およびメモリ制御方法、並びに画像生成装置
US5847776A (en) * 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
JP3802653B2 (ja) * 1997-05-21 2006-07-26 オリンパス株式会社 立体画像表示装置
KR20000068660A (ko) * 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
GB9913687D0 (en) * 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
FR2798761B1 (fr) * 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
US6664962B1 (en) * 2000-08-23 2003-12-16 Nintendo Co., Ltd. Shadow mapping in a low cost graphics system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866106B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 깊이 영상의 프레임간의 평면 예측 방법 및 평면 예측 장치

Also Published As

Publication number Publication date
US7894525B2 (en) 2011-02-22
KR100879324B1 (ko) 2009-01-19
EP1364535A1 (en) 2003-11-26
ES2729193T3 (es) 2019-10-30
CN1494804A (zh) 2004-05-05
CN1270542C (zh) 2006-08-16
US20040095999A1 (en) 2004-05-20
JP2004517590A (ja) 2004-06-10
WO2002060183A1 (en) 2002-08-01
FI109633B (fi) 2002-09-13
FI20010143A0 (fi) 2001-01-24
JP4004408B2 (ja) 2007-11-07
EP1364535B1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
KR100879324B1 (ko) 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체
US10818029B2 (en) Multi-directional structured image array capture on a 2D graph
US10789765B2 (en) Three-dimensional reconstruction method
EP3043320B1 (en) System and method for compression of 3d computer graphics
Szeliski Prediction error as a quality metric for motion and stereo
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR101159082B1 (ko) 반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정
US8331435B2 (en) Compression system, program and method
JP2006512029A (ja) セグメントベース動き推定
JPH0749964A (ja) ３次元動画像生成装置
EP2959683A1 (en) Method and apparatus for computing a synthesized picture
US20180005039A1 (en) Method and apparatus for generating an initial superpixel label map for an image
KR100335617B1 (ko) 3차원 입체영상 합성방법
KR19980075571A (ko) 2차원 삼각형 조각 선격자 모델을 이용한 동영상의 움직임 추정방법
GB2362793A (en) Image processing apparatus
KR101866106B1 (ko) 깊이 영상의 프레임간의 평면 예측 방법 및 평면 예측 장치
WO2020118565A1 (en) Keyframe selection for texture mapping wien generating 3d model
Zabulis et al. Increasing the accuracy of the space-sweeping approach to stereo reconstruction, using spherical backprojection surfaces
JPH08149458A (ja) 動画像処理装置
GB2358307A (en) Method of determining camera projections in 3D imaging having minimal error
Nonaka et al. Billboard deformation via 3d voxel by using optimization for free-viewpoint system
Koch 3-D Scene Modeling from Stereoscopic Image Sequences
Fickel et al. Multiview image and video interpolation using weighted vector median filters
Neumann et al. Adaptive multistage 2D image motion field estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121217

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131217

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141216

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151215

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181214

Year of fee payment: 11