KR20220113975A

KR20220113975A - 디지털 홀로그램을 인코딩하는 방법, 디지털 홀로그램들의 그룹을 인코딩하는 방법 및 연관된 인코딩 디바이스

Info

Publication number: KR20220113975A
Application number: KR1020227022292A
Authority: KR
Inventors: 안토닌 질; 패트릭 조이아
Original assignee: 폰데이션 비-컴
Priority date: 2019-12-13
Filing date: 2020-12-03
Publication date: 2022-08-17
Also published as: EP4073594A1; WO2021115935A1; FR3104747A1; US20230004120A1; FR3104747B1; JP2023505905A; CN114787720A

Abstract

디지털 홀로그램을 정의하는 평면에서 픽셀들과 각각 연관된 값들로 표현되는 디지털 홀로그램을 인코딩하는 방법은 다음과 같은 단계들을 포함한다:
-　인접 픽셀들로 구성된 구역들과 각각 연관된 매트릭스 블록들(B_i,j)을 형성하는 단계(E4) ― 각 매트릭스 블록(B_i,j)은 해당 매트릭스 블록(B_i,j)과 연관된 구역의 픽셀들의 값들의 함수로 결정된 요소들을 포함함 ―;
- 각 매트릭스 블록(B_i,j)에 대해, 해당 매트릭스 블록(B_i,j) 내의 상이한 2-차원 공간 주파수들에 각각 대응하는 계수들의 세트(C_i,j)를 획득하는 방식으로 매트릭스 블록(B_i,j) 각각에 공간-주파수 변환을 적용하는 단계(E6);
- 각각이 해당 2-차원 구조(S_p,q)에 의존하는 기준을 충족하는 2-차원 공간 주파수들과 연관된, 계수들의 복수의 세트들(C_i,j)로부터의 계수들을 포함하는 복수의 2-차원 구조들(S_p,q)을 구성하는 단계(E8);
-　구성된 2-차원 구조들(S_p,q)을 인코딩하는 단계.
디지털 홀로그램들의 그룹을 인코딩하는 방법 및 인코딩 디바이스가 또한 설명된다.

Description

디지털 홀로그램을 인코딩하는 방법, 디지털 홀로그램들의 그룹을 인코딩하는 방법 및 연관된 인코딩 디바이스

본 발명은 디지털 홀로그래피 기술 분야에 관한 것이다.

특히, 디지털 홀로그램을 인코딩하는 방법, 디지털 홀로그램들의 그룹을 인코딩하는 방법 및 연관된 인코딩 디바이스에 관한 것이다.

논문("3D scanning-based compression technique for digital hologram video" by Y.-H. Seo, J.-J. Choi and D.-W. Kim in Signal Processing: Image Communication, vol. 22, n° 2, pages 144-156, Feb. 2007)은 각 홀로그램을 세그먼트들로 세그먼트화하고, 공간-주파수 변환을 세그먼트들 각각에 적용하고 세그먼트들의 인코딩을 위해 상이한 세그먼트들을 통해 스캐닝하는 단계를 포함하는 디지털 홀로그램들의 그룹을 인코딩하는 방법을 설명한다.

이 접근법은 홀로그램에 의해 표현되는 장면과 홀로그램의 정의 평면을 분리하는 거리에 비해 블록들의 크기가 작은 경우 올바른 압축을 획득하게 한다. 이 경우 실제로 변환된 세그먼트만이 이웃 계수들 간에 중복성들을 가져서 효율적인 인코딩을 허용한다.

이러한 맥락에서, 본 발명은 디지털 홀로그램의 정의 평면에서 픽셀들과 각각 연관된 값들로 표현되는 디지털 홀로그램을 인코딩하는 방법을 제안하고, 방법은 다음 단계들을 포함한다:

-　인접 픽셀들로 구성된 구역들과 각각 연관된 매트릭스 블록들을 형성하는 단계 ― 각 매트릭스 블록은 해당 매트릭스 블록과 연관된 구역의 픽셀들의 값들의 함수로 결정된 요소들을 포함함 ―;

- 각 매트릭스 블록에 대해, 해당 매트릭스 블록 내의 상이한 2-차원 공간 주파수들에 각각 대응하는 계수들 세트를 획득하기 위해 매트릭스 블록들 각각에 공간-주파수 변환을 적용하는 단계;

- 각각이 해당 2-차원 구조에 의존하는 기준을 충족하는 2-차원 공간 주파수들과 연관된, 복수의 계수들 세트로부터의 계수들을 포함하는 2-차원 구조들을 구성하는 단계;

-　구성된 2-차원 구조들을 인코딩하는 단계.

상이한 2-차원 구조들 내의 계수들의 재구성은 비록 초기에 계수들의 별개의 세트들에 위치되지만 디지털 홀로그램 내에서 유사한 의미를 갖는 계수들을 수집하는 것을 가능하게 한다. 그러므로, 인코딩(이러한 2-차원 구조들에 적용됨)은 효율성이 개선되었다.

개별적으로 또는 기술적으로 가능한 모든 조합들에 따라 취해진 인코딩 방법의 다른 비제한적이고 유리한 특징들은 다음과 같다:

- 2-차원 구조들은 각각의 2-차원 구조에서, 해당 2-차원 구조와 연관된 2-차원 공간 주파수에 대응하는 상기 계수들 세트들로부터의 계수들을 함께 그룹화함으로써 구성된다;

- 2-차원 구조들은 각각의 2-차원 구조에서, 해당 2-차원 구조와 연관된 2-차원 공간 주파수들의 2-차원 범위에 대응하는 상기 계수들 세트들로부터의 계수들을 함께 그룹화함으로써 구성된다;

- 구역들은 상기 평면의 세그먼트화에 의해 획득되고, 매트릭스 블록의 상이한 요소들은 각각 이 매트릭스 블록과 연관된 구역의 픽셀들의 값들이다;

- 구성된 2-차원 구조들은 이미지 인코딩 알고리즘을 통해 적어도 부분적으로 인코딩된다;

- 이 이미지 인코딩 알고리즘은 특정 2-차원 구조, 또는 특정 2-차원 구조의 계수들의 진폭 또는 위상으로 구성된 매트릭스(상이한 2-차원 구조들에 대해 연속적으로)를 입력 이미지로 취한다;

-　홀로그램의 픽셀들의 값들은 실수이다;

-　홀로그램의 픽셀들의 값들은 복소수이다;

- 2-차원 구조의 계수들은 복잡하고, 2-차원 구조들을 인코딩하는 단계는 이미지 인코딩 알고리즘에 의해 상기 계수들의 진폭을 인코딩하는 제1 프로세스, 및 상기 계수들의 위상을 인코딩하는 제2 프로세스를 사용한다.

본 발명은 또한 디지털 홀로그램들 그룹을 인코딩하기 위한 방법을 제안하고, 여기서 상기 그룹의 각 디지털 홀로그램은 위에서 제안된 것과 같은 인코딩 방법에 의해 인코딩되고, 상이한 인코딩 방법들 동안 구현되는 2-차원 구조들을 인코딩하는 상이한 단계들은 상기 그룹의 상이한 디지털 홀로그램들 내에서 미리정의된 시퀀스로 수행된다.

마지막으로 본 발명은 디지털 홀로그램의 정의 평면에서 픽셀들과 각각 연관된 값들로 표현되는 디지털 홀로그램을 인코딩하는 디바이스를 제안하고, 상기 인코딩 디바이스는 다음을 포함한다:

-　각 매트릭스 블록이 해당 매트릭스 블록과 연관된 구역의 픽셀들의 값들의 함수로 결정된 요소들을 포함하는 방식으로 인접 픽셀들로 구성된 구역들과 각각 연관된 매트릭스 블록들을 형성하는 모듈;

- 각 매트릭스 블록에 대해, 해당 매트릭스 블록 내의 상이한 2-차원 공간 주파수들에 각각 대응하는 계수들 세트를 획득하기 위해 매트릭스 블록들 각각에 공간-주파수 변환을 적용하는 모듈;

- 각각이 해당 2-차원 구조에 의존하는 기준을 충족하는 2-차원 공간 주파수들과 연관된, 복수의 계수들 세트로부터의 계수들을 포함하는 복수의 2-차원 구조들을 구성하는 모듈;

-　구성된 2-차원 구조들을 인코딩하는 모듈.

물론, 본 발명의 상이한 특징들, 대안들 및 실시예들은 서로 양립할 수 없거나 배타적이지 않은 한 다양한 조합들에 따라 서로 연관될 수 있다.

또한, 본 발명의 다양한 다른 특징은 본 발명의 비제한적인 실시예들을 예시하는 도면들을 참조하여 이루어진 첨부된 설명으로부터 명백할 것이다.
-　도 1은 본 발명에 따른 인코딩 디바이스의 예의 주요 요소들을 개략적으로 도시한다.
-　도 2는 디지털 홀로그램 내에서 매트릭스 블록들의 형성에 대한 가능한 예를 예시한다.
-　도 3은 계수들 세트들에서 2-차원 구조들의 구성을 예시한다.
-　도 4는 본 발명에 따른 예시적인 인코딩 방법의 단계들을 도시하는 흐름도이다.
-　도 5는 본 발명에 따른 인코딩 디바이스를 형성하기 쉬운 전자 디바이스의 예의 주요 요소들을 도시한다.

도 1은 본 발명에 따른 인코딩 디바이스의 예의 주요 요소들을 도시한다.

이 인코딩 디바이스는 이하에서 설명되는 상이한 모듈들(10, 12, 14, 16, 18)을 포함한다. 이 인코딩 디바이스는 예를 들어 도 5를 참조하여 이하에서 예를 들어 설명되는 바와 같이 프로세서 아키텍처에 의해 구현된다. 이러한 아키텍처에서, 상이한 모듈들(10, 12, 14, 16, 18)은 프로세서와, 예를 들어 인코딩 디바이스의 메모리(이를테면, 도 5에 도시된 전자 디바이스(2)의 메모리(6))에 저장되고 이 프로세서에 의해 실행될 때 해당 모듈의 기능들을 구현하도록 설계된 컴퓨터 프로그램 명령들의 협력에 의해 각각 이루어질 수 있다.

이하, T 개의 디지털 홀로그램들(H _t)(또한 "홀로그래픽 비디오의 프레임들"이라고 칭해짐)의 시퀀스로 구성된 홀로그램 비디오의 (인코딩 디바이스에 의한) 인코딩이 설명될 것이다. 그러나, 본 발명은 또한 단일 디지털 홀로그램(H ₁)의 인코딩에 적용된다(T = 1인 경우).

디지털 홀로그램들(H _t)은 디지털 홀로그램(H _t)의 하나의 평면의 영역(일반적으로 직사각형) 내의 2-차원들에 걸쳐 분포된 포지션(x, y)의, 각각 픽셀들과 연관된 값들(H _t (x,y)) 각각을 통해 이 정의 평면에서 정의된다.

주어진 디지털 홀로그램(H _t)에 대해, 픽셀(x,y)과 연관된 값(H _t(x,y))은 일반적으로 일측에, 또는 가능하게 디지털 홀로그램(H _t)의 정의 평면의 양측에 위치된 3-차원 장면으로부터 이 픽셀(x,y)에서 수신된 광파를 나타낸다.

본원에 설명된 예에서, 값들(H _t(x,y))은 복소수 값들이므로 실수부와 허수부, 또는 진폭(때로는 놈(norm) 또는 모듈이라고도 칭해짐)과 위상에 의해 (동등하게) 표현된다.

대안으로, 값들(H _t(x,y))은 실수 값들일 수 있다.

시퀀스의 디지털 홀로그램들(H _t)을 나타내는 값들(H _t(x,y))은 예를 들어 인코딩 디바이스의 메모리(이를테면, 도 5를 참조하여 이하에서 예로서 제공되는 전자 디바이스(2)의 메모리(6))에 저장된다.

인코딩 디바이스는 주어진 디지털 홀로그램(H _t)을 나타내는 값들(H _t(x,y))로부터 매트릭스 블록들(B_i,j)을 형성하기 위한 모듈(10)을 포함한다.

이 모듈(10)은 각 매트릭스 블록(B_i,j)이 해당 블록(B_i,j)과 연관된 구역(R_i,j)의 픽셀들(x,y)의 값들(H _t(x,y))의 함수로서 결정된 요소들(B_i,j(a,b))을 포함하는 방식으로 인접 픽셀들로 구성된 구역들(R_i,j)과 각각 연관된 매트릭스 블록들(B_i,j)을 형성하도록 설계된다.

본원에 설명된 예에서, 각 매트릭스 블록(B_i,j)은 픽셀들의 값들(H _t(x,y))의 함수로 결정되는 라인당 M_H 개의 요소들 및 열당 M_V 개의 요소들을 포함한다(여기서 매트릭스 블록들(B_i,j)의 라인들은 디지털 홀로그램(H _t)의 정의 평면에서 픽셀들의 x-좌표들 방향에 대응하고 여기서 매트릭스 블록들(B_i,j)의 열들은 이러한 픽셀들의 y-좌표들 방향에 대응함).

실제로, 숫자 M_H는 50 내지 500일 수 있고(M_H는 예를 들어 64 또는 128과 같음); 마찬가지로, 숫자 M_V는 50 내지 500일 수 있다(M_V는 예를 들어 64 또는 128임).

또한, 도 2에서도 볼 수 있는 바와 같이, 모듈(10)은 여기에서 라인당 K_H 개의 매트릭스 블록들 및 열당 K_V 개의 매트릭스 블록들로 구성된 K_H.K_V 매트릭스 블록들의 매트릭스를 형성하는 방식으로 설계된다(즉, K_V 개의 라인 및 K_H 개의 열들로 구성됨). (이 매트릭스 블록들의 매트릭스에서, 매트릭스 블록(B_i,j)은 라인(j+1)과 열(i+1)에 위치됨).

본원에 설명된 인코딩 기법은 많은 수의 픽셀들(일반적으로 10,000 x 10,000 초과)에 의해 정의된 디지털 홀로그램들을 처리하는 데 특히 중요하다. 실제로, 각각의 숫자들(K_H)(라인당 매트릭스 블록들(B_i,j)의 수) 및 K_V(열당 매트릭스 블록들(B_i,j)의 수)는 예를 들어 500 초과이다(또는 심지어 1000 초과임).

모듈(10)은 예를 들어 다음과 같이 매트릭스 블록(B_i,j)의 각 요소(B_i,j(a,b))를 결정한다:

B_i,j(a,b) = H _t (a + i.D_H, b + j.D_V).w(a,b)

여기서 D_H와 D_V는 각각 M_H와 M_V 이하인 정확히 2개의 양의 정수이고, w는 M_H x M_V크기의 실수 매트릭스이다.

가능한 특정 경우에, 도 2에 도시된 바와 같이, 값들(D_H = M_H, D_V = M_V)이 취해지고, 매트릭스(w)의 모든 요소들(w(a,b))은 1과 같게 취해지고: 이어서 모듈(10)은 픽셀들이 정의되는 영역의 세그먼트화에 의해 매트릭스 블록들(B_i,j)을 형성하여, 매트릭스 블록(B_i,j)의 다른 요소들(B_i,j(a,b))은 각각 이 매트릭스 블록(B_i,j)과 연관된 구역(R_i,j)의 픽셀들(x, y)의 값들(H _t(x,y))이다:

B_i,j(a,b) = H _t (a + i.M_H, b + j.M_V).

참조들(P 및 P')로 도 2에 도시된 바와 같이, 예를 들어 디지털 홀로그램(H _t)의 차원들이 M_H 및 M_V(각각)의 배수가 아니기 때문에, 소정 블록 요소들(B_i,j)은 디지털 홀로그램(H _t)을 정의하는 픽셀들 간에 대응하지 않는 경우 블록들(B_i,j)을 0들로 완료(일반적으로 "패딩(padding)"이라고 하는 연산)하는 것이 가능하다.

즉, 모듈(10)은 좌표들(a + i.M_H, b + j.M_V)이 디지털 홀로그램(H _t)의 픽셀에 대응하지 않을 때 B_i,j(a,b) = 0으로 설정될 수 있다.

가능한 실시예에 따르면, 모듈(10)은 픽셀들(x,y)의 값들(H _t(x,y))에 기반하여 결정된 요소들(Bi_,j(a,b))에 더하여, 0의 값의 요소들(B_i,j(a',b'))을 형성하여, 각 매트릭스 블록(B_i,j)의 요소들 수를 증가시키고 이에 따라 아래에서 설명되는 세트들(C_i,j) 각각의 계수들의 수를 증가시킬 수 있다. 이 가능한 실시예에 따르면 M_H+1 내지 M'_H의 a' 및 M_V+1 내지 M'_V의 b'에 대해 M_H　< M'_HM_V　< M'_V 및 B_i,j(a',b') = 0.

모듈(10)의 출구에서, 각 매트릭스 블록(B_i,j)은 M'_V 개의 라인들과 M'_H 개의 열들로 구성된다(예를 들어, 50 내지 1000의 M'_V 및/또는 50 내지 1000의 M'_H를 가짐). (요소들 수를 증가시키기 위해 0의 값의 요소들을 추가하는 방금-언급된 가능성이 사용되지 않는 경우:

M_H = M'_H 이고 M_V = M'_V).

인코딩 디바이스는 또한 공간-주파수 변환을 적용하기 위한 모듈(12)을 포함한다.

이 모듈(12)은 각 매트릭스 블록(B_i,j)에 대해, 해당 매트릭스 블록(B_i,j) 내의 상이한 2-차원 공간 주파수들(k, l)에 각각 대응하는 계수들(C_i,_j(k,l))의 세트(C_i,j)를 획득하는 방식으로 매트릭스(B_i,j)의 각각에 이러한 공간-주파수 변환을 적용하도록 설계된다.

2-차원 공간 주파수에 의해 공간의 2 개의 방향들(여기서, 디지털 홀로그램(H _t)의 정의 평면의 각각 x-축 및 y-축을 따른 2 개의 방향들)과 각각 연관된 공간 주파수들의 커플이 이해된다.

사용된 공간-주파수 변환은 예를 들어 2-차원 푸리에 변환이다.

이 경우, 모듈(12)은 다음과 같이 세트(C_i,j)의 계수들(C_i,j(k,l))을 결정한다:

여기서

는 미리 정의된 상수이다.

매트릭스 블록(B_i,j)의 매트릭스 구성에 기반한 매트릭스 구성을 사용하여, 계수들의 각각의 세트(C_i,j)는 M'_V 개의 라인들과 M'_H 개의 열들로 구성된다.

인코딩 디바이스는 또한 복수의 2-차원 구조들(S_p,q)을 구성하기 위한 모듈(14)을 포함한다.

구성 모듈(14)은 구성되는 각각의 2-차원 구조(S_p,q)가 복수의 계수들의 세트들(C_i,j)로부터의 계수들(C_i,j(k,l))을 포함하고 해당 2-차원 구조(S_k,l)에 의존하는 기준을 충족하는 2-차원 공간 주파수들(k, l)과 연관되는 방식으로 설계된다.

가능한 실시예에 따르면, 주어진 2-차원 구조(S_p,q)에 대해, 구성 모듈(14)은 이런 주어진 2-차원 구조(S_p,q)에서, 특정 2-차원 공간 주파수와 연관된, 값(p,q)의 모든 계수들의 세트들(C_i,j)로부터의 계수들(C_i,j(k,l))을 함께 그룹화한다.

도 3에 개략적으로 도시된 바와 같이, 이런 주어진 2-차원 구조(S_p,q) 내에서, 계수들의 세트들(C_i,j)이 도출되는 블록들(B_i,j)의 조직을 (위에서-언급된 블록 매트릭스(B_i,j) 내에서) 따름으로써, 이 주어진 2-차원 구조(S_p,q)의 계수들(S_p,q(n,m))(2-차원 구조(S_p,q)의 라인(n)과 열(m)에 위치된 계수)은 다음과 같이 정의된다:

S_p,q(n,m) = C_n,m(p,q).

이 가능한 실시예에 따르면, 구성된 2-차원 구조들(S_p,q)의 수는 따라서 계수들의 세트(C_i,j)당 계수들(C_i,j(k,l))의 수와 같다(이 계수들의 세트(C_i,j)당 이런 계수들(C_i,j(k,l))의 수는 M'_V.M'_H와 같음).

또한, 여전히 이 가능한 실시예의 프레임워크 내에서, 각각의 2-차원 구조(S_p,q)는 블록들(B_i,j)의 수와 동일한 계수들의 수를 포함하고(위에서-언급된 블록 매트릭스(B_i,j)에서 이는 도 2로부터 명백함), 즉 여기에서 수는 K_H.K_V와 같다. 정확히, 각 2-차원 구조(S_p,q)는 블록 매트릭스(B_i,j)의 라인들 수(K_V)와 동일한 라인들의 수와 블록 매트릭스(B_i,j)의 열들의 수(K_H)와 동일한 열들의 수로 구성된다.

다른 가능한 실시예들은 이하에서 설명되는 바와 같이 2-차원 구조들(S_p,q)을 구성하는 것으로 생각할 수 있다.

인코딩 디바이스는 또한 2-차원 구조들(S_p,q)을 인코딩하기 위한 모듈(16)을 포함한다.

이 인코딩 모듈(16)은 2-차원 구조들(S_p,q)을 미리정의된 순서로 정렬하고 데이터(D_A, D_Φ)의 적어도 하나의 시퀀스를 획득하기 위해 정렬된 2-차원 구조들의 계수들(S_p,q(n,m))을 인코딩하도록 설계된다.

인코딩 모듈(16)은 이산 코사인 변환에 의해 획득된 세그먼트들의 정렬에 대해 이미 언급된 논문("3D scanning-based compression technique for digital hologram video")에서 고려된 방법들 중 하나에 따라 예를 들어 2-차원 구조들(S_p,q)을 정렬한다.

2-차원 구조들(S_p,q)에 포함된 계수들(S_p,q(n,m))이 복소수들인 본원에 설명된 예에서, 인코딩 모듈(16)은 계수들(S_p,q(n,m))의 진폭 및 계수들(S_p,q(n,m))의 위상을 별도로 인코딩한다.

인코딩 모듈(16)은 MPEG-4 AVC 표준 또는 MPEG-4 HEVC 또는 MV-HEVC 표준에서 설명된 것과 같은 이미지 인코딩 프로세스에 의해 예를 들어 계수들(S_p,q(n,m))의 진폭을 데이터(D_A)의 시퀀스로 인코딩한다.

인코딩 모듈(16)은 예를 들어 H. Gu et G. Jin, in Opt. Express, vol. 26, n° 26, pp. 33592-33603, December 2018에 의한 논문("Phase-difference-based compression of phase-only holograms for holographic three-dimensional display")에 설명된 것과 같은 다른 인코딩 프로세스에 의해 계수들(S_p,q(n,m))의 위상을 데이터(D_Φ)의 시퀀스로 인코딩할 수 있다.

2-차원 구조들(S_p,q)에 포함된 계수들(S_p,q(n,m))이 실수들인 실시예들에서, 이러한 계수들은 이미지 인코딩 프로세스(이를테면 위에서 언급된 프로세스)에 의해 직접 인코딩될 수 있다.

인코딩 디바이스는 마지막으로 인코딩 모듈(16)에 의해 생성된 인코딩된 데이터에 기반하여 송신될 데이터의 흐름(또는 이진 흐름)(D_T)을 생성하기 위한 모듈(18)을 포함한다. 실시예에서, 송신될 데이터의 흐름(D_T)(여기서 위에서 설명된 바와 같이 디지털 홀로그램들의 각 그룹에 대해)은 데이터(D_A)의 시퀀스와 데이터(D_Φ)의 시퀀스의 순차적 조합에 의해 생성된다. 즉, 데이터(D_A 및 D_Φ)의 시퀀스들은 차례로 전송되어 흐름(D_T)을 형성하고 N 개의 디지털 홀로그램들(H _t)의 각 그룹에 대해 연속적으로 전송된다.

도 1의 인코딩 디바이스에 의해 구현될 수 있는 인코딩 방법의 예는 이제 도 4를 참조하여 설명될 것이다.

이 인코딩 방법은 N 개의 디지털 홀로그램들의 그룹들로 구성된 T 개의 디지털 홀로그램들(H _t)의 시퀀스에 적용된다. 따라서 디지털 홀로그램들의 각 그룹은 T 개의 디지털 홀로그램들의 시퀀스에서 서로 뒤따르는 N 개의 디지털 홀로그램들(H _t)을 포함한다.

디지털 홀로그램들(H _t)은 예를 들어 이미 나타낸 바와 같이 도 1의 인코딩 디바이스의 메모리에 저장된다. 이하에서 설명되는 프로세싱 단계들은 또한 각 프로세싱 단계 후에 획득된 데이터(중간 결과들뿐만 아니라)를 저장하기 위해 이 메모리를 사용할 수 있다.

T 개의 디지털 홀로그램들(H _t)(또는 프레임)의 시퀀스는 홀로그래픽 비디오를 형성한다.

도 4의 방법은 변수(t)와 변수(g)가 값(1)으로 초기화되는 단계(E2)로 시작한다. 다음 설명에서 명백할 바와 같이, 변수(t)는 현재 디지털 홀로그램(H _t)(즉, 설명된 단계들 동안 수행되는 프로세싱 동작들이 적용되는 디지털 홀로그램)을 나타내고 변수(g)는 현재 홀로그램들의 그룹을 나타낸다.

도 4의 방법은 단계(E4)에서 계속되며, 그 동안 인코딩 디바이스(특히 여기서는 모듈(10))는 현재 홀로그램(H _t)의 인접 픽셀들로 형성된 구역들(R_i,j)과 각각 연관된 매트릭스 블록들(B_i,j)을 형성하고, 각 매트릭스 블록(B_i,j)은 해당 블록(B_i,j)과 연관된 구역(R_i,j)의 픽셀들의 값들의 함수로 결정된 요소들(B_i,j(a,b))을 포함하는 방식으로 형성된다.

도 2에 도시된 바와 같이, 여기서 각 구역(R_i,j)은 수평 방향(픽셀들의 x-좌표 방향)의 M_H 개의 픽셀들 및 수직 방향(픽셀들의 y-좌표 방향)의 M_V 개의 픽셀들을 포함한다.

위에서 나타낸 바와 같이, 픽셀 값들의 함수로 결정된 이러한 요소들(B_i,j(a,b))은 예를 들어 다음과 같이 (여기서 모듈(10)에 의해) 획득된다:

B_i,j(a,b) = H _t (a + i.D_H, b + j.D_V).w(a,b).

가능한 실시예에 따르면, 이미 나타낸 바와 같이, 매트릭스 블록들(B_i,j)은 현재 홀로그램(H _t)의 세그먼트화에 의해 획득된다:

B_i,j(a,b) = H _t (a + i.D_H, b + j.D_V), 이때 D_H = M_H 및 D_V = M_V.

위에서 나타낸 바와 같이, 모듈(10)은 특히 각 세트(C_i,j)에서 계수들(C_i,j(k,l))의 수를 증가시키기 위해 매트릭스 블록(B_i,j) 내에서 0 값의 요소들(B_i,j(a',b'))을 잠재적으로 추가할 수 있다.

본원에 기술된 예에서, 도 2에서 볼 수 있는 바와 같이, 단계(E4)는 따라서 매트릭스 블록들(B_i,j)의 K_V 개의 라인의 매트릭스 및 매트릭스 블록(B_i,j)의 K_H 개의 열들의 매트릭스로 구성된 K_H.K_V 개의 매트릭스 블록들(B_i,j)을 형성하는 것을 가능하게 하고, 각 매트릭스 블록(B_i,j) 자체는 M'_V 개의 라인들과 M'_H 개의 열들로 구성된다. 위에서 설명된 바와 같이, 다음 값들은 예를 들어 실제로 사용된다: 500 개 초과(또는 심지어 1000 개 초과)의 K_H 개 및/또는 500 개 초과(또는 심지어 1000 개 초과)의 K_V 개 및/또는 50 내지 1000의 M'_V 개, 및/또는 50 내지 1000 개의 M'_H.

이어서, 도 4의 방법은 매트릭스 블록(B_i,j) 각각의 매트릭스 블록(B_i,j)에 대해, 해당 매트릭스 블록(B_i,j) 내의 상이한 2-차원 공간 주파수들(k,l)에 각각 대응하는 계수들(C_i,j(k,l))의 세트(C_i,j)를 획득하는 방식으로 공간-주파수 변환을 (별도로 취해진) 매트릭스 블록들(B_i,j)에 적용하는 단계(E6)를 포함한다. 이 단계는 여기에서 전술된 모듈(12)에 의해 구현된다.

이미 나타낸 바와 같이, 각 매트릭스 블록(B_i,j)에 대해, 여기에서 단계(E6)는 해당 매트릭스 블록(B_i,j)의 요소들의 세트에 이러한 공간-주파수 변환(예를 들어, 2-차원 푸리에 변환)을 적용하는 것을 포함한다.

따라서, 여기에서 단계(E6)는 M'_V.M'_H 개의 2-차원 공간 주파수(M'_H 개의 수평 주파수들(k) 및 M'_V 개의 수직 주파수들(l)을 통해 스캔하여 획득됨)에 각각 대응하는 M'_V.M'_H 개의 계수들(C_i,j(k,l))을 각각 포함하는 K_H.K_V 개의 세트들(C_i,j)을 생성하는 것을 가능하게 한다.

이어서, 도 4의 방법은, 각각이 해당 2-차원 구조(S_p,q)에 의존하는 기준을 충족하는 2-차원 공간 주파수들(k,l)과 연관된, 계수들(C_i,j)의 복수의 세트들로부터의 계수들(C_i,j(k,l)를 포함하는 복수의 2-차원 구조들(S_p,q)을 구성하는 단계(E8)를 포함한다. 이 단계(E8)는 여기서 구성 모듈(14)에 의해 구현된다.

제1 가능한 실시예에 따르면, 2-차원 구조들(S_p,q)은 각각의 2-차원 구조(S_p,q)에서, 해당 2-차원 구조(S_p,q)와 연관된 특정 2-차원 공간 주파수(k,l)에 대응하는 계수들의 세트들(C_i,j)로부터의 계수들(C_i,j(k,l))을 함께 그룹화함으로써 단계(E8)에서 구성된다.

따라서 주어진 2-차원 구조(S_p,q)는 이 경우, 동일한 2-차원 공간 주파수(k,l)를 나타내는 계수들(C_i,j(k,l))을 함께 그룹화한다.

위에서 설명된 경우에, 단계(E8)는 따라서 K_H.K_V 개의 계수들을 각각 포함하는 M'_H.M'_V 개의 2-차원 구조들(S_p,q)을 구성하게 한다.

도 3에 도시된 바와 같이, 각각의 2-차원 구조(S_p,q) 내에서, 해당 2-차원 구조(S_p,q)의 계수들(C_i,j(k ,l))을 제공하는 세트들(C_i,j)이 도출되는 블록들(B_i,j)의 매트릭스 구조를 사용하고, 즉 하기 식에 의해 각 블록(S_p,q)의 계수들(S_p,q(n,m))을 정의하는 것이 본원에서 추가로 제안된다:

S_p,q(n,m) = C_n,m(p,q).

그렇게 형성된 각각의 2-차원 구조(S_p,q)는 3-차원 장면의 평행 투영에 의해 획득되었을 2-차원 이미지들에 가까운 특성을 (계수들의 진폭과 관련하여) 갖는다. 따라서, 2-차원 구조들(S_p,q)은 얕은 피사계 심도 및 2-차원 구조 내의 인접한 계수들 사이에 강한 공간 중복성들을 가지며, 이는 이후에 설명되는 단계(E14)에서 이의 효율적인 인코딩을 허용한다.

제2 가능한 실시예에 따르면, 2-차원 구조들(S_p,q)은 각각의 2-차원 구조(S_p,q)에서, 해당 2-차원 구조(S_p,q)와 연관된 2-차원 공간 주파수들(k,l)의 2-차원 범위에 대응하는 계수들(C_i,j(k,l))의 상이한 세트들(C_i,j)로부터의 계수들(C_i,j(k,l))을 함께 그룹화함으로써 단계(E8)에서 구성된다.

그러므로, 이 경우, 2-차원 공간 주파수들의 상이한 2-차원 범위들이 정의된다(각각의 2-차원 범위는 예를 들어 계수들의 각각의 세트(C_i,j) 내에 표현된 2-차원 공간 주파수들의 상이한 값들의 소정 수(이후 α.β로 나타내짐)를 커버함), α와 β는 α가 M'_H를 나누고 β가 M'_V를 나누는 것과 같은 2 개의 정수들임). 이어서, 주어진 2-차원 구조(S_p,q)는 이러한 2-차원 범위들 사이의 특히 2-차원 범위에 포함된 2-차원 공간 주파수(k,l)를 나타내는 모든 세트들(C_i,j)로부터의 C_i,j(k,l)을 함께 그룹화한다. 2-차원 구조(S_p,q)의 계수들(S_p,q(n,m))은 이 경우에 예를 들어 다음과 같이 주어질 수 있다:

S_p,q(n,m) = C_{E(n/α),E(m/β)}(p.α+n[α],q.β+m[β]), 여기서 E(z)는 z의 정수 부분을 나타내고, n[α]는 n을 α로 나눈 유클리드 나누기의 나머지이고 m[β]는 m을 β로 나눈 나머지이다.

위에서 설명된 경우에, 단계(E8)은 따라서 각각 α.β.K_H.K_V 개의 계수들을 포함하는 M'_H.M'_V/(α.β) 개의 2-차원 구조들(S_p,q)을 구성하는 것을 가능하게 한다. 이 실시예의 장점은 덜 중요한 수의 2-차원 구조들(S_p,q)을 생성하게 하는 것이고, 이의 계수들의 진폭은 항상 3-차원 장면의 평행 투영에 의해 획득될 수 있는 특성에 가까운 특성을 가진다. α와 β의 값을 증가시키면, 2-차원 구조들(S_p,q)의 수는 동일한 2-차원 구조 내에서 인접한 계수들 사이의 더 적은 공간 중복성을 희생하고 더 감소될 수 있다.

도 4의 방법은 인코딩 디바이스(여기서 그 프로세서)가 t<T 및 t<g.N인지를 결정하는 단계(E10)에서 계속된다.

부등식 t<T는 디지털 홀로그램들 시퀀스의 마지막 디지털 홀로그램(H _T)이 프로세싱되지 않는 한 유효하다.

부등식 t<g.N은 프로세싱된 마지막 디지털 홀로그램(H _t)이 현재 디지털 홀로그램들 그룹의 마지막 디지털 홀로그램이 아닌 한 유효하다(인덱스(g)는 위에서 언급된 바와 같이 현재 그룹을 나타냄).

단계(E10)에서 긍정적인 결정의 경우(즉, 프로세싱된 후자의 디지털 홀로그램(H _t)이 시퀀스의 마지막도 아니고 그룹의 마지막도 아님), 방법은 현재 디지털 홀로그램(H _t)을 나타내는 변수(t)의 증분에 의해 단계(E11)에서, 이어서 새로운 현재 디지털 홀로그램(H _t)의 프로세싱에 대해 위에서 설명된 단계(E4)에서 계속된다.

단계(E10)에서 부정적인 결정의 경우(즉, 프로세싱된 후자의 디지털 홀로그램(H_t)이 시퀀스의 마지막이거나 그룹의 마지막일 때), 인코딩 디바이스(특히 여기에서 인코딩 모듈(16))는 미리정의된 순서(또는 미리정의된 시퀀스)로, (단계(E8)의 연속적인 통과들 동안) 현재 그룹의 상이한 디지털 홀로그램들에 대해 획득된 상이한 2-차원 구조들(S_p,q)을 정렬한다(단계 E12).

이미 지적한 바와 같이, 선택된 미리정의된 순서는 예를 들어 이산 코사인 변환에 의해 획득된 세그먼트들의 순서에 대해 이미 언급된 논문("3D scanning-based compression technique for digital hologram video")에서 제안된 순서들을 따른다.

단계(E12)의 구현 후, 2-차원 구조들(S_p,q)의 정렬된 시퀀스가 획득된다(이 정렬된 시퀀스의 2-차원 구조들(S_p,q)은 현재 그룹의 상이한 디지털 홀로그램(H_t)의 프로세싱에서 비롯되고; 그러므로 2-차원 구조들(S_p,q)의 정렬된 시퀀스는 적어도 그룹의 제1 디지털 홀로그램의 프로세싱에 의해 획득된 제1 2-차원 구조 및 그룹의 제2 디지털 홀로그램의 프로세싱에 의해 획득된 제2 2-차원 구조를 포함함).

이어서, 도 4의 방법은 그렇게-정렬된 2-차원 구조들(S_p,q)의 인코딩, 여기서 한편으로는 2-차원 구조들(S_p,q)에 존재하는 계수들의 진폭 인코딩(단계(E14)) 및 다른 한편으로는 이들 계수들의 위상 인코딩(단계(E16))에 의해 계속된다.

각각의 2-차원 구조(S_p,q)는 이미지의 매트릭스 형상과 동일한 매트릭스 형상을 가지며 각 2-차원 구조(S_p,q)는 따라서 알고리즘의 입력 이미지로서, 해당 2-차원 구조를 취하는 이미지 프로세싱 알고리즘에 의해 (진폭 및/또는 위상이) 인코딩될 수 있다.

따라서, 이 이미지 프로세싱 알고리즘은 알고리즘의 입력 이미지로서, 특정 2-차원 구조(또는 실제로는 이 2-차원 구조의 계수들의 각 진폭 및/또는 이 2-차원 구조의 계수들의 각 위상들로 형성된 매트릭스)를 연속적으로 취함으로써 상이한 정렬된 2-차원 구조들(단계(E12)에서 획득됨)에 연속적으로 적용될 수 있다.

그러므로, 단계(E14)에서, 인코딩 모듈(16)은 특정 2-차원 구조(S_p,q)의 계수들(S_p,q(n,m))의 상이한 진폭 값들로 각각 형성된 상이한 매트릭스들(이 매트릭스들은 단계(E12)에서 2-차원 구조들(S_p,q)에 주어진 순서대로 취해짐)에 이미지 인코딩 알고리즘을 연속적으로 적용한다. 이미지 인코딩 알고리즘은 예를 들어 MPEG-4 AVC 표준, 또는 MPEG-4 HEVC 또는 MV-HEVC 표준에 설명된 것들과 같은 이미지 인코딩 프로세스이다.

따라서, 단계 E14는 현재 홀로그램들 그룹의 인코딩에 참여하는 데이터(D_A) 시퀀스를 획득하는 것을 가능하게 한다.

유사하게, 단계(E16)에서, 인코딩 모듈(16)은 특정 2-차원 구조(S_p,q)의 계수들(S_p,q(n,m))의 위상 값들로 각각 형성된 상이한 매트릭스들(이 매트릭스들은 단계(E12)에서 2-차원 구조들(S_p,q)에 주어진 순서대로 취해짐)에 인코딩 알고리즘을 연속적으로 적용한다. 사용되는 인코딩 알고리즘은 예를 들어 논문("Phase-difference-based compression of phase-only holograms for holographic three-dimensional display", by H. Gu et G. Jin, in Opt. Express, vol. 26, n° 26, pp. 33592-33603, December 2018)에 설명된 것이고; 따라서 사용되는 인코딩 알고리즘은 여기서 단계(E14)에서 사용되는 이미지 인코딩 알고리즘과 상이하다.

따라서, 단계 E16는 현재 홀로그램들 그룹의 인코딩에 참여하는 데이터(D_φ) 시퀀스를 획득하는 것을 가능하게 한다.

도 4의 방법은 인코딩 디바이스(실제로 그 프로세서)가 t<T인지를 결정하는 단계(E18)에서 계속된다(즉, 단계들(E4 내지 E8)의 마지막 구절에서 프로세싱된 디지털 홀로그램(H _t)이 시퀀스의 마지막 디지털 홀로그램(H _T)이 아님을 검사).

긍정적인 경우(즉, 처리된 마지막 디지털 홀로그램(H _t)이 시퀀스의 마지막 디지털 홀로그램(H _T)이 아니라고 결정된 경우), 방법은 현재 디지털 홀로그램(H _t)을 나타내는 변수(t) 및 디지털 홀로그램들(단계(E10)의 이전 통과 결과에서 이미 프로세싱된 그룹의 마지막 디지털 홀로그램)의 현재 그룹을 나타내는 변수(g)의 증분을 위해 단계(E20)에서 계속된다.

이어서, 방법은 새로운 그룹의 디지털 홀로그램들을 다시 프로세싱하기 위해 단계(E4)로 루핑(loop)한다.

단계(E18)에서 부정적인 경우(즉, 시퀀스의 마지막 디지털 홀로그램(H _T)이 프로세싱되었을 때), 방법은 모듈(18)이 프로세싱된 디지털 홀로그램들의 상이한 그룹들에 대해 단계들(E14 및 E16)인 이전 통과들 동안 각각 생성된 데이터(D_A, D_Φ)의 시퀀스들에 기반하여 데이터(D_T)의 흐름을 생성하는 단계(E22)에서 계속된다.

예를 들어, 데이터(D_T)의 흐름은 각각 디지털 홀로그램들 그룹과 관련된 데이터(D_GOH)의 여러 흐름들의 연속을 포함하고, 데이터(D_GOH)의 각 흐름은 디지털 홀로그램들의 이 그룹에 대해 위에서 설명한 바와 같이 결정된 데이터(D_A)의 시퀀스 및 데이터(D_Φ)의 시퀀스를 연속적으로 포함한다.

도 5는 본 발명에 따른 인코딩 디바이스를 형성하기 쉬운 전자 디바이스(2)의 예를 설명한다.

이 전자 디바이스(2)는 프로세서(4)(예를 들어, 마이크로프로세서), 적어도 하나의 메모리(6) 및 원격통신 회로(8)를 포함한다.

메모리(6)는 이러한 명령들이 프로세서(4)에 의해 실행될 때 도 4의 방법의 적어도 소정 단계들을 구현하도록 설계된 컴퓨터 프로그램 명령들을 저장할 수 있다.

메모리(6)(또는 잠재적으로 다른 메모리)는 이미 표시된 바와 같이, 위에서 설명된 바와 같이 프로세싱된 디지털 홀로그램들(H _t)을 각각 정의하기 위해 픽셀들(x,y)과 각각 연관된 값들(H _t(x,y))을 추가로 저장할 수 있다. 이어서, 메모리(6)(또는 잠재적으로 다른 메모리)는 이후에 설명되는 프로세싱 동작들 동안 처리되는 상이한 값들, 특히 매트릭스 블록들(B_i,j)의 요소들(B_i,j(a,b)), 2-차원 구조들(S_p,q)의 계수들(S_p,q(n,m)) 및 데이터(D_A, D_Φ, D_T)를 저장할 수 있다.

마지막으로, 원격통신 회로(8)는 (예를 들어 프로세서(4)로부터의 커맨드에 따라) 일반적으로 단계(E22)에서 획득된 데이터 흐름(D_T)을 다른 전자 디바이스(도시되지 않음)로 송신하도록 설계된다.

Claims

디지털 홀로그램(H _t)의 정의 평면에서 픽셀들과 각각 연관된 값들로 표현되는 상기 디지털 홀로그램(H _t)을 인코딩하는 방법으로서,
- 인접 픽셀들로 구성된 구역들(R_i,j)과 각각 연관된 매트릭스 블록들(B_i,j)을 형성하는 단계(E4) ― 각 매트릭스 블록(B_i,j)은 해당 상기 매트릭스 블록(B_i,j)과 연관된 구역(R_i,j)의 픽셀들의 값들의 함수로 결정된 요소들을 포함함 ―;
- 각 매트릭스 블록(B_i,j)에 대해, 해당 상기 매트릭스 블록(B_i,j) 내의 상이한 2-차원 공간 주파수들에 각각 대응하는 계수들의 세트(C_i,j)를 획득하는 방식으로 매트릭스 블록들(B_i,j) 각각에 공간-주파수 변환을 적용하는 단계(E6);
- 각각이 해당 상기 2-차원 구조(S_p,q)에 의존하는 기준을 충족하는 2-차원 공간 주파수들과 연관된, 계수들의 복수의 세트들(C_i,j)로부터의 계수들을 포함하는 복수의 2-차원 구조들(S_p,q)을 구성하는 단계(E8);
-　구성된 상기 2-차원 구조들(S_p,q)을 인코딩(E12, E14, E16)하는 단계를 포함하는,
인코딩하는 방법.
제1 항에 있어서,
상기 2-차원 구조들(S_p,q)은 각각의 2-차원 구조(S_p,q)에서, 해당 상기 2-차원 구조(S_p,q)와 연관된 2-차원 공간 주파수에 대응하는, 상기 계수들의 세트들(C_i,j)로부터의 계수들을 함께 그룹화함으로써 구성되는,
인코딩하는 방법.
제1 항에 있어서,
상기 2-차원 구조들은 각각의 2-차원 구조에서, 해당 상기 2-차원 구조와 연관된 공간 주파수들의 2-차원 범위에 대응하는, 상기 계수들의 세트들로부터의 계수들을 함께 그룹화함으로써 구성되는,
인코딩하는 방법.
제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 구역들(R_i,j)은 상기 평면의 세그먼트화에 의해 획득되고, 매트릭스 블록(B_i,j)의 상이한 요소들은 각각 이 매트릭스 블록(B_i,j)과 연관된 구역(R_i,j))의 픽셀들의 값들인,
인코딩하는 방법.
제1 항 내지 제4 항 중 어느 한 항에 있어서,
구성된 상기 2-차원 구조들(S_p,q)은 이미지 인코딩 알고리즘에 의해 적어도 부분적으로 인코딩되는,
인코딩하는 방법.
제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 홀로그램의 픽셀들의 값들은 실수인,
인코딩하는 방법.
제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 홀로그램의 픽셀들의 값들은 복소수인,
인코딩하는 방법.
제7 항에 있어서,
상기 2-차원 구조들(S_p,q)의 계수들은 복소수이고, 상기 2-차원 구조들을 인코딩하는 단계는 이미지 인코딩 알고리즘에 의해 상기 계수들의 진폭을 인코딩하는 제1 프로세스(E14), 및 상기 계수들의 위상을 인코딩하는 제2 프로세스(E16)를 사용하는,
인코딩하는 방법.
디지털 홀로그램들의 그룹을 인코딩하는 방법으로서,
상기 그룹의 각각의 디지털 홀로그램은 제1 항 내지 제8 항 중 어느 한 항에 따른 인코딩 방법에 의해 인코딩되고, 상이한 인코딩 방법들 동안 구현되는 2-차원 구조들을 인코딩하는 상이한 단계들은 상기 그룹의 상이한 디지털 홀로그램들 내에서 미리정의된 순서로 수행되는,
인코딩하는 방법.
디지털 홀로그램(H _t)의 정의 평면에서 픽셀들과 각각 연관된 값들로 표현되는 상기 디지털 홀로그램(H _t)을 인코딩하는 디바이스로서,
- 각 매트릭스 블록(B_i,j)이 해당 매트릭스 블록(B_i,j)과 연관된 구역(R_i,j)의 픽셀들의 값들의 함수로 결정된 요소들을 포함하는 방식으로 인접 픽셀들로 구성된 구역들(R_i,j)과 각각 연관된 매트릭스 블록들(B_i,j)을 형성하는 모듈(10);
- 각 매트릭스 블록(B_i,j)에 대해, 해당 상기 매트릭스 블록(B_i,j) 내의 상이한 2-차원 공간 주파수들에 각각 대응하는 계수들의 세트(C_i,j)를 획득하는 방식으로 상기 매트릭스 블록들(B_i,j)의 각각에 공간-주파수 변환을 적용하는 모듈(12);
- 각각이 해당 상기 2-차원 구조(S_p,q)에 의존하는 기준을 충족하는 2-차원 공간 주파수들과 연관된, 계수들의 복수의 세트들(C_i,j)로부터의 계수들을 포함하는 복수의 2-차원 구조들(S_p,q)을 구성하는 모듈(14);
-　구성된 상기 2-차원 구조들(S_p,q)을 인코딩하는 모듈(16)을 포함하는,
인코딩하는 디바이스.