JP2023505905A - デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置 - Google Patents

デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置 Download PDF

Info

Publication number
JP2023505905A
JP2023505905A JP2022535850A JP2022535850A JP2023505905A JP 2023505905 A JP2023505905 A JP 2023505905A JP 2022535850 A JP2022535850 A JP 2022535850A JP 2022535850 A JP2022535850 A JP 2022535850A JP 2023505905 A JP2023505905 A JP 2023505905A
Authority
JP
Japan
Prior art keywords
encoding
dimensional
coefficients
dimensional structure
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022535850A
Other languages
English (en)
Other versions
JPWO2021115935A5 (ja
Inventor
ジル アントナン
ジオイア パトリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fondation B Com
Original Assignee
Fondation B Com
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fondation B Com filed Critical Fondation B Com
Publication of JP2023505905A publication Critical patent/JP2023505905A/ja
Publication of JPWO2021115935A5 publication Critical patent/JPWO2021115935A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0228Electro-optic or electronic components relating to digital holography
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Holo Graphy (AREA)

Abstract

デジタルホログラムであって、デジタルホログラムを定義する面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラムを符号化するための方法であって、連続ピクセルで構成される領域にそれぞれ関連する行列ブロック(Bi,j)を形成するステップ(E4)であって、各行列ブロック(Bi,j)は、対象の行列ブロック(Bi,j)に関連する領域内のピクセルの値の関数として決定される要素を含む、ステップ(E4)と、対象の行列ブロック(Bi,j)内の異なる二次元空間周波数にそれぞれ対応する係数の組(Ci,j)を行列ブロック(Bi,j)ごとに生成するために、行列ブロック(Bi,j)のそれぞれに空間周波数変換を適用するステップ(E6)と、複数の二次元構造(Sp,q)を構築するステップ(E8)であって、複数の二次元構造(Sp,q)は、複数の係数の組(Ci,j)からの、且つ対象の二次元構造(Sp,q)に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む、ステップ(E8)と、構築されている二次元構造(Sp,q)を符号化するステップと、を含む。デジタルホログラムのグループを符号化するための方法及び符号化装置も記載される。

Description

本発明は、デジタルホログラフィの技術分野に関する。
具体的には、本発明は、デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置に関する。
Y.-H.Seo,J.-J.Choi及びD.-W.KimによるSignal Processing:Image Communication,vol.22,n°2,pages 144-156,Feb.2007内の論文「3D scanning-based compression technique for digital hologram video」は、各ホログラムをセグメントに区分化するステップと、セグメントのそれぞれに空間周波数変換を適用するステップと、符号化のために異なるセグメントを走査するステップと、を含む、デジタルホログラムのグループを符号化するための方法を記載している。
ホログラムによって表されるシーンと、ホログラムの定義面とを隔てる距離に比べてブロックのサイズが小さい場合、この手法は、正しい圧縮を得ることを可能にする。実際に、この場合にのみ、変換されるセグメントが隣接係数間の冗長性を有し、効率的な符号化を可能にする。
これに関連して、本発明は、デジタルホログラムであって、デジタルホログラムの定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラムを符号化するための方法を提案し、
連続ピクセルで構成される領域にそれぞれ関連する行列ブロックを形成するステップであって、各行列ブロックは、対象の行列ブロックに関連する領域内のピクセルの値の関数として決定される要素を含む、ステップと、
対象の行列ブロック内の異なる二次元空間周波数にそれぞれ対応する係数の組を行列ブロックごとに得るために、行列ブロックのそれぞれに空間周波数変換を適用するステップと、
複数の二次元構造を構築するステップであって、複数の二次元構造は、複数の係数の組からの、且つ対象の二次元構造に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む、ステップと、
構築されている二次元構造を符号化するステップと、
を含む。
異なる二次元構造内の係数を再編成することは、デジタルホログラム内で類似の意味を有するが、最初に異なる係数の組内に位置する係数を集めることを可能にする。従って、(これらの二次元構造に適用される)符号化は、改善された効率を有する。
個別に又は技術的に可能な全ての組み合わせに従って行われる符号化方法の他の非限定的且つ有利な特徴は、以下の通りである。
二次元構造は、係数の組からの、且つ対象の二次元構造に関連する二次元空間周波数に対応する係数を各二次元構造内で一緒にグループ化することによって構築される。
二次元構造は、係数の組からの、且つ対象の二次元構造に関連する二次元空間周波数の二次元範囲に対応する係数を各二次元構造内で一緒にグループ化することによって構築される。
領域は、面の区分化によって得られ、行列ブロックの異なる要素は、それぞれこの行列ブロックに関連する領域のピクセルの値である。
構築されている二次元構造は、少なくとも部分的に画像符号化アルゴリズムによって符号化される。
この画像符号化アルゴリズムは、特定の二次元構造又は特定の二次元構造の係数の振幅若しくは位相で構成される行列を入力画像として受け取る(及び異なる二次元構造について連続的に)。
ホログラムのピクセルの値は、実数である。
ホログラムのピクセルの値は、複素数である。
二次元構造内の係数は、複素数であり、二次元構造を符号化するステップは、画像符号化アルゴリズムによって係数の振幅を符号化する第1のプロセス及び係数の位相を符号化する第2のプロセスを使用する。
本発明は、デジタルホログラムのグループを符号化するための方法も提案し、この方法では、グループの各デジタルホログラムは、上記で提案されたような符号化方法によって符号化され、異なる符号化方法中に実装される二次元構造を符号化する異なるステップは、グループの異なるデジタルホログラム内において既定のシーケンスで実行される。
本発明は、デジタルホログラムであって、デジタルホログラムの定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラムを符号化するための装置を最後に提案し、符号化装置は、
連続ピクセルで構成される領域にそれぞれ関連する行列ブロックを、各行列ブロックが、対象の行列ブロックに関連する領域内のピクセルの値の関数として決定される要素を含むように形成するためのモジュールと、
対象の行列ブロック内の異なる二次元空間周波数にそれぞれ対応する係数の組を行列ブロックごとに得るために、行列ブロックのそれぞれに空間周波数変換を適用するためのモジュールと、
複数の係数の組からの、且つ対象の二次元構造に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む複数の二次元構造を構築するためのモジュールと、
構築されている二次元構造を符号化するためのモジュールと、
を含む。
当然ながら、本発明の異なる特徴、代替形態及び実施形態は、互いに矛盾しないか又は排他的でない限り、様々な組み合わせに従って互いに関連し得る。
更に、本発明の非限定的な実施形態を示す図面に関して行われる追加の説明から本発明の他の様々な特徴が明らかになる。
本発明による符号化装置の一例の主な要素を概略的に示す。 デジタルホログラム内の行列ブロックの形成に関する可能な例を示す。 係数の組から二次元構造を構築することを示す。 本発明による例示的な符号化方法のステップを示すフローチャートである。 本発明による符号化装置を形成する役割を果たす電子装置の一例の主な要素を示す。
図1は、本発明による符号化装置の一例の主な要素を示す。
この符号化装置は、以下に記載する異なるモジュール10、12、14、16、18を含む。この符号化装置は、例えば、図5に関して以下で説明するプロセッサアーキテクチャによって実装される。かかるアーキテクチャでは、例えば符号化装置のメモリ(図5に示す電子装置2のメモリ6等)内に記憶され、このプロセッサによって実行されると、対象のモジュールの機能を実装するように設計されるコンピュータプログラム命令及びプロセッサの協働により、異なるモジュール10、12、14、16、18がそれぞれ作られ得る。
以下では、T個のデジタルホログラムHtのシーケンス(「ホログラフィックビデオのフレーム」とも呼ばれる)で構成されるホログラフィックビデオの(符号化装置による)符号化を説明する。しかし、本発明は、単一のデジタルホログラムH1(T=1の場合)の符号化にも適用される。
デジタルホログラムHtは、デジタルホログラムHtのこの定義面の領域(概して矩形)内の2つの次元にわたって分布する、それぞれ位置(x,y)のピクセルに個々に関連する値Ht(x,y)によって1つの面において定義される。
所与のデジタルホログラムHtについて、ピクセル(x,y)に関連する値Ht(x,y)は、デジタルホログラムHtの定義面の片側又は場合により両側に位置する三次元シーンからこのピクセル(x,y)において受光される光波を概して表す。
本明細書に記載する例では、値Ht(x,y)は、複素数であり、従って実数部及び虚数部又は振幅(ノルム若しくはモジュールと呼ぶこともある)及び位相によって(均等に)表される。
代替形態として、値Ht(x,y)は、実数であり得る。
シーケンスのデジタルホログラムHtを表す値Ht(x,y)は、例えば、符号化装置のメモリ(図5に関して一例として以下に示す電子装置2のメモリ6等)内に記憶される。
符号化装置は、所与のデジタルホログラムHtを表す値Ht(x,y)から行列ブロックBi,jを形成するためのモジュール10を含む。
このモジュール10は、各行列ブロックBi,jが、対象のブロックBi,jに関連する領域Ri,jのピクセル(x,y)の値Ht(x,y)の関数として決定される要素Bi,j(a,b)を含むように、連続ピクセルで構成される領域Ri,jにそれぞれ関連する行列ブロックBi,jを形成するように設計される。
本明細書に記載する例では、各行列ブロックBi,jは、ピクセルの値Ht(x,y)の関数として決定される行ごとのMHの要素及び列ごとのMVの要素を含む(行列ブロックBi,jの行は、ここで、デジタルホログラムHtの定義面内のピクセルのx座標方向に対応し、行列ブロックBi,jの列は、ここで、それらのピクセルのy座標方向に対応する)。
実際には、MHの数は、50~500であり得(MHは、例えば、64又は128に等しい)、同様に、MVの数は、50~500であり得る(MVは、例えば、64又は128に等しい)。
更に、図2からも見て取れるように、モジュール10は、ここで、行ごとのKH行列ブロック及び列ごとのKV行列ブロックで構成される(即ちKV行及びKH列で構成される)KH.KV行列ブロックの行列を形成するように設計される。(行列ブロックのこの行列では、行列ブロックBi,jは、行j+1及び列i+1に位置する)。
本明細書に記載する符号化技法は、大量の(典型的には10,000×10,000を上回る)ピクセルによって定義されるデジタルホログラムを処理することに関して特に関心を引く。実際には、KHの数(行ごとの行列ブロックBi,jの数)及びKVの数(列ごとの行列ブロックBi,jの数)のそれぞれは、例えば、500を上回る(又は更に1000を上回る)。
モジュール10は、例えば、行列ブロックBi,jの各要素Bi,j(a,b)を以下のように決定する。
i,j(a,b)=Ht(a+i.DH,b+j.DV).w(a,b)
ここで、DH及びDVは、それぞれMH及びMV以下の2つの厳密に正の整数であり、wは、サイズMH×MVの実数の行列である。
あり得る特定の事例では、図2に示すように、DH=MH、DV=MVの値が取られ、行列wの全ての要素w(a,b)が1に等しく取られ、即ち、モジュール10は、行列ブロックBi,jの異なる要素Bi,j(a,b)が、それぞれこの行列ブロックBi,jに関連する領域Ri,jのピクセル(x,y)の値Ht(x,y)であるように、ピクセルが定義された領域を区分化することによって行列ブロックBi,jを形成する:
i,j(a,b)=Ht(a+i.MH,b+j.MV)。
参照符号P及びP’によって図2に示すように、例えばデジタルホログラムHtの寸法が(それぞれ)MH及びMV倍数ではないため、一定のブロック要素Bi,jが、デジタルホログラムHtを定義するピクセルのうちの対応するものを有さない場合、ブロックBi,jをゼロで完成させること(一般に「パディング」と呼ばれる操作)が可能である。
換言すれば、座標(a+i.MH,b+j.MV)がデジタルホログラムHtのピクセルに対応しない場合、モジュール10は、Bi,j(a,b)=0に設定することができる。
可能な実施形態によれば、モジュール10は、各行列ブロックBi,j内の要素の数、従って以下に記載する組Ci,jのそれぞれの中の係数の数を増やすために、ピクセル(x,y)の値Ht(x,y)に基づいて決定される要素Bi,j(a,b)に加えて、ゼロ値の要素Bi,j(a’,b’)を形成することができる。この可能な実施形態によれば、MH<M’H、MV<M’V並びにMH+1からM’Hに変化するa’及びMV+1からM’Vに変化するb’について、Bi,j(a’,b’)=0が成立する。
モジュール10の出口において、各行列ブロックBi,jは、M’V行及びM’H列を含む(例えば、M’Vは、50~1000であり、及び/又はM’Hは、50~1000である)。(要素の数を増やすために、直前に述べたゼロ値の要素を追加する可能性が使用されない場合、以下の式が成立する:MH=M’H及びMV=M’V。)
符号化装置は、空間周波数変換を適用するためのモジュール12も含む。
このモジュール12は、対象の行列ブロックBi,j内の異なる二次元空間周波数(k,l)にそれぞれ対応する係数Ci,j(k,l)の組Ci,jを行列ブロックBi,jごとに得るように、行列ブロックBi,jのそれぞれにこの空間周波数変換を適用するように設計される。
二次元空間周波数により、幾つかの空間周波数が空間の2つの方向(ここでは、デジタルホログラムHtの定義面のx軸及びy軸にそれぞれ沿う2つの方向)にそれぞれ関連することが理解されるであろう。
使用される空間周波数変換は、例えば、二次元フーリエ変換である。
この場合、モジュール12は、組Ci,jの係数Ci,j(k,l)を以下のように決定する。
Figure 2023505905000002
ここで、γは、既定の定数である。
行列ブロックBi,jのものに基づく行列編成を使用して、係数の各組Ci,jは、M’V行及びM’H列を含む。
符号化装置は、複数の二次元構造Sp,qを構築するためのモジュール14を更に含む。
構築モジュール14は、構築される各二次元構造Sp,qが、複数の係数の組Ci,jからの、且つ対象の二次元構造Sk,lに依存する基準を満たす二次元空間周波数k,lに関連する係数Ci,j(k,l)を含むように設計される。
可能な実施形態によれば、所与の二次元構造Sp,qについて、構築モジュール14は、値(p,q)の、係数の全ての組Ci,jからの、且つ特定の二次元空間周波数に関連する係数Ci,j(k,l)をこの所与の二次元構造Sp,q内で一緒にグループ化する。
図3に概略的に示すように、係数の組Ci,jの導出元であるブロックBi,jのものを(上述のブロック行列Bi,j内で)再現する編成をこの所与の二次元構造Sp,q内でたどることにより、この所与の二次元構造Sp,qの係数Sp,q(n,m)(二次元構造Sp,q内の係数が位置する行n及び列m)は、以下のように定められる:
p,q(n,m)=Cn,m(p,q)。
この可能な実施形態によれば、このように構築される二次元構造Sp,qの数は、係数の組Ci,jごとの係数Ci,j(k,l)の数に等しい(この係数の組Ci,jごとの係数Ci,j(k,l)の数は、ここで、M’V.M’Hに等しい)。
更に、引き続きこの可能な実施形態の枠組み内において、各二次元構造Sp,qは、(上述のブロック行列Bi,j内の及び図2から明らかな)ブロックBi,jの数に等しい係数の数、即ちここではKH.KVに等しい数を含む。正確には、各二次元構造Sp,qは、ブロック行列Bi,j内の行の数(KV)に等しい行の数及びブロック行列Bi,j内の列の数(KH)に等しい列の数を含む。
以下で説明するように、二次元構造Sp,qを構築するための他の可能な実施形態が考えられる。
符号化装置は、二次元構造Sp,qを符号化するためのモジュール16も含む。
この符号化モジュール16は、データの少なくとも1つのシーケンスDA、DΦを得るために、二次元構造Sp,qを既定の順序で順序付け、且つ順序付けた二次元構造の係数Sp,q(n,m)を符号化するように設計される。
符号化モジュール16は、例えば、離散コサイン変換によって得られるセグメントの順序付けに関して既に述べた論文「3D scanning-based compression technique for digital hologram video」内で考察される方法の1つにより、二次元構造Sp,qを順序付ける。
二次元構造Sp,q内に含まれる係数Sp,q(n,m)が複素数である本明細書に記載の例では、符号化モジュール16は、係数Sp,q(n,m)の振幅と、係数Sp,q(n,m)の位相とを別々に符号化する。
符号化モジュール16は、例えば、MPEG-4 AVC規格又はMPEG-4 HEVC若しくはMV-HEVC規格内に記載されているような画像符号化プロセスにより、係数Sp,q(n,m)の振幅をデータのシーケンスDAに符号化する。
符号化モジュール16は、例えば、H.Gu et G.JinによるOpt.Express,vol.26,n°26,pp.33592-33603,December 2018内の論文「Phase-difference-based compression of phase-only holograms for holographic three-dimensional display」内に記載されているような別の符号化プロセスにより、係数Sp,q(n,m)の位相をデータのシーケンスDΦに符号化することができる。
二次元構造Sp,q内に含まれる係数Sp,q(n,m)が実数である実施形態では、これらの係数は、(上記で述べたような)画像符号化プロセスによって直接符号化され得る。
最後に、この符号化装置は、符号化モジュール16によって生成される符号化済みデータに基づいて伝送されるデータのフロー(又はバイナリフロー)DTを生成するためのモジュール18を含む。一実施形態では、(上記で説明したように、ここではデジタルホログラムのグループごとの)伝送されるデータのフローDTは、データのシーケンスDA及びデータのシーケンスDΦの逐次的な組み合わせによって生成される。換言すれば、フローDTを形成するために、データのシーケンスDA及びDΦは、相次いで且つN個のデジタルホログラムHtのグループごとに連続的に送信される。
ここで、図1の符号化装置によって実装され得る符号化方法の一例を図4に関して説明する。
この符号化方法は、N個のデジタルホログラムのグループに編成されるT個のデジタルホログラムHtのシーケンスに適用される。従って、デジタルホログラムの各グループは、T個のデジタルホログラムのシーケンス内で互いに続くN個のデジタルホログラムHtを含む。
既に示したように、デジタルホログラムHtは、例えば、図1の符号化装置のメモリ内に記憶される。以下に記載する処理ステップは、各処理ステップ後に得られるデータ(及び中間結果)を記憶するためにこのメモリを使用することもできる。
T個のデジタルホログラムHtのシーケンス(又はフレーム)は、ホログラフィックビデオを形成する。
図4の方法は、変数t及び変数gを1の値に初期設定するステップE2から始まる。以下の説明から明らかであるように、変数tは、現在のデジタルホログラムHt(即ち記載するステップ中に実行される処理操作が適用されるデジタルホログラム)を示し、変数gは、現在のホログラムのグループを示す。
図4の方法は、ステップE4に続き、このステップ中、符号化装置(とりわけここではモジュール10)は、現在のホログラムHtの連続ピクセルで形成される領域Ri,jにそれぞれ関連する行列ブロックBi,jを形成し、そのように形成される各行列ブロックBi,jは、対象のブロックBi,jに関連する領域Ri,jのピクセルの値の関数として決定される要素Bi,j(a,b)を含む。
図2に示すように、ここで、各領域Ri,jは、水平方向(ピクセルのx座標方向)のMHのピクセル及び垂直方向(ピクセルのy座標方向)のMVのピクセルを含む。
上記で示したように、ピクセル値の関数として決定されるこれらの要素Bi,j(a,b)は、例えば、以下のように(ここではモジュール10によって)得られる:
i,j(a,b)=Ht(a+i.DH,b+j.DV).w(a,b)。
可能な実施形態によれば、既に示したように行列ブロックBi,jは、現在のホログラムHtを区分化することによって得られる:
i,j(a,b)=Ht(a+i.DH,b+j.DV)、ここで、DH=MH及びDV=MVが成立する。
上記で示したように、モジュール10は、とりわけ各組Ci,j内の係数Ci,j(k,l)の数を増やすために、行列ブロックBi,j内にゼロ値の要素Bi,j(a’,b’)を潜在的に追加することができる。
本明細書に記載する例では、図2から見て取れるように、ステップE4は、行列ブロックBi,jのKV行及び行列ブロックBi,jのKH列の行列として編成されるKH.KV行列ブロックBi,jを形成することを可能にし、各行列ブロックBi,jは、それ自体、M’V行及びM’H列を含む。上記で説明したように、例えば以下の値、即ち500を上回る(更に1000を上回る)KH、及び/又は500を上回る(更に1000を上回る)KV、及び/又は50~1000のM’V、及び/又は50~1000のM’Hが実際に使用される。
次いで、図4の方法は、対象の行列ブロックBi,j内の異なる二次元空間周波数(k,l)にそれぞれ対応する係数Ci,j(k,l)の組Ci,jを行列ブロックBi,jごとに得るように、(別々に取られる)行列ブロックBi,jのそれぞれに空間周波数変換を適用するステップE6を含む。ここで、このステップは、上述のモジュール12によって実装される。
既に示したように、行列ブロックBi,jごとに、ここで、ステップE6は、対象の行列ブロックBi,jの要素の組に対してこの空間周波数変換(例えば、二次元フーリエ変換)を適用することを含む。
従って、ここで、ステップE6は、(M’Hの水平周波数k及びM’Vの垂直周波数lを走査することによって得られる)M’V.M’Hの二次元空間周波数にそれぞれ対応するM’V.M’Hの係数Ci,j(k,l)をそれぞれ含む、KH.KVの組Ci,jをもたらすことを可能にする。
次いで、図4の方法は、係数の複数の組Ci,jからの、且つ対象の二次元構造Sp,qに依存する基準を満たす二次元空間周波数(k,l)に関連する係数Ci,j(k,l)をそれぞれ含む複数の二次元構造Sp,qを構築するステップE8を含む。ここで、このステップE8は、構築モジュール14によって実装される。
第1の可能な実施形態によれば、二次元構造Sp,qは、係数の組Ci,jからの、且つ対象の二次元構造Sp,qに関連する特定の二次元空間周波数(k,l)に対応する係数Ci,j(k,l)を各二次元構造Sp,q内で一緒にグループ化することによってステップE8で構築される。
従って、この事例では、所与の二次元構造Sp,qは、同じ二次元空間周波数(k,l)を表す係数Ci,j(k,l)を一緒にグループ化する。
上記で説明した事例では、こうして、ステップE8は、KH.KV係数をそれぞれ含むM’H.M’Vの二次元構造Sp,qを構築することを可能にする。
図3に示すように、対象の二次元構造Sp,qの係数Ci,j(k,l)を与える組Ci,jの導出元であるブロックBi,jの行列構造を各二次元構造Sp,q内で使用すること、即ち
p,q(n,m)=Cn,m(p,q)
によって各ブロックSp,qの係数Sp,q(n,m)を定めることを本明細書で更に提案する。
そのように形成される各二次元構造Sp,qは、三次元シーンの平行投影によって得られることになる二次元画像に近い特性を(係数の振幅に関して)有する。従って、二次元構造Sp,qは、二次元構造内の隣接係数間で浅い被写界深度及び強い空間的冗長性を有し、それは、以下に記載するステップE14において二次元構造の効率的な符号化を可能にする。
第2の可能な実施形態によれば、二次元構造Sp,qは、係数Ci,j(k,l)の異なる組Ci,jからの、且つ対象の二次元構造Sp,qに関連する二次元空間周波数(k,l)の二次元範囲に対応する係数Ci,j(k,l)を各二次元構造Sp,q内で一緒にグループ化することによってステップE8で構築される。
従って、この事例では、二次元空間周波数の異なる二次元範囲が定められる(各二次元範囲は係数の各組Ci,j内で表される二次元空間周波数の、以下でα.βとして示す一定数の異なる値を対象として含み、α及びβは、αがM’Hを割り、βがM’Vを割るような2つの整数である)。次いで、所与の二次元構造Sp,qは、全ての組Ci,jからの、且つそれらの二次元範囲のうちの特定の二次元範囲内に含まれる二次元空間周波数(k,l)を表すCi,j(k,l)を一緒にグループ化する。この事例では、二次元構造Sp,qの係数Sp,q(n,m)は、例えば、
p,q(n,m)=CE(n/α),E(m/β)(p.α+n[α],q.β+m[β])
によって与えることができ、ここで、E(z)は、zの整数部を示し、n[α]は、n割るαのユークリッド除算の余りであり、m[β]は、m割るβのユークリッド除算の余りである。
上記で説明した事例では、ステップE8は、α.β.KH.KV係数をそれぞれ含むM’H.M’V/(α.β)の二次元構造Sp,qの構築を可能にする。この実施形態の利点は、この実施形態がより少ない重要な数の二次元構造Sp,qの生成を可能にすることであり、その係数の振幅は、三次元シーンの平行投影によって得られることになるものに近い特性を常に有する。α及びβの数を増やすことにより、同じ二次元構造内の隣接係数間の空間的冗長性が少なくなる代償を払って、二次元構造Sp,qの数を更に減らすことができる。
図4の方法は、ステップE10に続き、ステップE10中、符号化装置(ここではそのプロセッサ)は、t<T及びt<g.Nであるかどうかを判定する。
デジタルホログラムのシーケンスの最後のデジタルホログラムHTが処理されていない限り、不等式t<Tは、有効である。
処理された最後のデジタルホログラムHtがデジタルホログラムの現在のグループの最後のデジタルホログラムでない限り、不等式t<g.Nは、有効である(上記で述べたように、インデックスgは、現在のグループを示す)。
ステップE10における肯定の判定(即ち後者の処理されるデジタルホログラムHtがシーケンスの最後でもグループの最後でもない)の場合、この方法は、現在のデジタルホログラムHtを示す変数tをインクリメントすることによるステップE11、次いで新たな現在のデジタルホログラムHtを処理するための上記のステップE4に続く。
ステップE10における否定の判定(即ち後者の処理されるデジタルホログラムHtがシーケンスの最後又はグループの最後である)の場合、符号化装置(とりわけここでは符号化モジュール16)は、現在のグループの異なるデジタルホログラムについて(ステップE8における連続した流れ中に)得られた異なる二次元構造Sp,qを既定の順序(又は既定のシーケンス)で順序付ける(ステップE12)。
既に示したように、選択される既定の順序は、例えば、離散コサイン変換によって得られるセグメントの順序付けに関して既に述べた論文「3D scanning-based compression technique for digital hologram video」内で提案されている順序に基づく。
ステップE12の実装後、二次元構造Sp,qの順序付けされたシーケンスが得られる(この順序付けされたシーケンスの二次元構造Sp,qは、現在のグループの異なるデジタルホログラムHtを処理することから生じ、従って、二次元構造Sp,qの順序付けされたシーケンスは、少なくともグループの第1のデジタルホログラムを処理することによって得られる第1の二次元構造及びグループの第2のデジタルホログラムを処理することによって得られる第2の二次元構造を含む)。
次いで、図4の方法は、ここで、一方で二次元構造Sp,q内に存在する係数の振幅を符号化すること(ステップE14)及び他方でこれらの係数の位相を符号化すること(ステップE16)により、そのように順序付けされた二次元構造Sp,qを符号化することによって続く。
各二次元構造Sp,qは、画像のものと同一の行列形状を有し、従って、各二次元構造Sp,qは、対象の二次元構造をアルゴリズムの入力画像として取る画像処理アルゴリズムによって(振幅の点で及び/又は位相の点で)符号化することができる。
この画像処理アルゴリズムは、特定の二次元構造(又は実際にはこの二次元構造の係数のそれぞれの振幅で形成される行列及び/又はこの二次元構造の係数のそれぞれの位相で形成される行列)をアルゴリズムの入力画像として連続的に取ることにより、(ステップE12において得られる)異なる順序付けされた二次元構造に連続的に適用することができる。
従って、ステップE14では、符号化モジュール16は、特定の二次元構造Sp,qの係数Sp,q(n,m)の振幅の異なる値でそれぞれ形成される異なる行列に画像符号化アルゴリズムを連続的に適用する(これらの行列は、ステップE12において二次元構造Sp,qに与えられた順序で取られる)。画像符号化アルゴリズムは、例えば、MPEG-4 AVC規格又はMPEG-4 HEVC若しくはMV-HEVC規格内に記載されているような画像符号化プロセスである。
従って、ステップE14は、ホログラムの現在のグループを符号化することに関与するデータのシーケンスDAを得ることを可能にする。
同等に、ステップE16では、符号化モジュール16は、特定の二次元構造Sp,qの係数Sp,q(n,m)の位相値でそれぞれ形成される異なる行列に符号化アルゴリズムを連続的に適用する(これらの行列は、ステップE12において二次元構造Sp,qに与えられた順序で取られる)。使用される符号化アルゴリズムは、例えば、H.Gu et G.JinによるOpt.Express,vol.26,n°26,pp.33592-33603,December 2018内の論文「Phase-difference-based compression of phase-only holograms for holographic three-dimensional display」内に記載されているものであり、従って、使用される符号化アルゴリズムは、ここで、ステップE14において使用される画像符号化アルゴリズムと異なる。
従って、ステップE16は、ホログラムの現在のグループを符号化することに関与するデータのシーケンスDΦを得ることを可能にする。
図4の方法は、符号化装置(実際にはそのプロセッサ)がt<Tであるかどうかを判定する(即ちステップE4からE8内の最後の流れにおいて処理されたデジタルホログラムHtがシーケンスの最後のデジタルホログラムHTではないことを確認する)ステップE18に続く。
肯定の場合(即ち処理された最後のデジタルホログラムHtがシーケンスの最後のデジタルホログラムHTではなかったと判定される場合)、この方法は、現在のデジタルホログラムHtを示す変数t及びデジタルホログラムの現在のグループを示す変数gをインクリメントするためのステップE20に続く(グループの最後のデジタルホログラムは、ステップE10内の過去の流れの結果から既に処理されている)。
次いで、この方法は、デジタルホログラムの新たなグループを再び処理するためにステップE4にループする。
ステップE18における否定の場合(即ちシーケンスの最後のデジタルホログラムHTが処理されている場合)、この方法は、処理されたデジタルホログラムの異なるグループに関するステップE14及びE16における過去の流れ中にそれぞれ生成されるデータのシーケンスDA、DΦに基づいて、データのフローDTをモジュール18が生成するステップE22に続く。
例えば、データのフローDTは、デジタルホログラムのグループにそれぞれ関係する一連の幾つかのデータのフローDGOHを含み、それぞれのデータのフローDGOHは、デジタルホログラムのこのグループに関して上記で説明したように決定されるデータのシーケンスDA及びデータのシーケンスDΦを連続的に含む。
図5は、本発明による符号化装置を形成する役割を果たす電子装置2の一例を示す。
この電子装置2は、プロセッサ4(例えば、マイクロプロセッサ)、少なくとも1つのメモリ6及び電気通信回路8を含む。
メモリ6は、プロセッサ4によって実行されると、少なくとも図4の方法のステップのうちの一定のものを実装するように設計されるコンピュータプログラム命令を記憶することができる。
既に示したように、メモリ6(又は潜在的に別のメモリ)は、上記で説明したように処理されるデジタルホログラムHtをそれぞれ定義するためのピクセル(x,y)にそれぞれ関連する値Ht(x,y)を更に記憶することができる。メモリ6(又は潜在的に別のメモリ)は、以下に記載する処理操作中に扱われる異なる値、具体的には行列ブロックBi,jの要素Bi,j(a,b)、係数の組Ci,jの係数Ci,j(k,l)、二次元構造Sp,qの係数Sp,q(n,m)及びデータDA、DΦ、DTを記憶することができる。
最後に、電気通信回路8は、ステップE22で得られるデータのフローDTを(例えば、プロセッサ4からのコマンド時に)典型的には別の電子装置(不図示)に伝送するように設計される。

Claims (10)

  1. デジタルホログラム(Ht)であって、前記デジタルホログラム(Ht)の定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラム(Ht)を符号化するための方法であって、
    連続ピクセルで構成される領域(Ri,j)にそれぞれ関連する行列ブロック(Bi,j)を形成するステップ(E4)であって、各行列ブロック(Bi,j)は、対象の前記行列ブロック(Bi,j)に関連する前記領域(Ri,j)の前記ピクセルの前記値の関数として決定される要素を含む、ステップ(E4)と、
    対象の前記行列ブロック(Bi,j)内の異なる二次元空間周波数にそれぞれ対応する係数の組(Ci,j)を行列ブロック(Bi,j)ごとに得るように、前記行列ブロック(Bi,j)のそれぞれに空間周波数変換を適用するステップ(E6)と、
    複数の二次元構造(Sp,q)を構築するステップ(E8)であって、前記複数の二次元構造(Sp,q)は、複数の係数の組(Ci,j)からの、且つ対象の前記二次元構造(Sp,q)に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む、ステップ(E8)と、
    構築されている前記二次元構造(Sp,q)を符号化するステップ(E12、E14、E16)と、
    を含む方法。
  2. 前記二次元構造(Sp,q)は、前記係数の組(Ci,j)からの、且つ対象の前記二次元構造(Sp,q)に関連する二次元空間周波数に対応する前記係数を各二次元構造(Sp,q)内で一緒にグループ化することによって構築される、請求項1に記載の符号化方法。
  3. 前記二次元構造は、前記係数の組からの、且つ対象の前記二次元構造に関連する空間周波数の二次元範囲に対応する前記係数を各二次元構造内で一緒にグループ化することによって構築される、請求項1に記載の符号化方法。
  4. 前記領域(Ri,j)は、前記面の区分化によって得られ、行列ブロック(Bi,j)の前記異なる要素は、それぞれ前記行列ブロック(Bi,j)に関連する前記領域(Ri,j)の前記ピクセルの前記値である、請求項1~3の何れか一項に記載の符号化方法。
  5. 構築されている前記二次元構造(Sp,q)は、少なくとも部分的に画像符号化アルゴリズムによって符号化される、請求項1~4の何れか一項に記載の符号化方法。
  6. 前記ホログラムの前記ピクセルの前記値は、実数である、請求項1~5の何れか一項に記載の符号化方法。
  7. 前記ホログラムの前記ピクセルの前記値は、複素数である、請求項1~5の何れか一項に記載の符号化方法。
  8. 前記二次元構造(Sp,q)内の前記係数は、複素数であり、前記二次元構造を符号化する前記ステップは、画像符号化アルゴリズムによって前記係数の振幅を符号化する第1のプロセス(E14)及び前記係数の位相を符号化する第2のプロセス(E16)を使用する、請求項7に記載の方法。
  9. デジタルホログラムのグループを符号化するための方法であって、前記グループの各デジタルホログラムは、請求項1~8の何れか一項に記載の符号化方法によって符号化され、前記異なる符号化方法中に実装される二次元構造を符号化する異なるステップは、前記グループの前記異なるデジタルホログラム内において既定のシーケンスで実行される、方法。
  10. デジタルホログラム(Ht)であって、前記デジタルホログラムの定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラム(Ht)を符号化するための装置であって、
    連続ピクセルで構成される領域(Ri,j)にそれぞれ関連する行列ブロック(Bi,j)を、各行列ブロック(Bi,j)が、対象の前記行列ブロック(Bi,j)に関連する前記領域(Ri,j)内の前記ピクセルの前記値の関数として決定される要素を含むように形成するためのモジュール(10)と、
    対象の前記行列ブロック(Bi,j)内の異なる二次元空間周波数にそれぞれ対応する係数の組(Ci,j)を行列ブロック(Bi,j)ごとに得るように、前記行列ブロック(Bi,j)のそれぞれに空間周波数変換を適用するためのモジュール(12)と、
    複数の係数の組(Ci,j)からの、且つ対象の前記二次元構造(Sp,q)に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む複数の二次元構造(Sp,q)を構築するためのモジュール(14)と、
    構築されている前記二次元構造(Sp,q)を符号化するためのモジュール(16)と、
    を含む装置。
JP2022535850A 2019-12-13 2020-12-03 デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置 Pending JP2023505905A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1914334 2019-12-13
FR1914334A FR3104747B1 (fr) 2019-12-13 2019-12-13 Procédé de codage d’un hologramme numérique, procédé de codage d’un groupe d’hologrammes numériques et dispositif de codage associé
PCT/EP2020/084547 WO2021115935A1 (fr) 2019-12-13 2020-12-03 Procédé de codage d'un hologramme numérique, procédé de codage d'un groupe d'hologrammes numériques et dispositif de codage associé

Publications (2)

Publication Number Publication Date
JP2023505905A true JP2023505905A (ja) 2023-02-13
JPWO2021115935A5 JPWO2021115935A5 (ja) 2023-11-01

Family

ID=69811222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022535850A Pending JP2023505905A (ja) 2019-12-13 2020-12-03 デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置

Country Status (7)

Country Link
US (1) US20230004120A1 (ja)
EP (1) EP4073594A1 (ja)
JP (1) JP2023505905A (ja)
KR (1) KR20220113975A (ja)
CN (1) CN114787720A (ja)
FR (1) FR3104747B1 (ja)
WO (1) WO2021115935A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187126A1 (fr) * 2022-03-31 2023-10-05 Fondation B-Com Procédé et dispositif de décodage d'un hologramme numérique, procédé et dispositif de codage d'un hologramme numérique et programme d'ordinateur associé

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100571389C (zh) * 2004-06-29 2009-12-16 奥林巴斯株式会社 用于图像编码/解码和扩展图像压缩解压缩的方法和设备
KR100586026B1 (ko) * 2005-03-25 2006-06-02 한국전자통신연구원 디지털 홀로그램 부호화 또는/및 복호화 장치 및 그 방법
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
KR102248266B1 (ko) * 2013-06-06 2021-05-04 시리얼 테크놀로지즈 에스.에이. 홀로그램 데이터를 계산하기 위한 장치 및 방법
KR102464362B1 (ko) * 2015-09-30 2022-11-07 삼성전자주식회사 홀로그래픽 이미지 처리방법 및 장치
DE102016100793A1 (de) * 2016-01-19 2017-07-20 Seereal Technologies S.A. Verfahren und Vorrichtung zur Kodierung von komplexwertigen Signalen für die Rekonstruktion von dreidimensionalen Objekten

Also Published As

Publication number Publication date
EP4073594A1 (fr) 2022-10-19
WO2021115935A1 (fr) 2021-06-17
FR3104747A1 (fr) 2021-06-18
US20230004120A1 (en) 2023-01-05
FR3104747B1 (fr) 2023-01-27
KR20220113975A (ko) 2022-08-17
CN114787720A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11968372B2 (en) Layered scene decomposition CODEC method
KR102224668B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
KR20200078649A (ko) 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20230062687A (ko) 영상 데이터 부호화/복호화 방법 및 장치
JP3055438B2 (ja) 3次元画像符号化装置
TWI508529B (zh) 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式
Dib et al. Light field compression using Fourier disparity layers
KR20070023695A (ko) 값들의 블록들을 인코딩하는 방법 및 디바이스
KR20200062365A (ko) 영상 데이터 부호화/복호화 방법 및 장치
US20240114159A1 (en) Image encoding/decoding method and device therefor
GB2575514A (en) Method and system for compressing and decompressing digital three-dimensional point cloud data
JP2023505905A (ja) デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置
CN110958442A (zh) 用于处理全息图像数据的方法和装置
JPH11514122A (ja) 固定サイズブロックプロセッサを用いた大型カーネルフィルタリング
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
US11290748B2 (en) Method and device for designing low complexity DST7
JPWO2021115935A5 (ja)
CN116158075A (zh) 用于图像或视频编码的视图的打包
KR0153978B1 (ko) 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치
KR0185834B1 (ko) 스테레오 스코픽 병렬처리를 위한 아핀변환 장치
KR100775422B1 (ko) 비균일 표본화된 영상의 압축/복원 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231024