JP6901468B2 - 光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品 - Google Patents
光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP6901468B2 JP6901468B2 JP2018512284A JP2018512284A JP6901468B2 JP 6901468 B2 JP6901468 B2 JP 6901468B2 JP 2018512284 A JP2018512284 A JP 2018512284A JP 2018512284 A JP2018512284 A JP 2018512284A JP 6901468 B2 JP6901468 B2 JP 6901468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stack
- focus
- current
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 101
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000015654 memory Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 108091026890 Coding region Proteins 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 241000272194 Ciconiiformes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
− 米国特許出願公開第2013/0222633号明細書に記載されているように、イメージセンサと主レンズとの間に配置されたマイクロレンズアレイを使用するプレノプティック装置;
− それぞれのカメラが自分のイメージセンサにイメージを結ぶ(image)カメラアレイ。
− 現在の焦点スタックの画像を表す情報を符号化し、前記画像は最大数の合焦画素を含み、前記画像を再構成して再構成画像にすることと、
− 少なくとも再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化することとを含む。
より正確には、本開示によると、考慮される焦点スタックにおいて最大数の合焦画素を含む画像を表す情報が最初に符号化される。
次いで、他の画像の少なくとも1つの画素について、予測は、再構成画像中の同一位置にある対応画素の値から値を取得することを含む。
換言すると、焦点スタックの構造を利用し、焦点スタックに属する画像間の予測依存性の決定を、最大数の合焦画素を含む画像を予測用の参照画像として用いて行う。このように、本開示によれば、シーンに関連する光照射野から得られる焦点スタックを、画像符号化のための新しいピクチャグループ(group of picture (GOP))として利用する。
ある態様によると、現在の焦点スタックにおいて、最大数の合焦画素を含む画像は全合焦(all−in focus)画像である。
− 参照視野角と呼ばれる、前記現在の焦点スタックの方向順序および視野角からスタック間画像符号化順序を決定することと、
− 現在の焦点スタックの再構成画像からスタック間画像符号化順序に従って処理された焦点スタック群の少なくとももう1つの焦点スタックの画像の少なくとも1つの画素を符号化することであって、少なくとももう1つの焦点スタックの画像は、最大数の合焦画素を有する画像であり、参照画像と呼ばれる、ことを含む。
− 現在の焦点スタックの最大数の合焦画素を含む画像に対応する再構成画像は「Iフレーム」(すなわち、焦点スタックグループの他のすべての画像から独立して符号化される画像)である。
− 現在の焦点スタックの再構成画像に関連する参照視野角と異なる最大視野角差を表す他の2つの焦点スタックの2つの参照画像は、「Pフレーム」と見なせる。次いで、
− 現在の焦点スタックの「I再構成画像」と「P参照画像」との間の中間視野角でキャプチャされたその他の参照画像は「Bフレーム」と見なされる。
本実施形態の第1の変形例によると、参照画像の画素は、参照画像と、現在の焦点スタックの再構成画像との間の視野角を表す情報から、視野角の参照値でキャプチャされた、現在の焦点スタック再構成画像から符号化される。
− 所与のキャプチャ時刻および所与の視野角でキャプチャされた焦点スタックの焦点距離次元を符号化することを可能にする「スタック内符号化」であって、焦点スタックに属する各画像が異なる焦点距離でキャプチャされることを可能にする。
− 所与の時刻においてキャプチャされた焦点スタックグループの視野角次元を符号化させる「スタック間符号化」であって、その焦点スタックグループに属する各焦点スタックは異なる視野角でキャプチャされる、スタック間符号化と、
− 焦点スタックグループのシーケンスの時間次元を符号化させる「インター符号化(intere encoding)」であって、そのシーケンスに属する各焦点スタックグループは異なる時刻にキャプチャされる。
− 現在の焦点スタックの画像を表す情報であって、画像は最大数の合焦画素を含む、情報と、
− 前記現在の焦点スタックの少なくとも他の画像に関連し、最大数の合焦画素を含む画像の少なくとも再構成画像からの予測により取得される情報とを含む。
− 現在の焦点スタックの画像を表す情報を復号することであって、画像は最大数の合焦画素を含む、ことと、
− 少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成することとを含む。
このように、同じ予測ステップの実行は、予測残差(信号で送信される)を予測に任意的に負荷することにより、所与の画素を再構成するように、符号化時に実行されるように行われる。
− 現在の焦点スタックの画像を表す情報を符号化し、前記画像は最大数の合焦画素を含み、前記画像を再構成して再構成画像にする手段と、
− 少なくとも再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化する手段とを含む。
かかる符号化装置は、上記の通り、符号化方法を実装するように特に適合されている。
− 現在の焦点スタックの画像を表す情報を復号する手段であって、画像は最大数の合焦画素を含む、手段と、
− 少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成する手段とを含む。
本開示の一般的原理は、焦点スタックに対応する新しいピクチャグループ(GOP)構造内の予測依存性を決定することによって、光照射野コンテキストにおいて焦点スタックを符号化する新しい方法にある。
本開示の実施形態における画像の焦点スタックを符号化/復号する符号化及び復号方法、対応する装置、及びコンピュータ可読記憶媒体をここで説明する。
特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。
<焦点スタック>
図2に示すように、焦点スタック100は、異なる焦点面(すなわち、異なる焦点距離)に焦点を合わせたS個の画像Is(s∈[1,S])の集まりである。)のキューブを画定する。ここで、Sはユーザが選択した画像数または装置(例えば、エンコーダ/デコーダ)により要求される限度である。したがって、焦点スタック100内の2つの連続画像間の(z軸上の)距離または距離間隔は、これら2つの連続画像にリンクされた2つの焦点面間の距離に対応する。
図3は、本開示による少なくとも1つの現在の焦点スタックFt0,v0を符号化する方法の主要ステップを模式的に示す図である。この方法は、符号化装置によって実行することができる。少なくとも1つの現在の焦点スタックFt0,v0は、図3に示すように、ある画像から別の画像に異なる焦点距離に焦点を合わせたS枚の1組の画像Is_Tt0,v0を含む。
任意的に、点線で表されるように、焦点スタックFt0,v0の最大数の合焦画素を含む画像は、全合焦(all−in focus)画像(AIF)である。
サイズ[m×n](すなわち、m画素×n画素)の考慮中の画像Is_Ft0,v0の各画素(座標を(x、y)とする)に対して、g(x,y)=h(x,y)×f(x,y)+n(x,y)、ここで:
− f(x,y)は、現在の焦点スタックFt0,v0の再構成画像IREC_Tt0,v0の座標(x,y)の同一位置画素の値に対応し、
− h(x,y)は、現在の焦点スタックFt0,v0の他の画像と、再構成画像IREC_Tt0,v0との間の不鮮明度(blur)を表す不鮮明化関数に対応し、
− n(x,y)は、加わるノイズであり、
− g(x,y)は、現在の焦点スタックFt0,v0のIs_Ft0,v0を符号化する考慮中の画像の不鮮明化画素(blurred pixel)に対応し、不鮮明化値(blurring value)は画像源画像(source image)として用いられる再構成画像IREC_Tt0,v0から取得される。
元の(全合焦画像)グレースケール画素値が標準偏差σxを有し、現在の画素(現在の画像面)では小さい標準偏差がσyであるとすると、σは
− 画像500,501および502がキャプチャされた第1の焦点面、および
− 画像500,501および5000がキャプチャされた第2の焦点面。
3つの異なる視野角(すなわち、V = 3)はそれぞれ下記に対応する:
− 主キャラクタが軽く左に向けられている2つの画像500および5000をキャプチャするための第1の視野角、
− 主キャラクタがフロントビューでキャプチャされる2つの画像501および5001をキャプチャするための第2の視野角、及び
− 主キャラクタが軽く右に向けられている2つの画像502および5002をキャプチャするための第3の視野角。
− 参照視野角v0と呼ばれる、現在の焦点スタックの方向順序および視野角v0からスタック間画像符号化順序を決定すること(33)、
− 現在の焦点スタックの再構成画像IREC_Ft0,v0からスタック間画像符号化順序に従って処理された焦点スタック群Gの少なくとももう1つの焦点スタックFt0,v0の画像の少なくとも1つの画素を符号化すること(34)であって、少なくとももう1つの焦点スタックFt0,v0の画像は、最大数の合焦画素を有する画像であり、参照画像と呼ばれる、ことを含む。
「インター符号化」(3500)動き補償モデルを改善することを用いて、予測精度を改善できる。
図8に表されたかかる信号は、階層的に組織化される。各階層レベル:シーケンスレベル、グループレベル及びスタックレベルは、符号化パラメータが指定されたヘッダを含む。
ここで図9を参照して、ある画像から他の画像まで、様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを表す信号の復号に適したデコーダに実装される復号の主ステップを示す。
− 現在の焦点スタックの画像を表す情報を復号することであって、画像は最大数の合焦画素を含む、ことと、
− 少なくとも復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成することとを含む。
− 参照視野角v0と呼ばれる、現在の焦点スタックの方向順序および視野角v0からスタック間画像復号順序を決定すること、
− 現在の焦点スタックの再構成画像からスタック間画像符号化順序に従って処理された焦点スタック群の少なくとももう1つの焦点スタックの画像の少なくとも1つの画素を復号することであって、少なくとももう1つの焦点スタックの画像は、最大数の合焦画素を有する画像であり、参照画像と呼ばれる、ことを含む。
図3と図9において、モジュールは機能ユニットであり、区別可能な物理的ユニットに関しても、関しなくてもよい。例えば、これらのモジュールは全体を、またはその一部を、1つの部品や回路にまとめてもよいし、またはソフトウェアの機能に貢献してもよい。逆に、幾つかのモジュールは、別の物理的実体により構成されてもよい。本開示とコンパチブルな装置は、純粋なハードウェア、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはVLSI(Very Large Scale Integration)などの専用ハードウェアを用いて、または装置に組み込まれた幾つかの集積電子コンポーネントを用いて、またはハードウェアコンポーネントとソフトウェアコンポーネントとの組み合わせを用いて、実装される。
装置900は、データ及びアドレスバス901によりリンクされた次のよそを含む:
− マイクロプロセッサ903(またはCPU)、これは例えばDSP(すなわちDigital Signal Processor)である;
− ROM(すなわちRead Only Memory)902;
− RAM(すなわちRandom Access Memory) 904;
− アプリケーションとの間でデータを送受信するI/Oインターフェース905、及び
− バッテリ906。
− ローカルメモリ(902または904)であって、例えばビデオメモリまたはRAM(すなわちランダムアクセスメモリ)、フラッシュメモリ、ROM(すなわちリードオンリーメモリ)、ハードディスク;
− ストレージインターフェースであって、例えば大容量記憶装置、RAM、フラッシュメモリ、ROM、光ディスク、または磁気支持体とのインターフェース;
− 通信インターフェース(905)であって、例えば有線インターフェース(例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース)または無線インターフェース(例えば、IEEE802.11インターフェースまたはBluetooth(登録商標)インターフェース)、及び
− 撮像回路(例えば、CCD(すなわちCharge−Coupled Device)またはCMOS(すなわちComplementary Metal−Oxide−Semiconductor)などのセンサ)。
− ローカルメモリ(902または904)であって、例えばビデオメモリまたはRAM(すなわちランダムアクセスメモリ)、フラッシュメモリ、ROM(すなわちリードオンリーメモリ)、ハードディスク;
− ストレージインターフェースであって、例えば大容量記憶装置、RAM、フラッシュメモリ、ROM、光ディスク、または磁気支持体とのインターフェース;
− 通信インターフェース(905)であって、例えば有線インターフェース(例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース)または無線インターフェース(例えば、IEEE802.11インターフェースまたはBluetooth(登録商標)インターフェース)、及び
− ディスプレイ。
命令は、例えば、ハードウェア、ファームウェア、常駐ソフトウェア、マイクロコードなど、または本明細書ではすべて「回路」、「モジュール」、または「システム」と総称することができるソフトウェアおよびハードウェアの側面を組み合わせた実施形態であってもよい。
さらにまた、本原理の諸態様はコンピュータ読み取り可能記憶媒体の形式を取り得る。一以上のコンピュータ読み取り可能記憶媒体の任意の組み合わせを利用できる。
実施形態を説明した。しかし、言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、本願ではこれらの実施形態及びその他の実施形態を想定している。
[付記1]
画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックの符号化方法であって、
前記現在の焦点スタックの画像を表す情報を符号化し、前記画像は画像鮮明度基準に従って前記現在の焦点スタックにおいて選択され、前記画像を再構成して再構成画像にすることと、
少なくとも前記再構成画像からの予測によって、前記現在の焦点スタックの少なくとも他の画像を符号化することとを含む
符号化方法。
[付記2]
前記画像鮮明度基準は画像中の合焦画素の数に対応する、
付記1に記載の符号化方法。
[付記3]
前記現在の焦点スタックにおいて選択される画像は、最大数の合焦画素を有する画像である、
付記2に記載の符号化方法。
[付記4]
前記現在の焦点スタックにおいて、最大数の合焦画素を含む画像は全合焦画像である、
付記3に記載の符号化方法。
[付記5]
現在の焦点スタックの少なくとも1つの他の画像を少なくとも前記再構成画像からの予測によって符号化することは、前記他の画像の少なくとも1つの画素について、前記再構成画像内の対応する位置に配置された対応する画素の少なくとも1つの値と、符号化する前記他の画像に関連する深度位置に応じた不鮮明化関数から値を符号化することを含む、
付記1に記載の符号化方法。
[付記6]
前記現在の焦点スタックは様々な視野角でキャプチャされた焦点スタックグループの一部であり、前記焦点スタックグループの前記焦点スタックはその視野角の方向順にしたがって順序付けられ、前記符号化方法はさらに、
参照視野角と呼ばれる、前記現在の焦点スタックの方向順序および視野角からスタック間画像符号化順序を決定することと、
前記現在の焦点スタックの再構成画像から前記スタック間画像符号化順序に従って処理された前記焦点スタックグループの少なくとももう1つの焦点スタックの画像の少なくとも1つの画素を符号化することであって、前記少なくとももう1つの焦点スタックの画像は、画像鮮明度基準にしたがって選択された画像であり、参照画像と呼ばれることとを含む、
付記1乃至5いずれか一項に記載の符号化方法。
[付記7]
前記参照画像の画素は、視野角の参照値でキャプチャされた前記現在の焦点スタックの再構成画像から、かつ前記参照画像と前記現在の焦点スタックの再構成画像との間の視野を表す情報から符号化される、
付記6に記載の符号化方法。
[付記8]
視野角の参照値とは異なる視野角でキャプチャした前記参照画像の各画素の値は、視野角の前記参照値でキャプチャされた現在の焦点スタックの前記再構成画像から、及び前記焦点スタックグループに関連するシーンの階層的深度画像から符号化される、
付記6に記載の符号化方法。
[付記9]
前記焦点スタックグループは、基準時刻t0にキャプチャされ、時刻tにキャプチャされた少なくとも1つの他の焦点スタックグループをさらに含むシーケンスの一部であり、
前記符号化方法はさらに、:
前記基準時刻t0にキャプチャされた前記現在の焦点スタックの再構成画像から実行された時間予測を用いて、焦点スタックグループのシーケンスの時刻tにキャプチャされた少なくとも1つの他の焦点スタックグループの、視野角の参照値でキャプチャされた焦点スタックの参照画像の少なくとも1つの画素を符号化することを含む、
付記6ないし8いずれか一項に記載の符号化方法。
[付記10]
前記符号化方法はさらに、前記現在の焦点スタックを表す信号に、前記現在の焦点スタックの全合焦画像を再構成するマップを挿入することを含む、
付記4に記載の符号化方法。
[付記11]
画像ごとに様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを表す信号であって、少なくとも、
前記現在の焦点スタックの画像を表す情報であって、前記画像は画像鮮明度基準に従って前記現在の焦点スタックから選択される、情報と、
前記現在の焦点スタックの少なくとも他の画像に関連し、前記選択される画像の少なくとも再構成画像からの予測により取得される情報とを含む、
信号。
[付記12]
画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを復号する方法であって、
前記現在の焦点スタックの画像を表す情報を復号することであって、前記画像は画像鮮明度基準を満たす、ことと、
少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成することとを含む、
方法。
[付記13]
画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを符号化する装置であって、
メモリと、
前記メモリに結合した少なくとも1つのプロセッサであって、
前記現在の焦点スタックの画像を表す情報を符号化し、前記画像は画像鮮明度基準に従って前記現在の焦点スタックにおいて選択され、前記画像を再構成して再構成画像にし、
少なくとも前記再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化するように構成される、
装置。
[付記14]
画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを復号する装置であって、
メモリと、
前記メモリに結合した少なくとも1つのプロセッサであって、
前記現在の焦点スタックの画像を表す情報を復号し、前記画像は画像鮮明度基準を満たす、
少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成するように構成される、
装置。
[付記15]
通信ネットワークからダウンロード可能であり、及び/又はコンピュータにより読み取り可能な媒体上に記録され、及び/又はプロセッサにより実行可能であり、付記1ないし10いずれか一項または付記12に記載の方法を実装するプログラムコード命令を含むコンピュータプログラム製品。
[付記16]
コンピュータプログラム製品が記録され、プロセッサにより実行され得る非一時的コンピュータ読み取り可能媒体であって、付記1乃至10いずれか一項または付記12に記載の方法を実装するプログラムコード命令を含む、非一時的コンピュータ読み取り可能媒体。
Claims (13)
- 画像ごとに異なる焦点距離でフォーカスした画像セットを含む同じシーンの現在の画像スタックの符号化方法であって、
閾値より大きい選択される画像における合焦画素の数を含む画像鮮明度基準にしたがって、前記現在の画像スタックの画像を選択することと、
前記現在の画像スタックの前記選択された画像を表す情報を符号化し、前記画像を再構成して再構成画像にすることと、
少なくとも前記再構成画像からの予測によって、前記現在の画像スタックの少なくとも他の画像を符号化することとを含む
符号化方法。 - 前記現在の画像スタックにおいて、最大数の合焦画素を含む画像は全合焦画像である、
請求項1に記載の符号化方法。 - 前記現在の画像スタックの少なくとも1つの他の画像を少なくとも前記再構成画像からの予測によって符号化することは、前記他の画像の少なくとも1つの画素について、前記再構成画像内の対応する位置に配置された対応する画素の少なくとも1つの値と、符号化する前記他の画像に関連する深度位置に応じた不鮮明化関数から値を符号化することを含む、
請求項1に記載の符号化方法。 - 前記現在の画像スタックは様々な視野角でキャプチャされた画像スタックグループの一部であり、前記画像スタックグループの前記画像スタックはその視野角の方向順序にしたがって順序付けられ、前記符号化方法はさらに、
前記現在の画像スタックの方向順序および視野角から前記画像スタックグループにおけるスタック間画像の符号化順序を決定することであって、前記視野角は、前記現在の画像スタックの参照視野角と呼ばれることと、
前記現在の画像スタックの再構成画像から前記スタック間画像の符号化順序に従って処理された前記画像スタックグループの少なくとももう1つの画像スタックの画像の少なくとも1つの画素を符号化することであって、前記少なくとももう1つの画像スタックの前
記画像は、前記画像鮮明度基準にしたがって選択された画像であり、前記少なくとももう1つの画像スタックの参照画像と呼ばれることとを含む、
請求項1乃至3いずれか一項に記載の符号化方法。 - 前記参照画像の前記画素は、前記参照視野角でキャプチャされた前記現在の画像スタックの再構成画像から、かつ前記参照画像と前記現在の画像スタックの前記再構成画像との間の視差を表す情報から符号化される、
請求項4に記載の符号化方法。 - 視野角の参照値とは異なる視野角でキャプチャした前記参照画像の各画素の前記値は、視野角の参照値でキャプチャされた前記現在の画像スタックの前記再構成画像から、及び前記画像スタックグループに関連するシーンの階層的深度画像から符号化される、
請求項4に記載の符号化方法。 - 前記画像スタックグループは、基準時刻t0にキャプチャされ、時刻tにキャプチャされた少なくとも1つの他の画像スタックグループをさらに含むシーケンスの一部であり、
前記符号化方法はさらに、:
前記基準時刻t0にキャプチャされた前記現在の画像スタックの前記再構成画像から実行された時間予測を用いて、画像スタックグループの前記シーケンスの時刻tにキャプチャされた前記少なくとも1つの他の画像スタックグループの、視野角の参照値でキャプチャされた画像スタックの参照画像の少なくとも1つの画素を符号化することを含む、
請求項4ないし6いずれか一項に記載の符号化方法。 - 前記符号化方法はさらに、前記現在の画像スタックを表す信号に、前記現在の画像スタックの全合焦画像を再構成するマップを挿入することを含む、
請求項2に記載の符号化方法。 - 画像ごとに異なる焦点距離でフォーカスした画像セットを含む同じシーンの現在の画像スタックを復号する方法であって、
前記現在の画像スタックの画像を表す情報を復号することであって、前記画像は、閾値より大きい前記画像における合焦画素の数を含む画像鮮明度基準を満たす、ことと、
少なくとも前記復号された画像からの予測によって、前記現在の画像スタックの少なくとも他の画像を再構成することとを含む、
方法。 - 画像ごとに異なる焦点距離でフォーカスした画像セットを含む同じシーンの現在の画像スタックを符号化する装置であって、
メモリと、
前記メモリに結合した少なくとも1つのプロセッサであって、
閾値より大きい選択される画像における合焦画素の数を含む画像鮮明度基準にしたがって、前記現在の画像スタックの画像を選択し、
前記現在の画像スタックの前記選択された画像を表す情報を符号化し、前記画像を再構成して再構成画像にし、
少なくとも前記再構成された画像からの予測によって、前記現在の画像スタックの少なくとも他の画像を符号化するように構成される、
装置。 - 画像ごとに異なる焦点距離でフォーカスした画像セットを含む同じシーンの現在の画像
スタックを復号する装置であって、
メモリと、
前記メモリに結合した少なくとも1つのプロセッサであって、
前記現在の画像スタックの画像を表す情報を復号し、前記画像は、閾値より大きい前記画像における合焦画素の数を含む画像鮮明度基準を満たす、
少なくとも前記復号された画像からの予測によって、前記現在の画像スタックの少なくとも他の画像を再構成するように構成される、
装置。 - 通信ネットワークからダウンロード可能であり、及び/又はコンピュータにより読み取り可能な媒体上に記録され、及び/又はプロセッサにより実行可能であり、請求項1乃至9いずれか一項に記載の方法を実装するプログラムコード命令を含むコンピュータプログラム。
- コンピュータプログラムが記録され、プロセッサにより実行され得る非一時的コンピュータ読み取り可能媒体であって、請求項1乃至9いずれか一項に記載の方法を実装するプログラムコード命令を含む、非一時的コンピュータ読み取り可能媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306363.1 | 2015-09-07 | ||
EP15306363.1A EP3139614A1 (en) | 2015-09-07 | 2015-09-07 | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
PCT/EP2016/070886 WO2017042133A1 (en) | 2015-09-07 | 2016-09-05 | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018530225A JP2018530225A (ja) | 2018-10-11 |
JP2018530225A5 JP2018530225A5 (ja) | 2019-10-10 |
JP6901468B2 true JP6901468B2 (ja) | 2021-07-14 |
Family
ID=54249408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018512284A Active JP6901468B2 (ja) | 2015-09-07 | 2016-09-05 | 光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10536718B2 (ja) |
EP (2) | EP3139614A1 (ja) |
JP (1) | JP6901468B2 (ja) |
KR (1) | KR20180049028A (ja) |
CN (1) | CN108141610B (ja) |
WO (1) | WO2017042133A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3151534A1 (en) * | 2015-09-29 | 2017-04-05 | Thomson Licensing | Method of refocusing images captured by a plenoptic camera and audio based refocusing image system |
US10432944B2 (en) * | 2017-08-23 | 2019-10-01 | Avalon Holographics Inc. | Layered scene decomposition CODEC system and methods |
JP6936990B2 (ja) * | 2018-07-26 | 2021-09-22 | 日本電信電話株式会社 | 符号化装置及びプログラム |
WO2020025097A1 (en) * | 2018-07-30 | 2020-02-06 | Huawei Technologies Co., Ltd. | Multifocal display devices and methods |
CN111416977B (zh) * | 2019-01-07 | 2024-02-09 | 浙江大学 | 视频编码器、视频解码器及相应方法 |
KR102669255B1 (ko) * | 2019-02-01 | 2024-05-27 | 한국전자통신연구원 | 다중 초점 영상을 이용한 올인포커스 영상 생성 방법 및 장치 |
CN110490924B (zh) * | 2019-07-16 | 2022-07-01 | 西安理工大学 | 一种基于多尺度Harris的光场图像特征点检测方法 |
CN111182312B (zh) * | 2020-01-03 | 2021-10-29 | 杭州电子科技大学 | 一种分级残差光场视频编码方法 |
CN111427166B (zh) | 2020-03-31 | 2022-07-05 | 京东方科技集团股份有限公司 | 一种光场显示方法及***、存储介质和显示面板 |
CN111416983B (zh) * | 2020-04-07 | 2022-03-15 | 清华大学深圳国际研究生院 | 基于成像相关的多焦距光场视频帧内预测方法和装置 |
CN112019862B (zh) * | 2020-09-08 | 2022-01-04 | 华中科技大学 | 图像处理方法、装置及设备 |
US20220084223A1 (en) * | 2020-09-14 | 2022-03-17 | The Regents Of The University Of Michigan | Focal Stack Camera As Secure Imaging Device And Image Manipulation Detection Method |
WO2023019567A1 (zh) * | 2021-08-20 | 2023-02-23 | 深圳传音控股股份有限公司 | 图像处理方法、移动终端及存储介质 |
KR102545741B1 (ko) * | 2022-11-08 | 2023-06-21 | 주식회사 하나씨엔에스 | Cctv 회전형 카메라 제어 단말기 |
CN118135120B (zh) * | 2024-05-06 | 2024-07-12 | 武汉大学 | 一种纳米样品表面形貌三维重建及显微操作*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7519907B2 (en) * | 2003-08-04 | 2009-04-14 | Microsoft Corp. | System and method for image editing using an image stack |
JP2007011977A (ja) * | 2005-07-04 | 2007-01-18 | Nikon Corp | 画像処理方法、コンピュータ実行可能なプログラム、及び顕微鏡システム |
US8559705B2 (en) * | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
IT1403541B1 (it) * | 2011-01-31 | 2013-10-31 | Sarong Spa | Macchina erogatrice per bevande |
US8432434B2 (en) * | 2011-07-08 | 2013-04-30 | Mitsubishi Electric Research Laboratories, Inc. | Camera and method for focus based depth reconstruction of dynamic scenes |
US8995785B2 (en) | 2012-02-28 | 2015-03-31 | Lytro, Inc. | Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices |
US8818117B2 (en) * | 2012-07-19 | 2014-08-26 | Sony Corporation | Method and apparatus for compressing Z-stack microscopy images |
WO2014083574A2 (en) * | 2012-11-30 | 2014-06-05 | Larsen & Toubro Limited | A method and system for extended depth of field calculation for microscopic images |
US9654761B1 (en) * | 2013-03-15 | 2017-05-16 | Google Inc. | Computer vision algorithm for capturing and refocusing imagery |
JP2015008387A (ja) * | 2013-06-25 | 2015-01-15 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム並びに撮像装置 |
US9344619B2 (en) * | 2013-08-30 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for generating an all-in-focus image |
JP2015103872A (ja) * | 2013-11-21 | 2015-06-04 | キヤノン株式会社 | 画像符号化装置及び画像復号装置及びそれらの制御方法 |
-
2015
- 2015-09-07 EP EP15306363.1A patent/EP3139614A1/en not_active Withdrawn
-
2016
- 2016-09-05 EP EP16760505.4A patent/EP3348060B1/en active Active
- 2016-09-05 US US15/757,417 patent/US10536718B2/en active Active
- 2016-09-05 WO PCT/EP2016/070886 patent/WO2017042133A1/en active Application Filing
- 2016-09-05 JP JP2018512284A patent/JP6901468B2/ja active Active
- 2016-09-05 KR KR1020187009543A patent/KR20180049028A/ko not_active Application Discontinuation
- 2016-09-05 CN CN201680061252.2A patent/CN108141610B/zh active Active
-
2019
- 2019-11-26 US US16/695,336 patent/US20200099955A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP3139614A1 (en) | 2017-03-08 |
US20180249178A1 (en) | 2018-08-30 |
JP2018530225A (ja) | 2018-10-11 |
US20200099955A1 (en) | 2020-03-26 |
WO2017042133A1 (en) | 2017-03-16 |
US10536718B2 (en) | 2020-01-14 |
KR20180049028A (ko) | 2018-05-10 |
EP3348060B1 (en) | 2023-04-05 |
EP3348060A1 (en) | 2018-07-18 |
CN108141610B (zh) | 2023-10-13 |
CN108141610A (zh) | 2018-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6901468B2 (ja) | 光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品 | |
Li et al. | Scalable coding of plenoptic images by using a sparse set and disparities | |
JP6837056B2 (ja) | ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品 | |
ES2561078T3 (es) | Codificación de vídeo híbrido que soporta síntesis de vistas intermedias | |
CN102598674B (zh) | 用于2d视频数据到3d视频数据的转换的深度图产生技术 | |
JP6872533B2 (ja) | ライトフィールドベース画像を符号化および復号する方法および装置、および対応するコンピュータプログラム製品 | |
ES2703062T3 (es) | Síntesis de visualización en vídeo 3D | |
US20150181229A1 (en) | Method and Apparatus of Inter-View Candidate Derivation in 3D Video Coding | |
US9924197B2 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program | |
JPWO2014168082A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
US20160037172A1 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program | |
WO2015056712A1 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
US20170150152A1 (en) | Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device | |
JP6386466B2 (ja) | 映像符号化装置及び方法、及び、映像復号装置及び方法 | |
Wang et al. | Learning-based high-efficiency compression framework for light field videos | |
KR101357755B1 (ko) | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 | |
KR101343576B1 (ko) | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 | |
JP2013085064A (ja) | 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190829 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6901468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |