JP2011109671A - 三次元オブジェクトの分割に基づく背景画像の最適圧縮(acbi) - Google Patents
三次元オブジェクトの分割に基づく背景画像の最適圧縮(acbi) Download PDFInfo
- Publication number
- JP2011109671A JP2011109671A JP2010259497A JP2010259497A JP2011109671A JP 2011109671 A JP2011109671 A JP 2011109671A JP 2010259497 A JP2010259497 A JP 2010259497A JP 2010259497 A JP2010259497 A JP 2010259497A JP 2011109671 A JP2011109671 A JP 2011109671A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- data rate
- video
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007906 compression Methods 0.000 title claims abstract description 38
- 230000006835 compression Effects 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 title description 4
- 230000003044 adaptive effect Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000009467 reduction Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 10
- 238000011084 recovery Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011112 process operation Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】三次元(3D)ビデオのためのエンコーディングプロセスを提供すること。
【解決手段】 三次元(3D)ビデオのためのエンコーディングプロセスであって、第1のエンコーダシステムにおいて、第1のベース画像の背景画像を最適に圧縮するステップと、第2のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするステップとを含み、該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングプロセス。
【選択図】図5
【解決手段】 三次元(3D)ビデオのためのエンコーディングプロセスであって、第1のエンコーダシステムにおいて、第1のベース画像の背景画像を最適に圧縮するステップと、第2のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするステップとを含み、該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングプロセス。
【選択図】図5
Description
(分野)
本明細書に記載される実施形態は、一般にビデオ圧縮に関し、より具体的には、三次元(3D)画像ペアの伝送データレートを通常の二次元(2D)ビデオ画像の伝送データレート内に減少させる、3Dビデオの圧縮のためのシステムおよび方法に関する。
本明細書に記載される実施形態は、一般にビデオ圧縮に関し、より具体的には、三次元(3D)画像ペアの伝送データレートを通常の二次元(2D)ビデオ画像の伝送データレート内に減少させる、3Dビデオの圧縮のためのシステムおよび方法に関する。
(背景情報)
3Dビデオサービスによって視聴者に提供された膨大な視聴経験は、さらに多くの視聴者を毎日、そのようなサービスに引き付けている。高品質3Dディスプレイがより入手可能になり、3Dコンテンツがかつてよりも早く製作されているが、3Dビデオサービスへの要求は、3Dビデオの配信を制限する、3Dビデオ伝送に要求される超高速のデータレート(すなわち帯域幅)のために達成されておらず、3Dビデオサービスを損なっている。3Dビデオは、それがマルチビュー画像、すなわち、少なくとも2つのビュー(右目用ビュー/画像と左目用ビュー/画像)を含むために超高速のデータレートを要求する。結果として、3Dビデオの伝送のためのデータレートは、単に両方の目に対する単一の画像のみを要求する従来の2Dビデオに対する伝送のためのデータレートよりもはるかに高い。従来の圧縮技術はこの問題を解決しない。
3Dビデオサービスによって視聴者に提供された膨大な視聴経験は、さらに多くの視聴者を毎日、そのようなサービスに引き付けている。高品質3Dディスプレイがより入手可能になり、3Dコンテンツがかつてよりも早く製作されているが、3Dビデオサービスへの要求は、3Dビデオの配信を制限する、3Dビデオ伝送に要求される超高速のデータレート(すなわち帯域幅)のために達成されておらず、3Dビデオサービスを損なっている。3Dビデオは、それがマルチビュー画像、すなわち、少なくとも2つのビュー(右目用ビュー/画像と左目用ビュー/画像)を含むために超高速のデータレートを要求する。結果として、3Dビデオの伝送のためのデータレートは、単に両方の目に対する単一の画像のみを要求する従来の2Dビデオに対する伝送のためのデータレートよりもはるかに高い。従来の圧縮技術はこの問題を解決しない。
従来の、または標準化された3Dビデオ圧縮技術(例えば、MPEG−4/H.264MVC−Multi−view Video Coding)は、マルチビューあるいは画像ペア同時放送のデータレートを約25%減少させるために、ビュー間プレディケーションと同様に時間プレディケーションを利用する。2つのビューに対する単一の画像、すなわち、2Dビデオと比較して、圧縮された3Dビデオのデータレートは、従来の2Dビデオ(2つのビューに対する単一の画像)のデータレートよりもなお75%大きい。結果としてのデータレートは、3Dコンテンツを現行の放送ネットワーク上に送達するにはなお高すぎる。
このように、3Dビデオに対する伝送データレート要求を従来の2Dビデオの伝送データレート内に減少させて、現行の2Dビデオネットワーク上で3Dビデオ配信および表示を可能にするシステムおよび方法を提供することが望まれる。
(概要)
本明細書に提供される実施形態は、三次元(3D)画像ペアの伝送データレートを従来の2Dビデオ画像の伝送データレート内に減少させる3Dビデオ圧縮のシステムおよび方法に向けられている。本明細書に記載される3Dビデオ圧縮のシステムおよび方法は、3Dビデオキャプチャーシステムおよび人間の視覚システム(HVS)の特性を利用し、3Dビデオの3Dオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
本明細書に提供される実施形態は、三次元(3D)画像ペアの伝送データレートを従来の2Dビデオ画像の伝送データレート内に減少させる3Dビデオ圧縮のシステムおよび方法に向けられている。本明細書に記載される3Dビデオ圧縮のシステムおよび方法は、3Dビデオキャプチャーシステムおよび人間の視覚システム(HVS)の特性を利用し、3Dビデオの3Dオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
一実施形態において、三次元(3D)ビデオに対するエンコードシステムは、第1のベース画像の背景画像を最適に圧縮するように構成された最適エンコーダシステムと、最適に圧縮された背景画像、第1のベース画像の第1の3Dオブジェクト、および第2のベース画像の第2の3Dオブジェクトをエンコードするように構成された一般的エンコーダシステムとを含み、最適エンコードシステムによる背景画像の圧縮は、第2のエンコーダシステムを出るエンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である。
動作の際、第1のベース画像の背景画像は最適エンコーダシステムによって最適に圧縮され、最適に圧縮された背景画像は、一般的エンコーダシステムによって、第1のベース画像の第1の3Dオブジェクト、および第2のベース画像の第2の3Dオブジェクトと共にエンコードされ、背景画像の圧縮は、一般的エンコーダシステムを出るエンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である。
例示的な実施形態の他のシステム、方法、特徴、および利点が、以下の図および詳細な説明の試験の際に当業者に明らかであろう、または明らかになるであろう。
本願は、さらに以下の手段を提供する。
(項目1)
三次元(3D)ビデオのためのエンコーディングプロセスであって、
第1のエンコーダシステムにおいて、第1のベース画像の背景画像を最適に圧縮するステップと、
第2のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするステップと
を含み、
該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングプロセス。
(項目2)
上記第1および第2の3Dオブジェクトを上記第1および第2のベース画像から分割するステップをさらに含む、上記項目に記載のプロセス。
(項目3)
上記分割するステップは、3Dオブジェクトマスクを作成するステップを含む、上記項目のいずれか一項に記載のプロセス。
(項目4)
上記3Dオブジェクトマスクを作成するステップは、上記第1のベース画像の各ピクセルを上記第2のベース画像内の対応するピクセルと比較するステップを含む、上記項目のいずれか一項に記載のプロセス。
(項目5)
上記背景画像を上記第1のベース画像から分割するステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目6)
上記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、上記項目のいずれか一項に記載のプロセス。
(項目7)
上記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目8)
上記第2のエンコーダシステムを出る上記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、上記項目のいずれか一項に記載のプロセス。
(項目9)
上記背景画像のフレームレートを減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目10)
上記第2のエンコーダシステムを出る上記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目11)
三次元(3D)ビデオのためのエンコーディングシステムであって、
第1のベース画像の背景画像を最適に圧縮するように構成されている第1のエンコーダシステムと、
該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするように構成されている第2のエンコーダシステムと
を含み、
該第1のエンコーダシステムによる該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングシステム。
(項目12)
上記第1のエンコーダシステムにおいて、上記第1および第2の3Dオブジェクトを上記第1および第2のベース画像から分割し、上記背景画像を該第1のベース画像から分割するようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目13)
上記第1のエンコーダシステムにおいて、上記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目14)
上記第1のエンコーダシステムにおいて、上記背景画像の解像度を減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目15)
上記第1のエンコーダシステムにおいて、上記背景画像のフレームレートを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目16)
上記第2のエンコーダシステムを出る上記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ/マルチプレクサを含む、上記項目のいずれか一項に記載のシステム。
(摘要)
三次元(3D)画像ペアの伝送データレートを従来の2Dビデオ画像の伝送データレート内に減少させる3Dビデオ圧縮のためのシステムおよび方法。本明細書に記載される3Dビデオ圧縮のシステムおよび方法は、ビデオキャプチャーシステムおよび人間の視覚システム(HVS)の特性を利用し、3Dビデオの3Dオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
(項目1)
三次元(3D)ビデオのためのエンコーディングプロセスであって、
第1のエンコーダシステムにおいて、第1のベース画像の背景画像を最適に圧縮するステップと、
第2のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするステップと
を含み、
該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングプロセス。
(項目2)
上記第1および第2の3Dオブジェクトを上記第1および第2のベース画像から分割するステップをさらに含む、上記項目に記載のプロセス。
(項目3)
上記分割するステップは、3Dオブジェクトマスクを作成するステップを含む、上記項目のいずれか一項に記載のプロセス。
(項目4)
上記3Dオブジェクトマスクを作成するステップは、上記第1のベース画像の各ピクセルを上記第2のベース画像内の対応するピクセルと比較するステップを含む、上記項目のいずれか一項に記載のプロセス。
(項目5)
上記背景画像を上記第1のベース画像から分割するステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目6)
上記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、上記項目のいずれか一項に記載のプロセス。
(項目7)
上記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目8)
上記第2のエンコーダシステムを出る上記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、上記項目のいずれか一項に記載のプロセス。
(項目9)
上記背景画像のフレームレートを減少させるステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目10)
上記第2のエンコーダシステムを出る上記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、上記項目のいずれか一項に記載のプロセス。
(項目11)
三次元(3D)ビデオのためのエンコーディングシステムであって、
第1のベース画像の背景画像を最適に圧縮するように構成されている第1のエンコーダシステムと、
該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするように構成されている第2のエンコーダシステムと
を含み、
該第1のエンコーダシステムによる該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングシステム。
(項目12)
上記第1のエンコーダシステムにおいて、上記第1および第2の3Dオブジェクトを上記第1および第2のベース画像から分割し、上記背景画像を該第1のベース画像から分割するようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目13)
上記第1のエンコーダシステムにおいて、上記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目14)
上記第1のエンコーダシステムにおいて、上記背景画像の解像度を減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目15)
上記第1のエンコーダシステムにおいて、上記背景画像のフレームレートを減少させるようにさらに構成されている、上記項目のいずれか一項に記載のシステム。
(項目16)
上記第2のエンコーダシステムを出る上記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ/マルチプレクサを含む、上記項目のいずれか一項に記載のシステム。
(摘要)
三次元(3D)画像ペアの伝送データレートを従来の2Dビデオ画像の伝送データレート内に減少させる3Dビデオ圧縮のためのシステムおよび方法。本明細書に記載される3Dビデオ圧縮のシステムおよび方法は、ビデオキャプチャーシステムおよび人間の視覚システム(HVS)の特性を利用し、3Dビデオの3Dオブジェクトを高い忠実度に維持する一方で、背景画像の冗長性を減少させる。
例示的な実施形態の詳細が、構造および動作を含めて、類似の参照番号が類似の部分を指す付属の図の研究によって部分的に探り出され得る。図中の要素は尺度を決める必要がなく、代わりに本発明の原理を図示することに強調点が置かれている。さらにすべての図は概念を伝えることが意図されており、相対的なサイズ、形状、および他の詳細な属性が、厳密な意味でまたは正確にというよりはむしろ概略的に図示され得る。
図1は、現実の世界のオブジェクトを見る、人間の視覚の概略図である。
図2は、立体的ディスプレイを見る、人間の視覚の概略図である。
図3は、3D立体的ビデオのキャプチャーシステムの概略図である。
図4は、左右の画像ペアの、焦点の合った3Dオブジェクトおよび焦点の合っていない背景の概略図である。
図5は、背景画像の最適圧縮(ACBI)に基づく3Dビデオシステムの概略図である。
図6は、ACBIに基づく3Dビデオ信号圧縮のためのシステムおよびプロセスの概略図である。
図7は、ACBIに基づく3Dビデオ信号圧縮のためのデータレート制御のフローチャートである。
図8は、ACBIに基づく3Dビデオ信号圧縮のためのシステムおよびプロセスの概略図である。
図9は、左および右のビュー画像のピクセル間の差の閾値を最適に設定するためのプロセスのフローチャートである。
図10は、左および右のビュー画像の間の絶対的な差のヒストグラムである。
同様の構造または機能の要素は、一般に図を通して例示的目的のための類似の参照数字によって表わされることに気付かれるべきである。図はただ好ましい実施形態の記載を容易にすることを意図されたものであることにも気付かれるべきである。
(詳細な説明)
以下に開示される追加の特徴および教示の各々は、個別にまたは他の特徴および教示と組み合わせて利用され、3Dオブジェクトの分割に基づく背景画像の最適圧縮(ACBI)を用いて強化型3Dビデオ信号圧縮を容易にするシステムおよび方法を作成する。多くのこれら追加の特徴および教示を個別にまたは組み合わせて利用する本発明の代表的な実施例が、添付の図を参照してここでさらに詳細に説明される。詳細な説明は、単に本教示の好ましい局面を実施するためのさらなる詳細を当業者に教示するためのものであり、本発明の範囲を限定する意図はない。それゆえ、以下の詳細な説明に開示される特徴およびステップの組み合わせは、本発明を広義に実施するために必ずしも必要ではなく、代わりにただ単に本教示の代表的実施例を特に説明するために教示される。
以下に開示される追加の特徴および教示の各々は、個別にまたは他の特徴および教示と組み合わせて利用され、3Dオブジェクトの分割に基づく背景画像の最適圧縮(ACBI)を用いて強化型3Dビデオ信号圧縮を容易にするシステムおよび方法を作成する。多くのこれら追加の特徴および教示を個別にまたは組み合わせて利用する本発明の代表的な実施例が、添付の図を参照してここでさらに詳細に説明される。詳細な説明は、単に本教示の好ましい局面を実施するためのさらなる詳細を当業者に教示するためのものであり、本発明の範囲を限定する意図はない。それゆえ、以下の詳細な説明に開示される特徴およびステップの組み合わせは、本発明を広義に実施するために必ずしも必要ではなく、代わりにただ単に本教示の代表的実施例を特に説明するために教示される。
さらに、代表的実施例の種々の特徴および従属の請求範囲は、本教示の追加の有用な実施を提供するために、特別におよび明白に列挙されてはいない方法で組み合わせられ得る。加えて、本説明および/または請求範囲に開示されるすべての特徴が、特許請求する主題を実施形態および/または特許請求範囲における特徴の構成とは独立に限定する目的のためと同様に、本来の開示目的のために、個別におよび互いに独立に開示されることが意図されていることにはっきりと気付かれるべきである。また、実体の群のすべての数値範囲または指標は、特許請求する主題を限定する目的のためと同様に、本来の開示目的のために、すべてのありうる中間の値または中間の実体を開示することにも気付かれるべきである。
本発明が機能する態様に転ずる前に、人間の視覚システムおよび立体的ビデオ、すなわち、3Dビデオのための画像キャプチャーシステムの主要な特性を簡潔に復習することが有用であると考えられる。
人間の視覚システム10が図1および図2に関して説明される。人間の目11および12は、観察される現実の世界の光景におけるオブジェクト、例えば自動車13に、目のレンズを調節することで自動的に焦点を合わせることができる。焦点距離15は、2つの目が焦点を合わせられた距離である。人間の視覚の別の重要なパラメータは、輻輳距離16である。輻輳距離16は、2つの目の固定軸が収束する距離である。現実の世界では、輻輳距離16および焦点距離15は、図1に示されるようにほとんど同じである。
現実の世界の光景において、網膜画像のオブジェクトは、焦点が合った状態が最も鮮明であり、焦点の合っていないまたは焦点距離にないオブジェクトはぼやけている。3D画像は深さを含むので、ぼやけ度は深さによって変化する。例えば、ぼやけは焦点Pにより近い点ではより少なく、焦点Pから遠い点ではより高い。ぼやけ度の変化はぼやけ傾斜と呼ばれる。ぼやけ傾斜は、人間の視覚における3D感知のための重要な因子である。
焦点を合わせるために形状を変化させる目のレンズの能力は、調整と呼ばれる。現実の世界の光景を見るとき、観察者の目は、光景の凝視部分に対するぼやけを最小にするように調整する。図1において、観察者は、オブジェクト(自動車)13に焦点を合わせるよう目を調整させ、従って、自動車13は鮮明になり、一方で前景の木14は焦点が合っていないのでぼやけている。
刺激に対して、すなわち、オブジェクトが見られていると、網膜上で鮮明に焦点を合わせるために、目は、オブジェクトの焦点距離に近い距離に調整されなければならない。許容範囲、または焦点深度はおおよそ+/−0.3ジオプターである。ジオプターは、メートルで表した視距離の逆数である(Campbell,F.W.,The Depth of field of the human eye,Jounal of Modern Optics,4,157−164(1957);Hoffman,D.M.,et al.,Vergence−accomodation conflicts hinder visual performance and cause visual fatigue,Journal of Vision 8(3):33,1−30(2008);Martin Bank,etc.Consequences of Incorrect Focus Cues in Stereo Displays,Information Display,pp10−14,Vol.24,NO.7(July 2008)を参照)。
2Dディスプレイシステムにおいては、全画面が常に焦点が合っている状態である。全画面が常に焦点が合っているので、ぼやけ傾斜はない。平坦な画面を伴う多くの3Dディスプレイシステムにおいては、全画面が常に焦点が合っている状態であり、ぼやけ傾斜深度効果を減ずる。しかしながら、この欠点を克服するために、立体的映像ベースのディスプレイ20は、図2に描写されるように、2つの目21および22の各々の個別の画像を提示する。個別の画像内のオブジェクト28および29は両眼視差を作成するために水平方向に移動させられ、そして、両眼視差は焦点位置、すなわち、画面27での焦点距離25を越えた輻輳距離26において、輻輳Vに対する刺激を作成する。この両眼視差は、それが各目によって見られる画像に、実際の3D光景を見ているときに目によって経験される差と同様の差を再作成するので、3D感覚を作成する。
3Dビデオ技術は、2つの主要なカテゴリー:容積的なものと、立体的なものに分類される。容積的なディスプレイにおいて、3Dオブジェクト上の各点は、単純に3D容積内の三次元のピクセルとして定義される三次元ピクセルによって表され、三次元ピクセルから出る光は、輻輳と調整の両方に対する修正効果を伴って視聴者の目に届く。しかしながら、容積的なシステムにおけるオブジェクトは、小さいサイズに限られる。本明細書に説明される実施形態は立体的ビデオに向けられている。
立体的ビデオキャプチャーシステム:上記で言及されたように、立体的映像ディスプレイは、1つの画像を左目に提供し、異なる画像を右目に提供するが、これらの画像は両方とも平坦な2D画像デバイスによって生成される。左目用の画像と右目用の画像とから成る画像のペアは、立体的画像ペアまたは画像ペアと呼ばれる。1つの光景の2つ以上の画像はマルチビュー画像と呼ばれる。本明細書に説明される実施形態は立体的映像ディスプレイに焦点を合わせているが、本明細書に説明されるシステムおよび方法はマルチビュー画像に適用される。
従来の立体的ビデオキャプチャーシステムにおいて、カメラは2組のパラメータを設定することで画像を撮影する。1組のパラメータは、カメラの物理的特性に対する理想的透視投影のジオメトリに関連する。これらのパラメータは、カメラの定数f(画像面とレンズとの間の距離)、光軸と、画像面上に位置される測定基準面の中の画像面との交点である主点、レンズのジオメトリックな歪曲特性、ならびに水平および垂直のスケールファクター、すなわち、行間および列間の距離から成る。
別の組のパラメータは、3Dワールドの基準フレームの中におけるカメラ位置に関連する。これらのパラメータは、ワールドの座標フレームとカメラを中心とした3D座標フレームとの間の剛体変換を決定する。
人間の視覚システム同様に、オブジェクトのキャプチャーされた画像は、焦点が合っている場所で鮮明であり、焦点が合っていない場所ではぼやけている。ぼやけ度は深度によって変化し、ぼやけは焦点により近い点ではぼやけはより少なく、焦点から遠い点ではより高い。ぼやけ傾斜も3Dディスプレイの重要な因子である。オブジェクトの画像は焦点の合っていない距離ではぼやけている。
図3に示されるように、従来の立体的映像キャプチャーシステム30において、2つのカメラ31および32は、現実の世界の光景の左右の画像を撮る。両方のカメラは、それらのレンズの調節によって異なる焦点深度面をもたらす。焦点位置にあるオブジェクト、すなわち、自動車33は、焦点距離35において各画像内で鮮明であり、一方で、焦点位置をはずれたオブジェクト、すなわち、木34は、各画像内でいくぶん、ぼやけている。焦点範囲38内の他のオブジェクトは各画像内でいくぶん鮮明である。
人間の視覚システムおよび立体的映像キャプチャーシステムに照らして、本明細書に説明される、3Dビデオコンテンツの圧縮、配信、記憶、および表示のためのシステムおよび方法は、好ましくは焦点の合っている3Dオブジェクトの高い忠実度を維持し、一方で、背景および前景画像は、それらの解像度、色の深みに関して、およびフレームレートにさえ関して最適に調節される。
画像ペアにおいて、カメラが焦点を合わせる3Dオブジェクトの数は限られている。焦点の合っている3Dオブジェクトは詳細部分まで鮮明である。画像ペアの他の部分は背景画像である。背景画像は、画像ペアの背景部分が焦点範囲を外れているので、2D画像と同様にほとんどまたは全く深度情報を伴わない2D画像と同様であり、それゆえ、ほとんどまたは全く深度詳細を伴わないでぼやけている。以下でさらに詳細に議論されるように、画像ペアの焦点の合っていない背景部分から焦点の合った3Dオブジェクトを分割することによって、3Dビデオコンテンツの圧縮が著しく強化され得る。
ぼやけ度およびぼやけ傾斜は、3Dオブジェクト(すなわち、画像の焦点の合った部分)を画像の背景(すなわち、画像の焦点の合っていない部分)から分離するために用いられ得る、基本的かつ重要な概念である。より高いぼやけ度の部分は背景画像を構成する。より低いぼやけ度部分は焦点の合ったオブジェクトである。ぼやけ傾斜は、画像内の2点間のぼやけ度の差である。より高いぼやけ傾斜の部分は、焦点の合ったオブジェクトのエッジで発生する。重みは、ぼやけ度の計算のための、ピクセル位置と相関関係にあるパラメータである。
オブジェクトが焦点を合わせられると、画像内の1つのピクセルは、理想的にはオブジェクトの1点によって決められる。オブジェクトが焦点を合わせられていないと、1つのピクセルは、オブジェクトの近接する隣接点によって決められ、ピクセルはぼやけ、スポットのように見える。
デジタル画像に対して、ぼやけ度の定義は数学的に以下のように定義される:
ぼやけ度kはぼやけたピクセルを決定するために用いられるピクセルマトリックスディメンションである。
ぼやけ度1:ピクセルはマトリックスX±1ピクセルおよびY±1の平均;
ぼやけ度2:ピクセルはマトリックスX±2ピクセルおよびY±2の平均;
ぼやけ度k:ピクセルはマトリックスX±kピクセルおよびY±kの平均;
ぼやけ度kはぼやけたピクセルを決定するために用いられるピクセルマトリックスディメンションである。
ぼやけ度1:ピクセルはマトリックスX±1ピクセルおよびY±1の平均;
ぼやけ度2:ピクセルはマトリックスX±2ピクセルおよびY±2の平均;
ぼやけ度k:ピクセルはマトリックスX±kピクセルおよびY±kの平均;
W(0,0)=2(blur degree)=2k
である。
ピクセルの重みは、以下のように割り当てられる。
20 21 22...2k−1 2k 2k−1 ...22 21 20
例えば、水平軸および垂直軸上で、
1,2,...2k−1,w(0,0),...2k−1,2,1
他のセルも表1および表2に示されるように割り当てられる。
20 21 22...2k−1 2k 2k−1 ...22 21 20
例えば、水平軸および垂直軸上で、
1,2,...2k−1,w(0,0),...2k−1,2,1
他のセルも表1および表2に示されるように割り当てられる。
ぼやけ度0は、k=0;W(0,0)=1を意味する。他のすべての重み=0である。それゆえ、ピクセルは焦点を合わせられ、焦点を合わせられたオブジェクト上の関連する点によってのみ決定される。
ぼやけ度は、オブジェクトの焦点の合っていない画像および焦点の合っている画像を撮影することによってテストされ得る。焦点の合っていない画像はPc(0,0)として表される。オブジェクトの焦点の合っている画像の関連する点のピクセルは、P(0,0)として表される。ぼやけたピクセルは、Br=kの場合、
Pb(0,0)=1/M[Σw(i,j)P(i,j)]
によって計算される:式中、M=Σw(i,j)であり、
iは−kからkまで、
jは−kからkまでである。
ぼやけ度は、最小絶対差分計算を用いて決定される:
MAD=Min(|Pb(0,0)−Pc(0,0)|)
ぼやけ度(Br)は、主として1点を計算することで決定され得る。しかしながら、統計的には、ぼやけ度(Br)は、絶対差分の最小和または最小二乗平均誤差計算で複数ピクセルの面積として測定されるべきである。
Pb(0,0)=1/M[Σw(i,j)P(i,j)]
によって計算される:式中、M=Σw(i,j)であり、
iは−kからkまで、
jは−kからkまでである。
ぼやけ度は、最小絶対差分計算を用いて決定される:
MAD=Min(|Pb(0,0)−Pc(0,0)|)
ぼやけ度(Br)は、主として1点を計算することで決定され得る。しかしながら、統計的には、ぼやけ度(Br)は、絶対差分の最小和または最小二乗平均誤差計算で複数ピクセルの面積として測定されるべきである。
2点AおよびBのぼやけ傾斜(Bg)は、点Aのぼやけ度と点Bのぼやけ度との差である:
Bg(A,B)=Br(A)−Br(B)。
ぼやけ度kがより高いときには、ピクセル解像度および色の深みは、人間の視覚では気付かれない認識レベルで有意に減少させられ得る。結果として、圧縮比率はぼやけ度kがより高いときにより高くなり得る。
Bg(A,B)=Br(A)−Br(B)。
ぼやけ度kがより高いときには、ピクセル解像度および色の深みは、人間の視覚では気付かれない認識レベルで有意に減少させられ得る。結果として、圧縮比率はぼやけ度kがより高いときにより高くなり得る。
焦点の合っているオブジェクトは、背景部分から画像のぼやけ度およびぼやけ傾斜を用いて分離され得る。焦点の合っているオブジェクトと焦点の合っていないオブジェクトとの比較は図4に示される。しかしながら、ぼやけ度およびぼやけ傾斜の計算は、特に単一の映像または画像(すなわち、2D)ビデオにおいては、複雑かつ困難であり得る。
3Dビデオにおいては、2つ以上の映像または画像が同時に見られる(例えば、左のビューおよび右のビュー)、すなわち、3Dビデオの各フレームは2つ以上の画像を含む。2つの映像または画像において背景から焦点の合っているオブジェクトを分割することは、2Dビデオより簡単であり、ぼやけ度を直接計算することなく達成され得る。
デジタル画像プロセッシングに対しては、ぼやけはエッジのコントラストおよび高周波部分を減少させるローパスフィルターである。立体的映像または3Dビデオにおいては、焦点の合っているオブジェクトは鮮明であり、左の画像と右の画像との間には有意な差があるが、一方で、他の部分、焦点範囲から外れた部分は、なめらかであり、左の画像と右の画像との間のより少ない差を示す。図4に示されるように、焦点の合っているオブジェクトのピクセルは1つの点Pであり、焦点の合っていないオブジェクトのピクセルはスポットSである。左の画像と右の画像との比較は、焦点の合っているオブジェクトを焦点の合っていないオブジェクトまたは背景から区別する。このように、左の画像と右の画像との比較は、左および右の画像の中の焦点の合っているオブジェクトを左および右の画像の中の背景から分離するために用いられ得る。ぼやけ度の差のために、焦点の合っているオブジェクト上のピクセル間の差は、背景画像上のそれよりも大きい。ぼやけ度を計算する代わりに、左および右の画像のピクセル間の差が、焦点の合っているオブジェクトを左および右の画像の中の背景から分割するために用いられ得る。3Dオブジェクトを背景から分離するために、閾値差が画像比較に対して設定され得る。ぼやけ度は計算されないが、焦点の合っているオブジェクトの画像の背景からの分割の原理は、ぼやけ度およびぼやけ傾斜の概念に基づいている。
図5、6、7、および8に詳細に転じると、圧縮、伝送、復元、および3Dビデオコンテンツの表示のシステムおよび方法が説明され描写される。図5に示されるように、背景画像の最適圧縮(ACBI)に基づく3Dビデオシステム80は、好ましくは信号パーサ90、最適エンコーダ100、一般的エンコーダ130、および伝送ネットワーク200に連結されたマルチプレクサ/モジュレータ140を含む。エンコードされた信号を表示するために、3Dビデオシステム80は、好ましくはデマルチプレクサ/デモジュレータ155、一般的デコーダ160、ならびに伝送ネットワーク200およびディスプレイ300に連結された最適デコーダ170を含む。信号パーサ90、最適エンコーダ100、一般的エンコーダ130、およびマルチプレクサ/モジュレータ140は、単一デバイスまたは、集積回路、ASICチップ、ソフトウェア、またはそれらの組み合わせとしての複数デバイスの一部であり得る。同様にデマルチプレクサ/デモジュレータ155、一般的デコーダ160、および最適デコーダ170は、受信機150のような単一デバイスまたは、集積回路、ASICチップ、ソフトウェア、またはそれらの組み合わせとしての複数デバイスの一部であり得る。
信号パーサ90は3Dビデオ信号を左および右の画像に構文解析する。最適エンコーダ100は3Dオブジェクトを背景画像から分割し、背景画像をエンコードまたは圧縮する。最適エンコードされた信号は次に一般的エンコーダ130によってエンコードまたは圧縮される。しかしながら、図7に示されるように、一般的エンコーダ130を出るエンコードされた信号のデータレートが、伝送ネットワークのデータレート能力(例えばATSCにおけるビットレートは約19メガビット/秒(mbps)である)よりも大きい場合には、最適エンコーダ100がそのエンコードパラメータを変更し、新しいエンコードパラメータに従って再度背景画像をエンコードまたは圧縮する。一般的エンコーダ130を出るエンコードされた信号のデータレートが、伝送ネットワークのデータレート能力よりも小さいか等しい場合には、信号が伝送/配信ネットワーク200に伝送される前に、マルチプレクサ/モジュレータ140が次に一般的にエンコードされた信号をマルチプレックスおよびモジュレートする。一旦、システム80のディスプレイ端で受信されると、マルチプレックスおよびモジュレートされた信号は、デマルチプレクサ/デモジュレータ155によってデマルチプレックスおよびデモジュレートされる。一般的デコーダ160は次にエンコードされた信号をデコードし、最適デコーダ170は最適にエンコードされた背景画像を最適にデコードし、左および右の画像ペアを形成するために、背景画像を左および右のオブジェクトと合成させる。画像ペアは次にユーザに表示するためにディスプレイ300に伝送される。
図6を参照すると、ACBIエンコーダ100のシステムおよびプロセスブロック図が提供される。ACBIエンコーダ100は左および右の画像を信号パーサ90(図4参照)から受信し、それらを左および右の画像フレームメモリブロック103および104に格納する。画像コンパレータ105は左および右の画像をピクセル毎に比較する。コンパレータによって比較されるべき各ピクセルのパラメータは、映像またはビデオのクラス、例えばカラー映像に対するR G BまたはY Pr Pbによって決定される。左および右の画像のピクセルの比較において、コンパレータ105は、左および右のビュー画像のピクセルのパラメータ間の差を計算する。例えば、R G Bの場合、
差=|Rl−Rr|+|Gl−Gr|+|Bl−Br|
Y Pr Pbの場合、
差=|Yl−Yr|。
差=|Rl−Rr|+|Gl−Gr|+|Bl−Br|
Y Pr Pbの場合、
差=|Yl−Yr|。
左および右の画像の各ピクセルのパラメータ間の差は、L−R画像フレームメモリブロック106に送信され、次に閾値コンパレータ107に渡される。閾値コンパレータ107によって用いられるパラメータ間の差の閾値は、以前の情報か最適計算のいずれかによって設定される。差の閾値は、通常は3Dビデオソースによる。3Dビデオコンテンツがビデオゲームおよびアニメーションフィルムのようなコンピューターグラフィックスによって作成された場合には、差の閾値は、映画やTVのカメラによる3Dビデオコンテンツのそれよりも高くなる。それゆえ、差の閾値は、3Dビデオソースに従って設定され得る。よりロバストなアルゴリズムが閾値設定に用いられ得る。例えば、閾値500の最適計算が図9および10に提示される。図9は、最適計算のフローチャートである。左および右の画像間の絶対差分がステップ510で計算される。次に絶対差分のヒストグラムがステップ520で計算される。例示的ヒストグラムが図10に示される。次に、ステップ530がヒストグラムの低値エリアにピークがあるかどうかを決定する。背景ピクセルの差はぼやけのために似ており、背景エリアは大きいので、普通、ヒストグラムの低値には1つのピークがある。低値エリアに1つのピークも見つからない場合には、デフォルトの閾値が図6の107において用いられる。低値エリアに1つのピークが見つかった場合には、ステップ540が図10に示されるピークの上限を探す。ピークの限度は次に図6の107において閾値として用いられる。
同じ座標の左および右のピクセル間の差が閾値よりも大きい場合、すなわち、左および右のピクセルが焦点の合っているオブジェクトの場合には、次に閾値コンパレータ107は、同じピクセル座標に対するマスクデータを1に設定し、閾値よりも小さい場合、すなわち、左および右のピクセルが背景の場合には、閾値コンパレータ107は、同じピクセル座標に対するマスクデータを0に設定する。閾値コンパレータ107は、オブジェクトマスクまたはフィルタを構築するためにマスクデータを用いるオブジェクトマスク生成器108にマスクデータを渡す。
左の画像は左の画像フレームメモリブロック103から回収され、3Dオブジェクトセレクタ109によってオブジェクトマスク生成器108から受信したオブジェクトマスクを用いて処理され、左の画像の背景から3Dオブジェクトを検出または分割する。すなわち、左の画像の背景のピクセルが3Dオブジェクトセレクタ109によって0に設定される。左の画像から回収された3Dオブジェクトは、左の3Dオブジェクトメモリブロック113に送信される。
右の画像は右の画像フレームメモリブロック104から回収され、3Dオブジェクトセレクタ110によってオブジェクトマスク生成器108から受信したオブジェクトマスクを用いて処理され、右の画像の背景から3Dオブジェクトを検出または分割する、すなわち、右の画像の背景のピクセルが3Dオブジェクトセレクタ110によって0に設定される。右の画像から回収された3Dオブジェクトは、右の3Dオブジェクトメモリブロック114に送信される。
左および右の画像の3Dオブジェクトは、3Dパラメータ計算機115に次々に渡され、計算機は左のオブジェクト画像および右のオブジェクト画像からの3Dパラメータを計算または決定してそれらを3Dパラメータメモリブロック116に格納する。好ましくは、計算された3Dパラメータは、例えば、パララックス(parallax)、視差(disparity)、深度範囲などを含み得る。
背景画像の分割:3Dオブジェクトマスク生成器108によって生成された3Dオブジェクトマスクは、次々にマスク変換器111に渡され、反転マスク、すなわち、背景分割マスクまたはフィルタが、3Dオブジェクトマスクにおいてゼロを1におよび1をゼロに変化させる反転処理によって3Dオブジェクトマスクから作成される。背景画像は、次に背景セレクタ112によって、右の画像フレームメモリブロック104から渡された右の画像および、反転されたまたは背景の分割マスクを用いてベースのビュー画像から分離される。背景セレクタ112は、ベースのビュー画像から回収された、分割された背景画像を、背景画像メモリブロック117に渡し、背景ピクセル位置情報を最適コントローラ118に渡す。背景の位置情報は、最適コントローラ118によって、カラーアダプタ119、空間アダプタ120、および時間アダプタ121によって処理されるべきピクセルを決定するために用いられる。背景セレクタ112によってゼロに設定された3Dオブジェクトのピクセルは、カラーアダプタ119、空間アダプタ120、および時間アダプタ121によってスキップされる。
現実の世界のビデオにおいて、所与の画像内の焦点の合っている3Dオブジェクトのサイズは、動的に変化する。最適コントローラ118は、カラーアダプタ119、空間アダプタ120、および時間アダプタ121を、所与の画像内の焦点の合っている3Dオブジェクトのサイズと、関連するデータレートとの関数として最適に制御する。最適コントローラ118は、ピクセル位置情報を背景セレクタ112から受信し、データレートメッセージを一般的エンコーダ130から受信し、次に制御信号をカラーアダプタ119に送信して、背景画像の各ピクセルのカラービットを減少させる。背景画像の各ピクセルのカラービットは好ましくは、一般的エンコーダ130を出るエンコードされた信号のデータレートに依存して、1から3ビット減少させられる。一般的エンコーダのデータレートは、ビデオ、オーディオ、および特定のアプリケーションに対するユーザのデータを含む圧縮された信号ストリームのビットレートである。通常、1ビットの減少が好ましい。一般的エンコーダ130を出るエンコードされた信号のデータレートが所与の伝送ネットワークに対する特定値よりも高い場合には、2または3ビットが減少させられる。
最適コントローラ118はまた、制御信号を空間アダプタ120に送信する。空間アダプタ120は、伝送のために背景画像のピクセルを部分抽出し、背景画像の解像度を減少させる。以下の実施例において、背景画像のピクセルは水平方向および垂直方向に半分に減少させられる。ピクセルが減少させられる量は、一般的エンコーダ130を出るエンコードされた信号のデータレートにも依存する。カラーアダプタ119がカラービットを減少させ、空間アダプタ120が解像度を減少させた後に、一般的エンコーダ130のデータレートがなお特定のデータレートよりも高い場合には、次に時間アダプタ121が背景画像のフレームレートを減少させるために用いられ得る。フレームレートが下がるとデータレートは有意に減少させられる。フレームレートの変化はビデオ品質を劣化し得るので、背景画像のフレームレートを減少させることは通常、好ましくない。従って、時間アダプタ121は好ましくはバイパスされた状態に設定される。
図7は、背景画像のための、最適制御ベースの圧縮を用いるエンコーディングおよび伝送のプロセス400におけるステップを示す。示されるように、背景画像のピクセルパラメータ、すなわち、カラービットおよび解像度は、上記で図6に関連して議論されたようにステップ410で最適に圧縮される。背景画像の最適に圧縮されたピクセルは、他の信号要素、すなわち、3Dオブジェクトおよびパラメータ、ならびに最適コントローラ118からの制御データに従って、ステップ420において一般的にエンコードされる。ステップ430において、システムは、図6のエンコーダ130を去るエンコードされた信号のデータレートが目標データレートまたは伝送ネットワークの特定のデータレート能力よりも大きいかどうかを決定する。データレートが目標データレートよりも大きい場合には、異なる圧縮パラメータの組でステップ410が背景画像のピクセル上で繰り返される。ステップ430において、図6の一般的エンコーダ130は、一般的エンコーダ130を出るエンコードされた信号のデータレートを最適コントローラ118に送信し、データレートに応じて、最適コントローラ118はカラーアダプタ119にカラービット削減を増加するように、空間アダプタ120に解像度削減を増加するように、および時間アダプタ121にフレームレートを減少するように指図し得る。
図6のエンコーダ130を去るエンコードされた信号のデータレートが目標データレートまたは伝送ネットワークの特定のデータレート能力よりも大きくない場合には、最適コントローラ118は一般的エンコーダ130に、エンコードされた信号要素およびデータをマルチプレクサ/モジュレータ140に解放するように信号を出し、マルチプレクサ/モジュレータ140はステップ440においてエンコードされた信号およびデータをモジュレーティング/マルチプレクシングし、次にステップ450においてネットワーク200(図5)を越えて伝送される。
背景画像は焦点が合っておらず、ぼやけているので、解像度および色の深みは3Dオブジェクトの人間の視覚システムによる限りの最小認識状態のそれよりも低くあり得る。上述の通り、カラーアダプタ119は背景画像を受信し、好ましくは伝送のために背景画像のカラービットを減少させる。例えば、色の深みが色当たり8ビットから色当たり7ビットに減少させられると、または色当たり10ビットから色当たり8ビットに減少させられると、データレートはおよそ1/8または1/5減少させられる。色の深みは、デコーディングの際に最下位ビットにおいてゼロを追加することで、最小損失で回復させられ得る。
背景画像は焦点が合っておらず、ぼやけているので、背景画像の解像度も、伝送のために好ましくは減少させられる。上述の通り、空間アダプタ120は減少させられたカラービットを伴う背景画像を受信し、好ましくは、水平方向および/または垂直方向に背景画像のピクセルを減少させる。例えば、1920×1080の解像度を有するHDフォーマットにおいては、各方向で背景画像の解像度を半分に減少させることが可能であり、デコーディングの際に人間の視覚システムによる限りの最小認識状態を伴って空間的補間によって回復することが可能である。
高画質でないビデオの場合には、背景画像のフレームレートが伝送のために減少させられ得る。時間アダプタ121が、どのフレームを伝送し、どのフレームを伝送しないかを決定するために用いられ得る。受信機において、伝送されなかったフレームは時間補間によって回復され得る。しかしながら、背景画像のフレームレートを減少することは、それが、MPEGのような主要なビデオ圧縮標準に用いられる運動構成を悪化させるので好ましくない。このように、時間アダプタ121は、背景画像の最適圧縮において好ましくはバイパスされる。
背景画像の最適圧縮の処理の後に、データレートは有利なことに有意に減少させられる。いくつかの実施例がデータの削減を説明するために提示される。
実施例1。通常、3Dオブジェクトによって包含される平均エリアは全画像エリアの1/4よりも小さい。3Dオブジェクトが全画像エリアの1/4を占める場合、背景画像は全画像エリアの3/4を占める。従って、4ピクセルのうちの3ピクセルが背景である。
カラーアダプタ119によってピクセル当たり8カラービットがピクセル当たり7カラービットに減少させられると、背景画像のデータレートは背景画像の本来のデータレートの7/8に減少させられる。背景における単一カラービットの削減は人間の視覚システムに対しては気付かれない。
1920×1080のHDフォーマットにおいて、背景画像の解像度は伝送のために水平方向に1/2、および垂直方向に1/2の960×540の解像度に減少させられる。背景画像の伝送ピクセルは、結果として、本来の背景画像のピクセルの1/4に減少させられる。
この実施例において、時間アダプタ121はバイパスされていて、伝送のためのデータ削減に寄与していない。
画像の3Dオブジェクトは、好ましくは従来の圧縮を用いて、最高の忠実度で伝送され、従って、全画像のピクセルの1/4を含む3Dオブジェクトのピクセルは同じデータレートに維持される。背景画像の最適圧縮(ACBI)ベースのデータレート削減は以下のように計算される:
右の画像における3Dオブジェクト(1/4エリア)の本来のデータレートの割合:
1/4×100%=25%
右の画像における背景画像(3/4エリア)の本来のデータレートの割合:
右の画像の本来のデータレートの割合:
25%+16.4%=41.4%
画像ペアの1つの画像、すなわち、右の画像のデータレートは、ACBIを用いると、ACBIを伴わない本来の右の画像のデータレートのわずか41.4%である。左と右の画像の背景画像は実質的に同じであるので、右の画像の背景が、受信機において左の画像に対する背景を生成するために用いられ得る。ACBIを伴う画像ペアのデータレートは、次に、画像ペアの第2の画像、すなわち、左の画像の3Dオブジェクトのデータレート(これも本来の画像のデータレートの25%である)を、ACBIを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る:
単一画像の本来のデータレートの割合:
41.4%+25%=66.4%
結果として、ACBIを伴う画像ペアのデータレートは、有利なことにACBIを伴わない本来の1つの画像のわずか66.4%である。
右の画像における3Dオブジェクト(1/4エリア)の本来のデータレートの割合:
1/4×100%=25%
右の画像における背景画像(3/4エリア)の本来のデータレートの割合:
25%+16.4%=41.4%
画像ペアの1つの画像、すなわち、右の画像のデータレートは、ACBIを用いると、ACBIを伴わない本来の右の画像のデータレートのわずか41.4%である。左と右の画像の背景画像は実質的に同じであるので、右の画像の背景が、受信機において左の画像に対する背景を生成するために用いられ得る。ACBIを伴う画像ペアのデータレートは、次に、画像ペアの第2の画像、すなわち、左の画像の3Dオブジェクトのデータレート(これも本来の画像のデータレートの25%である)を、ACBIを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る:
単一画像の本来のデータレートの割合:
41.4%+25%=66.4%
結果として、ACBIを伴う画像ペアのデータレートは、有利なことにACBIを伴わない本来の1つの画像のわずか66.4%である。
実施例2。この実施例においては、背景の垂直方向の解像度が減少させられ、一方で水平方向の解像度は減少させられない。他のすべてのパラメータは実施例1と同様である。従って、右の画像における背景画像(3/4エリア)の本来のデータレートの割合は:
右の画像のデータレートの割合は:
25%+32.8%=57.8%
画像ペアの1つの画像、すなわち、右の画像のデータレートは、ACBIを伴うと、ACBIを伴わない右の画像のデータレートの57.8%である。上述のように、ACBIを伴う画像ペアのデータレートは、画像ペアの第2の画像、すなわち、左の画像に対する3Dオブジェクトのデータレート(これも本来の画像のデータレートの25%である)を、ACBIを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る:
単一画像の本来のデータレートの割合:
57.8%+25%=82.8%
結果として、ACBIを伴う画像ペアのデータレートは、有利なことにACBIを伴わない1つの画像のわずか82.8%である。
25%+32.8%=57.8%
画像ペアの1つの画像、すなわち、右の画像のデータレートは、ACBIを伴うと、ACBIを伴わない右の画像のデータレートの57.8%である。上述のように、ACBIを伴う画像ペアのデータレートは、画像ペアの第2の画像、すなわち、左の画像に対する3Dオブジェクトのデータレート(これも本来の画像のデータレートの25%である)を、ACBIを伴う右の画像のデータレートに追加することで、単一画像のデータレートの関数として計算され得る:
単一画像の本来のデータレートの割合:
57.8%+25%=82.8%
結果として、ACBIを伴う画像ペアのデータレートは、有利なことにACBIを伴わない1つの画像のわずか82.8%である。
実施例3。この実施例において、3Dオブジェクトは統計的に全画像エリアの1/2を占め、背景画像は全画像エリアのわずか1/2を占める。従って、画像の半分のピクセルが背景である。
右の画像における3Dオブジェクト(1/2エリア)の本来のデータレートの割合:
1/2×100%=50%
背景画像のピクセル当たり8カラービットが1ビット減少させられる;背景画像の解像度は、水平方向に1/2、および垂直方向に1/2減少させられる。右の画像における背景画像(1/2エリア)の本来のデータレートの割合:
右の画像の本来のデータレートの割合は
50%+11%=61%
単一画像の本来のデータレートの割合
61%+50%=111%
結果として、ACBIを伴う画像ペアのデータレートは、有利なことにACBIを伴わない1つの画像のわずか111%である。平均データレートが2Dビデオ帯域幅よりも高い、この場合において、最適コントローラ173は背景画像のカラービットと空間解像度をさらに減少させるように、また最悪の事態におけるデータのオーバーフローを避けるために背景画像のフレームレートを時間的に減少させることすら行なうようにコマンドを発行する。
右の画像における3Dオブジェクト(1/2エリア)の本来のデータレートの割合:
1/2×100%=50%
背景画像のピクセル当たり8カラービットが1ビット減少させられる;背景画像の解像度は、水平方向に1/2、および垂直方向に1/2減少させられる。右の画像における背景画像(1/2エリア)の本来のデータレートの割合:
50%+11%=61%
単一画像の本来のデータレートの割合
61%+50%=111%
結果として、ACBIを伴う画像ペアのデータレートは、有利なことにACBIを伴わない1つの画像のわずか111%である。平均データレートが2Dビデオ帯域幅よりも高い、この場合において、最適コントローラ173は背景画像のカラービットと空間解像度をさらに減少させるように、また最悪の事態におけるデータのオーバーフローを避けるために背景画像のフレームレートを時間的に減少させることすら行なうようにコマンドを発行する。
ACBIおよび現行の圧縮技術によってエンコードされた3Dコンテンツは、現行の2Dビデオ配信または伝送のネットワーク200上で大抵の場合送達され得る。現実の世界のビデオにおいて、焦点の合っている3Dオブジェクトのサイズは動的に変化する。データレートは、焦点の合っている3Dオブジェクトのサイズによって変化する。3Dオブジェクトは、大部分のビデオ光景においておそらく半分未満の画像であるので、ACBI圧縮の後の総合的な平均データレートは、2Dビデオ帯域幅の半分以下である。しかしながら、さらにおそらく実際の3Dビデオの中の3Dオブジェクトは、全画像中の1/4未満であると考えられ、データレートはより効率的に圧縮されることが大いに見込まれる。
3Dパラメータのソースから受信機への伝送は重要である。3Dパラメータは、3D光景を正確にレンダリングするためにデコーダおよびディスプレイをサポートする。関心の3Dパラメータの例は以下を含み得る:
パララックス:表示される2つの立体的画像における対応する点の間の距離。
視差:立体画像デバイスまたは録画された画像上の共役点間の距離。
深度範囲:正の最大許容パララックスを作り出す背景点から負の最大許容パララックスを作り出す前景点までのカメラスペースにおける距離。
パララックス:表示される2つの立体的画像における対応する点の間の距離。
視差:立体画像デバイスまたは録画された画像上の共役点間の距離。
深度範囲:正の最大許容パララックスを作り出す背景点から負の最大許容パララックスを作り出す前景点までのカメラスペースにおける距離。
いくつかの3Dパラメータがビデオキャプチャーシステムによって提供される。いくつかの3Dパラメータは、左および右の画像の3Dオブジェクトを用いて計算され得る。
ACBI処理の後の一般的エンコーディング:3Dオブジェクトの分割およびACBIの後、左および右の画像の3DオブジェクトおよびACBIは一般的エンコーダ130によってエンコードされる。一般的エンコーダ130は単一のエンコーダまたは複数のエンコーダまたはエンコーダモジュールであり得、好ましくはMPEG2、MPEG−4/H.264 AVC,VC−1などのような標準の圧縮技術を用いる。左および右のビューの3Dオブジェクトは好ましくは完全な忠実度でエンコードされる。左および右のビューの3Dオブジェクトは一般に全画像よりも小さいので、3Dオブジェクトを伝送することに必要とされるデータレートはより低い。そのデータレートを減少させるためにACBIによって処理された背景画像も一般的エンコーダ130に送信される。
3Dパラメータは好ましくは一般的エンコーダ130によってデータパッケージとしてエンコードされる。最適コントローラ118は、制御データおよび制御信号を一般的エンコーダ130に送信し、一方で、一般的エンコーダ130は、一般的エンコーダ130を出るエンコードされた信号のデータレートを最適コントローラ118にフィードバックする。最適コントローラ118は、一般的エンコーダ130を出るエンコードされた信号のデータレートに従って、制御信号をカラーアダプタ119、空間アダプタ120、および時間アダプタ121に適合させる。
一般的エンコーダ130からの出力は、以下に記載されるように背景画像(BG)および制御データ(CD)とともに、3Dオブジェクトのエンコードされた右の画像(R−3D)、3Dオブジェクトのエンコードされた左の画像(L−3D)、および3Dパラメータ(3D Par)を含むエンコードされたデータパッケージを含む。エンコードされた背景画像、立体的画像ペアのエンコードされた3Dオブジェクト、3Dパラメータおよび最適コントローラ118からの制御データは、マルチプレクサ/モジュレータ140によってマルチプレックスおよびモジュレートされ、次に、図5に示されるように、オフエアーブロードキャスタ、ケ−ブルおよび衛星ネットワークのような配信ネットワーク200に送信され、次に、受信機150によって受信される。
左のビューおよび右のビュー画像の回復:図8を参照して、受信されたすべてのビデオデータおよび3Dパラメータは、デマルチプレクサ/デモジュレータ155によってデモジュレートおよびデマルチプレックスされ、MPEG2、MPEG−4/H.264 AVC,VC−1などのような標準の復元技術を用いる一般的デコーダまたは複数デコーダ160に送信される。
左および右の画像のエンコードされた左および右の3Dオブジェクトは、一般的デコーダによってデコードされ、左および右の3Dオブジェクトメモリ171および172に渡され格納される。背景画像およびACBI制御データも同様に一般的デコーダ160によってデコードされる。ACBI制御データは最適コントローラ173に送信される。時間アダプタ121が背景画像のフレームレートを減少させる場合には、フレームレート情報が一般的デコーダによってデコードされ、最適コントローラ173に送信され、最適コントローラ173は制御信号を時間回復モジュール174に送信する。最適コントローラ173はまた、空間削減およびカラービット削減の情報を、空間回復モジュール175およびカラー回復モジュール176に送信する。
背景画像は、時間回復モジュール174に送信される。時間回復モジュール174は好ましくは、フレームレートをフレーム補間によって本来のビデオフレームレートに変換して戻す、フレーム変換器である。前記で議論されたように、フレーム変換は運動補償を含む複雑なプロセスを含み、圧縮プロセスにおいて好ましくはバイパスされる。
空間回復は空間回復モジュール175によって、近接の隣接ピクセルによる補間により紛失したピクセルを回復することによって実施される。例えば、背景画像において、ピクセルのいくつかはデコードされ、一方で、他は空間アダプタ120における部分抽出のために失われる。
P(0,0),P(2,0),P(4,0)
P(0,2),P(2,2),P(4,2)
P(0,4),P(2,4),P(4,4)
以下のピクセルが補間によって回復させられる。
P(1,0)=1/2[P(0,0)+P(2,0)]
P(1,2)=1/2[P(0,2)+P(2,2)]
P(0,1)=1/2[P(0,0)+P(0,2)]
P(2,1)=1/2[P(2,0)+P(2,2)]
P(1,1)=1/4[P(1,0)+P(1,2)+P(0,1)+P(2,1)]
すべての紛失したピクセルは、同様の方法で回復させられる。補間方法は、上記のアルゴリズムに限定されない。他の先進的な補間アルゴリズムが同様に用いられ得る。
カラー回復は、カラー回復モジュール176によって、ビットのシフト操作を用いて実施される。デコードされた背景画像が7ビットの場合、カラーの8ビットは1ビットの左シフトによって回復させられ得、一方で、カラーの10ビットは3ビットの左シフトによって回復させられ得る。
背景画像は、左の画像を回復するために左の3Dオブジェクトと共に画像合成器178に送信される。背景画像はまた、右の画像を回復するために右の3Dオブジェクトと共に別の画像合成器180に送信される。結果として、立体的画像の左および右の画像がデコードされ、回復させられる。
右のビュー画像および左のビュー画像が、ブロック190およびブロック191として示される。エンコードされた3Dパラメータはデマルチプレクサ155によってデマルチプレックスされ、デコーダ160によってデコードされ、3Dレンダリングおよびディスプレイモジュール193に送信される。3Dパラメータは、3D光景を正確にレンダリングするために用いられる。システムまたは視聴者の3Dパラメータ操作は、3Dレンダリングの品質および視聴者の3D視聴体験を変更するために提供される。
ACBIの2D下位互換性:2Dビデオとの下位互換性を可能にするために、ビデオスイッチ179が追加される。左のビュー画像および右のビュー画像が画像合成器178および180からビデオスイッチ179に送信される。左の画像ブロック191は、デコードされた左のビュー画像か、デコードされた右(ベース)のビュー画像のいずれかを表示し得る。左の画像ブロック191がデコードされた左のビュー画像を表示する場合、モードは3Dビューである。左の画像ブロック191がデコードされた右のビュー画像を表示する場合、モードは2Dビューである。
本明細書に記載される、3Dオブジェクトの分割に基づくACBIシステムおよびプロセスは、2Dビデオ帯域幅の制約との、まさしく下位互換性がある。重大な帯域幅の制約をかかえる放送システムに対して、ビデオ信号の3Dコンテンツは2Dが配信される下位互換性の態様で配信され得る。コンテンツの単なる2D成分ではない完全な3Dコンテンツを配信するための、追加の帯域幅要求は、最小化される。上記で議論されてきたデータレートの削減推定値は、ACBIがデータレートを有意に減少させるので、ACBIを用いた圧縮された3Dビデオが、2Dビデオのために使用される現行のブロードキャスタの帯域幅内に合致することを示した。
2Dモードと3Dモードとの間の継ぎ目のない切り替え:
3Dから2Dへの切り替え−視聴者は3Dモードで3Dコンテンツを見ており、2Dプログラムへの変更を決断する。ACBIシステムは、3D視聴から2D視聴への継ぎ目のない移行を許可する。受信機150は、ビデオスイッチ179によって左のビューをベースのビュー(右のビュー)画像に切り替え得る。左のビュー画像は、右のビュー画像と同じものになり、3Dは継ぎ目なく2Dに切り替えられる。視聴者は3Dモードを2Dモードに切り替えるためにリモートコントローラを用い得、左のビューは右のビューに切り替えられる。両目は同じベースビュービデオを見る。
3Dから2Dへの切り替え−視聴者は3Dモードで3Dコンテンツを見ており、2Dプログラムへの変更を決断する。ACBIシステムは、3D視聴から2D視聴への継ぎ目のない移行を許可する。受信機150は、ビデオスイッチ179によって左のビューをベースのビュー(右のビュー)画像に切り替え得る。左のビュー画像は、右のビュー画像と同じものになり、3Dは継ぎ目なく2Dに切り替えられる。視聴者は3Dモードを2Dモードに切り替えるためにリモートコントローラを用い得、左のビューは右のビューに切り替えられる。両目は同じベースビュービデオを見る。
2Dから3Dへの切り替え−−視聴者は2Dモードで2Dコンテンツを見ており、3Dプログラムへの変更を決断する。システムは、2D視聴から3D視聴への継ぎ目のない移行を許可する。受信機150は、ビデオスイッチブロック179によって左のビューをベースのビュー(右のビュー)画像から左のビューに切り替え得、従って、2Dは継ぎ目なく3Dモードに切り替えられる。
前述の明細書において、発明がそれらの特定の実施形態を参照して説明されてきた。しかしながら、種々の修正および変更が本発明のより広義の精神および範囲から逸脱することなく、それらになされ得ることは明らかである。例えば、読者は、本明細書に記載されたプロセスフロー図に示されるプロセス動作の特定の順序および組み合わせが単に例示的なものであり、もしそうでなければ述べられたものであり、本発明が異なるまたは追加のプロセス動作、あるいは、プロセス動作の異なる組み合わせまたは順序を用いて実施され得ることを理解するべきである。別の実施例のように、1つの実施形態の各特徴は、他の実施形態に示される他の特徴と混合され整合され得る。当業者に公知の特徴およびプロセスは、望まれれば同様に組み入れられ得る。加えて、また明らかに、特徴は望まれれば追加され差し引かれ得る。従って、本発明は添付の特許請求範囲およびそれらの均等物にかんがみる場合を除いて限定されるべきでない。
90 信号パーサ
100 最適エンコーダ
130 一般的エンコーダ
140 マルチプレクサ/モジュレータ
150 伝送ネットワーク
155 デマルチプレクサ/デモジュレータ
160 一般的デコーダ
170 最適デコーダ
300 ディスプレイ
100 最適エンコーダ
130 一般的エンコーダ
140 マルチプレクサ/モジュレータ
150 伝送ネットワーク
155 デマルチプレクサ/デモジュレータ
160 一般的デコーダ
170 最適デコーダ
300 ディスプレイ
Claims (16)
- 三次元(3D)ビデオのためのエンコーディングプロセスであって、
第1のエンコーダシステムにおいて、第1のベース画像の背景画像を最適に圧縮するステップと、
第2のエンコーダシステムにおいて、該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするステップと
を含み、
該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングプロセス。 - 前記第1および第2の3Dオブジェクトを前記第1および第2のベース画像から分割するステップをさらに含む、請求項1に記載のプロセス。
- 前記分割するステップは、3Dオブジェクトマスクを作成するステップを含む、請求項2に記載のプロセス。
- 前記3Dオブジェクトマスクを作成するステップは、前記第1のベース画像の各ピクセルを前記第2のベース画像内の対応するピクセルと比較するステップを含む、請求項3に記載のプロセス。
- 前記背景画像を前記第1のベース画像から分割するステップをさらに含む、請求項1に記載のプロセス。
- 前記背景画像を最適に圧縮するステップは、該背景画像の各ピクセルのカラービットを減少させるステップを含む、請求項5に記載のプロセス。
- 前記背景画像を最適に圧縮するステップは、該背景画像の解像度を減少させるステップをさらに含む、請求項6に記載のプロセス。
- 前記第2のエンコーダシステムを出る前記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートが所定のデータレートよりも大きい場合に、該背景画像の各ピクセルのカラービットの削減および該背景画像の解像度の削減を増加させる、請求項7に記載のプロセス。
- 前記背景画像のフレームレートを減少させるステップをさらに含む、請求項8に記載のプロセス。
- 前記第2のエンコーダシステムを出る前記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトをモジュレートおよびマルチプレックスするステップをさらに含む、請求項9に記載のプロセス。
- 三次元(3D)ビデオのためのエンコーディングシステムであって、
第1のベース画像の背景画像を最適に圧縮するように構成されている第1のエンコーダシステムと、
該最適に圧縮された背景画像と、該第1のベース画像の第1の3Dオブジェクトと、第2のベース画像の第2の3Dオブジェクトとをエンコードするように構成されている第2のエンコーダシステムと
を含み、
該第1のエンコーダシステムによる該背景画像の該圧縮は、該第2のエンコーダシステムを出る該エンコードされた背景画像ならびに第1および第2の3Dオブジェクトのデータレートの関数である、エンコーディングシステム。 - 前記第1のエンコーダシステムにおいて、前記第1および第2の3Dオブジェクトを前記第1および第2のベース画像から分割し、前記背景画像を該第1のベース画像から分割するようにさらに構成されている、請求項11に記載のシステム。
- 前記第1のエンコーダシステムにおいて、前記背景画像の各ピクセルのカラービットを減少させるようにさらに構成されている、請求項12に記載のシステム。
- 前記第1のエンコーダシステムにおいて、前記背景画像の解像度を減少させるようにさらに構成されている、請求項13に記載のシステム。
- 前記第1のエンコーダシステムにおいて、前記背景画像のフレームレートを減少させるようにさらに構成されている、請求項14に記載のシステム。
- 前記第2のエンコーダシステムを出る前記エンコードされた背景画像ならびに第1および第2の3Dオブジェクトをモジュレートおよびマルチプレックスするように構成されているモジュレータ/マルチプレクサを含む、請求項15に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/623,183 | 2009-11-20 | ||
US12/623,183 US20110122224A1 (en) | 2009-11-20 | 2009-11-20 | Adaptive compression of background image (acbi) based on segmentation of three dimentional objects |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011109671A true JP2011109671A (ja) | 2011-06-02 |
Family
ID=44061795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010259497A Pending JP2011109671A (ja) | 2009-11-20 | 2010-11-19 | 三次元オブジェクトの分割に基づく背景画像の最適圧縮(acbi) |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110122224A1 (ja) |
JP (1) | JP2011109671A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5420074B2 (ja) * | 2010-07-02 | 2014-02-19 | パナソニック株式会社 | 映像信号変換装置、映像信号変換方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006017771A1 (en) * | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
WO2011074070A1 (ja) * | 2009-12-15 | 2011-06-23 | パイオニア株式会社 | 画像出力装置 |
US8660178B2 (en) * | 2010-07-01 | 2014-02-25 | Broadcom Corporation | Method and system for multi-layer rate control for a multi-codec system |
US20120050480A1 (en) * | 2010-08-27 | 2012-03-01 | Nambi Seshadri | Method and system for generating three-dimensional video utilizing a monoscopic camera |
JP5058354B1 (ja) * | 2011-04-19 | 2012-10-24 | 株式会社東芝 | 電子機器、表示制御方法及びプログラム |
CN103108197A (zh) * | 2011-11-14 | 2013-05-15 | 辉达公司 | 一种用于3d视频无线显示的优先级压缩方法和*** |
KR20130065074A (ko) * | 2011-12-09 | 2013-06-19 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
CN104185993B (zh) * | 2012-03-30 | 2019-02-12 | 索尼公司 | 图像处理设备和方法以及记录介质 |
US20130329985A1 (en) * | 2012-06-07 | 2013-12-12 | Microsoft Corporation | Generating a three-dimensional image |
US9064295B2 (en) | 2013-02-04 | 2015-06-23 | Sony Corporation | Enhanced video encoding using depth information |
US11218682B2 (en) * | 2015-01-21 | 2022-01-04 | Nevermind Capital Llc | Methods and apparatus for processing and or encoding images with negative parallax |
US9871967B2 (en) * | 2015-01-22 | 2018-01-16 | Huddly As | Video transmission based on independently encoded background updates |
EP3144883A1 (en) * | 2015-09-16 | 2017-03-22 | Thomson Licensing | Method and apparatus for sharpening a video image using an indication of blurring |
US10078999B2 (en) * | 2016-03-22 | 2018-09-18 | Intel Corporation | Dynamic bandwidth usage reduction for displays |
US11025882B2 (en) | 2016-04-25 | 2021-06-01 | HypeVR | Live action volumetric video compression/decompression and playback |
WO2018057866A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Multi-perspective imaging system and method |
US10846918B2 (en) * | 2017-04-17 | 2020-11-24 | Intel Corporation | Stereoscopic rendering with compression |
US10229537B2 (en) * | 2017-08-02 | 2019-03-12 | Omnivor, Inc. | System and method for compressing and decompressing time-varying surface data of a 3-dimensional object using a video codec |
US10432944B2 (en) | 2017-08-23 | 2019-10-01 | Avalon Holographics Inc. | Layered scene decomposition CODEC system and methods |
CN108055452B (zh) * | 2017-11-01 | 2020-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
CN109767389B (zh) * | 2019-01-15 | 2023-06-20 | 四川大学 | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2512894B2 (ja) * | 1985-11-05 | 1996-07-03 | ソニー株式会社 | 高能率符号化/復号装置 |
US5267333A (en) * | 1989-02-28 | 1993-11-30 | Sharp Kabushiki Kaisha | Image compressing apparatus and image coding synthesizing method |
KR950000830B1 (ko) * | 1990-06-25 | 1995-02-02 | 미쯔비시덴끼 가부시끼가이샤 | 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치 |
US5285276A (en) * | 1991-03-12 | 1994-02-08 | Zenith Electronics Corp. | Bi-rate high definition television signal transmission system |
US5706290A (en) * | 1994-12-15 | 1998-01-06 | Shaw; Venson | Method and apparatus including system architecture for multimedia communication |
US5377104A (en) * | 1993-07-23 | 1994-12-27 | Teledyne Industries, Inc. | Passive seismic imaging for real time management and verification of hydraulic fracturing and of geologic containment of hazardous wastes injected into hydraulic fractures |
AU698055B2 (en) * | 1994-07-14 | 1998-10-22 | Johnson-Grace Company | Method and apparatus for compressing images |
US5854856A (en) * | 1995-07-19 | 1998-12-29 | Carnegie Mellon University | Content based video compression system |
WO1998015117A1 (en) * | 1996-10-04 | 1998-04-09 | Nippon Telegraph And Telephone Corporation | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method |
US6167155A (en) * | 1997-07-28 | 2000-12-26 | Physical Optics Corporation | Method of isomorphic singular manifold projection and still/video imagery compression |
US6477201B1 (en) * | 1998-05-22 | 2002-11-05 | Sarnoff Corporation | Content-adaptive compression encoding |
US6256423B1 (en) * | 1998-09-18 | 2001-07-03 | Sarnoff Corporation | Intra-frame quantizer selection for video compression |
US6281903B1 (en) * | 1998-12-04 | 2001-08-28 | International Business Machines Corporation | Methods and apparatus for embedding 2D image content into 3D models |
US20040028130A1 (en) * | 1999-05-24 | 2004-02-12 | May Anthony Richard | Video encoder |
US6502139B1 (en) * | 1999-06-01 | 2002-12-31 | Technion Research And Development Foundation Ltd. | System for optimizing video on demand transmission by partitioning video program into multiple segments, decreasing transmission rate for successive segments and repeatedly, simultaneously transmission |
US6873723B1 (en) * | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6853755B2 (en) * | 2001-03-28 | 2005-02-08 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive compression of scanned documents |
US6792140B2 (en) * | 2001-04-26 | 2004-09-14 | Mitsubish Electric Research Laboratories, Inc. | Image-based 3D digitizer |
US20050063596A1 (en) * | 2001-11-23 | 2005-03-24 | Yosef Yomdin | Encoding of geometric modeled images |
US7203356B2 (en) * | 2002-04-11 | 2007-04-10 | Canesta, Inc. | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
JP2006518960A (ja) * | 2003-02-21 | 2006-08-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ショット切れ目検出 |
US7139433B2 (en) * | 2003-03-13 | 2006-11-21 | Sharp Laboratories Of America, Inc. | Compound image compression method and apparatus |
US7415162B2 (en) * | 2003-05-27 | 2008-08-19 | Zaxel Systems, Inc. | Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements |
US7428341B2 (en) * | 2003-05-27 | 2008-09-23 | Zaxel Systems, Inc. | Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements |
US7113200B2 (en) * | 2004-05-21 | 2006-09-26 | Polycom, Inc. | Method and system for preparing video communication image for wide screen display |
US7292257B2 (en) * | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
JP4928451B2 (ja) * | 2004-07-30 | 2012-05-09 | ユークリッド・ディスカバリーズ・エルエルシー | ビデオデータを処理する装置および方法 |
US7436981B2 (en) * | 2005-01-28 | 2008-10-14 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
US7358975B2 (en) * | 2004-11-02 | 2008-04-15 | Microsoft Corporation | Texture-based packing, such as for packing 8-bit pixels into one bit |
US20080246759A1 (en) * | 2005-02-23 | 2008-10-09 | Craig Summers | Automatic Scene Modeling for the 3D Camera and 3D Video |
WO2007066709A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
US20070201502A1 (en) * | 2006-02-28 | 2007-08-30 | Maven Networks, Inc. | Systems and methods for controlling the delivery behavior of downloaded content |
WO2008039371A2 (en) * | 2006-09-22 | 2008-04-03 | Objectvideo, Inc. | Video background replacement system |
US20080240230A1 (en) * | 2007-03-29 | 2008-10-02 | Horizon Semiconductors Ltd. | Media processor with an integrated TV receiver |
-
2009
- 2009-11-20 US US12/623,183 patent/US20110122224A1/en not_active Abandoned
-
2010
- 2010-11-19 JP JP2010259497A patent/JP2011109671A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5420074B2 (ja) * | 2010-07-02 | 2014-02-19 | パナソニック株式会社 | 映像信号変換装置、映像信号変換方法 |
US8942547B2 (en) | 2010-07-02 | 2015-01-27 | Panasonic Corporation | Video signal converting apparatus and video signal converting method |
Also Published As
Publication number | Publication date |
---|---|
US20110122224A1 (en) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011109671A (ja) | 三次元オブジェクトの分割に基づく背景画像の最適圧縮(acbi) | |
JP5763184B2 (ja) | 3次元画像に対する視差の算出 | |
US7027659B1 (en) | Method and apparatus for generating video images | |
CN107615338B (zh) | 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置 | |
US8447096B2 (en) | Method and device for processing a depth-map | |
TWI685679B (zh) | 用於全視差壓縮光場三維成像系統之方法 | |
Fehn et al. | Key technologies for an advanced 3D TV system | |
US9077966B2 (en) | Apparatus and method for processing video content | |
US20090190662A1 (en) | Method and apparatus for encoding and decoding multiview video | |
US9473788B2 (en) | Frame-compatible full resolution stereoscopic 3D compression and decompression | |
EP2932711B1 (en) | Apparatus and method for generating and rebuilding a video stream | |
Pourazad et al. | Generating the depth map from the motion information of H. 264-encoded 2D video sequence | |
KR20140041489A (ko) | 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전 | |
WO2013001165A1 (en) | A method, a system, a viewing device and a computer program for picture rendering | |
US20180350038A1 (en) | Methods and Systems for Light Field Compression With Residuals | |
EP3437319A1 (en) | Multi-camera image coding | |
US9628769B2 (en) | Apparatus and method for generating a disparity map in a receiving device | |
Fezza et al. | Perceptually driven nonuniform asymmetric coding of stereoscopic 3d video | |
KR20130138156A (ko) | 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법 | |
Shao et al. | JND-based asymmetric coding of stereoscopic video for mobile 3DTV applications | |
JP2004242000A (ja) | 符号化装置および方法、並びに復号装置および方法 | |
Meuel et al. | Illumination change robust, codec independent lowbit rate coding of stereo from singleview aerial video | |
Emori et al. | Data format and view synthesis for free-viewpoint video streaming of super multiview video | |
Bang et al. | Effects of selection of a reference view on quality improvement of hybrid 3DTV | |
Zhang et al. | Guest Editorial Special Issue on 3D-TV Horizon: Contents, Systems, and Visual Perception |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20111007 |