JP7415937B2 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP7415937B2 JP7415937B2 JP2020550270A JP2020550270A JP7415937B2 JP 7415937 B2 JP7415937 B2 JP 7415937B2 JP 2020550270 A JP2020550270 A JP 2020550270A JP 2020550270 A JP2020550270 A JP 2020550270A JP 7415937 B2 JP7415937 B2 JP 7415937B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- data
- information
- decoding
- management information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 164
- 238000000034 method Methods 0.000 title description 76
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 230000002441 reversible effect Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
1.第1の実施の形態(符号化装置)
2.第2の実施の形態(復号装置)
3.ユースケース
4.第3の実施の形態(符号化装置)
5.第4の実施の形態(復号装置)
6.付記
<技術内容・技術用語をサポートする文献等>
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献2:Ohji Nakagami, Phil Chou, Maja Krivokuca, Khaled Mammou, Robert Cohen, Vladyslav Zakharchenko, Gaelle Martin-Cocher, "Second Working Draft for PCC Categories 1, 3",ISO/IEC JTC1/SC29/WG11, MPEG 2018/N17533, April 2018, San Diego, US
非特許文献3:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献4:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
非特許文献5:Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
従来、点群の位置情報や属性情報等により3次元構造を表すポイントクラウド(Point cloud)や、頂点、エッジ、面で構成され、多角形表現を使用して3次元形状を定義するメッシュ(Mesh)等の3Dデータが存在した。
このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル(Voxel)を用いた符号化方法が考えられた。ボクセルは、符号化対象の位置情報を量子化するための3次元領域である。つまり、ポイントクラウドを内包する3次元領域をボクセルと称する小さな3次元領域に分割し、そのボクセル毎に、ポイントを内包するか否かを示す。このようにすることにより、各ポイントの位置はボクセル単位に量子化される。したがって、ポイントクラウド(Point cloud)データをこのようなボクセルのデータ(ボクセル(Voxel)データとも称する)に変換することにより、情報量の増大を抑制する(典型的には情報量を削減する)ことができる。
さらに、このようなボクセル(Voxel)データを用いてOctreeを構築することが考えられた。Octreeは、ボクセルデータを木構造化したものである。Octreeの各ノードは、8ビットのデータにより構成され、各ビットの値は、2×2×2の小領域のそれぞれにおけるポイントの有無を示す。つまり、Octreeは、3次元領域を再帰的に分割し、階層化された小領域毎にデータの有無を示す。Octreeの最下位のノードの各ビットは、ボクセル(Voxel)のポイントの有無を示す。そのため、Octreeはノード間で依存関係が生じるので、その一部を復号する場合であっても、全体を探索してOctree全体の構成を再現してから所望の領域を切り出す必要が有り、処理量やメモリ等リソース使用量が不要に増大する。
そこで、エンコーダが、3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックの管理情報を生成するようにする。例えば、エンコーダ(画像処理装置)において、3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックの管理情報を生成する管理情報生成部を備えるようにする。
図1は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図1に示される符号化装置100は、ポイントクラウドのような3Dデータをボクセル(Voxel)およびOctreeを用いて符号化する装置である。
次にブロックについて説明する。2次元画像の符号化におけるスライスやタイルは、画像全体を分割したものである。3次元空間に当てはめると、ポイントクラウド全体を内包する3次元空間領域121(図2のA)を処理対象とし、その処理対象の3次元空間領域を表す3次元空間領域121を複数に分割することによりスライスやタイルが形成される。その場合、スライスやタイルの位置、形状、大きさ等は、3次元空間領域121の位置、形状、大きさ等に依存することになる。
次に、ビットストリームについて説明する。符号化装置100は、例えば、図3のAに示されるようなデータ構造を有するビットストリームを生成する。図3のAにおいて、ビットストリーム141は、符号化装置100により生成されるビットストリームであり、スタートコード(start_code)、シーケンスヘッダ(Seq_Header_info)、並びに、ブロックデータ(Block_data(0)、Block_data(1)、・・・、Block_data(n))を有する。
次に、管理情報生成部102により生成される管理情報について説明する。管理情報には、各ブロックの具体的な領域情報を含み、さらに付加的情報(解像度等)を含めることができる。例えば、管理情報には、図4の表151に示されるような各種情報を含めることができる。
ブロック情報は必須の情報である。ブロック情報は、例えば図4の表151に示されるような、ブロック識別情報、ブロック位置、ブロックサイズ、およびデータ位置等の情報の内の少なくともいずれか1つを含む。もちろん、ブロック情報は、ブロックに関する情報であればよく、上述の情報以外の情報が含まれていてもよい。
ポイント情報は、例えば、図4の表151に示されるように、解像度、構造物、および信頼度等の情報の内の少なくともいずれか1つを含む。
属性情報は、例えば、図4の表151に示されるように、色、法線、および反射率等の情報の内の少なくともいずれか1つを含む。
取得情報は、例えば、図4の表151に示されるように、時刻、計算手法、センサ、取得位置、および取得者等の情報の内の少なくともいずれか1つを含む。
また、管理情報には、ポイントクラウド全体を含む3次元空間領域全体(全体領域とも称する)に関する情報である全体領域情報が含まれるようにしてもよい。
図7は、符号化部103(図1)の主な構成例を示すブロック図である。図7に示される世に、符号化部103は、Voxel生成部181、Octree生成部182、および可逆符号化部183を有する。
次に、符号化装置100により実行される符号化処理の流れの例を、図8のフローチャートを参照して説明する。
次に、図8のステップS105において実行されるブロック符号化処理に流れの例を、図9のフローチャートを参照して説明する。
<復号装置>
図10は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図10に示される復号装置200は、図1の符号化装置100に対応する復号装置であり、例えばこの符号化装置100により生成された3Dデータ(例えばポイントクラウド)の符号化データ(ビットストリーム)を復号し、3Dデータを復元する装置である。
ビットストリームバッファ202は、ビットストリームに関する処理を行う。例えば、ビットストリームバッファ202は、復号装置200に入力されるビットストリームを取得し、保持する。また、ビットストリームバッファ202は、その保持しているビットストリームを制御部201に供給する。なお、ビットストリームバッファ202は、保持しているビットストリームから管理情報を抽出し、その抽出した管理情報を制御部201に供給するようにしてもよい。また、ビットストリームバッファ202は、ブロック選択部211から供給されるブロック選択情報を取得する。さらに、ビットストリームバッファ202は、そのブロック選択情報に基づいて、保持しているビットストリームから、ブロック選択部211により選択されたブロック(ブロック選択情報により指定されるブロック)のビットストリーム(ブロックビットストリーム)を抽出し、それを復号部203に供給する。
復号部203は、復号に関する処理を行う。例えば、復号部203は、ビットストリームバッファ202から供給されるブロックビットストリームを取得する。復号部203は、そのブロックビットストリームを復号し、ブロック選択部211により選択されたブロックのポイントクラウドデータ(ブロックポイントクラウドデータ)を生成する。なお、復号制御部212から復号制御情報が供給される場合、復号部203は、その復号制御情報を取得し、その情報に従って復号を行う。復号部203は、生成したブロックポイントクラウドデータを編集部204に供給する。
編集部204は、復号部203による復号の結果であるブロックポイントクラウドデータに対する編集に関する処理を行う。例えば、編集部204は、復号部203から供給されるブロックポイントクラウドデータを取得する。また、編集部204は、編集制御部213から供給される編集制御情報を取得する。さらに、編集部204は、その編集制御情報に基づいてブロックポイントクラウドデータを編集する。
例えば、図11のAにしめされるような矩形のブロック231が設定され、このブロック231が図11のBのように3×3×3個並べて配置された3次元空間領域が設定されているとする。
図12は、図10の復号部203の主な構成例を示すブロック図である。図12に示されるように復号部203は、可逆復号部251、Octree復号部252、およびVoxel復号部253を有する。
次に、この復号装置200により実行される復号処理の流れの例を、図13のフローチャートを参照して説明する。
ステップS203において、ブロック選択部211は、ステップS201の処理により取得されたビットストリームから抽出された管理情報と、ステップS202において受け付けた指定情報とに基づいて、復号するブロックを選択する。
ステップS206において、復号部203は、ブロック復号処理を実行し、ステップS205において設定された復号方法で、ステップS204において抽出されたブロックのビットストリームを復号し、そのブロックのポイントクラウドデータを生成する。
図13のステップS206において実行されるブロック復号処理の流れの例を、図14のフローチャートを参照して説明する。
次に、上述の符号化装置100および復号装置200のユースケースについて説明する。例えば、図15のAに示されるようなブロックB0乃至ブロックB4が設定されているとする。ブロックのWorld座標での位置をBn(add)(= (x,y,z))とし、サイズをBn(size)(= size)とする。この場合、ブロックB0乃至ブロックB4の位置およびサイズは、図15のBの各式のように設定されている。同様の式を以下にも示す。
B1(add) = (10,0,0), B1(size) = 10
B2(add) = (0,10,0), B2(size) = 10
B3(add) = (10,10,0), B3(size) = 10
B4(add) = (5,5,5), B4(size) = 10
例えば、図15のCに示されるような領域の3Dデータの復号が指定情報により指定されるとする。この範囲を以下にも示す。
例えば、図15のDに示されるような領域の3Dデータの復号が指定情報により指定されるとする。この範囲を以下にも示す。
例えば、図15のEに示されるような領域の3Dデータの復号が指定情報により指定されるとする。この範囲を以下にも示す。
<符号化装置の他の構成例1>
なお、符号化装置100の構成は、任意であり、<1.第1の実施の形態>において説明した構成例(図1)に限定されない。例えば、図16に示されるように、符号化装置100が、符号化部103の代わりに、互いに並列に処理を実行可能な複数の符号化部103-Nを有するようにしてもよい。この場合、ブロック設定部101において複数のブロックが設定されると、各ブロックのポイントクラウドデータ(ブロックポイントクラウドデータ)は互いに異なる符号化部103-Nに供給され、互いに独立に符号化される。そして、ビットストリーム生成部104は、各符号化部103-Nから供給されるブロックポイントクラウド符号化データを取得し、それらのブロックポイントクラウド符号化データと、管理情報とを含むビットストリームを生成する。
また、図17に示されるように、図16の構成例からさらにビットストリーム生成部を省略するようにしてもよい。この場合、各符号化部103-Nにおいて生成されたブロックポイントクラウドビットストリームと、管理情報生成部102において生成された管理情報とは、それぞれ個別の情報として出力される。
<復号装置の他の構成例1>
符号化装置100の場合と同様に復号装置200も、その構成は、任意であり、<2.第2の実施の形態>において説明した構成例(図10)に限定されない。例えば、図18に示されるように、復号装置200が、復号部203の代わりに、互いに並列に処理を実行可能な複数の復号部203-Nを有するようにしてもよい。この場合、制御部201において複数のブロックが復号対象として設定されると、各ブロックのビットストリーム(ブロックビットストリーム)は互いに異なる復号部203-Nに供給され、互いに独立に復号される。そして、編集部204は、各復号部203-Nから供給されるブロックポイントクラウドデータを取得し、それらを編集してポイントクラウドデータを生成する。
また、図18に示されるように、複数のブロックビットストリームと管理情報が復号装置200に入力されるようにしてもよい。この場合、ビットストリームバッファ202は、復号装置200に入力される複数のブロックビットストリームと管理情報を取得し、保持する。そして、ビットストリームバッファ202は、取得した管理情報を制御部201に供給し、ブロック選択情報に従って、制御部201により選択されたブロックのブロックビットストリームを読み出し、復号部203-Nに供給する。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の3Dデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、3Dデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
(1) 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックの管理情報を生成する管理情報生成部
を備える画像処理装置。
(2) 前記管理情報は、前記ブロックに関する情報であるブロック情報を含む
(1)に記載の画像処理装置。
(3) 前記ブロック情報は、前記ブロックの識別情報、前記ブロックの位置、前記ブロックのサイズ、および前記ブロックのデータの位置の内の少なくといずれか1つを含む
(2)に記載の画像処理装置。
(4) 前記管理情報は、前記ブロック内の前記3Dデータの位置情報に関する情報である位置情報を含む
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記位置情報は、前記3Dデータの解像度、前記3Dデータが表す前記3次元構造、および前記3Dデータの信頼度の内の少なくともいずれか1つを含む
(4)に記載の画像処理装置。
(6) 前記管理情報は、前記ブロック内の前記3Dデータの属性情報に関する情報である属性情報を含む
(1)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記属性情報は、前記3Dデータの色、法線、および反射率の内の少なくともいずれか1つを含む
(6)に記載の画像処理装置。
(8) 前記管理情報は、前記3Dデータの取得に関する情報である取得情報を含む
(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記取得情報は、前記3Dデータの取得時刻、前記3Dデータの計算手法、前記3Dデータの取得に用いたセンサ、前記3Dデータの取得位置、および前記3Dデータの取得者の内の少なくともいずれか1つを含む
(8)に記載の画像処理装置。
(10) 前記管理情報は、3次元空間領域全体に関する情報である全体領域情報を含む
(1)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記全体領域情報は、前記3次元空間領域全体の位置、前記3次元空間領域全体のサイズ、前記3次元空間領域に含まれるブロックに関する情報、前記3次元空間領域に含まれる全ブロックに共通の管理情報の内の少なくともいずれか1つを含む
(10)に記載の画像処理装置。
(12) 前記3Dデータの符号化データと、前記管理情報生成部により生成された前記管理情報とを含むビットストリームを生成するビットストリーム生成部
をさらに備える(1)乃至(11)のいずれかに記載の画像処理装置。
(13) 前記管理情報生成部により生成された前記管理情報により管理される前記ブロックを設定するブロック設定部
をさらに備える(1)乃至(12)のいずれかに記載の画像処理装置。
(14) 前記ブロック設定部により設定された前記ブロック内の前記3Dデータを符号化する符号化部
をさらに備える(13)に記載の画像処理装置。
(15) 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックの管理情報を生成する
画像処理方法。
前記ブロック選択部により選択された前記ブロック内の前記3Dデータの符号化データを復号する復号部と
を備える画像処理装置。
(17) 前記管理情報と前記ユーザによる指示とに基づいて、前記復号部による前記符号化データの復号を制御する復号制御部
をさらに備える(16)に記載の画像処理装置。
(18) 前記管理情報と前記ユーザによる指示とに基づいて、前記3Dデータの編集を制御する編集制御部と、
前記編集制御部の制御に従って、前記復号部により前記符号化データが復号されて生成された前記3Dデータを編集する編集部と
をさらに備える(16)または(17)に記載の画像処理装置。
(19) 前記3次元空間領域の全体の前記3Dデータの符号化データから、前記ブロック選択部により選択された前記ブロック内の前記3Dデータの符号化データを抽出する抽出部をさらに備え、
前記復号部は、前記抽出部により抽出された、前記ブロック選択部により選択された前記ブロック内の前記3Dデータの符号化データを復号する
(16)乃至(18)のいずれかに記載の画像処理装置。
(20) 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックの管理情報に基づいて、ユーザにより指定された条件を満たす前記ブロックを選択し、
選択された前記ブロック内の前記3Dデータの符号化データを復号する
画像処理方法。
Claims (20)
- 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックを管理するための情報であって、前記ブロック毎の領域の大きさおよび形状を示す情報を含む管理情報を生成する管理情報生成部
を備える画像処理装置。 - 前記ブロックは、前記ブロック同士で領域の一部または全部が重複し得る
請求項1に記載の画像処理装置。 - 前記ブロック毎の領域の大きさおよび形状を示す情報は、前記ブロックの各辺の長さにより前記領域の大きさおよび形状を示す
請求項1に記載の画像処理装置。 - 前記ブロック毎の領域の大きさおよび形状を示す情報は、前記ブロックの複数の頂点座標により前記領域の大きさおよび形状を示す
請求項1に記載の画像処理装置。 - 前記複数の頂点座標は、前記ブロックの対角位置にある2頂点の座標である
請求項4に記載の画像処理装置。 - 前記管理情報は、前記ブロック内の前記3Dデータの解像度に関する情報を含む
請求項1に記載の画像処理装置。 - 前記解像度に関する情報は、前記ブロック内の前記3Dデータの解像度の最小値、最大値、平均値、または中央値を含む
請求項6に記載の画像処理装置。 - 前記管理情報は、前記ブロック内の前記3Dデータの信頼度に関する情報を含む
請求項1に記載の画像処理装置。 - 前記信頼度に関する情報は、前記3Dデータの信頼度を絶対値または相対値で示す情報である
請求項8に記載の画像処理装置。 - 前記管理情報は、前記3Dデータの取得時刻、前記3Dデータの計算手法、前記3Dデータの取得位置、および前記3Dデータの取得者の内の少なくともいずれか1つを含む
請求項1に記載の画像処理装置。 - 前記管理情報は、前記3Dデータの色、前記3Dデータの法線、前記3Dデータの反射率、前記3次元空間領域全体の位置、前記3次元空間領域全体のサイズ、前記3次元空間領域に含まれるブロックに関する情報、前記3次元空間領域に含まれる全ブロックに共通の管理情報の内の少なくともいずれか1つを含む
請求項1に記載の画像処理装置。 - 前記3Dデータの符号化データと、前記管理情報生成部により生成された前記管理情報とを含むビットストリームを生成するビットストリーム生成部
をさらに備える請求項1に記載の画像処理装置。 - 前記管理情報生成部により生成された前記管理情報により管理される前記ブロックを設定するブロック設定部
をさらに備える請求項1に記載の画像処理装置。 - 前記ブロック設定部により設定された前記ブロック内の前記3Dデータを符号化する符号化部
をさらに備える請求項13に記載の画像処理装置。 - 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックを管理するための情報であって、前記ブロック毎の領域の大きさおよび形状を示す情報を含む管理情報を生成する
画像処理方法。 - 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックを管理するための情報であって、前記ブロック毎の領域の大きさおよび形状を示す情報を含む管理情報に基づいて、ユーザにより指定された条件を満たす前記ブロックを選択するブロック選択部と、
前記ブロック選択部により選択された前記ブロック内の前記3Dデータの符号化データを復号する復号部と
を備える画像処理装置。 - 前記管理情報と前記ユーザによる指示とに基づいて、前記復号部による前記符号化データの復号を制御する復号制御部
をさらに備える請求項16に記載の画像処理装置。 - 前記管理情報と前記ユーザによる指示とに基づいて、前記3Dデータの編集を制御する編集制御部と、
前記編集制御部の制御に従って、前記復号部により前記符号化データが復号されて生成された前記3Dデータを編集する編集部と
をさらに備える請求項16に記載の画像処理装置。 - 前記3次元空間領域の全体の前記3Dデータの符号化データから、前記ブロック選択部により選択された前記ブロック内の前記3Dデータの符号化データを抽出する抽出部をさらに備え、
前記復号部は、前記抽出部により抽出された、前記ブロック選択部により選択された前記ブロック内の前記3Dデータの符号化データを復号する
請求項16に記載の画像処理装置。 - 3次元構造を表す3Dデータを含む所定の3次元空間領域の部分領域であるブロックを管理するための情報であって、前記ブロック毎の領域の大きさおよび形状を示す情報を含む管理情報に基づいて、ユーザにより指定された条件を満たす前記ブロックを選択し、
選択された前記ブロック内の前記3Dデータの符号化データを復号する
画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187489 | 2018-10-02 | ||
JP2018187489 | 2018-10-02 | ||
PCT/JP2019/036471 WO2020071116A1 (ja) | 2018-10-02 | 2019-09-18 | 画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020071116A1 JPWO2020071116A1 (ja) | 2021-09-24 |
JP7415937B2 true JP7415937B2 (ja) | 2024-01-17 |
Family
ID=70055885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550270A Active JP7415937B2 (ja) | 2018-10-02 | 2019-09-18 | 画像処理装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220038674A1 (ja) |
JP (1) | JP7415937B2 (ja) |
CN (1) | CN112789658A (ja) |
WO (1) | WO2020071116A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230109732A (ko) * | 2020-12-25 | 2023-07-20 | 니폰 덴신 덴와 가부시끼가이샤 | 복호 방법, 복호 장치 및 프로그램 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000194843A (ja) | 1998-12-01 | 2000-07-14 | Samsung Electronics Co Ltd | エラ―回復性を有する漸進的三次元メッシュ情報の符号化/復号化方法 |
WO2007074912A1 (ja) | 2005-12-27 | 2007-07-05 | Nec Corporation | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
JP2010507137A (ja) | 2006-10-13 | 2010-03-04 | ライカ ジオシステムズ アクチェンゲゼルシャフト | 点座標を正確に表示する能力を有する、画像がマップされたポイントクラウド |
WO2018083999A1 (ja) | 2016-11-01 | 2018-05-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 表示方法及び表示装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100703715B1 (ko) * | 2005-05-17 | 2007-04-06 | 한국전자통신연구원 | 다시점 3차원 동영상 송수신 시스템 |
US9524773B2 (en) * | 2013-09-14 | 2016-12-20 | Peter Wung Lee | Multi-task concurrent/pipeline NAND operations on all planes |
US9756359B2 (en) * | 2013-12-16 | 2017-09-05 | Qualcomm Incorporated | Large blocks and depth modeling modes (DMM'S) in 3D video coding |
US20170214943A1 (en) * | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Research Laboratories, Inc. | Point Cloud Compression using Prediction and Shape-Adaptive Transforms |
US11297346B2 (en) * | 2016-05-28 | 2022-04-05 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
CN108833927B (zh) * | 2018-05-03 | 2019-08-16 | 北京大学深圳研究生院 | 一种基于删除量化矩阵中0元素的点云属性压缩方法 |
-
2019
- 2019-09-18 JP JP2020550270A patent/JP7415937B2/ja active Active
- 2019-09-18 CN CN201980063957.1A patent/CN112789658A/zh active Pending
- 2019-09-18 US US17/278,525 patent/US20220038674A1/en active Pending
- 2019-09-18 WO PCT/JP2019/036471 patent/WO2020071116A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000194843A (ja) | 1998-12-01 | 2000-07-14 | Samsung Electronics Co Ltd | エラ―回復性を有する漸進的三次元メッシュ情報の符号化/復号化方法 |
WO2007074912A1 (ja) | 2005-12-27 | 2007-07-05 | Nec Corporation | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
JP2010507137A (ja) | 2006-10-13 | 2010-03-04 | ライカ ジオシステムズ アクチェンゲゼルシャフト | 点座標を正確に表示する能力を有する、画像がマップされたポイントクラウド |
WO2018083999A1 (ja) | 2016-11-01 | 2018-05-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 表示方法及び表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020071116A1 (ja) | 2021-09-24 |
US20220038674A1 (en) | 2022-02-03 |
CN112789658A (zh) | 2021-05-11 |
WO2020071116A1 (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7359153B2 (ja) | 画像処理装置および方法 | |
JP7384159B2 (ja) | 画像処理装置および方法 | |
JP7327166B2 (ja) | 画像処理装置および方法 | |
WO2019198523A1 (ja) | 画像処理装置および方法 | |
US20210233278A1 (en) | Image processing apparatus and method | |
WO2021065536A1 (ja) | 情報処理装置および方法 | |
JP7424299B2 (ja) | 画像処理装置および方法 | |
WO2021010200A1 (ja) | 情報処理装置および方法 | |
KR20220122995A (ko) | 정보 처리 장치 및 방법 | |
JP7415937B2 (ja) | 画像処理装置および方法 | |
JP7396302B2 (ja) | 画像処理装置および方法 | |
US20220044448A1 (en) | Image processing device and method | |
US20230179797A1 (en) | Image processing apparatus and method | |
US20220353493A1 (en) | Information processing apparatus and method | |
WO2022075079A1 (ja) | 情報処理装置および方法 | |
WO2020145140A1 (ja) | 情報処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7415937 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |