CN117378203A - 多视图视频编码和解码 - Google Patents
多视图视频编码和解码 Download PDFInfo
- Publication number
- CN117378203A CN117378203A CN202180098567.5A CN202180098567A CN117378203A CN 117378203 A CN117378203 A CN 117378203A CN 202180098567 A CN202180098567 A CN 202180098567A CN 117378203 A CN117378203 A CN 117378203A
- Authority
- CN
- China
- Prior art keywords
- view
- image data
- bitstream
- image
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007429 general method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
多视图视频数据编码和/或解码，考虑了：对与第一视图相关的第一图像数据进行特征检测，以获得对应于第一视图的第一组特征；对与第二视图相关的第二图像数据进行特征检测，以获得对应于第二视图的第二组特征；对第一组特征和第二组特征进行特征匹配，以识别具有共同特性的区域；基于具有共同特性的区域对第二输入图像数据进行预测，以生成残差数据比特流。
Description
技术领域
本发明涉及图像和/或视频处理的技术领域，尤其涉及针对一个以上视图(即所谓的“多视图”视频)的图像、图片、图片流、以及视频的编解码、解码、或编码。更具体地，本发明涉及图像以及从这些图像中提取的特征的联合编码和解码。在具体方面，本发明涉及对应的方法和设备。
背景技术
视频压缩是一项具有挑战性的技术，尤其是在网络和无线网络内容传输的背景下变得越来越重要。传统的视频和图像压缩的发展已经独立于图像和视频的特征的编码。对于需要在基于视频的***的各个位置进行高级视频分析的当代应用来说，这样的方法似乎效率低下，这些应用包括联网车辆、高级物流、智慧城市、智能视频监控、自动驾驶汽车(包括汽车、无人机、无人驾驶卡车、以及拖拉机)、以及许多其他与物联网(Internet ofThings，IoT)以及增强和虚拟现实***相关的应用。大多数这样的***使用容量有限的传输链路，特别是由于物理、技术、以及经济限制而吞吐量有限的无线链路。因此，压缩技术对于这些应用至关重要。
在上述应用中，使用视频或图像的通常不是人而是各种不同类型的机器：导航***、自动识别和分类***、分类***、事故预防***、安全***、监视***、访问控制***、交通控制***、防火和防爆***、远程操作(例如远程手术或治疗)和虚拟会议***(例如虚拟沉浸)、以及许多其他***。在这样的应用中，压缩技术的设计应使得当使用解压缩的图像或视频时不会阻碍自动视频分析。
除了“简单的”视频和图像***之外，还有一些***提供某一场景的一个以上的单一视图，这通常称为“多视图(multiview)”视频和图像。多视图的一个示例是三维(three-dimensional，3D)视频，其中，用户可以观赏给定场景的综合视图和空间视图。例如，端到端3D***中的多视图视频的压缩可能对数据和信息传输提出了大量要求。因此，可能需要减少视觉信息量。由于多个相机通常具有共同/重叠的视场，因此如果利用视图间冗余，则可以实现高压缩比。视图间预测用于从先前编码的视图i预测视图i+1的内容。这种视图间预测数十年来就已为人所知。
编解码通常包括编码和解码。编码是压缩的过程，也可能改变图像或视频内容的格式。因为编码减少了通过有线或无线网络传输图像或视频所需的带宽，所以编码很重要。另一方面，解码是解码或解压缩编码或压缩的图像或视频的过程。由于编码和解码适用于不同的设备，因此开发了编码和解码(称为编解码(codec))的标准。编解码通常是用于对图像和视频进行编码和解码的算法。
通常，图像数据在编码器侧被编码以生成比特流。通过数据通信将这些比特流传送到解码侧，在解码侧对这些比特流进行解码，以重建图像数据。因此，图像、图片、以及视频可以以比特流的形式通过数据通信从编码器(发射器侧)移动到解码器(接收侧)，而该数据通信的任何限制都可能导致比特流的丢失和/或延迟，这最终可能导致解码和接收侧的图像质量降低。尽管图像数据编解码和特征检测已经为通信提供了大量的数据缩减，但是传统的技术仍然存在各种缺点。
因此，需要一种用于多视图视频和图像编解码的高效技术。与以相同的总比特率对图像或视频和视觉特征进行独立编解码相比，上述解码的图像或视频和视觉特征应保持更好的质量。
发明内容
上述问题和缺点通过独立权利要求的主题来解决。在从属权利要求中定义了其他优选实施例。具体地，本发明的各实施例可以提供接收侧的关于重建的多视图图像或视频的质量和保真度的实质性益处，同时仍然通过涉及用于传送比特流的数据通信来保持或甚至降低需要的数据吞吐量。其他优点还可以包括减少在编码器/发射器侧和解码/接收侧中的任何一个处的数据处理。
根据本发明的一个方面，提供了一种多视图视频数据编码方法，该方法包括以下步骤：对与第一视图相关的第一图像数据执行特征检测，以获得对应于第一视图的第一组特征；基于与第一视图相关的第一图像数据生成图像比特流；对与第二视图相关的第二图像数据执行特征检测，以获得对应于第二视图的第二组特征；执行第一组特征和第二组特征的特征匹配，以识别具有共同特性的区域；基于具有共同特性的区域对第二输入图像数据执行预测，以生成残差数据比特流。
根据本发明的一个方面，提供了一种多视图视频数据解码方法，该方法包括以下步骤：获得图像比特流；获得残差数据比特流；解码由图像比特流传送的编码图像数据，以获得与第一视图相关的第一图像数据；从残差数据比特流获得预测误差；根据预测误差和解码的第一图像数据的至少一部分生成与第二视图相关的第二图像数据。
根据本发明的其他各个方面，提供了对应的多视图视频数据编码设备、对应的多视图视频数据解码设备、以及对应的计算机程序。
附图说明
示出本发明的各实施例是为了更好地理解本发明的概念，但不应视为限制本发明，现在将参照附图来描述这些实施例，在附图中：
图1A示出了本发明的配置实施例的示意图；
图1B示出了本发明的其他配置实施例的示意图；
图2A和图2B示出了用于定义图像中的区域的示例性实施例，
图3A示出了根据本发明实施例的编码侧的一般设备实施例的示意图；
图3B示出了根据本发明实施例的解码侧的一般设备实施例的示意图；
图4A和图4B示出了本发明的一般方法实施例的流程图；以及
图5示出了本发明实施例的一般应用的组件的示意图。
具体实施方式
图1A示出了本发明的配置实施例的示意图。具体地，示出了根据本发明的各个实施例的多视图视频数据编码和解码(通常是编解码)的一般方面和特征。具体地，示出了提供与某一给定场景的第一视图31相关的第一输入图像数据41。例如，第一视图可以对应于3D视频***中场景的左眼视图。该***可以包括第一编码器11，第一编码器11用于对第一输入图像数据41进行编码，以基于与第一视图31相关的第一图像数据生成第一图像比特流51。
在第一特征检测器13中，对与第一视图31相关的第一图像数据执行特征检测，以获得对应于该第一视图的第一组特征61。可以直接从第一输入图像数据41检测特征或者从编码并再次解码的图像数据检测特征。对于后一种选项，可以提供对来自第一编码器11的输出进行解码的本地解码器12。因此，该选项包括对与第一视图31相关的第一输入图像数据41进行编码，以获得编码图像数据作为生成图像比特流51的基础，并对编码图像数据进行解码，以获得解码图像数据，其中，特征检测器13对解码的编码图像数据进行特征检测，以获得第一组特征61。
在第二特征检测器15中，对与第二视图32相关的第二图像数据42执行特征检测，以获得对应于第二视图的第二组特征62。在特征匹配器14中，执行第一组特征61和第二组特征62的特征匹配，以识别具有共同特性的区域。换句话说，识别第二视图中至少部分类似于第一视图内容的部分。应当理解，这种相似或共同的部分可以以与第一视图不同的形式出现在第二视图中。例如，共同部分可以以另一大小、偏斜、亮度、颜色、方向等重新出现在第二视图中。然而，可以根据第一视图中的部分和关于差异的信息为第二视图再现共同部分。
在预测器17中，基于具有共同特性的区域对第二输入图像数据执行预测，以生成残差数据(residual data)，该残差数据又在另一编码器18中被编码，以生成残差数据比特流59。比特流51和比特流59都可以经由网络、移动通信网络、局域网、广域网、互联网等中的任何一个从编码器侧1传送到解码器侧2。这种数据传输可以采用现有技术中已知的相应协议、技术、过程、以及基础设施。
通常，在特征匹配器14中，识别两个视图31、32中的具有共同特性的区域。为此，对第一组特征61和第二组特征62进行匹配，并且可以确定在两个视图中均存在的特征(即使以不同的形式(大小、颜色等))。这些区域可以由能够定义图像中的区域的任何合适的参数来定义。在一个实施例中，特征匹配器14确定定义具有共同特性的区域的一组位置。例如，这些位置可以是点或关键点(keypoint)的形式，点或关键点一起或与其他参数组合来定义图像中的区域。在这种情况下，可以考虑诸如SIFT、CDVS、CDVA的关键点提取方法，但不应限于明确陈述的技术。
这样，参照图2，示出了用于定义图像中的区域的示例性实施例。如图2A所示，区域72可以由一组点71(位置、关键点)来定义，这些点71被解释为矩形区域72的角，矩形区域72以图块的形式覆盖该区域。如图2B所示，区域72’可以由一组点71(位置、关键点)以及作为参数的相应半径73来定义，这些点71被解释为圆形区域72’的中心，圆形区域72’以气泡的形式覆盖该区域。
预测器17可以执行预测，执行预测包括基于具有共同特性的区域决定预测模式和/或基于具有共同特性的区域确定预测区域的范围。可以以预测大小单元的形式确定预测区域的范围。这样，在编码器侧，可以基于第一视图和第二视图中的具有共同特性的区域决定预测模式，并且在解码侧，决定的预测模式可以用于根据第一视图和预测误差(或者通常是关于第一视图和第二视图之间的差异的差异信息)生成第二视图。
在解码侧2，可以对多视图视频数据进行解码。在解码侧2获得图像比特流51，并且在解码器21中解码由图像比特流51传送的编码图像数据，以获得与第一视图31相关的第一图像数据，并在解码侧2再现相应的第一视图31’。此外，在解码器22中获得残差数据比特流59并进行解码，其中，从残差数据比特流59获得预测误差。这样，可以根据预测误差和解码的第一图像数据的至少一部分生成与第二视图32相关的第二图像数据的至少一部分。生成第二图像数据可以包括获得第二图像比特流52并解码由第二图像比特流52传送的编码图像数据，以获得剩余图像数据，剩余图像数据与第二图像数据组合用于以再现的第二视图32’的形式再现第二视图32。
通常，解码侧的各实施例还可以包括解复用来自从编码侧1接收的复用比特流的比特流。此外，图像数据通常可以包括包含、指示、和/或可被处理以获得图片、图像、图像/图片流、视频、电影等的数据，其中，具体地，流、视频、或电影可包含一个或多个图像。
图1B示出了本发明的其他配置实施例的示意图。注意，该配置类似于结合图1A呈现和公开的配置，因此省略了相同或相似特征的重复描述，同时保持相同的附图标记。在各个实施例中，在另一编码器19中基于与第二视图32相关的第二图像数据和具有共同特性的区域，生成另一图像比特流52。这样，可以通过比特流51、比特流52、以及比特流59完整且高效地传送场景。
具体地，该另一比特流52传送未以第一图像比特流51和残差比特流59的形式通过共同特征传送的第二视图的图像数据。因此，可以说，该另一比特流52传送第二视图32的剩余部分，该剩余部分对于第一视图31不是共同的或者不能从该第一视图31的任何部分预测。此外，可以提供控制单元16，控制单元16基于特征匹配器14产生的匹配特征来实现对预测器17的控制。
因此，在某种意义上，提供了一种视图间预测，该视图间预测使用关于匹配的关键点(即第一视图和第二视图(通常是第i个视图和第j个视图，其中，j可以等于(i+1))中均存在的对应关键点)的信息。然后，关于匹配的关键点的信息可以用于编码器中的视图预测。在编码器中，匹配的关键点用于视图内预测，即参考视图i预测视图j。匹配的关键点可用于对编码器中定义的数据结构提出一种预测类型，并指定由匹配的关键点的位置和预测单元的大小指示的区域。
位置或“关键点”可以从至少两个视图(例如视图i和视图j)中提取，然后检查哪些关键点是兼容的，即估计匹配的关键点的集合。关键点的空间匹配可以基于已知的和典型的匹配技术来确定。视图i中由一组匹配的关键点定义的共同区域可以被设置为视图j中的预测区域，并且预测残差可以被编码。在解码器侧，可以通过视图合成来获得预测，该视图合成使用视图i的图像片段和在视图之间发送的预测误差检索该区域。可以假设，与视图i的内容近似的内容可以以由编码器中处理的单元的结构、形状、以及大小定义的区域的形式用作视图j的预测。
因此，通过对视图i进行编码，并在解码的视图i和视图j上提取关键点，可以高效地对若干视图进行编码。编码器可以是任何图像/视频压缩技术的任何编码器。然后可以在来自解码的视图i和视图j的关键点之间执行关键点匹配。这种关键点匹配可以使用已知的技术之一。关于匹配的关键点集合的信息以及这些关键点的参数可以作为用于编码器控制的信息。具体地，该信息可用于选择预测模式。这些可以是例如根据关于关键点分析的范围的信息来确定(给定编码器类型的预测大小单元中的)预测区域的范围的决策。
在解码器侧，视图i被独立解码，而视图i+1的解码使用关于预测类型(预测方法、预测方案)的信息，其中，基于该类型执行将预测误差与视图i的解码部分组合的功能，从而创建在该预测块的该位置形成视图i+1的信息。
在解码侧2，考虑到通过残差比特流59传送的预测差异，第二解码器22可以根据已经通过第一图像比特流51传送的共同特性部分地再现第二视图32’。第二视图32’的剩余部分可以通过解码第二比特流52来重建，第二比特流52传送在视图31和视图32中不作为共同特性存在的“丢失”部分。
因此，在一个实施例中，提供了第二图像数据的生成，包括将预测误差与解码的第一图像数据的至少一部分组合。具体地，如图1B所示的解码器22可以通过从解码器21接收与第一视图相关的解码数据来生成共同方面的图像数据，并通过应用从残差数据比特流59解码的差异数据来将该图像数据转换为第二视图。第二视图的其余部分从该另一图像数据比特流52生成，完整的第二视图在解码侧2处重建作为视图32’。
通常，本发明的各实施例可以考虑编译比特流(例如，图1A和图1B的比特流51、比特流52、以及比特流59)所需的所有步骤都在编码器侧2执行。此外，上述比特流或一些比特流可以被复用到适于从编码侧1向解码侧2传送的一个数据流。作为进一步普遍适用的总结，本公开的各实施例可以实现一种形式的视图合成预测，作为用于多视图视频的新编解码工具，该工具可以基本上使用来自相邻相机的图片生成场景的虚拟视图并利用从视图中提取的特征。
图3A示出了根据本发明实施例的编码侧的一般设备实施例的示意图。编码设备70包括处理资源71、存储器访问72、以及接口73。上述存储器访问72可以存储代码或者可以访问代码，代码指示处理资源71执行结合本公开描述和解释的本发明的任何方法实施例的一个或多个步骤。
具体地，代码可以指示处理资源71对与第一视图相关的第一图像数据执行特征检测，以获得对应于第一视图的第一组特征；基于与第一视图相关的第一图像数据生成图像比特流；对与第二视图相关的第二图像数据执行特征检测，以获得对应于第二视图的第二组特征；执行第一组特征和第二组特征的特征匹配，以识别具有共同特性的区域；基于具有共同特性的区域对第二输入图像数据进行预测，以生成残差数据比特流。
上述处理资源可以通过一个或多个处理单元实现，例如中央处理单元(centralprocessing unit，CPU)，或者也可以通过分布式和/或共享处理功能来提供，例如存在于数据中心或以所谓的云计算的形式。类似的考虑适用于可以由本地存储器实现的存储器访问，本地存储器包括但不限于硬盘驱动器(hard disk drive，HDD)、固态驱动器(solidstate drive，SSD)、随机存取存储器(random access memory，RAM)、闪存。同样，分布式和/或共享存储器存储(例如数据中心和/或云存储器存储)也可以适用。
图3B示出了根据本发明实施例的解码侧的一般设备实施例的示意图。解码设备80包括处理资源81、存储器访问82、以及接口83。存储器访问82可以存储代码或者可以访问代码，代码指示处理资源81执行结合本公开描述和解释的本发明的任何方法实施例的一个或多个步骤。此外，设备80可以包括显示单元84，显示单元84可以从处理资源81接收显示数据，以显示与图像数据一致的内容。设备80通常可以是如本领域中所知的计算机、个人计算机、平板计算机、笔记本计算机、智能手机、移动电话、视频播放器、电视机顶盒、接收器等。
具体地，代码可以指示处理资源81获得图像比特流；获得残差数据比特流；解码由图像比特流传送的编码图像数据，以获得与第一视图相关的第一图像数据；从残差数据比特流获得预测误差；根据预测误差和解码的第一图像数据的至少一部分生成与第二视图相关的第二图像数据。
图4A示出了涉及编码多视图视频数据的本发明的一般方法实施例的流程图。具体地，本实施例提供了一种多视图视频数据编码方法，该方法包括：步骤S11，对与第一视图相关的第一图像数据执行特征检测，以获得对应于第一视图的第一组特征。在步骤S12中，基于与第一视图相关的第一图像数据生成图像比特流，其中，图像比特流可以被传送到接收解码侧用于再现第一视图。在步骤S13中，对与第二视图相关的第二图像数据执行特征检测，以获得对应于第二视图的第二组特征。
在步骤S14中，执行第一组特征和第二组特征的特征匹配，以识别具有共同特性的区域。这样，步骤S11和步骤S13的结果被馈送到特征匹配器中以确定匹配特征，匹配特征通常可以仅向接收解码侧传送一次，以在解码侧在一个以上的视图中再现，从而提高数据和压缩效率。然后，在步骤S15中，基于具有共同特性的区域对第二输入图像数据执行预测，以生成也要向接收或解码侧传送的残差数据比特流。
图4B示出了涉及解码多视图视频数据的本发明的一般方法实施例的流程图。该方法包括获得图像比特流的步骤S21和解码由图像比特流传送的编码图像数据以获得与第一视图相关的第一图像数据的步骤S22。此外，提供了获得残差数据比特流的步骤S23和从残差数据比特流获得预测误差的步骤S24。在步骤S25中，根据预测误差和解码的第一图像数据的至少一部分生成与第二视图相关的第二图像数据。因此，第二图像数据的生成基于指示第一视图和第二视图之间的差异的误差。因此，考虑到了相应的差异(例如第一视图的相同或相似特征如何在第二视图中再现)，可以根据第一视图上的信息再现第二视图的一部分。此外，在步骤S26中，获得第二视图的剩余部分，即第二视图中不能从第一视图再现或不在第一视图中再现的部分(例如，通过结合上述图1B解释的另一比特流52)。
在具体的解码方法实施例中，可以采用基于具有共同特性的区域在编码侧做出的决策和/或基于具有共同特性(即，第一视图和第二视图共同的特性)的区域确定预测区域的范围。决定的预测模式可用于根据第一视图和预测误差(或通常是关于第一视图和第二视图之间的差异的差异信息)生成第二视图。
图5示出了本发明实施例的一般应用的组件的示意图。例如，朝向编码侧1布置有两个相机101、102，相机101、102能够捕获一个场景视图30的相应视图。根据本发明的各实施例，对捕获的多视图内容进行处理并传送到解码侧2。在解码侧2，观察人员H可以在用3D眼镜110观看时采用多视图显示设备，以为相应眼睛的呈现视图31’和视图32’。
因此，通常在多视图视频编解码中，视图间预测可以用于减少与视图之间的相似性和相关性相关的数据冗余。本公开认可从图像中提取的特征可以用作可用于视图间预测的附加信息的观察，因此，该方法被认为是利用该观察(同一场景的不同视图的视觉外观可能高度相关)的方法。
总之，提供了一种技术，其中，可以通过两个视图中匹配的关键点的存在和结果来调节预测区域(编码器中定义的结构)。因此，提供了使图像编码结构的预测受制于匹配的关键点及其参数的出现的决策的链接，而对预测技术或区域的形状没有限制。关于关键点匹配的信息可以不假定关于关键点匹配的二进制信息，而是还可以假定为可用于细化编码器中预测类型、预测方案(例如3D HEVC)的选择的模糊值(概率、排名)。此外，本公开可以应用于各种图像/视频编码方法，包括像HEVC、VVC、AV1等编解码。
虽然已经描述了详细的实施例，但是这些实施例仅用于提供对由独立权利要求定义的本发明的更好理解，并且不应被视为是限制性的。
Claims (23)
1.一种多视图视频数据编码方法，包括以下步骤：
-对与第一视图相关的第一图像数据执行特征检测，以获得对应于所述第一视图的第一组特征；
-基于与所述第一视图相关的所述第一图像数据生成图像比特流；
-对与第二视图相关的第二图像数据执行特征检测，以获得对应于所述第二视图的第二组特征；
-执行所述第一组特征和所述第二组特征的特征匹配，以识别具有共同特性的区域；以及
-基于所述具有共同特性的区域对所述第二输入图像数据执行预测，以生成残差数据比特流。
2.根据权利要求1所述的方法，还包括以下步骤：
-编码与所述第一视图相关的第一输入图像数据，以获得编码图像数据作为生成所述图像比特流的基础；
-解码所述编码图像数据以获得解码图像数据，其中，对解码的所述编码图像数据执行特征检测以获得所述第一组特征。
3.根据权利要求1或2所述的方法，还包括以下步骤：基于与所述第二视图相关的所述第二图像数据和所述具有共同特性的区域生成另一图像比特流。
4.根据权利要求1至3中任一项所述的方法，其中，执行预测包括基于所述具有共同特性的区域决定预测模式。
5.根据权利要求1至4中任一项所述的方法，其中，执行预测包括基于所述具有共同特性的区域确定预测区域的范围。
6.根据权利要求5所述的方法，其中，以预测大小单元的形式确定所述预测区域的所述范围。
7.根据权利要求1至6中任一项所述的方法，其中，执行特征匹配包括确定定义所述具有共同特性的区域的一组位置。
8.根据权利要求1至7中任一项所述的方法，其中，所有步骤在编码器侧执行。
9.根据权利要求1至8中任一项所述的方法，还包括复用比特流以向解码侧传送编码形式的所述图像数据。
10.一种多视图视频数据解码方法，包括以下步骤：
-获得图像比特流；
-获得残差数据比特流；
-解码由所述图像比特流传送的编码图像数据，以获得与第一视图相关的第一图像数据；
-从所述残差数据比特流获得预测误差；以及
-根据所述预测误差和解码的所述第一图像数据的至少一部分生成与第二视图相关的第二图像数据。
11.根据权利要求10所述的方法，其中，生成第二图像数据包括：获得第二图像比特流并解码由所述第二图像比特流传送的编码图像数据，以获得剩余图像数据，所述剩余图像数据与所述第二图像数据组合用于再现所述第二视图。
12.根据权利要求10或11所述的方法，其中，所述残差数据比特流包括与预测模式相关的信息，所述预测模式基于所述第一视图和所述第二视图中的具有共同特性的区域决定。
13.根据权利要求10至12中任一项所述的方法，其中，生成第二图像数据包括将所述预测误差与解码的所述第一图像数据的所述至少一部分组合。
14.根据权利要求10至13中任一项所述的方法，还包括解复用来自从编码侧接收的复用比特流的比特流。
15.根据权利要求1至14中任一项所述的方法，其中，所述图像数据包括包含、指示、和/或可被处理以获得图片、图像、图像/图片流、视频、电影等的数据，其中，具体地，流、视频、或电影可包含一个或多个图像。
16.一种多视图视频数据编码设备，包括处理资源和对存储器资源的访问以获得代码，所述代码指示所述处理资源进行以下操作：
-对与第一视图相关的第一图像数据执行特征检测，以获得对应于所述第一视图的第一组特征；
-基于与所述第一视图相关的所述第一图像数据生成图像比特流；
-对与第二视图相关的第二图像数据执行特征检测，以获得对应于所述第二视图的第二组特征；
-执行所述第一组特征和所述第二组特征的特征匹配，以识别具有共同特性的区域；以及
-基于所述具有共同特性的区域对所述第二输入图像数据执行预测，以生成残差数据比特流。
17.一种多视图视频数据解码设备，包括处理资源和对存储器资源的访问以获得代码，所述代码指示所述处理资源进行以下操作：
-获得图像比特流；
-获得残差数据比特流；
-解码由所述图像比特流传送的编码图像数据，以获得与第一视图相关的第一图像数据；
-从所述残差数据比特流获得预测误差；以及
-根据所述预测误差和解码的所述第一图像数据的至少一部分生成与第二视图相关的第二图像数据。
18.根据权利要求17所述的多视图视频数据解码设备，包括通信接口，所述通信接口用于通过通信网络接收传送所述图像比特流和所述特征比特流的通信数据。
19.根据权利要求17或18所述的多视图视频数据解码设备，其中，所述通信接口适于通过无线移动网络执行通信。
20.根据权利要求17至19中任一项所述的多视图视频数据解码设备，还包括显示单元，所述显示单元用于基于获得的所述图像比特流和所述特征比特流显示内容。
21.一种用于多视图视频数据编码的计算机程序，包括代码，所述代码指示处理资源进行以下操作：
-对与第一视图相关的第一图像数据执行特征检测，以获得对应于所述第一视图的第一组特征；
-基于与所述第一视图相关的所述第一图像数据生成图像比特流；
-对与第二视图相关的第二图像数据执行特征检测，以获得对应于所述第二视图的第二组特征；
-执行所述第一组特征和所述第二组特征的特征匹配，以识别具有共同特性的区域；以及
-基于所述具有共同特性的区域对所述第二输入图像数据执行预测，以生成残差数据比特流。
22.一种用于多视图视频数据解码的计算机程序，包括代码，所述代码指示处理资源进行以下操作：
-获得图像比特流；
-获得残差数据比特流；
-解码由所述图像比特流传送的编码图像数据，以获得与第一视图相关的第一图像数据；
-从所述残差数据比特流获得预测误差；以及
-根据所述预测误差和解码的所述第一图像数据的至少一部分生成与第二视图相关的第二图像数据。
23.根据权利要求16至22中任一项所述的主题，适于执行根据权利要求1至15所述的任何方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21461544.5 | 2021-05-26 | ||
| EP21461544 | 2021-05-26 | ||
| PCT/CN2021/107995 WO2022246999A1 (en) | 2021-05-26 | 2021-07-22 | Multiview video encoding and decoding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117378203A true CN117378203A (zh) | 2024-01-09 |
Family
ID=76159409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180098567.5A Pending CN117378203A (zh) | 2021-05-26 | 2021-07-22 | 多视图视频编码和解码 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240089500A1 (zh) |
| CN (1) | CN117378203A (zh) |
| WO (1) | WO2022246999A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230145537A (ko) * | 2010-08-11 | 2023-10-17 | 지이 비디오 컴프레션, 엘엘씨 | 멀티-뷰 신호 코덱 |
| CN104813662A (zh) * | 2012-09-28 | 2015-07-29 | 诺基亚技术有限公司 | 用于视频编码和解码的装置、方法和计算机程序 |
| KR102224703B1 (ko) * | 2014-03-17 | 2021-03-09 | 노키아 테크놀로지스 오와이 | 비디오 코딩 및 디코딩 장치, 방법 및 컴퓨터 프로그램 |
| FI20165115A (fi) * | 2016-02-17 | 2017-08-18 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
-
2021
- 2021-07-22 CN CN202180098567.5A patent/CN117378203A/zh active Pending
- 2021-07-22 WO PCT/CN2021/107995 patent/WO2022246999A1/en active Application Filing
-
2023
- 2023-11-26 US US18/519,009 patent/US20240089500A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240089500A1 (en) | 2024-03-14 |
| WO2022246999A1 (en) | 2022-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210203997A1 (en) | Hybrid video and feature coding and decoding | |
| JP5241500B2 (ja) | カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体 | |
| CN100399826C (zh) | 基于多显示支持多视图视频对象的编码设备和方法 | |
| KR20220116339A (ko) | 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들 | |
| CN112673633B (zh) | 合并模式的编码器、解码器及对应方法 | |
| CN103796027A (zh) | 用于多视点视频编码/解码的设备 | |
| AU2013281946A1 (en) | Decoding device, and decoding method | |
| US11651523B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| CN105103556A (zh) | 用于亮度补偿的双向预测的方法和装置 | |
| CN113508592A (zh) | 编码器、解码器及相应的帧间预测方法 | |
| JP7436646B2 (ja) | ピクチャヘッダのシグナリングを簡略化するためのエンコーダ、デコーダ及び対応する方法 | |
| MX2015003590A (es) | Dispositivo y metodo para el procesamiento de imagenes. | |
| US10536726B2 (en) | Pixel patch collection for prediction in video coding system | |
| CN102843566B (zh) | 一种3d视频数据的通讯方法和设备 | |
| CN114830665A (zh) | 仿射运动模型限制 | |
| CN117378203A (zh) | 多视图视频编码和解码 | |
| Lee et al. | Exploring the Video Coding for Machines Standard: Current Status and Future Directions | |
| JP2024516538A (ja) | スピンセンサヘッドによって捕捉された点群幾何学データを符号化／復号化する方法及び装置 | |
| US20230362385A1 (en) | Method and device for video data decoding and encoding | |
| JP5449241B2 (ja) | 映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法 | |
| US20240087170A1 (en) | Method for multiview picture data encoding, method for multiview picture data decoding, and multiview picture data decoding device | |
| RU2823042C1 (ru) | Кодер, декодер и соответствующие способы для упрощения сигнализации заголовка картинки | |
| US20230100728A1 (en) | A system, an arrangement, a computer software module arrangement, a circuitry arrangement and a method for improved image processing utilzing two entities | |
| RU2805521C2 (ru) | Способ и устройство для взаимного прогнозирования на основе детализации векторов движения на стороне декодера (dmvr) и двунаправленного оптического потока (bdof) | |
| ZHANG et al. | Recent Advances in Video Coding for Machines Standard and Technologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |