CN108259908A - 用于编码和解码像素列表的方法和装置 - Google Patents

用于编码和解码像素列表的方法和装置 Download PDF

Info

Publication number
CN108259908A
CN108259908A CN201711460857.1A CN201711460857A CN108259908A CN 108259908 A CN108259908 A CN 108259908A CN 201711460857 A CN201711460857 A CN 201711460857A CN 108259908 A CN108259908 A CN 108259908A
Authority
CN
China
Prior art keywords
pixel
index
list
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711460857.1A
Other languages
English (en)
Inventor
J.弗勒雷奥
D.多伊恩
F.图多尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108259908A publication Critical patent/CN108259908A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及用于编码和解码图像的像素列表的方法和装置。根据至少一个关系聚类图像的像素。将聚类存储为像素列表。生成与图像大小相同的整数矩阵。在第一索引处的图像的像素属于一个列表。列表中的下一个像素具有第二索引。根据这两个索引计算整数并将整数存储在矩阵中的第一索引处。可以根据无损压缩方法压缩矩阵。解码时，图像中具有第一索引的像素与像素列表相关联。根据矩阵中第一索引处的整数计算第二索引并将图像中第二索引处的像素添加至列表。

Description

用于编码和解码像素列表的方法和装置
技术领域
本公开涉及图像的像素之间的编码和解码关系的领域，例如，当在图像或视频处理流水线的不同阶段使用图像的像素聚类时。
背景技术
像素聚类是很多种类的图像和视频处理流水线中的强制步骤。以聚类的方式聚集图像的像素(以及更不用说视频序列的每个图像)是用于广泛类型的计算的准备操作。例如，在计算机视觉中，图像分割是将数字图像划分成多个片段(像素组，也称为超像素)的过程。通过多视图或全景图像给出另一个示例。这样的图像是从不同视点捕获的相同视图的图像的阵列。这些图像通常用于多种重建技术(例如，重新聚焦、三维重建或摄影测量)。
根据检测或估计像素之间的关系以及根据图像的大小和数量，这样的操作可能是非常耗费时间和资源的。例如，在多视图图像中，检索与三维空间中的公共点相关联的像素的聚类是非常复杂的过程。
图像处理流水线由图像处理应用程序的连接组成，图像处理应用程序可以由网络的不同节点上的不同设备执行。相同的像素聚类对于处理的不同阶段可能是有用的。为了避免必须在流水线中的多个节点处多次计算聚类，需要有效地对这样的像素的聚类进行编码、解码和扫描。对像素聚类进行编码的第一种方式包括构建一个整数列表的列表：对于每个聚类，列出其像素的索引。另一种方式包括编码与图像相同大小的整数矩阵，为图像的每个像素存储该像素所属的聚类的标识符。这些方法具有两个主要的缺点。首先，它们产生的数据不是为无损压缩做准备的，因此将会提供低的压缩率。第二，它们不适于同时快速扫描图像和聚类。缺少克服这些缺点的编码和解码方法。
发明内容
本公开的目的是克服用于存储、压缩和传送图像的像素列表的编码和解码方法的缺乏。
本公开的目的是克服用于存储、压缩和传送图像的像素列表的编码和解码方法的缺乏。
本公开涉及一种以整数矩阵编码图像的像素列表的方法。创建与图像大小相同的矩阵。该方法包括，对于图像中第一索引处的第一像素，并且该像素属于所述各像素列表中的一个列表：
-获取图像中第二索引处的第二像素，第二像素是在列表中所述第一像素的下一个；以及
-在矩阵中的第一索引处编码根据第一索引和/或第二索引计算的整数。
方法的优点是产生矩阵，该矩阵易于使用具有高压缩水平的图像无损压缩方法进行压缩，具体地，当像素列表按其像素索引的升序或降序排序时。
在一个实施例中，要编码的整数等于第二索引。例如，对于多视图图像或计算机视觉，矩阵包含具有清晰边界的整数梯度。这种低频的矩阵是通过图像无损压缩算法以高水平的压缩来压缩的。
在另一实施例中，要编码的整数是第二索引和第一索引之间的差，可选地，以矩阵的大小作为模。例如，对于多视图图像或计算机视觉，矩阵包含大的区域的相同整数。这里，再一次地，这种类型的矩阵是通过图像无损压缩算法以高水平的压缩来压缩的。
根据具体特征，该方法进一步包括将与矩阵相关联的图像发送到目的地介质，目的地介质是本地或远程模块或设备。
本公开还涉及一种从整数矩阵解码图像的像素列表的方法。矩阵具有与图像相同的大小。该方法包括，对于图像中第一索引处的第一像素，第一像素属于各像素列表中的一个列表：
-根据矩阵中第一索引处读取的整数和/或述第一索引计算第二索引；以及
-将图像中第二索引处的第二像素设置为在列表中第一像素的下一个像素。
根据这种方法，同时解码和扫描每个像素列表。像素之间关系的这种表示允许图像处理流水线的计算节点访问像素的环形列表。
根据具体的特征，创建列表并且用第一像素初始化。
本公开还涉及一种配置成用于以整数矩阵编码图像的各像素列表的装置，矩阵具有与图像的大小相等的大小以及装置包括与至少一个处理器相关联的存储器，对于图像中第一索引处的第一像素，第一像素属于各像素列表中的一个列表，处理器配置成：
-获取图像中第二索引处的第二像素，第二像素是在列表中所述第一像素的下一个；以及
-在矩阵中的第一索引处编码根据第一索引和/或第二索引计算的整数。
本公开还涉及一种配置成用于从整数矩阵解码图像的各像素列表的装置，矩阵具有与图像的大小相等的大小，装置包括与至少一个处理器相关联的存储器，对于所述图像中第一索引处的第一像素，所述像素属于各像素列表中的一个列表，处理器配置成：
根据矩阵中第一索引处的整数和/或述第一索引计算第二索引；以及
将图像中第二索引处的第二像素设置为在列表中第一像素的下一个像素。
附图说明
在阅读以下描述时，将更好地理解本公开，并且将显现其他具体特征和优点，参考附图的描述其中：
-图1示出了根据本原理的具体实施例的已经应用了像素聚类过程的图像；
-图2图示了根据本原理的具体实施例的已经计算了像素之间的关系的多视图的图像；
-图3A示出了根据本原理的具体实施例的与图1的图像相比较的图像，其中聚类的像素是根据基于行扫描索引的6×4像素矩阵；
-图3B图示了根据本原理的具体实施例的对图3A的图像的像素列表进行编码的实施例；
-图3C图示了根据本原理的具体实施例的对图3A的图像的像素列表进行编码的另一实施例；
-图4A示出了根据本原理的具体实施例的与图2的图像相比较的图像，其中聚类的像素是根据基于行扫描索引的5×4像素矩阵；
-图4B图示了根据本原理的具体实施例的编码图4A的图像的像素列表的方法；
-图4C图示了根据本原理的具体实施例的编码图4A的图像的像素列表的方法；
-图5示出了根据本原理的具体实施例的配置成对像素列表进行编码或解码的装置的硬件实施例；
-图6图解地示出了根据本原理的具体实施例的在图5的处理装置中实现的对像素列表进行编码的方法的实施例；
-图7图解地示出了根据本原理的具体实施例的在图5的处理装置中实现的对像素列表进行解码的方法的实施例。
具体实施方式
现在参考附图描述主题，其中相同的附图标记始终用于指代相同的元素。在以下描述中，为了解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。应该理解，可以在没有这些具体细节的情况下实践主题实施例。
在图像处理领域中通常将像素的坐标编码为整数索引。在基于行(根据等式[1])或基于列(根据等式[2])的扫描图像时，将索引计算为像素的编号(number)。这种编码有几个优点。首先，用一个整数而不是两个来表示坐标，并且索引以反映扫描操作的方式排序：比较两个索引是一个快速计算，它表示一个像素在给定扫描中是在另一个像素之前还是之后。在本文档中，像素索引等同于像素坐标，因为在知道图像的宽度和高度以及所选择的扫描方法的情况下，将索引和坐标进行相互转换是简单和常见的。
因此，将认识到，尽管这里没有明确地描述或示出，本领域的技术人员将能够设计各种体现本公开的原理的布置。
根据本原理的非限制性实施例，公开了一种对图像的像素列表进行编码的方法和设备。根据至少一个关系聚类图像的像素。由于计算机内存的技术性质，通常将项目聚类或项目集合存储为项目列表。列表(例如，像素列表)可以根据定序来排序，例如按照图像中的像素的索引的升序或降序排序。根据本原理，生成与图像相同大小(w*h)的整数矩阵。索引N1处的图像的像素P1属于一个列表L。列表L中的下一个像素是在图像中具有索引N2的像素P2。根据N1和/或N2计算整数并存储在矩阵中的索引N1处。该整数至少根据两个索引N1和N2来计算。在矩阵中编码的整数是关于包括索引P1和索引P2中的至少一个的一组索引而获得的。例如，这个整数是N2。在一个变型中，这个整数是N2-N1。在示例计算和特殊情况下进一步详细描述这个方法。然后，可以根据无损压缩方法压缩生成的矩阵，并且可以与(也可以被压缩的)图像相关联。可以将它们传送到图像或视频处理流水线的下一个阶段。
根据本原理的另一非限制性的实施例，公开了一种对图像的像素列表进行解码的方法和设备。接收大小为(w*h)的图像和相同大小(w*h)的整数矩阵作为输入。这些数据可能被压缩，如果这样的话，使用适当的解压缩方法解压缩这些数据。具有索引N1的图像的像素P1与像素列表L相关联。在本描述中进一步详细描述了该初始关联的不同实施例。根据矩阵中的索引N1处的整数I计算索引N2，并且将图像中的索引N2处的像素P2设置为列表L中P1的下一个像素。例如，N2是I。在一个变型中，N2＝N1+I。该方法允许列表L的像素的快速扫描。换句话说，本方法允许快速扫描与列表L中的P1相关联的图像的所有像素。索引N2是根据整数I和索引N1的值中的至少一个来计算的。索引N2是关于包括在矩阵中索引N1处读取的整数I和P1的索引中的至少一个的一组值而获得的。
图1示出了已经应用了像素聚类过程的图像10。已经聚类了图像10的像素，例如通过计算机视觉算法或对象识别算法。在这个图像示例中，像素已经聚集在4个聚类中。聚类11聚集大象特征的像素；聚类12聚集天空特征的像素；聚类13聚集灌木特征的像素；并且聚类14聚集树木特征的像素。聚类11和12是连接的像素组，而聚类13和14则由图像的几个不同的区域组成。已经根据图像的像素之间的关系通过算法形成聚类。在图1的示例中，像素已经被分组为属于相同种类的对象。在存储器中，将像素聚类编码为像素列表。例如，这四个列表可以按照根据基于行扫描的像素索引的升序进行排序。
图2图示了已经计算了像素之间的关系的多视图图像20。图像20由通过4×4个照相机阵列捕获的十六个子图像组成。在多视点图像20上，可以看到由照相机捕获的三维(3D)空间点多达16次。换句话说，多视点图像的一些像素表示3D空间的相同点。例如，角色的右眼上的点21在图像20上呈现了十二次(实际上，由于离散图像采样，投影像素并不精确地来自相同的3D点，但是算法假设了搭配)。角色的左鞋上的点22在多视图图像20上呈现了四次。对来自3D空间的相同点的多视点(或全景)图像的像素进行聚类是图像处理流水线中的有用处理。但是，这样的算法耗费时间和存储器。编码这种算法的结果(即，计算的像素之间的关系)以便将它们传送到流水线的进一步的节点是不必再次计算它们的关键。对于图1的聚类，将图2的聚类编码为像素列表。例如，这些许多列表可以按照根据基于行扫描的像素索引的升序进行排序。
图3A示出了具有根据基于行扫描索引的像素的6×4矩阵的聚类像素的图像。从0到23对像素进行索引。示出了两个聚类(白色像素和灰色像素)。它们可以由图1所示的算法产生。在这个示例中，通过根据像素索引排序的列表对这两个聚类进行编码。“白色”聚类列出像素{0,1,4,5,6,9,10,11,12,17,18,19,20,21,22,23}，“灰色”聚类列出像素{2，3，7，8，13，14，15，16}。这样的聚类的特殊性在于占用图像的连接区域。
图3B图示了对图3A的图像的像素的列表进行编码的实施例。以与图像大小相同的整数矩阵对列表进行编码。对于图像的像素，根据它的索引和它所属的列表中下一个像素的索引来计算整数。然后将计算的整数存储在矩阵中所考虑的像素位置处。在这个实施例中，计算的整数是列表中下一个像素的索引。例如，对于像素0，白色列表中的下一个像素是像素1，而对于像素1，白色列表中的下一个像素是像素4。整数1存储在矩阵中的像素0的位置(即在索引0处)，以及整数4存储在矩阵中的像素1的位置处(即，在索引1处)。列表的最后一个像素的下一个像素是列表的第一个像素。在图3A的示例中，像素23的下一个像素是像素0，以及像素16的下一个像素是像素2。在该示例中，要编码的像素的列表按照像素的索引的升序排序。由于列表表示占据图像的连接区域的聚类，所以本原理的这个实施例具有生成具有明显边界的在其行上具有整数梯度的矩阵的优点。例如，这在图3B的矩阵的第三行上示出。通过图像无损压缩算法可以有效地压缩这些具有整数梯度的矩阵。然后，非常轻松地传输这些矩阵。
根据本原理，解码整数的矩阵允许解码器检索像素列表。因此，不需要再次计算像素之间的关系。如果已经压缩，则首先使用适当的解压缩算法对矩阵进行解压缩。该方法首先考虑矩阵中尚未解码的位置处的整数。例如，在第一步中，考虑索引0处的整数。创建新的列表并以像素0作为开始：La＝{0}。读取矩阵中索引0处的整数，并根据整数(在本示例中为1)以及实际考虑的索引(本示例中为0)计算列表中下一个像素的索引。在图3B图示的实施例中，该整数是下一个像素的索引。因此，将像素1添加到列表中：La＝{0,1}。然后，读取计算的索引处的整数并计算新的索引。在本示例中，将像素4添加到列表中。迭代该操作直到下一个计算的索引是列表中第一个像素的索引。此时，完成列表。已经有效地扫描并解码该列表。该方法可以从矩阵中的任何像素开始。一旦完成列表，将考虑在先前的列表中未考虑的整数，并创建新列表。例如，列表Lb由不属于列表La的像素16开始。读取位置16处的整数并计算列表中的下一个像素。在本示例中，将像素2添加到列表Lb。迭代该操作直到将像素16确定为列表中的下一个像素。当考虑了所有索引(将所有像素都添加到列表中)时，已经重新构建了每个列表。
在变型中，对于每个列表，生成将列表的一个像素的索引与关于该列表的信息进行配对的数据。与矩阵相关联地传输一组这些数据。在这个变型中，解码方法创建由数据描述的列表并且在配对索引处开始解码它们。
图3C图示了对图3A的图像的像素的列表进行编码的另一实施例。在该实施例中，整数是列表中下一个像素的索引与实际考虑的索引之间的差。例如，当考虑灰色列表中的像素13时，存储在矩阵中索引13处的整数是像素14的索引减去索引13：14-13＝1。整数可以是负的。例如，考虑索引16，由于列表中的下一个像素处于索引2，所以存储在矩阵中索引16处的整数是2-16＝-14。在一个变型中，如图3C所图示的，以矩阵的大小为模(modulo)来计算差。在图3B的示例中，存储在矩阵中索引16处的整数是(2-16)％24＝10。当将列表按照像素的索引的升序排序时，因为聚类表示图像的连接区域，所以矩阵包含很宽的区域(因为列表中的下一个像素通常具有下一个索引)。这种矩阵是通过图像无损压缩算法以高水平的压缩来压缩的。
在解码时，如在图3B所描述的实施例中那样从解压缩矩阵中检索列表。在图3C的实施例中，正在构建的列表中的下一个像素的索引是通过将实际考虑的索引与矩阵中在该索引处读取的整数相加来计算的。例如，考虑索引12，在矩阵中索引12处读取的整数是5，因此正在构建的列表中的下一个像素(这里是白色列表)是像素12+5＝17。考虑索引16，读取整数是-14，所以下一个像素是像素2。在图3C图示的变形中，读取的整数是10，并且列表中的下一个像素的索引是以矩阵的大小为模的计算的，所以灰色列表中的下一个像素是像素(16+10)％24＝2。
图4A示出了具有根据基于行扫描索引的像素的5×4矩阵的聚类像素的图像。从0到19对像素进行索引。仅表示两个聚类，列出像素{0,11,17}的“浅灰色”聚类和列出像素{1,12,18}的“深灰色”聚类。在每个列表中，像素按照其索引的升序进行排序。它们可以由图2所示的算法产生。这种聚类的特殊性在于像素与其他像素相距较远。然而，当两个相邻的像素P11和P21属于两个聚类C1和C2时，C1的另一个像素P12通常与C2的另一个像素P22相邻。例如，当像素按照其索引的升序顺序排列在其聚类的列表中时，该属性经常沿着列表重复。
图4B图示了根据关于图3B描述的实施例的编码图4A的图像的像素列表的方法。在与图像大小相同的整数矩阵中的位置处，存储的整数是列表中下一个像素的索引。列表的最后一个像素的下一个像素是列表的第一个像素。例如，在对列表按照它们包括的像素的升序排列进行排序时，因为这种类型的图像的邻接属性，得到的矩阵包含可以通过图像无损压缩方法进行高级别的压缩的整数梯度。
图4C图示了根据关于图3C描述的实施例的编码图4A的图像的像素列表的方法。在与图像大小相同的整数矩阵中的位置处存储的整数是列表中下一个像素的索引与矩阵中考虑的位置的索引的差。在一个变型中，以矩阵的大小为模来计算差。例如，在对列表按照它们包括的像素的升序排列进行排序时，因为这种类型的图像的邻接属性，得到的矩阵包含可以通过图像无损压缩方法进行高级别的压缩的宽的区域的相同整数。
图5示出了配置成对像素列表进行编码或解码的装置50的硬件实施例；在该示例中，设备50包括以下元素，它们通过也传输时钟信号的数据和地址的总线52彼此连接：
-至少一个微处理器51(或CPU)，
-ROM(只读存储器)类型的非易失性存储器53，
-随机存取存储器或RAM(54)，
该设备还可以包括：
-可以嵌入随机存取存储器的寄存器的显卡(GPU)55，
-一组I/O(输入/输出)设备57，如鼠标、操纵杆、网络摄像头等，以及
-电源56。
有益地，设备50连接到一个或多个显示屏类型的显示设备(未示出)，显示设备直接连接到显卡55以显示在显卡中计算的图像。在一个变型中，一个或多个显示设备经由总线52连接到显卡55。
注意，在存储器53、54和55的描述中使用的“寄存器”一词在所提及的每个存储器中指定低容量存储区(一些二进制数据)以及大容量存储区(使整个程序能够存储或者代表全部或部分的所计算或将显示的数据)两者。
当接通时，微处理器51根据ROM 53的寄存器中的程序在RAM 54的寄存器中加载并执行程序的指令。
根据一个具体的实施例，将实现本公开所特有的方法的并在下文中描述的步骤地算法有益地存储在与实现这些步骤的设备50相关联的显卡55的存储器GRAM中。
根据一个变型，电源56在设备50的外部。
图6图解地示出了根据非限制性的有益的实施例的处理设备(如设备50)中实现的对像素列表进行编码的方法60的实施例。
在初始化步骤61和62中，获得图像的像素列表。在本文档中，获取数据(如像素列表)必须理解为从源接收数据。例如，源属于一个集合，包括：
-本地存储器，例如视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；
-存储接口，例如，与大容量存储器、RAM、闪存、ROM、光盘或磁性支持的接口；以及
-通信接口，例如，有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(如IEEE 802.11接口或蓝牙接口))。
在步骤61中，获得图像的大小，并且也可以获得图像本身。有益地，例如，像素列表按照像素索引的升序排序。在步骤62中，在设备50的RAM54中创建与图像大小相同的整数矩阵。可以用默认的整数值(例如零)来初始化它。在一个变型中，在图形板55的存储器中创建矩阵，由GPU处理列表。
在步骤63中，考虑列表L的像素P1。例如，第一列表的第一像素。根据图像中的扫描模式，该像素位于具有索引I1的位置处。本方法是选择列表L中P1的下一个像素P2。P2位于图像中具有索引I2的位置处。在步骤64中，根据I1和I2计算整数值V；例如，V＝I2。在变型中，V＝I2-I1。在另一个变型中，V＝(I2-I1)％(W×H)，其中W是图像(或矩阵)的宽度，H是图像(或矩阵)的高度。只要解码器知道(或传输到解码器)用于检索关于给定的V的I2和I1的函数，可以使用任何I1和I2的函数。在步骤65中，将值V存储在矩阵中具有索引I1的位置处。有益地，将尚未考虑的新像素选择为P1，并且在步骤63迭代该方法。该新像素可以是实际的P2。如果新像素是列表的最后一个像素，那么列表中的下一个像素是列表的第一个像素。当已经考虑了列表中的每个像素时，可以针对另一个列表中的像素重复该方法。有益地，重复该操作直到已经考虑了所有列表的所有像素。
在步骤66中，可以通过图像无损压缩方法来压缩该矩阵，并且可以将该图像与要传送到图像处理流水线的另一个模块的图像相关联。经由相同的手段或不同的手段可以传输其他数据，例如表示用于计算矩阵的函数的参数。
图7图解地示出了根据非限制性的有益的实施例的处理设备(如设备50)中实现的对像素列表进行解码的方法70的实施例。
在初始化步骤71中，从源获得整数矩阵。可选地，矩阵是压缩形式的并且首先使用适合的图像无损解压缩方法解压缩。在变型中，额外的数据是与矩阵联合或分别获得的。例如，可以获得与矩阵相同大小的图像。可以获得与列表的像素配对的列表的数据配对描述。例如，表示用于对像素列表进行编码的函数的参数也从相同或不同的源获得。
在步骤72中，考虑图像中的索引I1处的像素P1。已知该像素属于列表L。如果需要，创建像素的新列表并使用像素P1进行初始化。在矩阵中的索引I1处读取整数值V。由于矩阵的大小与图像相同，所以该索引始终存在。在步骤73中，根据I1和V计算第二索引I2；例如I2＝V。在变型中I2＝V+I1。在另一个变型中，I2＝(V+I1)％(W x H)，其中W是图像(或矩阵)的宽度，H是图像(或矩阵)的高度。在步骤74中，将图像中的索引I2处的像素P2添加到列表L中作为列表中P1的下一个像素。有益地，将尚未考虑的新像素选择为P1，并且在步骤72迭代该方法。该新像素可以是实际的P2。如果新像素是列表的第一个像素，那么已经完全解码和扫描该列表；该方法选择尚未考虑的图像的像素。当已经考虑了图像的所有像素时，已经解码和扫描所有的列表。
自然地，本公开不限于先前描述的实施例。具体地，本公开不限于对像素列表进行编码和解码的方法，而是还扩展到传送和扫描作为整数矩阵编码的像素列表的任何方法。编码和解码像素列表所必需的计算的实现不限于着色器类型微程序中的实现，而是也延伸到任何程序类型的实现，例如可以由CPU类型的微处理器执行的程序。本公开的方法的使用不限于程序实现，而是也延伸到使用几个微处理器的并行实现。
这里描述的实现可以例如由方法或过程、装置、软件程序、数据流或信号中实现。即使仅仅在单一形式的实现(例如，仅作为方法或设备)讨论的上下文中，所讨论的特征的实现也可以以其他形式(例如程序)来实现。装置可以由例如适当的硬件、软件和固件实现。例如，可以由例如处理器，其通常涉及例如包括计算机、微处理器、集成电路或可编程逻辑器件等处理器件的装置实现所述方法。处理器还包括通信设备，如例如智能电话，平板电脑，计算机，移动电话，便携式/个人数字助理(“PDA”)以及促进设备和/或终端用户之间的信息通信的其它设备。
在此描述的各种过程和特征的实现可以体现在各种不同的设备或应用中，具体地，例如，与数据编码、数据解码、视图生成、纹理处理以及图像和相关的纹理信息和/或深度信息的其他处理相关联的设备或应用。这种设备的示例包括编码器、解码器、从解码器输出的后处理器处理、提供给编码器的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、移动电话、PDA和其它通信设备。应该清楚的是，设备可以是移动的，甚至可以安装在移动车辆中。
另外，该方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在处理器可读的介质上如，例如，集成电路、软件载体或其它存储设备如，例如，硬盘、光盘(“CD”)、光盘(例如DVD，通常被称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成嵌入在处理器可读的介质上的有形的应用程序。指令可以是例如在硬件、固件、软件或其组合中。可以在例如操作***、单独的应用程序或两者的组合中找到指令。因此，处理器可以具有以下特征，例如，配置成执行过程的设备以及包括具有用于执行过程的指令的处理器可读介质(如存储设备)的设备。此外，处理器可读介质可以，在指令之外或代替指令，存储由实现产生的数据值。
对本领域技术人员明显的是，实现可以产生各种信号，其具有携带可以例如存储或传输的信息的格式。信息可以包括例如用于执行方法的指令或由所述实现中的一个产生的数据。例如，信号具有将用于写入或读取上述实施例的语法的规则作为数据携带，或将由上述是实力写入的实际语法值作为数据携带的形式。这样的信号可以具有例如电磁波(例如使用频谱的无线电频率部分)或基带信号的形式。格式化可以包括，例如，编码数据流和使用编码的数据流调制载波。信号携带的信息可以是，例如，模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。可以将信号存储在处理器可读的介质上。
已经描述了多个实现。不过，将理解可以作出各种修改。例如，可以将不同实现的元素组合、补充、修改或删除，以生成其他实现。此外，本领域技术人员将理解其他的结构和过程可以公开的内容，并导致至少以基本相同的方式执行基本相同的功能，并实现与公开的实现至少基本相同的结果的实现。因此，本申请将考虑这些和其他实现。

Claims (23)

1.一种以整数矩阵编码图像的各像素列表的方法，所述矩阵具有与所述图像的大小相等的大小，所述方法包括，对于所述图像中第一索引处的第一像素，所述第一像素属于所述各像素列表中的一个列表：
获取所述图像中第二索引处的第二像素，所述第二像素是在所述列表中所述第一像素的下一个；以及
在所述矩阵中的第一索引处编码关于所述第一索引和/或所述第二索引的整数。
2.根据权利要求1所述的方法，其中将所述各像素列表按照所述各像素列表的像素的索引的升序或降序排序。
3.根据权利要求1或2所述的方法，其中要编码的所述整数是第二索引。
4.根据权利要求1或2所述的方法，其中要编码的所述整数是第二索引和第一索引之间的差。
5.根据权利要求1所述的方法，进一步包括以图像无损压缩方法压缩所述矩阵。
6.根据权利要求1所述的方法，还包括将与所述矩阵相关联的图像传送到目的地介质。
7.一种从整数矩阵解码图像的各像素列表的方法，所述矩阵具有与所述图像的大小相等的大小，所述方法包括，对于所述图像中第一索引处的第一像素，所述第一像素属于所述各像素列表中的一个列表：
根据所述矩阵中第一索引处的整数和/或所述第一索计算第二索引；以及
将所述图像中第二索引处的第二像素设置为在所述列表中所述第一像素的下一个像素。
8.根据权利要求7所述的方法，其中所述第二索引是矩阵中第一索引处的整数。
9.根据权利要求7所述的方法，其中所述第二索引是矩阵中第一索引处的整数与所述第一索引的和。
10.根据权利要求7所述的方法，其中使用所述第一像素创建并初始化所述列表。
11.根据权利要求7所述的方法，首先包括以图像无损压缩方法解压所述矩阵。
12.根据权利要求7所述的方法，首先包括从源介质接收与所述矩阵相关联的图像。
13.一种配置成用于以整数矩阵编码图像的各像素列表的装置，所述矩阵具有与所述图像的大小相等的大小，所述装置包括与至少一个处理器相关联的存储器，对于所述图像中第一索引处的第一像素，所述第一像素属于所述各像素列表中的一个列表，所述处理器配置成：
获取所述图像中第二索引处的第二像素，所述第二像素是在所述列表中所述第一像素的下一个；以及
在所述矩阵中的第一索引处编码关于所述第一索引和/或所述第二索引的整数。
14.根据权利要求13所述的装置，其中所述处理器配置成将所述各像素列表按照所述各像素列表的像素的索引的升序或降序排序。
15.根据权利要求13所述的装置，其中要编码的所述整数是第二索引。
16.根据权利要求13所述的装置，其中要编码的所述整数是第二索引和第一索引之间的差。
17.根据权利要求13所述的装置，所述处理器配置成以图像无损压缩方法压缩所述矩阵。
18.一种配置成从整数矩阵解码图像的各像素列表的装置，所述矩阵具有与所述图像的大小相等的大小，所述装置包括与至少一个处理器相关联的存储器，对于所述图像中第一索引处的第一像素，所述第一像素属于所述各像素列表中的一个列表，所述处理器配置成：
根据所述矩阵中第一索引处的整数和/或述第一索引计算第二索引；以及
将所述图像中第二索引处的第二像素设置为在所述列表中所述第一像素的下一个像素。
19.根据权利要求18所述的装置，其中所述第二索引是矩阵中第一索引处的整数。
20.根据权利要求18所述的装置，其中所述第二索引是矩阵中第一索引处的整数与所述第一索引的和。
21.根据权利要求18所述的装置，其中所述处理器配置成使用所述第一像素创建并初始化所述列表。
22.根据权利要求18所述的装置，首先包括以图像无损压缩方法解压所述矩阵。
23.根据权利要求18所述的装置，首先包括从源介质接收与所述矩阵相关联的图像。
CN201711460857.1A 2016-12-28 2017-12-28 用于编码和解码像素列表的方法和装置 Pending CN108259908A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306837.2 2016-12-28
EP16306837.2A EP3343445A1 (en) 2016-12-28 2016-12-28 Method and apparatus for encoding and decoding lists of pixels

Publications (1)

Publication Number Publication Date
CN108259908A true CN108259908A (zh) 2018-07-06

Family

ID=57755157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711460857.1A Pending CN108259908A (zh) 2016-12-28 2017-12-28 用于编码和解码像素列表的方法和装置

Country Status (5)

Country Link
US (1) US20180184096A1 (zh)
EP (2) EP3343445A1 (zh)
JP (1) JP2018110390A (zh)
KR (1) KR20180077060A (zh)
CN (1) CN108259908A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921771A (zh) * 2018-08-29 2018-11-30 郑州云海信息技术有限公司 一种反滤波方法、装置及电子设备
CN111402117A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图片处理方法、装置、存储介质及客户端设备
US11593959B1 (en) * 2022-09-30 2023-02-28 Illuscio, Inc. Systems and methods for digitally representing a scene with multi-faceted primitives

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588637A (en) * 2019-10-30 2021-05-05 Daimler Ag Method of determining cells in a multiple resolution grid
EP4142290A1 (en) * 2021-08-31 2023-03-01 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193523A1 (en) * 2002-04-01 2006-08-31 Matrixview Limited Repetition coded compression for highly correlated image data
CN101154291A (zh) * 2006-09-29 2008-04-02 国际商业机器公司 图像数据压缩方法、图像显示方法及其相应装置
CN101822063A (zh) * 2007-08-16 2010-09-01 诺基亚公司 用于编码和解码图像的方法和装置
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和***
US20120170649A1 (en) * 2010-12-29 2012-07-05 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US20120213425A1 (en) * 2008-10-28 2012-08-23 Quality Vision International, Inc. Combining feature boundaries
CN105282550A (zh) * 2014-06-13 2016-01-27 财团法人工业技术研究院 编码方法与解码方法、编解码***、编码器与解码器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100363588B1 (ko) * 1993-03-25 2003-02-17 세이코 엡슨 가부시키가이샤 화상처리장치
US6324305B1 (en) * 1998-12-22 2001-11-27 Xerox Corporation Method and apparatus for segmenting a composite image into mixed raster content planes
EP1638459A2 (en) * 2003-06-11 2006-03-29 Case Western Reserve University Computer-aided-design of skeletal implants
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
US9344733B2 (en) * 2013-12-27 2016-05-17 Samsung Electronics Co., Ltd. Feature-based cloud computing architecture for physics engine

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193523A1 (en) * 2002-04-01 2006-08-31 Matrixview Limited Repetition coded compression for highly correlated image data
CN101154291A (zh) * 2006-09-29 2008-04-02 国际商业机器公司 图像数据压缩方法、图像显示方法及其相应装置
CN101822063A (zh) * 2007-08-16 2010-09-01 诺基亚公司 用于编码和解码图像的方法和装置
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和***
US20120213425A1 (en) * 2008-10-28 2012-08-23 Quality Vision International, Inc. Combining feature boundaries
US20120170649A1 (en) * 2010-12-29 2012-07-05 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
CN105282550A (zh) * 2014-06-13 2016-01-27 财团法人工业技术研究院 编码方法与解码方法、编解码***、编码器与解码器

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921771A (zh) * 2018-08-29 2018-11-30 郑州云海信息技术有限公司 一种反滤波方法、装置及电子设备
CN108921771B (zh) * 2018-08-29 2021-11-26 郑州云海信息技术有限公司 一种反滤波方法、装置及电子设备
CN111402117A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图片处理方法、装置、存储介质及客户端设备
CN111402117B (zh) * 2020-03-12 2023-02-28 Oppo广东移动通信有限公司 图片处理方法、装置、存储介质及客户端设备
US11593959B1 (en) * 2022-09-30 2023-02-28 Illuscio, Inc. Systems and methods for digitally representing a scene with multi-faceted primitives
US11721034B1 (en) * 2022-09-30 2023-08-08 Illuscio, Inc. Systems and methods for digitally representing a scene with multi-faceted primitives

Also Published As

Publication number Publication date
KR20180077060A (ko) 2018-07-06
EP3343446A1 (en) 2018-07-04
EP3343445A1 (en) 2018-07-04
JP2018110390A (ja) 2018-07-12
US20180184096A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US20240048741A1 (en) Methods and apparatuses for encoding and decoding a bytestream
CN108259908A (zh) 用于编码和解码像素列表的方法和装置
US11889113B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN103858433A (zh) 分层熵编码及解码
CN105100814B (zh) 图像编码、解码方法及装置
US20240078715A1 (en) Apparatus and method for point cloud processing
JP6178798B2 (ja) 終了可能な空間ツリー型位置符号化および復号
CN103209326A (zh) 一种png图片的压缩方法
RU2767771C1 (ru) Способ и оборудование для кодирования/декодирования облака точек, представляющего трехмерный объект
CN104704825A (zh) 分段图像数据的无损压缩
US20230059625A1 (en) Transform-based image coding method and apparatus therefor
Shantagiri et al. Pixel size reduction loss-less image compression algorithm
US12003769B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN116126957A (zh) 数据格式转换方法、装置、设备及存储介质
CN101141637A (zh) 移动设备用静态影像压缩方法
EP1567987B1 (en) Method for compression and transport of active graphical images
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
CN117953175B (zh) 一种虚拟世界数据模型的构建方法、***、设备及介质
US20230281878A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20230206510A1 (en) Point cloud data processing device and processing method
WO2024081133A1 (en) Sparse tensor-based bitwise deep octree coding
KR20240105394A (ko) 바이너리 복셀 그리드 코딩에 대한 상태 요약
WO2023081009A1 (en) State summarization for binary voxel grid coding
WO2023059727A1 (en) Method and apparatus for point cloud compression using hybrid deep entropy coding
CN116233467A (zh) 点云属性的编解码方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190920

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holdings

Address before: Icelemulino, France

Applicant before: THOMSON LICENSING

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180706