CN1230785C - 基于子波的分级聚焦(foveation)和图象的聚焦编码 - Google Patents
基于子波的分级聚焦(foveation)和图象的聚焦编码 Download PDFInfo
- Publication number
- CN1230785C CN1230785C CNB008018723A CN00801872A CN1230785C CN 1230785 C CN1230785 C CN 1230785C CN B008018723 A CNB008018723 A CN B008018723A CN 00801872 A CN00801872 A CN 00801872A CN 1230785 C CN1230785 C CN 1230785C
- Authority
- CN
- China
- Prior art keywords
- wavelet coding
- wavelet
- image
- coding
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 32
- 150000001875 compounds Chemical class 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 239000004335 litholrubine BK Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
不同的图象或子图象以不同的子波解码率呈现，解码子波以形成一个焦点区的速率越快，在其周围形成的图象或子图象的细节越少。在一个最佳实施例中，图象或子图象的集合形成分级结构的级，并且图象或子图象的子波编码的解码率与分级结构的每一级相关。一个图象可被划分为子图象或分区，它们形成分级结构的每一级，或者，独立的图象可以排列为分级结构的形式，并在随后利用子波解码方案的分级结构来呈现。该分级结构可在远程位置产生，并且分级子波编码可被传送到本地位置，这样，在分级结构较低级的细节被传送的同时可以呈现出分级聚焦效果。
Description
技术领域
本发明涉及图象处理***的领域，并特别涉及子波编码图象的通信和表示。
背景技术
分级处理信息的方法有几种。子波提供了一种用于表示和处理分级结构信息或进程的高效框架。概括而言，函数的子波表示包括粗略的总体逼近以及在各个不同标度影响该函数的细节系数。在图象处理中，子波编码被用于借助于项目的分级结构来编码图象。
各种可选的子波编码技术在本技术领域中是通用的。为了便于理解，在此提供了一个使用直通平均以及差项的子波编码技术的实例。两个象素，如两个象素值a、b可被编码为另外两个值Q、Z，其中平均项Q＝(a+b)/2，差项Z＝a-b。为了通过编码值Q、Z解码值a、b，则：a＝Q+Z/2，且b＝Q-Z/2。四个象素值a0、b0、a1、a2可被表示为两对编码值Q0、Z0、Q1、Z1，并且两个平均项Q0、Q1可表示为编码值Q、Y，其中Q是Q0和Q1的平均值，而Y是Q0和Q1的差值。
子波的运用提供了若干优点和能力。如果四个象素值全部相等，则Q项等于这个值，并且每个差项Y、Z0和Z1为零。对于非常有效的零填充(zero-laden)编码的编码和表示来说，本技术领域中的技术是通用的。还要指出，因为Q项表示象素值的平均值，所以Q项可用来代替四个象素值，直至接收并处理差项Y、Z0、Z1为止。也就是说，在子波编码中的差项正在被处理时，平均项可被显示，从而呈现不断变得越来越详细的图象。
图1示出了十六个元素的块A110的子波编码的例子，每个元素111、112、...表示用来呈现(render)在显示屏上的象素的值。图1所示的索引块111′是为了便于参考块A110中的各个元素。也就是说，块A110左上角的元素111用来指a0，下面接着的元素112用来指a1，如此类推。
块B120和Z130表示对应于块A110的各个元素的成对编码的平均块及差块。也就是说，块B120的格b0121表示元素a0111和a1112的平均值，并且块Z130的格Z0131表示元素a0111和a1112的差值。
块C140和Y150表示对应于块B120的各个元素的成对编码的平均块及差块。也就是说，块C140的格c0141表示元素b0121和b1122的平均值，而块Y150的格Y0151表示元素b0121和b1122的差值。
类似地，块D160和X170表示对应于块C140的平均块及差块，并且块E180和W190表示对应于块D160的平均块及差块。
正如上面讨论的，块E180、D160、C140和B120的每个格表示包含在相应格中的块A110的象素平均值。举例来说，块E180的单格值为0.625，它是块A所有象素的平均值。块C140左上角的格c0141的值为0，它是块A左上部分的所有象素的平均值((2+0+(-3)+1)/4)。因此，块E180、D160、C140、B120和A110的显示将以此顺序呈现出越来越多细节或越来越高分辩率的由块A110的象素表示的图象画面。
应当指出，正如上面讨论且如图2所示的，块D160的格的值可由块E180和W190确定。也就是说，d0＝E+W/2，且d1＝E-W/2。类似地，块C140的格的值可由这个确定的块D160及差块X170确定；块B120可由C140和Y150确定；且块A110可由块B120和Z130确定。因此，块E180、W190、X170、Y150和Z130之间的通信足以传递块A110的十六个元素值a0-a15。还要指出，块E180和W190每个都包括一个值；X170包含两个值；Y150包含四个值；且Z130包含八个值。因此，块E180、W190、X170、Y150和Z130之间的通信要求是与原始块A110中包含的值的数目相同的总共十六个值的通信。
子波通常用于传递图象，使得在接收更详细信息的同时显示不断详细的图象画面。这样的优点在于可在观众下载图象时分散其注意力，并且允许用户在确定已经传送了足够量的细节时终止传输。
发明内容
本发明的一个目的是利用子波的累加分辩率的特性来呈现一个图象或多个图象，它利用了人的感觉***。
从相关技术领域中可知，人的视野集中在景物中的焦点或焦点区。随着与焦点区的径向距离的增加，人会感觉到越来越少的细节。这种现象称作聚焦。艺术家们有意识地增加细节或特征来明确这个焦点，以使用户的注意力专注于该特征，或使景物合乎适当的透视法，或消除由于缺少焦点而引起的模糊效果。商业艺术家们在做广告的时候利用此现象把观众的注意力吸引到要宣传的项目上。互联网广告正在变得越来越普及，多个广告主通常相互竞争来吸引观众的注意力。J.David Shaffer在1999年3月26日提交的U.S序列号为＿＿，代理卷号PHA 23,632的共同未审美国专利申请″EVOLVINGADVERTISEMENTS VIA AN EVOLUTIONARY ALGORITHM″中提供了一种方法，该方法根据包含选择所宣传页的用户数目等的观众感兴趣的测算来评估和推动广告宣传活动，并且该专利申请作为参考包含在本文中。
类似地，计算机应用程序被开发以支持用户在可获得的多个项目中确定可能感兴趣的项目的位置。Jacquelyn Martino，NevenkaDimitrova和Kaushal Kurapati在1999年3月31日提交的U.S序列号为09/282,321，代理卷号为PHA 23,645的共同未审美国专利申请″DEVICE AND METHOD FOR A LATTICE DISPALY″，中提供了一种以分级方式显示多个图象的***，它的依据是相对于观众来说的每个图象的潜在兴趣的测算，并且该专利申请作为参考结合于本文。在这个参考的专利申请中，对用户来说具有高潜在兴趣的图象比其它图象更突出地显示，其中突出是通过图象大小、位置、分辩率、亮度、边缘修饰等来实现的。
通过提供一种以分级形式呈现子波的方法和设备可以实现本发明所表述的目的以及其它目的。不同的图象或子图象以不同的子波解码率呈现，解码子波以形成一个焦点区的速率越快，在其周围形成的图象或子图象的细节越少。在一个最佳实施例中，图象或子图象的集合形成分级结构的级，并且图象或子图象的子波编码的解码率与分级结构的每一级相关。一个图象可被划分为子图象或分区，它们形成分级结构的每一级，或者，独立的图象可以排列为分级结构的形式，并在随后利用子波解码方案的分级结构来呈现。该分级结构可在远程位置产生，并且分级子波编码可被传送到本地位置，这样，在分级结构较低级的细节被传送的同时可以呈现出分级聚焦效果。
根据本发明的一个方面，提供了一种对多个子波编码进行解码的方法，该多个子波编码包括属于第一子图像的第一子波编码和属于第二子图像的第二子波编码，每个子波编码都可以通过一系列的解码步骤来解码，所述方法的特征在于它包括：初始阶段，其中对第一子波编码执行比对第二子波编码更多的解码步骤；再现步骤，其中根据已经分别对第一子波编码和第二子波编码执行的解码步骤再现包括第一子图像和第二子图像的图像。
优选地，对第一子波编码的解码在比完成第二子波编码的解码的时间间隔短的时间间隔中完成。
优选地，对第一子波编码的至少一个解码步骤已经在对第二子波编码的第一个编码步骤开始之前执行。
优选地，所述方法还包括解除复合子波编码的排序以产生多个子波编码的步骤。
优选地，所述方法还包括步骤：从一个远程位置接收复合子波编码，和在接收该复合子波编码的同时再现包括第一子图像和第二子图像的图像。
根据本发明的另一个方面，提供了一种用于对多个子波编码解码的解码器，该多个子波编码包括属于第一子图像的第一子波编码和属于第二子图像的第二子波编码，每个子波编码都可以通过一系列的解码步骤来解码，其特征在于，所述解码器包括：输入装置，用于接收多个子波编码和显示划分参数；解码装置，基于显示划分参数对第一子波编码和第二子波编码解码，从而该解码装置最初对第一子波编码执行比对第二子波编码更多的解码步骤；以及输出装置，用于向显示设备提供图像，该图像包括第一子图像和第二子图像。
根据本发明的另一个方面，提供了一种对包括第一子图像和第二子图像的图像进行编码的方法，所述方法包括步骤：把第一子图像编码为第一子波编码；和把第二子图像编码为第二子波编码，每个子波编码都可以通过一系列的解码步骤来解码，所述方法的特征在于它还包括：格式化步骤，其中第一子波编码和第二子波编码被格式化，从而使得接收该第一子波编码和第二子波编码的解码器被迫在最初对第一子波编码执行比对第二子波编码更多的解码步骤。
优选地，所述格式化步骤包括参数关联步骤，其中参数与第一子波编码和第二子波编码关联起来，该参数迫使解码器在最初对第一子波编码执行比对第二子波编码更多的解码步骤。
优选地，所述格式化步骤包括定序步骤，其中第一子波编码和第二子波编码被组合为复合子波编码，第一子波编码和第二子波编码的元素在该复合子波编码中被表示为序列，该序列迫使解码器在最初对第一子波编码执行比对第二子波编码更多的解码步骤。
根据本发明的另一个方面，提供了一种对包括第一子图像和第二子图像的图像进行编码的编码器，该编码器被安排用来：把第一子图像编码为第一子波编码；和把第二子图像编码为第二子波编码，每个子波编码都可以通过一系列的解码步骤来解码，其特征在于，所述编码器包括：输入装置，用于接收包括第一子图像和第二子图像的多个子图像，还用于接收与将显示区划分为多个分区相关的划分参数；编码装置，它基于该划分参数产生第一子波编码和第二子波编码，并且格式化第一子波编码和第二子波编码，从而使得接收该第一子波编码和第二子波编码的解码器被迫在最初对第一子波编码执行比对第二子波编码更多的解码步骤。
附图说明
参考附图，下面将以实例来更详细的描述本发明，其中：
图1示出了已有技术的一个十六个象素的图象的子波编码实例。
图2示出了已有技术的一个十六个象素的块的子波编码实例。
图3A-3F示出了根据本发明的基于子波的分级聚焦的实例。
图4示出了在图象分级结构的四个级中的每一级的分辩率逐级增高的呈现的定时图的例子。
图5示出了用于根据本发明实现分辩率逐级增高的呈现的子波解码顺序的例子。
图6示出了用于根据本发明实现分辩率逐级增高的呈现的子波解码顺序的另一实例。
图7示出了根据本发明的分级子波呈现***的实例流程图。
图8A-8D示出了根据本发明的多个图象的分级呈现的实例。
图9示出了根据本发明的分级子波处理的实例框图。
在整个附图中，相同的参考数字表示类似或相应的特征或功能。
具体实施方式
图3A-3F示出了根据本发明的基于子波的分层聚焦的例子。图3A表示一个图象(未示出)的显示区300。根据本发明，显示区300被划分为若干个分区310-341。分区310-341以分级形式排列。中心区310是焦点区或分级结构的顶级；中心区310周围的分区321-324形成分级结构的下一级；分区331-332形成下一级；并且分区341形成最低一级。画出分区310-341的轮廓的虚线用来指示图象还没有呈现在显示区300上。
图3B-3F示出了随后时间间隔中的显示区300。图3F表示在显示区300中最终呈现的图象(未示出)。每个图中分立的格表示在每个区中呈现的分辩率，类似于图1和2中的块A、B、C、D和E的划分区。格越小，分辩率越高。
如图3B所示，最高一级的分区310被分成十六个格。为了便于参考，该分区标注为310A；与前面的图类似，每个分区在该分区发生变化时进行类似的标注。下一级的分区321A-324A均包括一个格，类似于图1和2的块E。正如上面所讨论的，这个抽象级的每个格将表示较低一级的格或图象象素的平均值。因此，举例来说，如果最低一级的格的值表示每个象素的色彩，则每个区321A-324A呈现为一致的单色。另一方面，分区310A将呈现为十六个彩色区的拼图。也就是说，分区310A中的图象片段呈现的分辩率高于分区321A-324A中的图象片段的分辩率。剩下的分区331、332、341由虚线画出轮廓，表示在这些区域中的图象片段还没有呈现。
图3C示出了在随后时间的显示区300。如图所示，分区310B包括六十四个格；分区321B-324B每个都包括四个格；分区331A、331B每个都包括两个格；并且分区341A也包括两个格。正如每个格的面积所表示的，分区310B的分辩率高于分区321B-324B，分区321B-324B的分辩率高于分区331A、331B，分区331A、331B的分辩率高于分区341A。
类似地，图3D-3F示出了每个分区的逐渐增加的分辩率。应当指出，一旦分区310C达到了最高分辩率，则它在随后的呈现期间保持此分辩率，直至在图3F所有的分区都达到这个最高分辩率为止。从进一步的详细描述中可以看出，呈现图3F的最高分辩率所需的时间只是略微长于整个显示区300的传统的单子波表示的呈现。
正如序列3B-3F所示出的，当累积呈现图象时，焦点区310呈现的分辩率高于周围区域，一直到所有分区都以最高分辩率呈现为止，由此则示出了最清晰的细节。如果呈现之间的时间周期长，那么这会特别有帮助。本专业技术人员可以显见，图3B-3F所示的每个呈现预计需要越来越长的呈现时间周期，这是因为每个依次的呈现可能会包含越来越多的格要处理。因此，通过在图3F完全详细地呈现整个图象之前在图3D的分区310C进行完全详细的呈现，则允许观众集中于焦点区310C要快于在整个显示区300使用单子波表示的传统呈现。
根据本发明，比整个图象要快的焦点区310C的详细表示具有若干个优点。因为人的视觉***天生包括上述的聚焦，所以周围区域中的较少细节的表示不太受到注意，因而将提高感觉到的接收速度。也就是说，图3E的呈现时间可能被感觉为是“完成”图象接收，并且图3F周围区域中的细节的填充可以在视觉上不注意的情况下进行，除非是观众特别注意周围区域。而且，正如已有技术的顺序呈现所指出的，只要观众确定已接收了足够的信息，那么就可以终止呈现。这特别适用于在观众确定下载的图象不是想要的图象时终止图象下载。但是，与已有技术的***相比，由于焦点区310以较高分辩率呈现要快于整个图象的呈现，所以对图象是否是用户想要的图象的识别通常会非常快。其它的优点将在下面作进一步讨论。
在图4中，线4A-4D示出了在图象分级结构的四个级中每一级的分辩率逐级增高的呈现的定时图实例。为了易于参考，术语子图象在以下用于指在上述划分的显示区中显示的整个图象的部分。线4A表示初级子图象的分辩率，该子图象在如图3的分区310的前述初级或焦点区中呈现。通常，尽管在本发明的其它应用中可在分级结构的上级定义多个子图象和初级区，但在此处用作焦点的是一个初级子图象和一个初级区。线4B表示次级子图象的分辩率，该子图象对应于分级结构的下一级的分区，如图3的分区321-324。线4C表示第三级子图象的分辩率，并且线4D表示处于分级结构的最后一级的背景子图象的分辩率。每条线4A-4D的垂直标度表示相对于能够以该分辩率呈现最佳特征尺寸的分辩率，它与图3的分区中的格尺寸相一致。每个所示的台阶是特征尺寸减半，它与上述图象2的每个子波差集合W、X、Y和Z的处理相一致。如图所示，初级子图象被处理以在411、412、413、...、提供更高分辩率要快于次级子图象的421、422、...，且快于第三级子图象的431，且快于背景子图象的441。
在任意时间点490，可以实现分解的子图象的呈现。如图4所示，在时间490，子图象的分级结构的每一级具有不同的分辩率，较高的分辩率491可以在分级结构的最高级得到，并且在分级结构的最低一级得到较低的分辩率494。
图5示出了用于根据本发明实现分辩率逐级增高的呈现的子波解码顺序的例子。水平轴表示时间。集合510、511表示对应于图1和2所示实例的子波编码。集合510对应于包括十六个象素(对应于集合W、X、Y和Z的一个平均项E0和十五个差项)的第一子图象I的子波编码；集合520对应于包含十六个象素的第二子图象J的子波编码；并且集合530对应于包含八个象素的第三子图象K的子波编码。子图象I表示在分级结构最高级的每个子图象；子图象J表示在分级结构下一级的每个子图象；并且子图象K表示在分级结构再下一级的每个子图象。
集合510被解码产生一次解码的集合511，对应于上述通过图2的差块W和平均块E形成的平均块D。由此产生的一次解码集合511的前两个元素Id0和Id1是分配给子图象I的分为两格的区域的平均值。一次解码集合511被解码产生二次解码集合512。所产生的二次解码集合512的前四个元素Ic0-Ic3对应于分配给子图象I的分为四格的区域。之后的解码最终产生子图象I的象素值Ia0-Ia15的集合514。
类似地，集合520和530按顺序解码以分别产生子图象J和K的象素值集合524、533。根据本发明应当指出，子图象J和K的解码率不断地慢于初级子图象I的解码率。也就是说，在子图象I已二次解码产生四个平均值的时候，子图象J仅仅是一次解码产生两个平均值，且子图象K还没有被解码，并且只有一个平均值。如图5所示，解码子图象J的速率是解码子图象I的速率的一半，直至子图象I被全部解码为止，并且解码子图象K的速率是解码子图象J的速率的一半，直到子图象J被完全解码为止。解码率的特定值以及其它解码参数是任选的。例如，每级的解码率可以相等，但通过在渐进的随后时间初始化每级的顺序解码可以保持聚焦分级结构。本发明的聚焦方案的重要性在于初级子图象解码产生的分辩率高于分级结构的其它级。也可以使用其它的技术；例如，通过根据随机或半随机的处理动态确定要解码的子图象可以提供令人感兴趣的视觉效果。
应当指出，在图5中，解码处理利用当前集合的“上面”N个元素产生下一个集合的N个平均元素。也就是说，解码集合510产生集合511利用的是上面的两个元素IE0、IW0产生平均值Id0和Id1；剩下的十四个元素从集合510到集合511保持不变。类似地，确定集合512的四个接下来的平均值Ic0-Ic3仅仅需要集合511的上面四个元素。图6示出了根据本发明另一方案实现分辩率逐级增高的呈现的子波解码顺序的另一实例。集合690包括图5的集合510、520和530的所有元素。但是，集合690中的元素顺序是元素被解码呈现的顺序。如图6所示，显示区600具有三个分区610、620、630，分别用于显示图象I、J和K。集合690的前三个元素IE0、JE0和KD0是与每个图象I、J和K相关的单个平均值，并且分别应用于三个分区610、620和630的每个分区。集合690中的下一个元素IW0是图象I的第一差项，且用于与平均项IE0结合以把分区610分成两个格，以作为与图5相关的上述平均值Id0和Id1的两个格。下两个元素IX0和IX1与平均值Id0和Id1结合使用以随后把分区610分成上述平均值Ic0-Ic3的四个格。应当指出，下一个元素JW0是子图象J的第一差值，并且应当指出，它在与子图象I相关的剩余元素IY0-IZ7之前在集合690中出现。参考图5所示的时间顺序，J图象的第一解码521出现在图象J的第三解码之前，因此，根据本发明的此方案，完成图象J的第一编码所需的元素JW0在集合690中出现在用于完全图象I的第三解码所需的元素IY0-IY3之前。类似地，集合690中的每个元素以根据本发明实现分级解码的分级结构顺序出现。
来自多个子图象的元素的分级定序提供了若干优点。如图6所示，分级定序的集合690可按顺序进行处理以便在显示区600中产生细节不断增加的图象。因此，如果从一个远程位置按顺序传送确定顺序的集合690，则在传送随后元素的同时可以开始显示区600的呈现，从而在接收到图象的所有细节之前产生可观看的图象。正如上面所述的，如果分级编码是基于聚焦的分级结构，则基于焦点区细节的整个图象的识别速率也会加快。其它的优点将在下面提出。
图7示出了根据本发明的分级子波呈现***的流程图实例。在710读出用于每个子图象的子图象参数。这些参数包括诸如每个子图象的层次级、为呈现每个子图象而分配给该层次级的区域内的位置、对应于每个子图象的差集合数等。循环720-726在724读出与每个层次级相关的参数。这些参数包括与开始子波解码处理相关的分级结构的这一级的子图象解码的开始时间，以及随后解码之间的时间增量。正如在本技术领域中通用的，这些“时间”参数在整个解码处理的过程中以“循环”来规定。在728，循环计数或循环次数被初始化为零。
循环730-769实现子图象分级结构的每个级的解码和呈现处理。在735，在子图象分级结构的每一级处理图象的下一个规定次数与当前循环次数相比较。如果对于一个特定的层次级来说次数匹配，则循环740-750处理该特定层次级中的每个子图象。在745，如果子图象还没有被完全解码，则在750，它被解码一次以产生这个子图象的下一个集合的分格平均值。
当在此层次级中的所有子图象都被处理之后，在760更新该层次级的下一个规定的处理次数。在所有的层次级都被处理之后，循环次数增加并且处理被重复，直到在775所有的子图象都被解码为止。在图7所示处理的任意时间，如上所述，每个子图象的解码平均值可被呈现，从而在确定较低级细节的同时提供分辩率不断提高的子图象显示。
图8A-8D示出了多个图象的分级呈现的例子。如上所述，JacquelynMartino，Nevenka Dimitrova和Kaushal Kurapati在1999年3月31日提交的U.S序列号为09/282,321，代理卷号为PHA 23,645的共同未审美国专利申请″DEVICE AND METHOD FOR A LATTICE DISPALY″中提出了一种***，通过在分级结构的较高级比在较低级更突出地呈现图象，该***能够以分级形式显示多个图象。在该参考发明的一个实施例中，图象在格形网络中与其它图象相关；例如，来自电视广播的景物的图象与来自相同广播的其它景物的图象相关，与不同广播中的同一个演员的图象相关，与同一导演的其它广播图象相关，如此等等。当一个图象被选为初级图象时，根据每个图象与所选图象关系的相对强度来确定与所选图象相关的所有图象的突出程度。例如，该强度可由格形网络中连接图象的最小链接数来确定。图8A示出了从显示区800到五个子区810、820、830、840和850的划分，每个子区分别对应于分级结构中逐渐减小的级。图8B示出了图8A的每个分区820-850的进一步划分，对应于分区820中的图象位置821-825，分区830中的831-834，分区840中的841-847，和分区850中的851-857。在图8B中总共标识了二十四个图象位置，包括分区810中的初级图象位置811。根据该参考发明，通过使用这种二十四个图象位置的划分，与初级图象关系最近的二十三个图象以它们与初级图象的接近程度的顺序分配在位置821-857上，其中初级图象被分配在位置811。每个图象被分配在一个特定的位置811-857，并被适当的裁剪或加框(letter-boxed)以符合每个位置811-857的长宽比。也就是说，二十四个图象中的每个图象对应于提供到显示区的一个整体图象的二十四个子图象。
图8C和8D示出了使用上述原理的多个图象的依次呈现。图8D示出了上面讨论的分级编码处理的另一个优点。如果显示区800的最高分辩率是图8D的分区810和820所示的分辩率，则不需要传送对应于这些分区的图象的其它细节。举例来说，分区810的256个格表示在位置811的图象的8次子波解码。高于第8级编码的子波差集合不必再传送。分区820的每个图象位置821-825的六十四个格表示在每个位置821-825的图象的6次子波解码。因此，对于这些图象来说，高于第6级编码的子波差集合不必传送。另外，位置821-825的图象的第7级和第8级编码可以在呈现图8D之后传送，并且存储在本地缓冲器中。当用户随后从位置821-825中选择作为在位置811呈现的初级图象的图象时，对于所选图象来说，这些其它级的解码可以在本地缓冲器中获得，进而允许以位置811的更高分辩率快速呈现所选的图象。类似地，子波编码也可以被有意识的截断以限制传送多个图象所需的带宽。在这种实施例中，图8D所示的分辩率可以是具有多种分辩率的想要的最终显示，其中图象的细节并没有被完全传送，除非图象是在显示分级结构中分配到较高位置710、720的图象之一。
图9示出了根据本发明的分级子波处理***的实例框图。该子波处理***包括编码***900和解码***950。显示划分装置910把一个显示区划分为多个分区，并把与划分处理911有关的参数提供到图象划分装置920。划分参数911包括每个分区在显示区上的位置，每个分区的大小，与每个分区相关的层次级等。图象划分装置920把图象901划分为对应于上述参数911所定义的显示划分区的子图象921。子图象921提供给子波编码器930，该编码器产生每个子图象921的子波编码931。另外，多个图象925可提供到子波编码器930，并且多个图象925中的每个图象由子波编码器930编码以对应于与上述显示参数911相关的显示分区。作为一种任选的情况，各个子波编码931可被组织以用于以分级定序器940确定的上述分级顺序传送到解码器950，从而提供分级传输941，该分级传输941由解码器950中的分级解序器960解除排序。
子波解码器970接收对应于编码子波941的子波961。在一个最佳实施例中，显示划分参数911借助于每个子波的首部而含在传输的子波961中，它规定在显示区中呈现该子波的位置。子波解码器970使用上面公开的技术解码子波编码961，并把由此产生的呈现提供给显示设备980。作为任选的情况，子波解码器970根据本地显示划分装置990接收要呈现在显示设备980上的独立子波965。也就是说，通常，根据本发明的显示划分和子波编码发生在服务器的处理器中，并且对应于每个部分的子波被传送到客户处理器。另外，子波也能够以传统的方式传送到客户处理器，并且本地显示划分装置990提供参数991，以用于通过使用上述变化的解码率解码每个子波。
上面仅仅示出了本发明的原理。可以理解，本专业技术人员应当能够设计各种方案，这些方案尽管在文中没有明确描述或示出但却体现了本发明的原理，并因此而包括在本发明的宗旨和范围之内。例如，在一个最佳实施例中，图象和分区以分级形式组织。分级结构有利于算法处理技术。其它未分级的显示区或图象的分区可根据本发明具有排序不同的子波编码或解码率。在图中提供的实例仅仅是为了进行说明。对于本专业技术人员来说，根据此公开，其它的***配置和最优化特征将是显而易见的，并且将包含在下述权利要求书的范围之内。
Claims (10)
1.一种对多个子波编码进行解码的方法，该多个子波编码包括属于第一子图象的第一子波编码(510)和属于第二子图象的第二子波编码(520)，每个子波编码都可以通过一系列的解码步骤来解码，所述方法的特征在于它包括：
-初始阶段，其中对第一子波编码(510)执行比对第二子波编码(520)更多的解码步骤；
-再现步骤，其中根据已经分别对第一子波编码(510)和第二子波编码(520)执行的解码步骤再现包括第一子图象和第二子图象的图象。
2.根据权利要求1的方法，其特征在于，对第一子波编码(510)的解码在比完成第二子波编码(520)的解码的时间间隔短的时间间隔中完成。
3.根据权利要求1的方法，其特征在于，对第一子波编码(510)的至少一个解码步骤已经在对第二子波编码(520)的第一个编码步骤开始之前执行。
4.根据权利要求1的方法，其特征在于，所述方法还包括解除复合子波编码(690)的排序以产生多个子波编码的步骤(960)。
5.根据权利要求4的方法，其特征在于，所述方法还包括步骤：
从一个远程位置接收复合子波编码(690)，和
在接收该复合子波编码的同时再现包括第一子图象和第二子图象的图象。
6.一种用于对多个子波编码(961)解码的解码器(970)，该多个子波编码(961)包括属于第一子图象的第一子波编码(510)和属于第二子图象的第二子波编码(520)，每个子波编码都可以通过一系列的解码步骤来解码，其特征在于，所述解码器(970)包括：
输入装置，用于接收多个子波编码(961)和显示划分参数(911)；
解码装置，基于显示划分参数(911)对第一子波编码(510)和第二子波编码(520)解码，从而该解码装置最初对第一子波编码(510)执行比对第二子波编码(520)更多的解码步骤；以及
输出装置，用于向显示设备(980)提供图象，该图象包括第一子图象和第二子图象。
7.一种对包括第一子图象和第二子图象的图象进行编码的方法，所述方法包括步骤：
-把第一子图象编码为第一子波编码(510)；和
-把第二子图象编码为第二子波编码(520)，每个子波编码都可以通过一系列的解码步骤来解码，所述方法的特征在于它还包括：
-格式化步骤(910，920，930)，其中第一子波编码(510)和第二子波编码(520)被格式化，从而使得接收该第一子波编码(510)和第二子波编码(520)的解码器(950)被迫在最初对第一子波编码(510)执行比对第二子波编码(520)更多的解码步骤。
8.根据权利要求7的方法，其特征在于，所述格式化步骤包括参数关联步骤(910)，其中参数与第一子波编码(510)和第二子波编码(520)关联起来，该参数迫使解码器(950)在最初对第一子波编码(510)执行比对第二子波编码(520)更多的解码步骤。
9.根据权利要求7的方法，其特征在于，所述格式化步骤包括定序步骤(940)，其中第一子波编码(510)和第二子波编码(520)被组合为复合子波编码(690)，第一子波编码(510)和第二子波编码(520)的元素在该复合子波编码(690)中被表示为序列(690；IE0，JE0，...，KZ3)，该序列迫使解码器(950)在最初对第一子波编码(510)执行比对第二子波编码(520)更多的解码步骤。
10.一种对包括第一子图象和第二子图象的图象进行编码的编码器(930)，该编码器被安排用来：把第一子图象编码为第一子波编码(510)；和把第二子图象编码为第二子波编码(520)，每个子波编码都可以通过一系列的解码步骤来解码，其特征在于，所述编码器(930)包括：
输入装置，用于接收包括第一子图象和第二子图象的多个子图象(921，925)，还用于接收与将显示区划分(910)为多个分区相关的划分参数(911)；
编码装置，它基于该划分参数(911)产生第一子波编码(510)和第二子波编码(520)，并且格式化(910，920，930)第一子波编码(510)和第二子波编码(520)，从而使得接收该第一子波编码(510)和第二子波编码(520)的解码器(950)被迫在最初对第一子波编码(510)执行比对第二子波编码(520)更多的解码步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/345,340 US6535644B1 (en) | 1999-07-01 | 1999-07-01 | Hierarchical foveation based on wavelets |
| US09/345,340 | 1999-07-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1321286A CN1321286A (zh) | 2001-11-07 |
| CN1230785C true CN1230785C (zh) | 2005-12-07 |
Family
ID=23354654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB008018723A Expired - Fee Related CN1230785C (zh) | 1999-07-01 | 2000-06-29 | 基于子波的分级聚焦(foveation)和图象的聚焦编码 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6535644B1 (zh) |
| EP (1) | EP1116183A1 (zh) |
| JP (1) | JP2003504921A (zh) |
| KR (1) | KR100768678B1 (zh) |
| CN (1) | CN1230785C (zh) |
| WO (1) | WO2001003070A1 (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1109409A3 (en) * | 1999-12-17 | 2011-11-30 | Canon Kabushiki Kaisha | Digital signal coding with division into tiles |
| US6670963B2 (en) * | 2001-01-17 | 2003-12-30 | Tektronix, Inc. | Visual attention model |
| FR2826227B1 (fr) * | 2001-06-13 | 2003-11-28 | Canon Kk | Procede et dispositif de traitement d'un signal numerique code |
| DE10326168B4 (de) * | 2003-06-10 | 2010-01-28 | Siemens Ag | Verfahren und Funktionseinheit zur Optimierung der Darstellung progressiv kodierter Bilddaten |
| EP1722572B1 (en) | 2004-02-23 | 2013-02-20 | NEC Corporation | 2-dimensional signal encoding/decoding method and device |
| JP4660408B2 (ja) * | 2006-03-27 | 2011-03-30 | 三洋電機株式会社 | 符号化方法 |
| BR112012009893B1 (pt) * | 2009-10-26 | 2021-02-02 | Sony Computer Entertainment Inc. | dispositivos e métodos de geração de arquivo de imagem e de processamento de imagem, mídia de gravação não transitória legível por computador, e, estrutura de dados de um arquivo de imagem |
| JP5368254B2 (ja) * | 2009-10-26 | 2013-12-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、および画像ファイルのデータ構造 |
| JP5296656B2 (ja) * | 2009-10-26 | 2013-09-25 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| US8878909B1 (en) | 2010-11-26 | 2014-11-04 | John H. Prince | Synthesis of narrow fields of view to create artifact-free 3D images |
| JP5474887B2 (ja) * | 2011-08-01 | 2014-04-16 | 株式会社ソニー・コンピュータエンタテインメント | 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造 |
| EP2654015A1 (en) * | 2012-04-21 | 2013-10-23 | General Electric Company | Method, system and computer readable medium for processing a medical video image |
| US9727991B2 (en) | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
| USD755813S1 (en) * | 2013-08-01 | 2016-05-10 | Sears Brands, L.L.C. | Display screen or portion thereof with graphical user interface |
| USD750657S1 (en) | 2013-08-01 | 2016-03-01 | Sears Brands, L.L.C. | Display screen or portion thereof with graphical user interface |
| USD746842S1 (en) * | 2013-08-01 | 2016-01-05 | Sears Brands, L.L.C. | Display screen or portion thereof with graphical user interface |
| USD749610S1 (en) * | 2013-09-03 | 2016-02-16 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| USD749109S1 (en) * | 2013-09-03 | 2016-02-09 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| US9569883B2 (en) * | 2013-12-12 | 2017-02-14 | Intel Corporation | Decoupled shading pipeline |
| CN104469344B (zh) * | 2014-12-03 | 2017-03-01 | 北京智谷技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
| US10542961B2 (en) | 2015-06-15 | 2020-01-28 | The Research Foundation For The State University Of New York | System and method for infrasonic cardiac monitoring |
| USD809536S1 (en) * | 2015-06-30 | 2018-02-06 | Whirlpool Corporation | Control panel for appliance with embedded display screen having a graphical user interface |
| USD809537S1 (en) * | 2015-06-30 | 2018-02-06 | Whirlpool Corporation | Control panel for appliance with embedded display screen having a graphical user interface |
| US10460704B2 (en) * | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
| USD885414S1 (en) | 2016-12-30 | 2020-05-26 | Whirlpool Corporation | Appliance display screen or portion thereof with graphic user interface |
| USD863379S1 (en) | 2016-12-30 | 2019-10-15 | Whirlpool Corporation | Control panel for an appliance |
| US10949947B2 (en) | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
| GB2567553B (en) | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
| GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
| GB2583061B (en) | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61184074A (ja) * | 1985-02-06 | 1986-08-16 | ア−ルシ−エ− コ−ポレ−ション | データ減少方法およびそれに使用する電子カメラ |
| US5060170A (en) * | 1989-08-09 | 1991-10-22 | International Business Machines Corp. | Space allocation and positioning method for screen display regions in a variable windowing system |
| US5144688A (en) * | 1990-03-23 | 1992-09-01 | Board Of Regents, The University Of Texas System | Method and apparatus for visual pattern image coding |
| US5103306A (en) * | 1990-03-28 | 1992-04-07 | Transitions Research Corporation | Digital image compression employing a resolution gradient |
| US5638498A (en) * | 1992-11-10 | 1997-06-10 | Adobe Systems Incorporated | Method and apparatus for reducing storage requirements for display data |
| US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US6160846A (en) * | 1995-10-25 | 2000-12-12 | Sarnoff Corporation | Apparatus and method for optimizing the rate control in a coding system |
| AU5901898A (en) | 1997-01-06 | 1998-08-18 | Wilson S. Geisler | Foveated image coding system and method for image bandwidth reduction |
| US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| US6345126B1 (en) * | 1998-01-29 | 2002-02-05 | Xerox Corporation | Method for transmitting data using an embedded bit stream produced in a hierarchical table-lookup vector quantizer |
| US6090051A (en) * | 1999-03-03 | 2000-07-18 | Marshall; Sandra P. | Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity |
| JP2002542505A (ja) * | 1999-04-08 | 2002-12-10 | ニューヨーク ユニバーシティ | 超解像力を有する中心窩画像表示装置 |
-
1999
- 1999-07-01 US US09/345,340 patent/US6535644B1/en not_active Expired - Lifetime
-
2000
- 2000-06-29 KR KR1020017002755A patent/KR100768678B1/ko not_active IP Right Cessation
- 2000-06-29 CN CNB008018723A patent/CN1230785C/zh not_active Expired - Fee Related
- 2000-06-29 EP EP00943942A patent/EP1116183A1/en not_active Withdrawn
- 2000-06-29 WO PCT/EP2000/006075 patent/WO2001003070A1/en not_active Application Discontinuation
- 2000-06-29 JP JP2001508783A patent/JP2003504921A/ja not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| KR100768678B1 (ko) | 2007-10-23 |
| EP1116183A1 (en) | 2001-07-18 |
| WO2001003070A1 (en) | 2001-01-11 |
| JP2003504921A (ja) | 2003-02-04 |
| US6535644B1 (en) | 2003-03-18 |
| KR20010074927A (ko) | 2001-08-09 |
| CN1321286A (zh) | 2001-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1230785C (zh) | 基于子波的分级聚焦(foveation)和图象的聚焦编码 | |
| CN1093669C (zh) | 运动图像对比度增强的直方图均衡装置及其方法 | |
| CN1324185A (zh) | 动态修改数字视频图像的方法和装置 | |
| CN1279474C (zh) | 运动视频浏览***和浏览方法 | |
| US6104837A (en) | Image data compression for interactive applications | |
| CN1367616A (zh) | 视频序列中产生对象标识图象的装置和方法 | |
| CN1218561C (zh) | 对图象序列的噪声滤除 | |
| US5805226A (en) | Method and apparatus for encoding a video signal by using a block truncation coding method | |
| EP1034661B1 (en) | Low bandwidth encoding scheme for video transmission | |
| CN1205598A (zh) | 用于二进制形状编码的方法和装置 | |
| WO2001001348A1 (en) | Image conversion and encoding techniques | |
| CN1498501A (zh) | 视频数据压缩和解压缩的方法 | |
| WO2002031806A1 (en) | Method of and system for low-bandwidth transmission of color video | |
| CN1418014A (zh) | 编码方法和编码装置 | |
| US11600026B2 (en) | Data processing systems | |
| US20060206509A1 (en) | Mesh compression | |
| AU2002235321B2 (en) | Optimized data transmission system and method | |
| CN1220803A (zh) | 一个数字化图像的向量量化和逆向量量化的方法和设备 | |
| JPH0698306A (ja) | 画像符号化装置 | |
| JPS62236269A (ja) | デイザ画像符号化装置 | |
| AU2002319414A1 (en) | Mesh compression | |
| Krishna | Multimedia Communication | |
| CN1930576A (zh) | 处理图像数据的***和方法 | |
| CN1462149A (zh) | 利用电视视频信号传输数据 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: IPG ELECTRONICS 503 CO., LTD. Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD. Effective date: 20090904 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20090904 Address after: British Channel Islands Patentee after: Koninkl Philips Electronics NV Address before: Holland Ian Deho Finn Patentee before: Koninklike Philips Electronics N. V. |
|
| ASS | Succession or assignment of patent right |
Owner name: FUNAI ELECTRIC CO., LTD. Free format text: FORMER OWNER: IPG ELECTRONICS 503 LIMITED Effective date: 20120523 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20120523 Address after: Osaka Japan Patentee after: Funai Electric Co., Ltd. Address before: British Channel Islands Patentee before: Koninkl Philips Electronics NV |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20051207 Termination date: 20170629 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |