CN1981295A - 视频处理 - Google Patents

视频处理 Download PDF

Info

Publication number
CN1981295A
CN1981295A CNA2005800225998A CN200580022599A CN1981295A CN 1981295 A CN1981295 A CN 1981295A CN A2005800225998 A CNA2005800225998 A CN A2005800225998A CN 200580022599 A CN200580022599 A CN 200580022599A CN 1981295 A CN1981295 A CN 1981295A
Authority
CN
China
Prior art keywords
depth
data
signal
equipment according
video processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800225998A
Other languages
English (en)
Inventor
R·P·克莱霍斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1981295A publication Critical patent/CN1981295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理设备包括:用于产生第一图像信号(9)的第一摄像机(1)和用于产生第二图像信号(11)的第二摄像机(3)。第一图像信号(9)和第二图像信号(11)分别是相同场景的偏移版本,例如涉及通过第一和第二摄像机观看的场景的"右"和"左"版本。深度估算器(5)接收第一和第二图像信号(9,11),并对于场景中的区域产生深度信号(13)。数据压缩器(7)从摄像机之一例如第一摄像机(1)接收图像信号,并压缩图像信号中的视频数据,以产生压缩的图像信号(14)。特定区域的数据压缩是根据从深度估算器(5)接收的用于那个区域的深度信号(13)来执行的。该设备可以被配置成利用高于位于背景中的对象的分辨率来压缩前景中的对象的图像数据。

Description

视频处理
技术领域
本发明涉及视频处理设备和方法,并且特别涉及视频压缩设备和方法。
背景技术
视频压缩技术通常用于通过具有有限带宽的通信信道更有效地传送视频信号。在当今视频压缩技术诸如MPEG4中,基于区域的编码被建议,以允许场景(scene)中的不同区域利用不同的质量来编码。这个技术的主要目的是利用高质量发送重要对象,而以较低质量传送场景中的不太重要区域。
“Region based Video Coding using Mathematical Morphology(使用数学形态学的基于区域的视频编码)”(Philippe Salembier等人,IEEE学报,83卷,第6期,1995年6月)公开了一种基于区域的编码,其中基于强度、彩色和灰度值来分段图像中的诸区域。这具有的缺点是:不清楚哪个是场景中的重要对象。时常,重要对象将是图像中的移动对象。
发明内容
本发明的目的是提供一种改进的视频处理。
本发明利用独立权利要求来定义。从属权利要求定义有利的实施例。
根据本发明的第一方面,提供一种用于处理具有一个或多个所关心区域的图像信号的视频处理设备。该设备包括深度估算装置,用于确定图像信号中区域的深度并提供相应深度信号。数据压缩器接收图像信号和深度信号,并被配置成根据从深度估算装置接收的相应深度信号来压缩特定区域中的图像数据。
本发明具有的优点是:能够根据图像信号中区域的深度,压缩例如涉及特定对象并因此涉及整个图像信号内区域的重要性的图像信号的区域。
根据本发明的另一方面,提供一种移动通信设备,包括用于获取第一图像信号的第一成像装置以及用于获取第二图像信号的第二成像装置。第一和第二成像装置被安排成实质上指向同一方向。
根据本发明的这个方面的通信设备具有的优点是:能够确定正被观看的图像信号中的深度信息,这随后能够被用于动态地压缩上述的图像信号中的不同区域。
根据本发明的另一方面,提供一种处理具有一个或多个所关心区域的图像信号的方法。该方法包括确定图像信号中区域的深度以提供相应深度信号的步骤。该深度信号被数据压缩器用于压缩图像信号,以致于根据图像信号中特定区域的相应深度来压缩用于该特定区域的图像数据。
附图说明
为了更好理解本发明,以及为了更清楚地显示如何可以实现本发明,现在将仅仅利用示例参考以下附图,其中:
图1显示了根据本发明的视频处理设备;
图2显示了典型的场景;
图3A和图3B显示了在图1的第一和第二摄像机中获得的图像;
图4显示了简单的压缩引擎;和
图5显示了本发明的替代实施例。
具体实施方式
图1描述了根据本发明的视频处理设备。第一摄像机1产生第一图像信号9,而第二摄像机3产生第二图像信号11。第一图像信号9和第二图像信号11是相同场景的偏移版本,例如涉及分别通过第一和第二摄像机观看的“右”和“左”版本。深度估算器5接收第一和第二图像信号9、11,并产生深度信号13。
数据处理器7从一个摄像机(例如,第一摄像机1)接收图像信号,并压缩该图像信号中的视频数据,以产生压缩的图像信号14。数据压缩级基于从深度估算器5接收的深度信号13。
例如,该设备可以被配置成:根据越靠近摄像机的对象比背景中的对象更重要的假设,压缩图像数据。
根据由深度估算器5接收的第一图像信号9和第二图像信号11,确定深度信号13。第一图像信号9和第二图像信号11用来确定左右图像中相同对象的相应像素之间的视差(disparity)(不均等性)。
最好,该视差被翻译成每个像素的深度信号,其用来在压缩正常图像时控制数据压缩器7中的量化程度。
因此,根据本发明,更靠近摄像机的对象利用高质量即高量化来编码,而远离摄像机的对象则经历较低编码,即导致较低带宽需求的较低量化。
任选地,可以作出完全忽略涉及场景的不重要部分的像素的决定。在这样的像素中,数据压缩器7可以被配置成***更容易被编码的数据以替代真实的背景信息。择一地,可以***标志或指示符,这使得接收机在接收机侧上***像素数据。
图2显示了典型场景S,其中在前景中在相距第一和第二摄像机1、3大约一或二米的距离处找到主对象15。在场景的背景中例如在相距摄像机1、3大约三至四米的深度上发现不太重要对象17。
图3A和3B显示了利用第一和第二摄像机查看的图像信号。图3A显示了利用第二摄像机3(即,该实施例中的“左”摄像机)查看到的图像信号,而图3B显示了利用第一摄像机1(即,该实施例中的“右”摄像机)查看到的图像信号。正如可以从这些图中看到的那样,在利用右和左摄像机查看到的图像信号之间具有视差。请注意,该视差与对象距摄像机的距离成反比。
立体图像中特定对象的视差是在左图象上对象的位置与右图像上同一对象的位置之间的像素差。换言之,对于涉及特定对象的给定像素,如果该像素涉及远离摄像机的对象,则利用第一和第二摄像机1、3查看到的图像之间的视差将是小的,而如果该像素涉及靠近摄像机的对象,则视差将是大的。因此,当像素数据涉及远离摄像机1、3的对象时,像素数据将出现在两个图像帧中几乎相同的位置上。相反地,当像素数据涉及靠近摄像机1、3的对象时,像素数据将出现在图像帧明显不同的位置上。
例如,在图3A和3B中,背景对象17位于两个图像信号的几乎相同的位置中。另一方面,在位于场景的前景中的对象1 5的位置之间存在更大的视差。
用于根据从两个摄像机获得的图像计算对象深度的各种技术本身是已知的,并在这个申请中将不再更详细地进行说明。这些技术包括从第一图像中获得特定像素并在第二图像中查找相应像素的步骤。如果相应像素被找到,则计算视差,并把深度值分配给那个像素。
从上面将明白,图像信号中的每个像素被提供深度信号,这在压缩正常图像时用于为数据压缩器提供量化值。
图4显示了根据本发明的简化的压缩引擎。压缩引擎40接收来自摄像机之一的输入像素数据(像素(i,j)in),并且从深度估算器5接收深度信号(深度(i,j)in)。根据该像素的深度信号,量化输入像素数据,以提供输出像素数据(像素(i,j)out)。因此,根据来自摄像机的相关联对象的深度,压缩每个像素。此后,已知的可变长度编码装置43可以用来利用这些值的压缩范围,以提供压缩的输出数据45。
本发明特别适于其中视频数据必须进行压缩以便经由具有有限带宽的通信信道传输的应用。例如,本发明特别适于用在移动电话中。根据本发明的这一方面,提供具有第一和第二摄像机的移动电话,第一和第二摄像机被安排成实质上指向同一方向。这些摄像机可以用来确定深度信息,供提供用于数据压缩的深度信号之用,如上所述。
选择地,视频处理设备可以用来降低待存储在例如移动电话和摄影机中的视频数据的量。
尽管已经涉及提供场景的“左”和“右”版本的摄像机描述了优选实施例,但是将意识到,任何方位将是有可能的,相对彼此在固定的位置中提供两个摄像机。此外,还可以使用其它的手段来测量深度值,诸如利用自场景中对象的“光飞行时间”或者用于确定对象深度的其它的聚焦技术来测量深度值。此外,当与视频摄像机一起使用时,假定对象正在相应帧之间移动,则可以从相同场景的连续帧中确定场景中对象的深度。尽管这样的实施例依赖于有关场景中对象大小的知识,但是其对于确定哪个对象在其它对象的前面是有用的,因而能够确定最接近的对象(并因此最重要对象)。
此外,尽管已经以前景中的对象比背景中的对象更重要为基础描述了优选实施例,但是将容易意识到,也可以反过来使用本发明,从而例如在监视背景场景的安全应用中,把背景中的对象视为更重要的对象。作为选择,例如,如果在固定位置中使用摄像机,并且打算监视位于远离摄像机的预定距离上的场景,则本发明还可以用来在距离摄像机的预定深度上提供最佳质量。
图5显示了实现本发明的再一个实施例。图5的实施例具有第一和第二透镜51和53,而不是如图1和图2所示的具有两个单独的摄像机或传感器。第一和第二透镜沿着垂直于视线的方向被隔开,并且将光引导到潜望镜设备55。潜望镜设备55用于将来自分隔开的透镜51、53的光引导到单个传感器或摄像机57。因此,图像的左边部分将来自左透镜,而右边部分将来自右透镜。执行“校准”,以使传感器的中部与镜子匹配。
以上实施例中所描述的本发明具有以下优点:能够根据图像信号中区域的深度,压缩例如涉及特定对象并因此整个图像信号内区域的重要性的图象信号的区域。
应当注意,上述实施例说明而不是限制本发明,并且本领域熟练技术人员将能够在不背离所附权利要求范围的条件下,设计许多替代实施例。词“包括”不排除权利要求中所列之外的元素或步骤的存在。
在权利要求中,置于括号之间的任何参考标记不应解释为限制该权利要求。元素前面的词“一或一个”并不排除多个这样的元素的存在。本发明可以利用包括若干不同元素的硬件来实施,并且可以利用合适编程的计算机来实施。在枚举若干装置的设备权利要求中,这些装置中的若干装置可以利用同一个硬件项来实施。在相互不同的从属权利要求中叙述某些措施的纯粹事实并不表示这些措施的组合不能有利地加以使用。

Claims (17)

1、一种视频处理设备,用于处理具有一个或多个所关心区域的图像信号,该设备包括:
深度估算装置(5),用于确定图像信号中区域的深度并提供相应深度信号(13);
数据压缩器(7),用于接收图像信号和深度信号(13);
其中数据压缩器(7)被配置成:根据从深度估算装置(5)接收的相应深度信号(13),压缩特定区域中的图像数据。
2、根据权利要求1所述的视频处理设备,进一步包括第一和第二摄像机(1,3),第一和第二摄像机(1,3)给深度估算装置(5)提供第一和第二图像信号(9,11),用于确定图像信号中区域的深度。
3、根据权利要求2所述的视频处理设备,其中深度估算装置(5)被配置成:根据第一与第二图像信号(9,11)之间的视差,确定区域的深度。
4、根据权利要求1所述的视频处理设备,其中数据压缩器适于根据深度信号(13)改变数据压缩(7)的量化。
5、根据权利要求4所述的视频处理设备,其中数据压缩器(7)适于对具有小值深度信号的区域应用高量化,并对具有高值深度信号的区域应用较低量化。
6、根据权利要求1所述的视频处理设备,其中在每个像素的基础上,确定数据压缩和深度。
7、根据权利要求6所述的视频处理设备,其中数据压缩器(7)被安排为以预定方式编码非重要像素。
8、根据权利要求7所述的视频处理设备,其中数据压缩器(7)被安排为省略涉及非重要像素的像素数据。
9、根据权利要求7所述的视频处理设备,其中数据压缩器(7)被安排为利用需要较少带宽的数据来编码用于非重要像素的像素数据。
10、根据权利要求7所述的视频处理设备,其中数据压缩器(7)被安排为利用标记来编码用于非重要像素的像素数据,以引起预定数据在接收机上被***。
11、一种移动通信设备,具有如权利要求1所述的视频处理设备。
12、根据权利要求11所述的移动通信设备,进一步包括:
第一成像装置(1;51),用于获取第一图像信号;
第二成像装置(3;53),用于获取第二图像信号;
其中第一和第二成像装置被安排为实质上指向同一方向。
13、根据权利要求12所述的移动通信设备,其中第一和第二成像装置分别包括第一和第二透镜(51,53),第一和第二透镜沿着垂直于视线的方向被间隔开。
14、根据权利要求12所述的移动通信设备,其中第一和第二成像设备分别包括第一和第二摄像机(1,3)。
15、根据权利要求12所述的移动通信设备,其中第一和第二图像信号用于确定图像信号中对象的深度。
16、一种处理具有一个或多个所关心区域的图像信号的方法,该方法包括以下步骤:
确定图像信号中区域的深度,以提供相应深度信号;
提供数据压缩器,用于压缩图像信号;以及
根据相应深度信号,压缩特定区域中的数据。
17、根据权利要求16所述的方法,还包括以下步骤:
提供第一和第二摄像机(1,3),第一和第二摄像机提供第一和第二图像信号,用于确定图像信号中区域的深度。
CNA2005800225998A 2004-07-02 2005-06-28 视频处理 Pending CN1981295A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04103122 2004-07-02
EP04103122.0 2004-07-02

Publications (1)

Publication Number Publication Date
CN1981295A true CN1981295A (zh) 2007-06-13

Family

ID=35783223

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800225998A Pending CN1981295A (zh) 2004-07-02 2005-06-28 视频处理

Country Status (5)

Country Link
US (1) US20080279285A1 (zh)
EP (1) EP1766558A2 (zh)
JP (1) JP2008505522A (zh)
CN (1) CN1981295A (zh)
WO (1) WO2006003611A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457742A (zh) * 2010-10-15 2012-05-16 索尼公司 信息处理装置、信息处理方法和程序
CN102630031A (zh) * 2011-02-03 2012-08-08 美国博通公司 一种用于处理视频的方法和***
CN103004214A (zh) * 2010-07-16 2013-03-27 高通股份有限公司 用于三维视频的基于视觉的质量度量

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296662B2 (en) * 2007-02-05 2012-10-23 Brother Kogyo Kabushiki Kaisha Image display device
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
JP5303399B2 (ja) * 2009-08-18 2013-10-02 日本放送協会 動画像ビット深度削減装置及びプログラム
KR101636539B1 (ko) 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치
JP4764516B1 (ja) * 2010-06-14 2011-09-07 シャープ株式会社 多視点画像符号化装置
EP2622859B1 (en) * 2010-09-29 2016-08-31 Dolby Laboratories Licensing Corporation Region based asymmetric coding for 3d video compression
US9064295B2 (en) * 2013-02-04 2015-06-23 Sony Corporation Enhanced video encoding using depth information

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2681941B2 (ja) * 1987-09-14 1997-11-26 ソニー株式会社 画像処理装置
JP2701393B2 (ja) * 1988-12-13 1998-01-21 日本電気株式会社 動画像符号化装置
JPH03230691A (ja) * 1990-02-05 1991-10-14 Minolta Camera Co Ltd ディジタル電子スチルカメラ
GB9613039D0 (en) * 1996-06-21 1996-08-28 Philips Electronics Nv Image data compression for interactive applications
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JPH11112844A (ja) * 1997-09-30 1999-04-23 Canon Inc 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004214A (zh) * 2010-07-16 2013-03-27 高通股份有限公司 用于三维视频的基于视觉的质量度量
CN103004214B (zh) * 2010-07-16 2015-11-25 高通股份有限公司 用于三维视频的基于视觉的质量度量
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
CN102457742A (zh) * 2010-10-15 2012-05-16 索尼公司 信息处理装置、信息处理方法和程序
CN102630031A (zh) * 2011-02-03 2012-08-08 美国博通公司 一种用于处理视频的方法和***

Also Published As

Publication number Publication date
EP1766558A2 (en) 2007-03-28
WO2006003611A3 (en) 2006-12-21
WO2006003611A2 (en) 2006-01-12
JP2008505522A (ja) 2008-02-21
US20080279285A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
CN1981295A (zh) 视频处理
US11490092B2 (en) Event-based adaptation of coding parameters for video image encoding
KR100918480B1 (ko) 스테레오 비전 시스템 및 그 처리 방법
JP6178017B2 (ja) ステレオビデオのための深度認識向上
JP6698077B2 (ja) モデルベースの映像符号化用の知覚的最適化
US9729818B2 (en) Adaptive post-processing for mobile video calling system
EP3348060B1 (en) Method and device for encoding a light field based image, and corresponding computer program product
US9992455B2 (en) Video encoding method and video encoder system
CN101926174A (zh) 自适应图片组(agop)结构确定
CN103650504A (zh) 基于图像捕获参数对视频编码的控制
Sanchez et al. Rate control for lossless region of interest coding in HEVC intra-coding with applications to digital pathology images
CN114026864A (zh) 用于几何分割模式的色度样本权重推导
KR100800653B1 (ko) 3차원 입체 영상을 압축하기 위한 장치 및 방법
US10979711B2 (en) Method and encoder system for encoding video
EP1227684A2 (en) Encoding of video signals
EP2888877A1 (en) Method and apparatus for estimating content complexity for video quality assessment
KR20120019662A (ko) 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.
JP2020120322A (ja) 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム
Fischer et al. Saliency-driven hierarchical learned image coding for machines
JPH1028274A (ja) 立体画像符号化装置
WO2008145560A1 (en) Method for selecting a coding data and coding device implementing said method
Wang et al. Long term background reference based satellite video coding
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
Uma et al. Simulation of H. 264 based real time video encoder for underwater acoustic channel
Isnardi et al. Salience-based compression: providing FMV over low-bit rate channels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication