CN1640115A - 动态范围视频记录及回放的***和方法 - Google Patents

动态范围视频记录及回放的***和方法 Download PDF

Info

Publication number
CN1640115A
CN1640115A CNA038048590A CN03804859A CN1640115A CN 1640115 A CN1640115 A CN 1640115A CN A038048590 A CNA038048590 A CN A038048590A CN 03804859 A CN03804859 A CN 03804859A CN 1640115 A CN1640115 A CN 1640115A
Authority
CN
China
Prior art keywords
video
signal
image
digital
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038048590A
Other languages
English (en)
Inventor
K·霍里
M·惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Vision Systems Inc
Original Assignee
Applied Vision Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Vision Systems Inc filed Critical Applied Vision Systems Inc
Publication of CN1640115A publication Critical patent/CN1640115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种使用至少第一和第二不同的曝光时间来捕获和显示一系列连续的视频图像,使得使用所述的第一曝光时间捕获的第一视频图像与使用所述的第二曝光时间所捕获的第二视频图像交替发生的改进的方法和***。该方法使用一个数字计算机和软件程序来产生和存储表示所述的第一和第二视频图像的数字数据,并且利用该数字数据有选择地显示(a)所述的第一和第二图像的并排重现或者(b)仅重现所述的第一或者所述的第二视频图像或者(c)从第一和第二视频图像数字数据得到的合成图像。

Description

动态范围视频记录及回放的***和方法
优先权要求
该申请是John Crawford等人于2000年8月17日申请的序列号为09/640,405的共同未决的美国专利申请的部分继续,上述申请要求于1999年8月17日申请的序列号为60/149,237临时专利申请的优先权。
技术领域
本发明涉及产生并记录视频信号流的视频***,特别是但不局限于为了安全目的而进行监视和记录的视频摄像***,并且尤其涉及在2001年2月22日公开的国际公开号为WO01/13171 A1的国际专利申请PCT/US00/40662(其与序列号为09/640,405的所述共同未决的美国专利申请相应,并要求其优先权)中所描述的动态范围视频摄像机,记录***以及记录方法的一种改进形式。
背景技术
视频摄像***通常应用于在选定的区域对活动进行无人值班的记录。一些安全应用,例如,将几个视频摄像机连接到周期性地记录来自于每个摄像机的短时间的视频信号的记录***。通常这些摄像机被设计成自动曝光模式,其中一种被称为电子快门的设备会变换每个视频帧的综合时间从而与环境光条件相匹配,或者在摄像机上安装一个自动光圈镜头。在多数情况下,摄像机产生一个包含两场视频信号的标准视频信号的连续流,这两场视频信号隔行扫描产生一帧视频信号。例如,标准的美国***,NTSC或者RS-170视频,一场中具有262.5行视频信号,与第二场中的262.5行视频信号隔行,第二组在第一组之后的1/60秒开始。使用这些信号的视频监视器或者记录器将这些场交替的组合起来产生一个用于观看的完整的视频帧。也存在其它的视频***,被称为逐行扫描***。在后面的这些***中,不隔行而扫描一个完整的视频帧,通常每1/30秒一次。
在这些***中,视频信号由电压表示。在每一场或者每一帧中,存在最大的电压,表示视频***能够转换成信号的最大量的光,以及最小电压,表示该***能够可靠表示的最小量的光。在视频摄像机所拍摄的场景中,该场景的图像被转换成一个利用最大值与最小值之间的电压范围所表示的场景的视频信号电压。对于一个通常的场景,以及一个自动曝光的特定值,可能存在太暗而不包含任何可用的信息的部分场景,以及另一部分区域太亮而无法使用。在监视应用中,例如,这将导致图像的重要部分太亮而被淘汰,或者重要部分太暗而看不见的情况。
因此,克服上述问题的一个方法涉及双曝光视频摄像机的组合使用。组合的双曝光摄像机***包括一个摄像机,通过一个电子快门对相同的光学图像产生两个不同的曝光,以及用于将来自于两个曝光的图像数据组合成一个输出场或者帧的装置。这导致了在由两个不同的曝光母图像所产生的一个图像中具有更宽的场景亮度值,但其将被压缩到一个视频帧的电压限制范围内。这种类型的摄像机***在1995年5月30日授权给M.Konishi等人的美国专利申请5420635中有所描述。还参见下述的用于产生高分辨率的图像和/或补偿图像亮度电平的变化方法的美国专利申请:1992年3月31日授予Y.Ohta等人的5101276;1997年8月12日授予W.R.Bender等人的5657402;1999年7月6日授予W.R.Bender等人的5920657。双曝光图像组合处理的问题在于尽管它扩展了被捕获的和用于产生输出场或者帧的场景亮度值的范围,但是这是通过忽略一个或者多个母图像中包含的各种信息来降低产生图像的对比度为代价进行的。而且如果对象移动的话,合并的图像将变得模糊。忽略的信息被善意地认为是对最终的图像不重要的信息。但是,这种判断不总是正确的或者能接受的,尤其在视频监视装置中。而且,当记录这样产生的图像场时,在后处理中大部分动态范围改进受到限制。这是由于通过组合信号所产生的生成图像场中可用的信息不再包含原始图像中存在的全部信息。
在前引用的国际专利申请PCT/US00/40662中公开了一种视频摄像机***和方法,其中产生一个视频信号流,该视频信号流利用表示至少两个不同的曝光级别的视频数据来定义一序列的视频场或帧,例如将第一曝光级别的场或者帧散布到第二曝光级别的场或者帧中。利用这种视频信号产生一个与特定的曝光组或者组合相匹配的视频数据的视频显示。另外或者取而代之的是,使用视频信号流来产生一个包含由选定的视频帧或场表示的光学图像的视频显示,该***和方法提供了记录该摄像机输出的视频信号用于在以后产生包括由所述的选定视频场或帧表示的光学图像数据的视频显示。换句话说,可以在纪录的过程中或者记录之后产生该显示。与传统的双曝光摄像机输出的视频信号输出相比,国际专利申请PCT/US00/40662中公开的***所记录的视频信号流包括不同曝光级别的两个或者多个视频信号场或帧,所述视频信号流由于记录的曝光的范围占有处理信号值的更宽有效范围,覆盖了更宽范围的场景亮度,以及具有更高动态范围的信息。通过为摄像机和视频记录器定做不同曝光的数目,能够保存摄像机的视频传感器的全部可用动态范围。此外,在国际专利申请PCT/US00/40662中公开的***和方法中提出了后处理所选择曝光的选项,以将一种曝光的帧或者场与其它曝光的场或者帧组合,从而实现与现有技术的方法相似的结果,提高将两个曝光的视频图像数据合并成一个输出场或者帧的图像时的分辨率。
发明内容
本发明的首要目的是通过提供一种方法来促进所述的国际专利申请PCT/US00/40662中描述的发明的使用,其中视频摄像机的输出适用于一个数字计算机并且能够由该数字计算机使用。
本发明的更为特别的目的是提供一种应用国际专利申请PCT/US00/40662中公开的该发明的原则的相对低成本的视频***和方法。
本发明的另一个目的是提供一种改进的视频***和方法,其特征在于定义了表示被观看的场或者对象的视频场或帧的一个连续的视频信号流被应用于一个数字计算机,并且操作数字计算机来提供所观看场景的多图像视频显示。
本发明的另一个目的是提供一种涉及数字计算机的使用的视频处理方法和装置,其特征在于提供了一个表示选定光学图像的一系列第一和第二视频场或者帧的一个视频图像信号串,所述的第一视频场或者帧包括表示第一曝光级别的数据,所述的第二视频场或者帧包括表示第二个更大或者更小的曝光级别的数据,所述的数字计算机处理所述的视频图像信号串,从而每个所述的第一视频场都与一个不同的所述第二视频场或者帧相链接,并且存储表示所述的链解的第一和第二视频场的视频信号,用于在以后产生一个所述的第一和第二视频场的图像数据的并排显示。
本发明的另一个目的是提供一种动态范围视频记录和回放方法和装置,其特征在于记录和回放包括一个数字计算机以及一个用于控制该计算机的专用计算机程序,其用于:(1)接收包括模拟格式的表示在一种曝光级别捕获的图像的第一视频场或帧信号以及模拟格式的表示在第二曝光级别捕获的图像的第二视频场或者帧信号的信号流,第一和第二视频场或者帧信号以时间序列与所述的第二视频场或者帧信号交替,(2)将所述的模拟信号转换成数字格式,(3)根据生成顺序存储所述的数字格式的信号并且所述第一视频信号被链接到所述第二视频信号,以及(4)响应于所述的信号操作显示设备从而显示第一视频场或者帧信号所产生的第一曝光级别的第一图像,同时显示所述的第二视频场或者帧信号所产生的第二不同的曝光级别的第二图像。
本发明的另一个目的是提供一种利用视频摄像机观看和记录一个场景的改进的方法和***,其中产生一个视频信号流,其利用表示在两个或者多个不同的曝光级别记录的图像的视频数据来定义一个视频场或者帧的序列,并且由数字计算机***处理该视频信号流从而有选择地产生记录图像的显示。
另一个目的是提供一种用于操作该数字计算机的新颖的计算机程序,从而使所述的计算机能够接收,处理,存储,访问和转换交替产生的第一和第二视频帧或者场信号,所述的第一视频场或者帧信号包括表示在一个曝光级别捕获的图像的数据,并且所述第二视频场或者帧信号包括表示在第二曝光级别捕获的图像的数据,所述的计算机程序适用于使所述的计算机将每个第一视频帧或者场信号与接下来发生的第二视频场或者帧信号相链接,其中所述的第一和第二视频场或者帧信号可以用于产生和显示不同曝光值的并排的光学图像。
上述目的以及在下文中将会呈现出来的其它目的这样实现:提供一个具有电子快门的视频摄像机,用于捕获一个光学图像,并且控制快门的操作,这样摄像机将产生一个视频信号输出,其包括表示捕获的光学图像的连续的视频图像场或者帧信号,多个第一视频图像场或者帧信号构成了表示在第一曝光级别捕获的光学图像的数据,以及多个第二视频图像场或者帧信号构成了表示在不同于第一曝光级别的第二曝光级别捕获的光学图像的数据,第一视频图像场或者帧信号在时间上与第二视频图像场或者帧信号交替发生。这样的视频信号输出被一个数字计算机以及在专用计算机软件程序控制下由计算机操作控制的外部设备所利用。计算机程序使计算机能够驱动显示设备从而使显示设备并排显示由所述第一或第二视频场或者帧信号所表示的光学图像。同时提供一个捕获光学图像的实时显示,为了实现发明目的,本发明提供了在一个非易失性存储设备中记录(即存储)摄像机的视频信号输出,因此其可用于随后产生由第一和第二视频图像场或者帧信号所表示的光学图像数据的视频显示。换句话说,显示可以在纪录的过程中或者记录之后产生。计算机程序也提供了处理和存储表示在第三或者更多的曝光级别捕获的图像的视频信号流,并且产生在每个曝光级别捕获的图像显示。而且,尽管可以操作摄像机从而提供表示在两个或者多个曝光级别获得的图像的视频图像信号,但是不需要操作显示设备从而同时显示两个或者多个曝光级别中的每一个的视频图像。或者计算机程序为用户提供一个选择--可以命令显示设备仅显示两个或者多个曝光级别中的一个选定级别捕获的图像,或者可以命令其显示表示在两个或者多个曝光级别中的每一个或者仅某些级别捕获的图像的多个图像。例如,当在三个曝光级别捕获图像时,显示设备可以仅并排显示两幅图像,其中一个显示图像表示在一个曝光级别捕获的图像,而另一个显示图像表示在其它两个曝光级别中的一个曝光级别上捕获的图形。本发明的其它特征将在下文的详细说明中描述和清楚呈现,下文的描述将与附图共同考虑。
附图说明
附图1示意性地表明适于本发明的视频摄像机;
附图2是表明根据本发明的一个优选实施例的数字计算机***的构成的方框图;
附图3A-3D共同构成了表示用于说明本发明的优选实施例的软件的流程;
附图4表明本发明的第一种变形,用于提供组合了明暗图像信息的合成图像的方框图;
附图5和6是表示本发明的两个其它变形或者实施例的方框图,其允许选择性的显示明或者暗图像帧。
在几个附图当中,相同的数字表示相同的元件以及相同的示意性表示。
具体实施方式
附图1是一个视频摄像机1的方框图表示,该视频摄像机1包括一个图像检测器(未显示),例如以感光固态图像传感器的形式,以及一个镜头(也没有显示),该镜头在图像检测器上对场景进行成像。固态图像传感器可以是一个CCD,MOS或者其它类似设备。在本发明的优选实施例中,摄像机被设计成每帧产生两个隔行场,场1和场2,例如根据标准美国视频***,NTSC或者RS-170视频。摄像机1也包括一个电子快门(未显示)。具有电子快门的固态图像传感器的使用已经为人所知,如下面的美国专利所描述:1998年8月11日授予T.Mochizuki等人的5793422;1995年9月5日授予H.Kogane等人的5448293;1995年4月25日授予H.Tanigawa等人的5410349;1994年2月1日授予M.Usami等人的5283655;1993年9月21日授予J.Lee的5247367;1992年10月20日授予T.Nakajima等人的5157502;1991年12月24日授予Y.Kawaoka等人的5075775;1989年10月17日授予K.Yonemoto等人的4875100;以及1988年5月10日授予N.Takatsu等人的4743778。它们在某种程度上是相关的,再次引入这些专利的教导以供参考。
摄像机1的电子快门连接到控制器3,控制器3在每个场间隔过程中校准摄像机的图像检测器的综合时间。摄像机为控制器3提供了一个同步信号,表示为3a,这样控制器将使摄像机的电子快门为每一场改变曝光时间,即校准摄像机的图像检测器的综合时间与每个视频帧相同步。在场1的过程中,控制器设定综合时间为一个预定的慢速度,例如相对较长的曝光时间1/60秒。在场2的过程中,控制器设定综合时间为一个预定的快速度,例如相对较短的曝光时间1/2000秒。出现在输出线4上的摄像机的电子输出是包含表示场1和场2图像的数据的模拟视频图像信号流。尤其是,模拟视频图像信号包含表示相对较亮的场的连续序列的数据,在4A处示意性表示,相对较长的曝光时间(例如1/60秒)所产生的交替出现的相对较暗的场,在4B处示意性的表示,相对较短的曝光时间(例如1/2000秒)产生的图像。
作为下面将要详细描述的一种可选的变形,可以使用一个场代码单元3b在摄像机的输出视频信号中增加一个场代码(或者用户期望的其它数据码)。该场代码单元作为一个分离设备来提供,如图1所示的***在摄像机和计算机***之间,或者其也可以做为摄像机或者整个***的一个构成部分而被集成。
本发明提供了一种用于记录和显示摄像机1的输出信号所表示的图像的***和方法,其由数字计算机***上的计算机程序来实现。参见图2,本发明使用一种传统的商业上可获得的数字计算机***10。尽管没有显示,但是应当理解这种计算机主要包括一个处理器,用于获得并执行存储在存储装置中的软件程序指令,也可以控制构成该计算机的一部分或连接或者耦合到该计算机的其它元件。计算机的存储装置用于存储程序指令和数据。存储装置可以包括暂时存储装置,例如随机访问操作存储器,用于存储立即使用或者短期使用的指令和数据,也包括非易失性存储装置,例如计算机硬盘驱动器或者磁带记录器,用于长期存储计算机程序和数据。最好将在本发明中使用的计算机程序存储在构成计算机10的一部分的硬盘当中,并且当激活该计算机时,自动地读取随机访问操作存储器。本发明中的计算机程序也可以永久存储在嵌入在该计算机***中的只读存储器中。作为另一个替换,计算机程序可以存储在诸如CD的可移动的存储介质上,并且在操作者的命令下读取操作存储器。在附图2中,中央处理器,上述的存储装置,以及用于执行本发明的软件程序在12处表示为“多范围图像处理应用”。
计算机***也包括一个输入图像捕获卡14(有时表示为“帧抓取器”),其接收输入设备的视频信息并将其转换成计算机可读的数字数据格式。在这种情况下,图像捕获卡14从视频摄像机1接收模拟的视频图像信号流并且将模拟视频图像信号转换成数字数据格式。应当注意输入视频图像信号不需要直接从视频摄像机输入到视频捕获卡,可以替代地通过中间设备(例如构成摄像机的部分或者与摄像机耦合的分离设备的视频磁带记录器以及视频摄像机多路复用器)来输入。计算机进一步包括一个计算机输出视频卡16,其用于接收数字格式的视频图像信号并且将它们转换成适于驱动一个显示设备,例如传统的视频监视器的模拟视频信号,从而呈现出一个视频显示,以后将进行详细描述。视频监视器可以是计算机***的固定元件,例如在膝上型电脑的情况下,或者可以是耦合到计算机的输出端口的分离设备,在18处表示。在本发明的优选实施例中,计算机***连接到一个外部的非易失性存储设备20上,非易失性存储设备20具有多种形式,例如硬盘驱动器或者磁带记录器。存储设备20提供记录图像的存储从而用于以后的回放和/或用于存档的目的。
本领域的技术人员熟知模拟-数字图像捕获卡和数字-模拟输出视频卡,因此关于这些设备的详细描述被认为是不必要的,而且它们也并不够成本发明的一部分。
仍然参照附图2,该计算机也包括一个应用存储缓存器22和一个显示存储缓存器24。这些可以是为了缓存附图3A-3D所示的计算机程序而分配的计算机存储装置的构成部分。
附图3A和3B表明了本发明的计算机程序所命令的步骤,用于捕获,存储和实时地或者在以后的时间显示摄像机1所捕获的图像。附图3C表明了在向存储装置写入视频图像记录之后的指令或者步骤序列,附图3D表明了从存储显示中获得图像记录时所执行的步骤。以后在操作摄像机1的上下文中描述程序的操作模式,从而产生如上所述的交替发生的明暗场。但是,应当注意计算机程序被设计成容纳通过编程摄像机快门控制器3所产生的视频图像信号,因此这将使摄像机产生一系列场或者帧,特征在于多于两个的不同的曝光级别,例如提供相对较亮的第一图像,相对较暗的第二图像和具有第一和第二图像的中间亮度的第三图像的三个不同时间的曝光。
现在参照附图3A和3B,摄像机的输出(包括表示交替发生的明暗场的模拟视频图像信号流)被图像捕获卡14转换成数字格式。然后根据附图3A和3B所示的软件处理该数字格式信号。因此,在步骤100曝光次数“m”中的变量数目被设定为值2。在步骤102,由于需要两个隔行场来产生一个完整扫描的隔行图像帧,场-帧比h被设定为2(注意:在逐行扫描的情况下,h=1,一帧构成一场)。该软件也将“k”设定为等于一场中的像素行的数目,并且在240设定该值,该值是在没有垂直同步和消隐部分的情况下,即仅有图像部分时的一个隔行NTSC场的值。m和k的值可以通过嵌入在摄像机的输出视频图像信号中的信息自动设定,或者可以由用户利用菜单来设定,菜单提供了一个关于(1)摄像机所使用的图像处理的种类(隔行或者逐行扫描)以及(2)快门控制器3设定的不同的曝光时间的数目,即不同的曝光速度的数目的选择。为了图像捕获处理的目的,一场可以被看作是粗略扫描的图像,一帧可以被看作是完全扫描的图像。
在步骤102,软件为m=2的不同的曝光帧,即两个不同的曝光时间所产生的帧,自动地分配应用存储器,分配的存储器在图2中表示为亮场缓存器26和暗场缓存器28。然后在步骤103,指示***开始图像捕获处理,这样表示一帧(实际上一帧表示一个隔行图像)的模拟信号从摄像机输入(在B点),并且读入到视频图像捕获卡14当中。
该程序使计算机建立了一个场计数器f(参见步骤104)和一个行计数器n(参见步骤106)。在步骤104,场计数器f被设定为0。步骤105命令从摄像机1输入下一场。步骤106设定行计数器的值为1,步骤107将场计数器加1。在步骤108,场计数器f与不同的曝光次数m相比较,如果f超过了m,则给出一个指令开始显示帧序列的步骤(参见附图3A的A)。如果f没有超过m,在步骤109判断接收的视频图像是否是隔行扫描的图像。如果“是”,在步骤110中执行一个指令将捕获场的每一行像素为每一场复制两次到应用存储器当中(因为h=2),从而提供一个记录在应用存储器中的完整的480行帧。如果步骤109提供了一个“否”的判决,就意味着视频图像是一个逐行扫描的图像,即该帧是一个480行的单独的场,然后在步骤110中执行指令将来自于捕获场的当前像素行复制到应用存储器当中,而不用将行加倍。
在步骤112,由于步骤110或者111的结果,行计数器n加1,步骤113判断行计数器n是否超过了一场中的像素行的数目k。如果在步骤113中n超过了k(在隔行情况下全部行的数目是240,在逐行扫描的情况下,全部行的数目是480时发生),在步骤106中设定一个信号以便将行计数器复位为1。如果n没有超过k,信号被发送到重复步骤109,于是另一个像素行被读如到应用存储器当中。
附图3B表明了响应于A处(附图3A)的显示帧信号所执行的步骤序列。对于上述步骤序列,建立了两个计数器,一个行计数器i以及一个位置计数器j。在步骤114,“p”表示将被显示的帧的每一行中的像素数目,分配显示存储器24以容纳k*h行象素的显示区域和每行p*m个象素。而且,显示存储其中的每一行像素都被看作具有m个位置。在该优选实施例中,摄像机产生交替的明暗场,m的值是2。因此,显示存储器24中的每一行像素的第一位置位于左边,其包括p个像素,第二位置位于右边,其也包括p个像素。基本上这些都存储在显示存储缓冲器30和32中。换句话说,显示存储器中的每一像素行并排地包括缓冲器32中的暗帧的p个像素以及缓冲器30中的明亮帧中的p个像素。当摄像机在三个不同的曝光值下捕获图像时,显示存储器的每一像素行的第一和最左边的位置具有p个像素,预留给一个曝光级别,第二和中间的p个像素的组预留给第二曝光级别,每一行的第三和最右边的像素组被预留给第三曝光级别,即显示存储器中的每行像素包含3p个像素,分别表示三次不同的曝光。换句话说,应用存储器22和显示存储器24分别包括用于存储三次不同的曝光所获得的像素的缓冲容量。
仍然参照图3B,在步骤115和116,行和位置计数器i和j分别被设定为1。接下来,在步骤117,发布指令将来自应用存储器,例如明亮帧缓冲器26的表示一行像素的数据复制到显示存储器,即缓冲器30的一行的选定位置,其后在步骤118,当前的位置计数器加1,因此现在它的值是2。步骤119判断位置计数器j是否超过了不同的曝光级别的数目m。如果j在数值上没有超过m,即在j=2的情况下,发布指令将来自应用存储器,即暗帧缓冲器28的一行像素复制到暗帧缓冲器32中的j=2所表示的第二位置上。如果j没有超过m,然后在步骤120行计数器加1。以后,在步骤121,判断i的值与k*h的关系。如果行计数器的值i超过了k*h的值,表明480行像素已经被传送到显示存储器当中,显示存储器将其内容清空来驱动监视器18,在122处表示。如果行计数器没有超过k*h,然后重复步骤116-120。
与显示那些由包含在显示存储器中的视频帧数据所表示的图像同步,在步骤123质询非易失性存储设备20是否将相同的数据传送到C进行记录。如果否,在步骤124产生一个信号质询是否从摄像机获得用于显示的下一帧,如在B处所表示的,或者从非易失性存储设备20获得下一帧,如在D处所表示的。
为了总结附图3A和3B所表示的软件的功能,如果操作摄像机以产生一系列模拟格式的、表示交替发生的相对较亮和相对较暗的场或者帧的信号,则图像捕获卡就将那些信号转换成一个数字数据格式,并且表示相对较亮帧的数字数据存储在缓冲器26中,表示相对较暗场帧的数字数据存储在缓冲器28中。在隔行场的情况下,一个亮场和一个暗场,表示一个扫描场的行数被加倍从而为每个存储在应用存储器22中的曝光级别提供一个480行的图像帧。以彼此链接的关系分别从缓冲器26和28读出和向显示存储缓冲器30和32读入表示相对较亮场或帧的数字数据和表示相对较暗图像的数字数据,所谓的链接关系是指明亮图像的数字数据的传送紧跟着在该明亮图像之后捕获的暗图像的数字数据的传送。当表示相对较亮的图像帧和接下来的相对较暗的图像帧的所有数据都被读入到显示存储器时,就以相同的顺序将数据传送到输出视频卡16,所述输出视频卡16将数字数据转换成模拟视频信号并且将那些模拟信号送往显示监视器18从而使显示监视器提供一个包括由摄像机捕获的相对较亮和相对较暗的图像的并排图像的显示。监视器18所显示的双图像是合成图像,即,构成每个显示帧的480行像素的一半是前一行的副本。这种对隔行图像的每个扫描行读取两次的模式是必需的,从而满足为显示NTSC视频而设计的显示器的帧的需要。但是,应当理解上述的行加倍或者重复技术可以由其它的能够实现基本相同的结果的图像交织方法来代替。应当理解,表示隔行场的数字数据能够在行加倍操作之前被存储在应用存储缓冲器26和28,以及非易失性存储设备20当中,在数据数字传送到显示存储缓冲器30和32之前完成行加倍。
附图3C表明了将表示捕获图像的数据写入到存储设备20的方案。以步骤125开始,提供一个帧计数器r并且初始化为值1。然后在步骤126,存储设备18准备写入从应用存储器22读出的数字帧数据记录以及这些记录的主列表。在附图3C的上下文中,每个记录都包含了一个由480行像素组成的单个帧的数据,记录的尺寸由k,p和h的乘积计算,其中k表示一场中的像素行数,p表示一行中的像素数目,h表示场帧比,m表示图像曝光时间中的变量数目。在交替明暗场图像的优选实施例中,m=2。为每一帧记录k,p,h和m的值。
步骤127提供指令以根据当前的时间,最好精确到1/1000秒,为每个记录指定一个识别符前缀。记录识别符前缀的格式可以是选定的年/月/日/时间格式,如图3C所示。指令识别符前缀的目的是为了方便从存储设备20中依次读出选定的记录。步骤128利用其被指定的记录识别符前缀对要被读入到设备20中的当前帧进行排序,并且将该记录识别符添加到记录的主列表当中。在接下来的步骤129中,当前帧计数器r增加1帧。然后在步骤130,比较r和m的值。如果r超过了m,发布指令从图像捕获设备,更精确地说是从应用存储器22获得另一帧。如果r没有超过m,这表明与当前帧链接的不同的曝光帧仍要被读出,并且重复接下来的步骤126-129,按照时间将接下来的帧写到存储器中。此时,r将具有大于2的值,表明明亮帧和接下来发生的(伴随)暗帧已经被写入到存储器,因此发布一个命令从应用存储缓冲器26和28获得另一帧。为了描述的简便,每个明亮帧和相应的暗帧可以被看成一组。
附图3D表明了从存储设备20获得图像的指令序列。第一步骤131设定从存储设备获得k,p和m的值的命令以及访问记录主列表从而读出。然后响应于该命令从存储设备中读出另一帧(参见附图3B的步骤124),执行步骤132,其中识别主列表中的下一个记录(480行的合成帧)用于回放。该步骤总是以一组中的第一帧开始,其中该组表示将被同时显示的具有不同的曝光值的图像数目。
在步骤133,为m帧分配应用存储器,每一帧具有480行像素。然后,如步骤134所述,将当前的帧计数器s设定为1,从存储设备中读出一个记录并且将其复制到应用存储器(步骤135)。接下来如步骤136所示,当前的帧计数器s加1。然后在步骤137中,比较帧计数器的当前计数值s与m的值。如果当前的计数值超过了m,就发布指令显示重建的帧,即从存储设备读出的明亮帧和暗帧的组合,该指令在A处应用(参见附图3B)从而产生一个如前所述的双显示。但是,如果s没有超过m,就发布指令重复步骤135和136,于是就从存储设备将另一条指令(存储的帧组中的伴随记录)读出到应用存储器。
如上关于附图2所述,所示的***可以通过包含一个用于在每个视频场中***一个帧代码的场代码单元来修改。在编程摄像机使其在三个或者更多的曝光级别捕获图像场(或者逐行扫描模式下的帧)的情况下,可以使用这种选择,从而能够根据它们特定的曝光级别分辨图像场(或帧)。在隔行视频模式下仅使用两个曝光级别的情况不需要***场代码,之后可以使用一帧开始处的视频同步信号来分辨两个不同曝光的隔行场。帧代码通常包括一个场代码,该场代码单元可以用于为每个场增加这样的数据作为数据码,时间码,帧序列数字码,摄像机码(最好是,例如,使用几个摄像机用于多点监视的情况),用户提供的其它曝光信息和/或其它信息,并且当模拟格式的每个捕获场被图像捕获卡14转换成数字格式时,帧代码信息也可以被数字化。在外部控制器3的控制下,场代码单元3b***帧代码。
本发明并不局限于NTSC隔行视频场,也能够适用于处理其它的隔行视频***,其中每一帧的扫描行的数目大于或者小于525,例如625行的欧洲标准帧。本发明也可以使用一个数字视频摄像机来代替模拟视频摄像机。与此类似,其也可以使用一个数字视频显示设备和方法来代替模拟视频显示设备。数字视频摄像机和数字视频显示设备可以在相同的***当中一起使用,或者在实现本发明时仅使用这些设备中的一个。在使用数字视频摄像机的情况下,图像捕获卡14不需要用作A/D转换器使用,其功能可以仅仅是将摄像机的数字视频图像信号输出转换成计算机可读的数字数据格式。在这种连接中,应当注意可以在商业上获得图像捕获卡,图像捕获卡适于接收模拟或者数字视频图像信号,其具有一个转换开关从而允许其选择输入视频图像信号的类型。如果监视器18是一个数字视频显示设备,计算机视频卡就不需要具有D/A功能,而是响应于并表示从明亮和暗帧缓冲器26和28获得的数字格式图像信息而产生输出数字视频信号。
同样期望计算机程序可以适于为用户提供显示(a)通过组合明亮和暗图像信息获得合成图像或者(b)仅一个曝光值的图像帧(例如仅是明亮或者仅是暗图像帧)的选择。
附图4表明了用于产生合成图像的本发明的一种变形。在这种情况下,计算机***包括一个被表示为合成图像处理应用程序40的计算机程序,合成图像处理应用程序40组合了表示由多范围图像处理应用程序12从应用存储器22获得的明亮和暗帧的数字数据从而构成了包括明亮和暗图像信息的组合(合成)图像帧。这些数字格式的合成图像帧通过显示存储器24提供给视频卡16,其依次产生能够用于使监视器产生合成图像显示的视频信号。由于本领域的技术人员根据能够获得两个不同的曝光图像帧并且将这些图像合成为一个合成图像帧的现有技术就能够清楚了解构成合成图像处理应用程序40的计算机程序的结构,因此将省略对其的详细描述。对于选择目的来说,合成图像的可用性是有用并且值得期待的。
附图5和6表明了怎样变形本发明以便仅显示相对较亮或者相对较暗的场。在两个实施例中,实施与附图3A-3D中所示的软件的步骤110相关的行计数加倍特征来提供一个如上所述的完整的480行帧。在附图5所述的实施例中,计算机***包括一个由图像选择应用程序42表示的计算机程序,图像选择应用程序42有选择地从显示存储器24仅获得明亮图像帧或者暗图像帧,并且将其传送到计算机视频卡。由于本领域的技术人员已知清楚这种程序的各种变形,因此将省略图像选择应用程序42所表示的计算机程序的详细结构。重要的是图像选择应用程序42使用户能够命令从显示存储器42或者获得明亮图像或者获得暗图像,并且由监视器显示。这样监视器将具有明亮或者暗图像的单一显示。
附图6与附图5的不同在于,图像选择应用程序42被设计成将图像处理应用程序12所产生操作修改为有选择地限制来自缓冲器26和28表示明亮或者暗图像帧的数据的接收,这样仅有明亮图像数据或者暗图像数据被传送到显示存储器24。关于附图5中的实施例,监视器将具有或者明亮或者暗的单一显示。
可以提供附图4-6的任何一个或者多个实施例而不用在***中保持附图2,3所提供的并排显示的能力。但是,最好是,在一个***当中结合附图4,5(或者6)所示的实施例与附图2,3所示的实施例,操作者可以随意地选择直接命令***使视频监视器产生附图2的实施例的并排显示,和/或附图4的实施例的合成单一显示,和/或由附图5,6中表示的其中一个实施例所实现的选择明亮或者暗图像的单一显示。对于附图5,6,在用户期望研究显示图像细节或者期望硬拷贝打印输出的情况下,有选择地限制显示明亮或者暗图像的能力是非常有利的。附图6的实施例比附图5的实施例更好,因为其仅需要从应用存储器22获得明亮或者暗的图像,因此降低了响应时间,也降低了分配给显示存储器24所需的存储量。
与附图2所示的***一样,附图4-6的实施例可以使用模拟或者数字摄像机以及显示监视器来实现,视频捕获卡14和计算机视频卡16分别与上述的摄像机和监视器相兼容。当然,视频捕获卡14也可以被设计成处理模拟或者数字摄像机输出视频信号,并且这两种能力可以集成在一张卡中。相似的,如果监视器是模拟视频信号显示设备的话,视频卡16也可以适用于产生用于操作监视器18的模拟视频信号,如果监视器是数字视频信号显示设备的话,其就被设计成产生数字视频信号,这两种能力可以集成到一张视频卡16当中。
很明显,除去视频监视器18之外,上述的组合了本发明的计算机***的实施例可以通过将其用于驱动一个打印机来变形,或者使用打印机来代替视频监视器18,并且驱动打印机从而打印出选定的图像,例如不同曝光值的并排静止图像,附图4的实施例所提供的合成图像,或者附图5和6中的任何一个实施例所提供的单一曝光值的图像。
应当理解这里所使用的用来显示图像的词组“并排”应当被理解成包括其它的显示格式,例如上下显示图像或者根据同时显示的图像的数目和尺寸进行其它的排列。而且显示的图像可以具有相同的尺寸或者显示图像的尺寸彼此不同。
本领域的技术人员根据上文的描述和附图1-6可以做出各种其它的改变和变形。

Claims (32)

1.一种产生具有改进的动态范围的视频记录的方法,包括:
提供一个能够将一个观看的光学图像转换成一个模拟视频图像信号流的视频摄像机,模拟视频图像信号流定义了表示所述光学图像的一系列视频场或者帧;
操作所述的视频摄像机,捕获一个光学图像并且在表示该捕获的光学图像的每个视频场或者帧的时间帧的过程中同时改变由所述视频摄像机接收的光量,从而产生一个模拟视频图像信号流,该模拟视频图像信号流定义了至少多个表示所述的捕获光学图像的第一曝光值的第一帧或者场以及多个表示所述的捕获光学图像的第二曝光值的第二场或者帧,所述的第一场或者帧以可辨别的顺序散布在所述的第二场或者帧中;
提供一个计算机,该计算机包括视频捕获装置,其用于将定义了一系列视频场或者帧的模拟视频信号转换成包括表示所述的视频场或者帧的数字数据的数字视频信号,一个用于存储所述的数字视频信号的应用存储器,用于存储所述的数字视频信号的显示存储器,耦合到所述的显示存储器、用于将来自于所述的显示存储器的数字视频信号转换成输出模拟视频信号的信号处理装置,以及用于响应并且根据所述的输出模拟视频信号产生一个可见显示的显示装置,
将所述的模拟视频图像信号流施加到所述计算机的所述视频捕获装置,从而将所述的模拟视频信号转换成表示捕获的光学图像的场或者帧的数字视频信号;以及
操作所述的计算机,从而(1)按照从模拟视频图像信号产生的顺序,在所述的应用存储器中存储数字视频信号,但是根据它们所表示的场或者帧的曝光值分离,(2)根据所述数字视频信号所表示的场或者帧的曝光值,并且按照从所述的模拟信号产生所述数字格式数据信号的顺序,将所述的数字视频信号从所述的应用存储器传送到所述的显示存储器,(3)将所述的数字视频信号从所述的显示存储器传送到所述的视频信号处理装置,并且将其转换成输出模拟视频信号,以及(4)将所述的输出模拟视频信号施加到所述的显示装置,从而使所述的显示装置产生一个具有不同曝光值的捕获图像的可见的并排显示。
2.根据权利要求1所述的方法,其中操作所述的摄像机,从而使所述的模拟视频图像信号流包括分别定义了表示所述捕获光学图像的第一曝光值的第一场或者帧的第一信号和分别定义了表示所述捕获光学图像的第二曝光值的第二场或者帧的第二信号,所述的第一和第二信号在所述的信号流中交替发生,并且其中操作所述的计算机,从而使所述的显示装置响应于所述的第一和第二信号以并排的关系显示两幅视频图像,所述的并排视频图像的一幅图像表示所述的第一曝光值,所述的并排视频图像的另一幅图像表示所述的第二曝光值。
3.根据权利要求1所述的方法,其中所述的模拟视频信号包括分别表示在第一曝光级别捕获的隔行扫描图像的第一场的第一信号和分别表示在第二个不同的曝光级别捕获的隔行扫描图像的第二场的第二信号,并且其中当存储在所述的应用存储器中时,所述的每个场中的像素行的数目都被加倍。
4.产生具有改进的动态范围的视频记录的方法,包括:
(a)提供一个能够将一个观看的光学图像转换成一个视频图像信号流的视频摄像机,视频图像信号流定义了表示所述的光学图像的一系列视频场或者帧;
(b)操作所述的视频摄像机,捕获一个光学图像并且在表示该捕获的光学图像的每个视频场或者帧的时间帧的过程中同时改变由所述视频摄像机接收的光量,从而产生一个视频图像信号流,该视频图像信号流定义了至少多个表示所述的捕获光学图像的第一曝光值的第一帧或者场以及多个表示所述的捕获光学图像的第二不同的曝光值的第二场或者帧,所述的第一场或者帧以可辨别的顺序散布在所述的第二场或者帧中;
(c)提供一个计算机,该计算机包括用于将定义了一系列视频场或者帧的视频图像信号转换成包括表示所述视频场或者帧的数字数据的数字视频信号的视频捕获装置,一个用于存储所述的数字视频信号的应用存储器,用于存储所述的数字视频信号的显示存储器,耦合到所述的显示存储器、用于将来自于所述的显示存储器的数字视频信号转换成输出视频信号的信号处理装置,以及用于响应并且根据所述的输出视频信号来产生一个可见显示的显示装置,
(d)将所述的视频图像信号流施加到所述计算机的所述视频捕获装置,从而将所述的视频信号转换成数字视频信号,其包括了表示捕获的光学图像的场或者帧的数据;以及
(e)操作所述的计算机,从而(1)按照从所述视频图像信号产生数字视频信号的顺序在所述的应用存储器中存储数字视频信号,但是根据它们所表示的场或者帧的曝光值分离(2)根据所述的数字视频信号所表示的场或者帧的曝光值,并且按照从所述的视频图像信号产生所述的数字格式数据信号的顺序,将所述的数字视频信号从所述的应用存储器传送到所述的显示存储器,(3)将所述的数字视频信号从所述的显示存储器传送到所述的视频信号处理装置,并且以适于驱动所述的显示装置的格式将其转换成输出视频信号,以及(4)将所述的输出视频信号施加到所述的显示装置,从而使所述的显示装置产生一个显示,再现根据所述的第一和第二曝光值中的一个或者两个所捕获的图像。
5.根据权利要求4所述的方法,其中所述的视频图像信号包括分别表示以所述第一曝光值表征的一个隔行扫描图像的第一场的第一信号,和分别表示以所述第二不同的曝光值表征的隔行扫描图像的第二场的第二信号,其中当存储在所述的应用存储器当中时,所述的每个场的像素行数被加倍。
6.产生一个视频记录的方法,包括:
(a)产生一个模拟图像信号流,该模拟图像信号流定义了表示一个捕获的光学图像的隔行视频场的序列,所述的模拟图像信号流包括第一模拟图像信号和第二模拟图像信号,所述第一模拟图像信号定义了表示在第一曝光级别捕获的光学图像的n行像素的第一视频场,而所述的第二模拟图像信号定义了表示在第二曝光级别捕获的光学图像的n行像素的第二视频场,所述的第一图像信号与所述的第二图像信号在所述的流中交替发生;
(b)提供一个计算机,包括一个中央处理器,图像捕获装置,用于接收定义了表示一个光学图像的视频场序列的模拟图像信号,并且将所述的模拟图像信号转换成包括表示所述的视频场的数字数据的数字场信号,一个应用存储器,用于存储所述的数字场信号,一个显示存储器,用于存储所述的数字场信号,一个耦合到所述的显示存储器的视频信号处理装置,用于从所述的显示存储器恢复数字场信号并且将所述的数字场信号转换成具有一个模拟格式的输出视频信号,显示装置,用于响应并且根据所述的输出视频信号产生一个捕获图像的可见显示,以及一个存储的应用软件程序,可通过所述的中央处理操作以用于(1)根据所述数字场信号所表示的捕获图像的曝光值将所述的数字场信号送往所述的应用存储器进行存储,(2)根据所述的数字场信号所表示的捕获图像的曝光值,按照所述的数字场信号被传送到所述的应用存储器进行存储的顺序,将所述的数字场信号从所述的应用存储器传送到所述的显示存储器,所述的每个数字场信号被转换以定义2n行像素的视频场,以及(3)将存储的数字场信号从所述的显示存储器传送到所述的视频信号处理装置,从而响应并且相应于所述的数字场信号而产生模拟视频信号;以及
(c)将所述的模拟图像信号流施加到所述的图像捕获装置,从而(1)将所述的第一和第二模拟图像信号转换成分别表示所述的第一和第二场以及所述的第一和第二曝光级别的第一和第二数字场信号,(2)按照从所述的模拟图像信号生成所述第一和第二数字场信号的顺序并且根据所述的捕获图像的曝光值,所述的存储应用软件程序使所述的第一和第二数字场信号存储在所述的应用存储器中,每个存储在所述的应用存储器中的所述的数字场信号定义了一个2n行像素的视频场,(3)按照第一和第二数字场信号的生成顺序并且根据所述的捕获图像的曝光值,所述存储的应用软件程序将存储的第一和第二数字场信号从所述的应用存储器传送到所述的显示存储器;(4)所述存储的应用软件程序使所述的存储的第一和第二数字场信号从所述的显示存储器传送到所述的视频信号处理装置,这样所述的视频信号处理装置将所述的第一和第二数字场或者帧信号分别转换成第一和第二模拟输出视频信号,以及(5)所述存储的应用软件程序使所述的第一和第二模拟输出视频信号被施加到所述的显示装置,从而使所述的显示装置产生一个在第一曝光级别捕获的光学图像的第一视频再现和在第二曝光级别捕获的光学图像的第二视频再现的同时显示,每个视频再现包括2n行像素。
7.一种记录和显示视频图像的方法,包括:
根据第一曝光时间捕获连续的第一光学图像,根据第二曝光时间捕获连续的第二光学图像,所述的第一光学图像与所述的第二光学图像交替发生;
产生表示所述的第一和第二光学图像的第一和第二模拟图像信号,所述的第一和第二图像信号以所述的第一和第二光学图像的捕获顺序交替发生;
将所述的第一和第二模拟图像信号施加到具有图像捕获卡、视频卡和显示装置的数字计算机,该图像捕获卡适于将模拟图像信号转换成相应的数字数据图像信号,所述视频卡适于将所述的数字数据图像信号转换成相应的模拟输出视频信号,所述显示装置响应于所述的模拟输出视频信号而产生可见的视频图像;以及
操作所述的数字计算机从而依次(a)所述的图像捕获卡将所述的第一和第二模拟图像信号转换成表示所述的第一和第二光学图像的第一和第二数字数据图像信号,(b)所述的第一和第二数字数据图像信号存储在所述的应用存储器的第一和第二分离的缓冲器中,(c)所述的第一数字图像信号依次从所述的第一应用存储缓冲器传送到所述的显示存储器的第一图像缓冲器,(d)所述的第二数字数据图像信号依次从所述的第二缓冲应用存储器传送到所述的显示存储器的第二图像缓冲器,每个所述的第二数字数据图像信号与所述的第一数字数据图像信号同步地传送,(e)所述的第一和第二数字数据图像信号从所述的第一和第二图像缓冲器传送到所述视频卡并且被所述的视频卡转换成相应的第一和第二模拟输出视频信号,以及(f)所述的第一和第二模拟输出视频信号被施加到所述的显示装置,从而使所述的显示装置产生一个包括并排的关系的第一和第二视频图像的显示,所述的第一视频图像的曝光与所述的第一光学图像相应,所述的第二视频图像的曝光与所述第二光学图像相应。
8.根据权利要求7所述的方法其中所述的数字计算机耦合到一个写/读存储设备,并且其中所述的数字计算机包括用于使所述的第一和第二数字数据图像信号写入到所述的存储设备的装置,以及用于使所述的第一和第二数字数据图像信号从所述的存储设备中读出到所述的应用存储器的装置,这样可以通过所述的显示存储器将所述的数字数据图像信号从所述的应用存储器中传送到所述的视频卡来产生一个模拟输出视频信号,其适于产生由存储在所述存储设备中的数字数据图像信号表示的记录图像的可见视频显示。
9.一种记录和显示捕获场景的方法,该场景是作为一系列交替发生的第一和第二模拟视频信号而被捕获的,每个第一模拟视频信号和接下来发生的第二模拟视频信号表示一个包括n个扫描行的图像信息的视频帧的第一和第二隔行场,每个所述的第一和第二场包括1/2n扫描行,并且所述的第一场包括表示根据第一曝光时间长度捕获的场景的图像信息,所述的第二场包括表示根据第二不同的曝光时间长度捕获的所述场景的图像信息,所述的方法包括下列步骤:
(a)将所述的第一和第二模拟视频信号转换成分别表示包含1/2n像素行的视频场的相应的第一和第二数字格式视频信号;
(b)将所述的第一和第二数字格式视频信号转换成分别表示一帧n行像素的第一和第二合成数字视频信号,所述的n像素的1/2来自于所述的n行像素的剩余部分,所述的第一和第二合成数字视频信号表示分别根据所述的第一和第二曝光时间长度捕获的所述场景;
(c)分别在所述的第一和第二缓冲器中存储所述的第一和第二合成数字视频信号;以及
(d)利用所述的存储的第一和第二合成数字视频信号产生根据所述的第一和第二曝光时间分别捕获的场景的第一和第二并排视频显示。
10.一种捕获和记录视频图像的方法,包括:
(a)捕获一个视频图像序列,其中所述的序列至少包括在第一曝光级别捕获的第一视频图像和在第二个不同的曝光级别捕获的第二视频图像,所述的第二视频图像在所述的序列中散布于所述的第一视频图像当中;
(b)产生一系列视频图像信号,该视频图像信号包括表示所述的第一视频图像的第一视频图像信号和表示所述的第二视频图像的第二视频图像信号;
(c)将所述的第一和第二视频图像信号分别转换成第一和第二数字格式数据;
(d)存储所述的第一和第二数字格式数据;
(e)重新获得所述的第一和第二数字格式数据;
(f)将所述的第一和第二数字格式数据分别转换成第一和第二输出视频信号;以及
(g)利用所述的第一和第二输出视频信号分别产生所述的第一和第二视频图像的并排显示。
11.根据权利要求10所述的方法,其中所述的第一和第二视频图像信号是从一个模拟视频摄像机获得的模拟视频信号。
12.根据权利要求10所述的方法,其中所述的第一和第二视频图像信号是数字视频信号。
13.根据权利要求10所述的方法,其中所述的数字视频信号是从一个数字视频摄像机获得的数字视频信号。
14根据权利要求10所述的方法,其中包括为所述的第一和第二数字格式数据指定代码,从而通过日期,时间和帧号来识别每个所述的第一和第二视频图像的步骤。
15.根据权利要求10所述的方法,其中所述的第一和第二数字格式数据暂时存储在第一和第二缓冲器中。
16.根据权利要求10所述的方法,其中所述的第一和第二数字格式数据存储在一个非易失性存储设备中。
17.根据权利要求10所述的方法,其中所述的捕获视频图像的序列包括在第三曝光级别捕获的第三视频图像,所述的第三视频图像在所述的序列中被散布于所述的第一和第二视频图像当中,并且进一步包括步骤:产生表示所述第三图像的第三视频图像信号,将所述的第三视频图像信号转换成第三数字格式数据,存储所述的第三数字数据格式,重新获得所述的第三数字格式数据并且将所述的第三数字格式数据转换成第三输出视频信号,并且利用所述的第三输出视频信号产生与所述的第一和第二视频图像显示同时发生的并排关系的所述第三视频图像的显示。
18.一种捕获和记录视频图像的方法,包括:
(a)在存储器中以数字数据格式捕获一个场景的视频图像序列,其中所述的序列包括第一相对较亮的视频图像和第二相对较暗的视频图像,所述的明暗视频图像在所述的序列中交替发生;以及
(b)将所述的数字数据转换成表示所述的第一相对较亮的视频图像和所述的第二相对较暗的图像的视频信号;以及
(c)使用所述的视频信号产生所述第一相对较亮的视频图像和第二相对较暗的视频图像的并排显示。
19.根据权利要求18所述的方法,进一步包括在非易失性存储设备中存储所述的数字数据用于以后重新获取的步骤。
20.根据权利要求19所述的方法,其中在一个非易失性存储设备中存储所述的数字数据的步骤在步骤(b)之前进行,并且进一步包括从所述的非易失性存储设备中重新获得所述的数字数据的步骤,其后根据步骤(b)和(c)处理所述的重新获得的数字数据。
21.根据权利要求19所述的方法,其中在所述的非易失性存储设备中存储所述的数字数据的步骤包括指定日期,时间和帧号从而分别识别每个所述的相对较亮和相对较暗的图像的步骤。
22.捕获和记录视频图像的方法,包括:
(a)捕获一个视频图像序列,其中所述的序列包括至少在第一曝光级别捕获的第一视频图像和在第二个不同的曝光级别捕获的第二视频图像,所述的第二视频图像在所述的序列中散布于所述的第一视频图像当中;
(b)产生一系列视频图像信号,该视频图像信号包括表示所述的第一视频图像的第一视频图像信号和表示所述的第二视频图像的第二视频图像信号;
(c)将所述的第一和第二视频图像信号分别转换成第一和第二数字格式数据;
(d)存储所述的第一和第二数字格式数据;
(e)重新获得所述的第一和第二数字格式数据;
(f)处理所述的第一和第二数字格式数据从而产生合成数字视频格式数据;以及
(g)将所述的合成数字格式数据转换成包括由所述的第一和第二数字数据所表示的图像信息的视频输出信号。
23.捕获和记录视频图像的方法,包括:
(a)在存储器中以数字数据形式捕获一个场景的一个视频图像序列,其中所述序列包括第一相对较亮的视频图像和第二相对较暗的视频图像,所述的明暗视频图像在所述的序列中交替发生,所述的数字数据包括表示所述的第一相对较亮的视频图像的第一数字数据和表示所述的第二相对较暗的视频图像的第二数字数据;以及
(b)处理所述的第一和第二数字数据,以从中产生一个合成的数字数据;
(c)将所述的合成数字数据转换成包括由所述的第一和第二数字数据所表示的图像信息的视频输出信号;以及
(d)使用所述的视频输出信号来显示包括所述图像信息的图像。
24.捕获和记录视频图像的方法,包括:
(a)捕获一个视频图像序列,其中所述的序列至少包括在第一曝光级别捕获的第一视频图像和在第二个不同的曝光级别捕获的第二视频图像,所述的第二视频图像在所述序列中被散布于所述的第一视频图像当中;
(b)产生一系列视频图像信号,该视频图像信号包括表示所述的第一视频图像的第一视频图像信号和表示所述的第二视频图像的第二视频图像信号;
(c)将所述的第一和第二视频图像信号分别转换成第一和第二数字格式数据;
(d)存储所述的第一和第二数字格式数据;
(e)重新获得所述的第一和第二数字格式数据;
(f)将所述的第一和第二数字格式数据分别转换成第一和第二输出视频信号;以及
(g)根据所述的第一或第二输出视频信号产生一个视频显示。
25.一种捕获和记录视频图像的方法,包括:
(a)在存储器中以数字数据形式捕获一个场景的视频图像序列,其中所述的序列包括相对较亮的视频图像和相对较暗的视频图像,所述的明暗视频图像在所述的序列中交替发生;
(b)将所述的数字数据转换成分别表示所述的第一相对较亮的视频图像和所述的第二相对较暗的视频图像的视频信号;以及
(c)使用所述的视频信号来显示所述的相对较亮的视频图像之一或者所述的第二相对较暗的视频图像之一的图像信息。
26.一种捕获或者记录视频图像的方法,包括:
(a)在存储器中以数字数据形式捕获一个场景的视频图像序列,其中所述的序列包括相对较亮的视频图像和相对较暗的视频图像,所述的明暗视频图像在所述的序列中交替发生;
(b)使用所述的数字数据产生输出视频信号,用于有选择地产生下述的任何一种:所述的相对较亮和相对较暗的视频图像的并排显示,仅有所述的相对较亮或者相对较暗的图像的单独显示,包括来自于所述的相对较亮和所述的相对较暗的视频图像的信息的合成图像显示,以及所述的合成图像显示加上仅有所述的相对较亮或者相对较暗的图像的单独显示。
27.根据权利要求26所述的方法,其中所述的序列包括具有介于所述的相对较亮和相对较暗的视频图像的曝光值之间的曝光值的附加视频图像,所述的附加视频图像在所述的序列中与所述的相对较亮和相对较暗的视频图像交替发生,并且其中使用表示所述的附加视频图像的数字数据产生输出视频信号,用于有选择地产生所述附加视频图像的独立显示或者与所述的相对较亮以及所述的相对较暗的视频图像并排显示同时显示所述附加视频图像。
28.一种用于处理、存储和显示作为一系列视频图像信号而被产生的视频图像信息的计算机***,其中一系列视频图像信号包括第一视频图像信号和第二视频图像信号,所述第一视频图像信号定义了构成表示在第一曝光级别捕获的图像的数据的第一场或帧,而第二视频图像信号定义了构成表示在与所述第一曝光级别不同的第二曝光级别捕获的图像的数据的第二场或者帧,所述的第一和第二模拟视频图像信号在该序列中彼此交替发生,所述的***包括:
一个图像捕获卡,包括用于接收所述一系列的视频图像信号并且将所述的第一和第二视频图像信号转换成构成表示在所述的第一和第二曝光级别捕获的图像的数据的第一和第二数字场或者帧信号的图像捕获装置;
一个应用存储器;
一个显示存储器;
一个视频卡,用于将所述的第一和第二数字场或帧信号分别转换成适于驱动显示设备的格式的第一和第二输出视频信号,从而提供一个由所述的场或者帧所表示的图像的可见视频显示;以及
处理装置,包括一个中央处理器,用于(a)在所述的应用存储器中依次存储所述的第一和第二数字场或者帧信号,并且按照它们的曝光值对所存储的数字场或帧信号进行分类,(b)从所述的应用存储器依次移动所存储的第一和第二数字场或帧信号并且在所述的显示存储器中依次存储所述的第一和第二数字场或者帧信号,所述的存储的数字场或者帧信号在所述的显示存储器中按照它们的曝光值进行分类,以及(c)依次将所述的第一数字场或帧信号和在所述第一数字场或帧信号之后产生的第二数字场或帧信号从所述的显示存储器传送到所述的视频卡,由此将所述的第一和第二数字场或帧信号分别转换成适于驱动显示装置的格式的第一和第二输出视频信号,从而产生构成两个不同曝光值的并排图像的显示。
29.根据权利要求28所述的计算机***,进一步包括一个存储设备,并且其中所述的处理装置包括用于在所述的存储设备中存储所述的数字场或者帧信号的装置。
30.根据权利要求29所述的计算机***,其中所述的处理装置包括用于从所述的存储设备重新获得数字场或者帧信号,并且将所述的重新获得的数字场或者帧信号传送到所述的应用存储器用于回放目的的装置。
31.根据权利要求28所述的计算机***,其中每个所述的第一和第二视频图像构成构成一个视频帧的一场,一个视频帧包括表示两个隔行场的n行像素,每一场包括1/2n行像素,其中所述的处理装置修改所述的数字场信号从而使每个所述的数字场信号存储在所述的应用存储器中,表示n行象素。
32.根据权利要求28所述的计算机***,其中所述的一系列视频图像信号包括第三视频图像信号,其定义了表示在与第一和第二曝光级别不同的第三曝光级别捕获的图像的第三场或者帧构成数据,所述的图像捕获卡的图像捕获装置包括适于接收所述的一系列第三视频图像信号并且将所述的第三视频图像信号转换成表示在所述的第三曝光级别捕获的图像的第三数字场或者帧信号构成数据,所述的视频卡适于将所述的第三数字场或者帧信号转换成适于驱动显示设备的格式的第三输出视频信号,从而提供一个由所述的第三场或者帧表示的图像的可见视频显示,所述的处理装置适于(a)在所述的应用存储器中依次存储所述的第三数字场或者帧信号与所述的第一和第二场或者帧信号,并且所存储的第一和第二和第三数字场或者帧信号根据它们的曝光值进行分类,(b)从所述的应用存储器依次移动所存储的第一,第二和第三数字场或者帧信号,并且在所述的显示存储器中依次存储所述的第一,第二和第三数字场或者帧信号,所存储的数字场或者帧信号在所述的显示存储器中根据它们的曝光值进行分类,以及(c)依次将每个所述的第一数字场或者帧信号以及在所述的第一数字帧或者场信号之后产生的第二和第三数字场或者帧信号从所述的显示存储器传送到所述的视频卡,由此将所述的第一,第二和第三数字场或者帧信号分别转换成适于驱动显示装置的格式的第一,第二和第三输出视频信号,从而产生一个构成三个不同的曝光级别的并排图像显示。
CNA038048590A 2002-02-28 2003-02-12 动态范围视频记录及回放的***和方法 Pending CN1640115A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/085,955 2002-02-28
US10/085,955 US7193652B2 (en) 1999-08-17 2002-02-28 Dynamic range video recording and playback system and method

Publications (1)

Publication Number Publication Date
CN1640115A true CN1640115A (zh) 2005-07-13

Family

ID=27787493

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038048590A Pending CN1640115A (zh) 2002-02-28 2003-02-12 动态范围视频记录及回放的***和方法

Country Status (8)

Country Link
US (1) US7193652B2 (zh)
EP (1) EP1479226A2 (zh)
JP (1) JP2005519534A (zh)
KR (1) KR20040111372A (zh)
CN (1) CN1640115A (zh)
CA (1) CA2476261A1 (zh)
IL (1) IL163687A0 (zh)
WO (1) WO2003075551A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464572C (zh) * 2007-07-25 2009-02-25 北京中星微电子有限公司 一种图像合成方法和装置
CN102025917A (zh) * 2009-09-18 2011-04-20 索尼公司 图像处理设备、图像捕捉设备、图像处理方法和程序
CN101496394B (zh) * 2006-08-01 2013-11-20 派尔高公司 补偿视频运动的方法和装置
CN106034209A (zh) * 2016-04-08 2016-10-19 奇瑞汽车股份有限公司 获取视频的方法及装置
CN106464679A (zh) * 2014-05-13 2017-02-22 谷歌技术控股有限责任公司 电子设备及用于控制对其访问的方法
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN112954249A (zh) * 2021-03-04 2021-06-11 联想(北京)有限公司 数据处理方法、装置、设备、介质及产品
CN113473034A (zh) * 2021-07-02 2021-10-01 杭州思锐迪科技有限公司 孔位补光方法、孔位补光器、孔位扫描方法和***

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030151689A1 (en) * 2002-02-11 2003-08-14 Murphy Charles Douglas Digital images with composite exposure
US20040032491A1 (en) * 2002-08-15 2004-02-19 Don Woody Frame grabber for image processing in ingress/egress control system
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
US7376244B2 (en) * 2003-11-24 2008-05-20 Micron Technology, Inc. Imaging surveillance system and method for event detection in low illumination
US20070127909A1 (en) 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP2009512396A (ja) * 2005-10-16 2009-03-19 メディアポッド リミテッド ライアビリティ カンパニー デジタル映像捕獲の質を高めるための装置、システム及び方法
US7805008B2 (en) * 2005-11-14 2010-09-28 Intel Corporation Structural content filtration of hypotheses in a cognitive control framework
JP2007201985A (ja) * 2006-01-30 2007-08-09 Matsushita Electric Ind Co Ltd 広ダイナミックレンジ撮像装置
KR100776943B1 (ko) 2006-08-08 2007-11-21 주식회사 디지털존 고성능 비디오 캡쳐 카드 및 다채널 비디오 캡쳐 방법
DE102006046720A1 (de) * 2006-10-02 2008-04-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Laufbildkamera
JP4919160B2 (ja) * 2007-02-02 2012-04-18 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2008227596A (ja) * 2007-03-08 2008-09-25 Mitsubishi Electric Corp 監視カメラシステム
KR101380615B1 (ko) * 2007-06-28 2014-04-14 삼성전자주식회사 영상 동적 범위 향상 방법 및 장치
JP2009111518A (ja) * 2007-10-26 2009-05-21 Casio Comput Co Ltd 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP4556195B2 (ja) 2008-02-15 2010-10-06 カシオ計算機株式会社 撮像装置、動画再生装置及びそのプログラム
US20090319916A1 (en) * 2008-06-24 2009-12-24 Microsoft Corporation Techniques to auto-attend multimedia conference events
US8178847B2 (en) * 2008-08-07 2012-05-15 Varian Medical Systems, Inc. Data processing using reduced onboard memory
CN101867727B (zh) 2009-04-16 2011-12-07 华为技术有限公司 一种视频处理方法及装置
JP5566048B2 (ja) * 2009-04-28 2014-08-06 キヤノン株式会社 表示装置及びその制御方法
US20120023148A1 (en) * 2009-06-05 2012-01-26 James Louis Long Applying Transcodings In A Determined Order To Produce Output Files From A Source File
US9288428B2 (en) * 2010-05-11 2016-03-15 Olympus Corporation Shooting apparatus and method for controlling shooting apparatus
US8514234B2 (en) * 2010-07-14 2013-08-20 Seiko Epson Corporation Method of displaying an operating system's graphical user interface on a large multi-projector display
JP5953305B2 (ja) 2010-08-23 2016-07-20 レッド.コム,インコーポレイテッド 高ダイナミック・レンジ・ビデオ
JP5012985B2 (ja) * 2010-10-08 2012-08-29 カシオ計算機株式会社 撮像装置及びそのプログラム
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
GB201311366D0 (en) * 2013-06-26 2013-08-14 Thermoteknix Systems Ltd High dynamic range imaging
KR102106537B1 (ko) * 2013-09-27 2020-05-04 삼성전자주식회사 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
CN107592488A (zh) * 2017-09-30 2018-01-16 联想(北京)有限公司 一种视频数据处理方法及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638118A (en) * 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
JP3004382B2 (ja) 1991-04-24 2000-01-31 松下電器産業株式会社 可変シャッタ付テレビカメラ装置
US5831676A (en) * 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US5420635A (en) 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US5488389A (en) * 1991-09-25 1996-01-30 Sharp Kabushiki Kaisha Display device
JP3153918B2 (ja) 1991-09-30 2001-04-09 ソニー株式会社 固体撮像装置および遮光検出装置
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5247367A (en) 1991-12-18 1993-09-21 Samsung Electronics Co., Ltd. Circuit for controlling the electronic shutter speed of a video camera
EP0583143B1 (en) 1992-08-10 2001-04-18 Sony Corporation Improved control of the electronic shutter time in a video camera
US5404162A (en) * 1993-06-07 1995-04-04 The United States Of America As Represented By The Secretary Of The Army Method to image high speed events
US5517242A (en) 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5568192A (en) 1995-08-30 1996-10-22 Intel Corporation Method and apparatus for processing digital video camera signals
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
US6061092A (en) * 1997-12-05 2000-05-09 Intel Corporation Method and apparatus for dark frame cancellation for CMOS sensor-based tethered video peripherals
JP2000048189A (ja) * 1998-07-30 2000-02-18 Fujitsu Ltd 画像処理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496394B (zh) * 2006-08-01 2013-11-20 派尔高公司 补偿视频运动的方法和装置
CN100464572C (zh) * 2007-07-25 2009-02-25 北京中星微电子有限公司 一种图像合成方法和装置
CN102025917A (zh) * 2009-09-18 2011-04-20 索尼公司 图像处理设备、图像捕捉设备、图像处理方法和程序
CN102025917B (zh) * 2009-09-18 2014-09-24 索尼公司 图像处理设备、图像捕捉设备、图像处理方法和程序
CN106464679A (zh) * 2014-05-13 2017-02-22 谷歌技术控股有限责任公司 电子设备及用于控制对其访问的方法
CN106034209A (zh) * 2016-04-08 2016-10-19 奇瑞汽车股份有限公司 获取视频的方法及装置
CN106034209B (zh) * 2016-04-08 2019-02-22 奇瑞汽车股份有限公司 获取视频的方法及装置
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109167931B (zh) * 2018-10-23 2021-04-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN112954249A (zh) * 2021-03-04 2021-06-11 联想(北京)有限公司 数据处理方法、装置、设备、介质及产品
CN113473034A (zh) * 2021-07-02 2021-10-01 杭州思锐迪科技有限公司 孔位补光方法、孔位补光器、孔位扫描方法和***

Also Published As

Publication number Publication date
CA2476261A1 (en) 2003-09-12
WO2003075551A3 (en) 2003-12-04
IL163687A0 (en) 2005-12-18
JP2005519534A (ja) 2005-06-30
US7193652B2 (en) 2007-03-20
WO2003075551A2 (en) 2003-09-12
KR20040111372A (ko) 2004-12-31
EP1479226A2 (en) 2004-11-24
US20020118293A1 (en) 2002-08-29

Similar Documents

Publication Publication Date Title
CN1640115A (zh) 动态范围视频记录及回放的***和方法
US6985185B1 (en) Dynamic range video camera, recording system, and recording method
US7626637B2 (en) Method and apparatus for capturing full-screen frames
US6810403B2 (en) Visual database system for storing data with time codes
CN105205354B (zh) 数据生成装置及数据生成方法
US20070002372A1 (en) Image processing apparatus, image processing method, image reproduction apparatus, image reproduction method, computer-readable recording medium, image processing program, image reproduction program and image sheet
CN100466720C (zh) 视频合成设备及视频合成方法
CZ141892A3 (en) Video information digitization control
CA2404292A1 (en) Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof
US5428456A (en) Method and apparatus for adaptively reducing interline flicker of TV-displayed image
CN1848916A (zh) 多相机***、图像拾取设备及方法、控制器及控制方法
CN103996190A (zh) 区域特定方法、区域特定装置、服务器及***
US8120675B2 (en) Moving image recording/playback device
US20120147215A1 (en) Erroneous erasure determination apparatus, method and computer program product, and image generation apparatus
CN1787648B (zh) 视频信号处理设备和视频信号传送方法
JP4148586B2 (ja) 画像合成装置
US8384790B2 (en) Video image enhancement method and apparatus using reference and auxiliary frames
JPH0818888A (ja) 映像システム
CN100489959C (zh) 全屏幕画面的实时撷取装置及其方法
US20080018787A1 (en) Method and Apparatus for Producing Images
JP2004336172A (ja) 画像処理システム
US4745482A (en) Electronic recorder
US20050116880A1 (en) System and method for processing frames of images at differing rates
EP0993190A2 (en) Image data recording and reproducing method, apparatus and medium
JP2989376B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication