CN1119897C - 数字数据传送装置及其传送方法 - Google Patents

数字数据传送装置及其传送方法 Download PDF

Info

Publication number
CN1119897C
CN1119897C CN98800865A CN98800865A CN1119897C CN 1119897 C CN1119897 C CN 1119897C CN 98800865 A CN98800865 A CN 98800865A CN 98800865 A CN98800865 A CN 98800865A CN 1119897 C CN1119897 C CN 1119897C
Authority
CN
China
Prior art keywords
data
digital data
dif
multiple connection
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN98800865A
Other languages
English (en)
Other versions
CN1229559A (zh
Inventor
大高秀树
吉田隆泰
村冈秀文
中川幸夫
森重和磨
田中伸也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1229559A publication Critical patent/CN1229559A/zh
Application granted granted Critical
Publication of CN1119897C publication Critical patent/CN1119897C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312Data placement on disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8458Structuring of content, e.g. decomposing content into time segments involving uncompressed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明为一种数字数据传送装置及其传送方法。该装置包括:从记录媒体重放n路数字数据的重放部分,n为2或2以上整数;将电视信号中的1帧以行为单位划分为n个传送区域,并将所述重放部分重放的所述n路数字数据在所述n个传送区域的各对应传送区域进行复接的复接部分;传送所述复接部分复接的数据的传送部分。

Description

数字数据传送装置及其传送方法
技术领域
本发明涉及包含图像数据和声音数据的数字数据多路复用后进行传送的数字数据传送装置及其传送方法,尤其涉及在电视信号的有效帧周期复接多路数字数据进行传送的数字数据传送装置及其传送方法。
背景技术
当今世界各国的广播电台一般采用SMPTE-259M标准,却串行数字接口(Serial Digital Interface,以下称为“SDI”)标准作为数字图像信号的传送方法。众所周知,此SDI标准是由美国活动图像和电视工程师协会(SMPTE:Societyof Motion Picture and Television Engineers)制订的,规定将包含图像数据和声音数据的数字数据变换为串型数据进行传送。
现参照图13,具体说明上述已知的SDI标准中数字数据的传送方法。以下说明中就与NTSC制电视信号对应的传送方法进行叙述。
图13说明SDI标准中1帧的结构。图中的直线H表示电视信号的水平像素,该直线H上的数值表示像素号码。同图中的直线V表示电视信号的垂直行,该直线上的数值表示行号。
如图13所示,SDI标准中,1帧周期划分为水平消隐周期、构成1帧的第1场和第2场等各场中的垂直消隐周期、任选消隐周期和有效图像周期。
水平消隐周期由像素号1440~1715的水平像素区间规定。水平消隐周期在其开头和末尾部分分别设置SAV(Start of Active Video,有效图像开始)和EAV(End of Active Video,有效图像结束)。此EAV和SAV之间的水平消隐周期,可传送声音数据和用户数据等辅助数据。
在有效图像周期,每行复接1440像素的图像数据作为串行数据,按规定的时钟频率传送。又,1像素由8比特或10比特图像数据构成。
任选消隐周期为垂直消隐周期所包含的周期,但和有效图像周期相同,也可配置图像数据进行传送。
通过采用此SDI标准,可以不通过模拟传输***传送一路4:2:2分量电视信号,并能防止信号劣化。
另一方面,原样处理图像信号数字化后所得图像数据时,该图像数据数据量变大,需要非常高的数据速率(传输速度)。因此,在例如磁带等记录媒体上记录上述图像数据时,不能确保有足够的记录时间。
与此相对应,作为有效的方法,已知有利用高效编码在视觉上感觉不到图像质量变差的范围内,对图像数据进行压缩处理的技术。具体而言,作为家用数字VTR采用图像信号高效编码的标准,有高清晰VCR委员会(High Definition VideoCassette Recorder Committee)制定,并记载于“采用6.3mm磁带的消费用数字VCR的规范”的DV格式。
此DV格式中,利用以DCT(离散余弦变换,Discrete Cosine Transform)为基础的高效编码,根据电视信号用两种方式压缩数据。具体而言,DV格式将标准电视信号压缩为25Mbps的数据,将高质量电视信号压缩为50Mbps的数据。压缩后的图像数据与交织后的声音数据、作为图像数据的附加数据的VAUX、作为声音数据的附加数据的AAUX数据,以及子编码数据等一起记录在磁带上。在磁带上记录用25Mbps方式压缩的数据时,分割1帧数据并记录在磁带的10条或12条磁道上,在磁带上记录用50Mbps方式压缩的数据时,分割1帧数据并记录在磁带的20条或24条磁道上。关于上述VAUX数据、AAUX数据和子编码数据的具体信息,在例如特开平7-226022号公报揭示的“数字记录重放装置”的技术中有记载。
采用上述SDI标准传送由DV格式等高效编码压缩的图像数据时,历来需要对该图像数据进行1次解压缩,恢复为基带信号。这是因为SDI标准不是对压缩图像数据,而是只对没有经过压缩的非压缩图像数据规定传送方法。再者,SDI标准是以1路图像数据为对象的,对多路图像数据的传送方法没有什么规定。因此,例如要在记录重放设备之间用SDI标准传送已压缩的多路图像数据,就需要每路分别设置传送线路,而且在传输线路的收、发信侧分别至少设置解码器和编码器。
作为要解决上述问题的以往数字数据传输方法,有例如特开平9-46705号公报揭示的“数字数据传送方法”的技术。这种以往的数字数据传输方法,其目的在于利用同轴电缆组成的现有传输线路,以SDI标准传送按照DV格式压缩的多路图像信号。
现参照图14具体说明这种以往的数字数据传送方法。
图14说明采用以往数字数据传送方法中的SDI标准,复接6路数字数据进行传送的方法。
如图14所示,以往的数字数据传送方法中,将有效图像周期划分为240像素(字)的单元,在SDI标准上构成6个传送区域。将路1、2、3、4、5和6(共6路)分别分配到6个传送区域。各路1~6配置1帧数字接口数据(以下称为DIF数据)。详细而言,DIF数据由多个DIF数据块构成,并按每行复接多组3个DIF数据块的要求配置在传送区域。而且,DIF数据包括根据DV格式压缩为25Mbps的图像数据、已交织的声音数据、VAUX数据、AUUX数据和子编码数据。
这种以往的数字数据传送方法中,在用25Mbps方式压缩数据时,如图14所示,可将路1~路6等最多达6路的DIF数据加以复接并按SDI标准传送。在用50Mbps方式压缩数据时,利用每路分配2个传送区域,复接多路这种DIF数据,并按SDI标准传送。
由多个DIF序列组成1帧DIF数据。此DIF序列为按照DV格式定义的传送单元,在25Mbps方式时,1个DIF序列相当于磁带上的1条磁道。在50Mbps方式时,1个DIF序列相当于磁带上的2条磁道。
现参照图15和图16具体说明构成DIF序列的DIF数据块的传送顺序。
图15说明25Mbps方式的情况下DIF数据块传送顺序的具体例子,图16说明50Mbps方式的情况下DIF数据块传送顺序的具体例子。图15和图16所示DIF数据块传送顺序与上述特开平7-226022号公报的技术所记载的相同。
如图15所示,在25Mbps方式的情况下,DIF序列包括首部DIF数据块H0、子编码DIF数据块SC0和SC1、VAUX DIF数据块VA0~VA2、音频DIF数据块A0~A8和视频DIF数据块V0~V134。如同图所示,这些DIF数据块按照图中箭头表示的传送顺序依次传送。各DIF数据块由80字节的数据构成。
其次,在50Mbps方式的情况下,并行采用2个25Mbps方式中的处理***进行处理。即,由1个处理***处理相当于1帧数据的20条或24条磁道中奇数磁道的数据,而偶数磁道的数据由另一处理***处理。此后,将奇数磁道对应的数据定义为分路A,而对应于偶数磁道的数据定义为分路B。
详细而言,首先,50Mbps方式的图像信号数据处理中,将1帧分为2个区,并将1个区的数据作为分路A的数据处理,另一个区的数据则作为分路B的数据处理。因此,图像信号在各分路A、B独立地进行高效编码和解码处理。而且声音信号则将4路中的1路、3路分到分路A,2路、4路分到分路B进行处理。
其次,在50Mbps方式的情况下,如上文所述那样分为分路A、B进行数据处理后,如图16所示,将分路A、B的各DIF数据块交叉配置进行复接后,按照图中箭头表示的传送顺序依次传送。
然而,上述那种以往的数字数据传送方法中,如图14所示,各路DIF数据块以3个为1组在1行内复接,按行依次传送。因此,这种以往的数字数据传送方法,在传送多路数据时,各多路数据在1行中相互混合,从传输线路的发送端送到接收端。其结果是,以往的数字数据传送方法,在传输线路的接收端不能按输入顺序处理数据,例如需要将接收数据保持到输入完1帧数据。
具体而言,作为以数字接口传送内含高效编码图像数据的多路数字数据的应用,可考虑从数字记录重放装置高速传送数据的情况。即,从记录媒体以4倍速等高速重放数据,并在与上述SDI标准等对应的传输线路上复接4路数据进行传送。利用这种方法,传送数据需要的时间可减少到1/4。这时,同一素材的图像数据,其时间上连续的4帧数据分别作为4路数据,在1帧图像有效周期内复接并进行传送。然而,以往的数字数据传送方法中,不是在传输线路上按时间顺序排列4帧数据。因此,产生接收高速传送数据的接收端装置,例如记录重放装置,不能按输入顺序进行数据处理这样的问题。
同时传送多种不同素材的数字数据的***中,不能通过采用以往的数字数据传送方法,在数字接口上复接并分配例如不同记录重放装置重放的多个数据。这是由于,如图14所示,以往的数字数据传送方法中,各路数据在1行内复接,进而各路数据在多行和2场连续配置。因此,采用以往的数字数据传送方法不能以行或场为单元复接并分配多个数据。
再者,以往的数字数据传送方法中,如力15和图16所示,通路内的数据配置一直随传送数据的速率变化。例如在上述50Mbps方式的情况下,用和25Mbps方式中2路时相同的传送区域进行传送。然而,以往的数字数据传送方法中,在50Mbps方式时和25Mbps方式中2路时,传送区域内的数据配置(即数据复接方式)发生变化。因此,以往的数字数据传送方法中,需要按照复接种类的增加,扩大数据复接部分的规模,而且要求根据处理数据的内容变换控制。尤其是接收端的装置中,判别接收数据的内容及其数据速率,并根据该判别结果分配复接数据(接收数据)。实时变换这种分配处理非常困难。
发明内容
本发明的目的在于提供一种数字数据传送装置及其传送方法,可在电视信号的有效图像周期复接多路数字数据进行传送时,在传输线路接收端的装置按接收顺序进行数据处理,传输线路上的复接、分配处理也最佳。
为了达到上述目的,本发明的数字数据传送装置,在电视信号中的1帧有效图像周期复接n路数字数据(n为2以上的整数)进行传送,该传送装置具有:
从记录媒体重放所述n路数字数据的重放装置;
以行为单位将所述电视信号中的1帧划分为n个传送区域,并将所述重放装置重放的所述n路数字数据以行为单位在所述n个传送区域的各对应传送区域进行复接的复接装置;
传送所述复接装置复接的数据的传送装置。
利用这种构成,可按重放时间顺序复接各路数字数据进行传送。
根据本发明另一方面的数字数据传送装置,所述n路中的各数字数据为在1个序列中时间上连续的数据。
利用这种构成,即使高速传送多路数字数据时,也能以行为单位和以场为单位在传输线路上进行复接、分配处理。
根据本发明另一方面的数字数据传送装置,所述n路中各数字数据为相互不同的序列的数据。
利用这种构成,即使同时多路复接不同序列的多个数字数据进行传送时,也能以行为单位和以场为单位在传输线路上进行复接、分配处理。
根据本发明另一方面的数字数据传送装置,利用第1数据速率和p倍所述第1数据速率的第2数据速率中的至少一种数据速率,在电视信号中的1帧有效图像周期复接至少1路数字数据进行传送(p、q为整数),所述传送装置具有:
从记录媒体重放所述至少1路数字数据的重放装置;
复接装置,用于所述重放装置重放的数字数据的数据速率为所述第1数据速率的数据时,将所述电视信号中的1帧以行为单位划分为q个传送区域,并将所述第1数据速率的q路数字数据以行为单位在所述q个传送区域的各对应传送区域进行复接,而且
所述重放装置重放的所述数字数据的数据速率为所述第2数据速率的数据时,将所述电视信号中的1帧以行为单位分为p个传送区域,并将所述第2数据速率的1路数字数据划分为所具规模与所述第1数据速率的1路相同的p个分路的数字数据,进而将所述第2数据速率的p个分路的数字数据以行为单位在所述p个传送区域的各对应传送区域进行复接;
传送所述复接装置复接的数据的传送装置。
利用上述构成,可与数字数据的数据速率无关,用同样的数字数据配置复接数字数据进行传送。
本发明的数字数据传送方法,在电视信号中的1帧有效图像周期复接n路数字数据进行传送(n为2以上的整数),所述传送方法将所述电视信号中的1帧以行为单位划分为n个传送区域,并将所述n路数字数据以行为单位在所述n个传送区域的各对应传送区域进行复接后加以传送。
利用这种构成,可按重放的时间顺序复接各路数字数据进行传送。
根据本发明另一方面的数字数据传送方法,所述n路中的各数字数据为1个序列中时间上连续的数据。
利用这种构成,即使高速传送多路数字数据时,也能以行为单位和以场为单位在传输线路上进行复接、分配处理。
根据本发明另一方面的数字数据传送方法,所述n路中的各数字数据为相互不同的序列的数据。
利用这种构成,即使同时多路复接不同序列的多个数字数据时,也能以行为单位和以场为单位在传输线路上进行复接、分配处理。
根据本发明另一方面的数字数据传送方法,利用第1数据速率和p倍所述第1数据速率的第2数据速率中的至少一种速率,在电视信号中的1帧有效图像周期复接至少1路数字数据进行传送(p、q为整数),所述传送方法包括下述步骤:
在所述数字数据的数据速率为所述第1数据速率的数据时,将所述电视信号中的1帧以行为单位划分为q个传送区域,并将所述第1数据速率的q路数字数据以行为单位在所述q个传送区域的各对应传送区域进行复接;
在所述数字数据的数据速率为所述第2数据速率的数据时,将所述电视信号中的1帧以行为单位划分为p个传送区域,并将所述第2数据速率的1路数字数据划分为所具规模与所述第1数据速率的1路相同的p个分路的数字数据,进而将所述第2数据速率的p个分路的数字数据以行为单位在所述p个传送区域的各对应传送区域进行复接后加以传送。
利用上述构成,可与数字数据的数据速率无关,用同样的数字数据配置复接数字数据进行传送。
本发明的新特征在权利要求书中具体记载,本发明涉及的结构和内容等两方面,连同其他目的和特征,通过以下结合附图的详细说明会得到更好的理解和评价。
附图概述
图1为表示本发明第1实施例的数字数据传输装置构成的框图。
图2为表示图1所示复接器中DIF数据以路为单位进行复接操作的时序图。
图3为表示图1所示DIF编码器所生成DIF数据包结构的说明图。
图4为表示图1所示数字数据传输装置中SDI标准所规定的1帧有效图像周期内配置4路DIF数据包的方法的说明图。
图5为表示本发明第2实施例的数字数据传送装置构成的说明图。
图6为表示图5所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置4路DIF数据包的方法的说明图。
图7为表示本发明第3实施例的数字数据传送装置构成的方框图。
图8为表示图7所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置2个不同压缩SDI数据的DIF数据包的方法的说明图。
图9为表示本发明第4实施例的数字数据传送装置构成的说明图。
图10为表示图9所示复接器中DIF数据以子通路为单位进行复接的操作的时序图。
图11为表示图9所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置2个子通路的DIF数据包的方法的说明图。
图12为表示图9所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置不同数字数据速率DIF数据包的方法的说明图。
图13为表示SDI标准中1帧的结构的说明图。
图14为表示以往数字数据传送方法中用SDI标准复接6路数字数据进行传送的方法的说明图。
图15为表示25Mbps方式时DIF数据块传送顺序具体例的说明图。
图16为表示50Mbps方式时DIF数据块传送顺序具体例的说明图。
附图的一部分或全部,以图解为目的按概括表现画出,未必限于忠实描绘图中所示要素的实际相对尺寸和位置。这点请考虑。
本发明的最佳实施方式
以下参照附图说明本发明数字数据传送装置及其传送方法的较佳实施例。
实施例1
图1为表示本发明第1实施例数字数据传送装置构成的方框图。下文说明中为了便于和已有技术例子比较,对高速(例如4倍速)传送数据的数字数据传送装置进行说明。又在下文说明中对4倍速重放数据变换为上述DIF数据,并在SDI标准中的1帧有效图像周期复接后输出的构成进行说明。数据取为根据DV格式以1帧为单位用25Mbps的数据速率压缩后,记录在磁带上的数据。而且,对用4个磁头从磁带并行读出数据,并设定该磁带的进给速度为通常重放时的4倍,从而以4倍速进行数据重放的情况进行说明。
如图1所示,本实施例的数字数据传送装置具有存储器1和控制所述存储器1的存储控制器2,其中,存储器1用于将图中未示出的4个磁头从磁带100同时重放的串型重放数据51、52、53、54改变排列成以帧为单位的数据。本实施例的数字数据传送装置还具有从存储器1输入改变排列成以帧为单位的重放数据55、56、57、58,并分别进行解调处理的重放数据处理器3、4、5、6,以及分别连接重放数据处理器3~6,对输入的重放数据进行纠错解码处理的纠错解码器7、8、9、10。纠错解码器7~10根据记录时添加的奇偶校验数据,对重放数据处理器3~6输入的重放数据分别进行纠错解码处理,并分别输出包含已压缩图像数据、声音数据、VAUX数据、AAUX数据和子编码数据的DIF数据59、60、61、62。
本实施例的数字数据传送装置包括利用所述存储器1、存储控制器2、重放数据处理器3~6,以及纠错解码器7~10,从记录媒体重放n路数字数据的重放装置(n为2以上的整数)。
本实施例的数字数据传送装置还具有分别连接纠错解码器7~10的存储器11、12、13、14,控制所述存储器11~14用的存储控制器15,以及连接存储器11~14的复接器16。存储器11~14根据从存储控制器15写入的控制信号63,分别对所述DIF数据59~62的写入加以保持。存储器11~14根据从存储控制器15读出的控制信号64、65、66、67,分别读出保持的DIF数据59~62,并输出到复接器16。由此,DIF数据59~62,在其传送顺序的时间轴上相互偏移,并作为复接器16复接后的DIF数据68输出(后文详述)。
本实施例的数字数据传送装置中,设有连接复接器16的DIF编码器17,以及连接所述DIF编码器17的存储器18。DIF编码器17进行将复接的DIF数据68输出到数字接口用的数据包编组、ID***,以及将DIF数据包配置到规定的行等。在存储器18内设置的4个传送区域以行为单位进行此DIF数据包配置(后文详述)。
由上述存储器11~14、存储控制器15、复接器16、DIF编码器17和存储器18,将电视信号的1帧以行为单位划分为n个传送区域,并将所述重放装置重放的n路数字数据以行为单位在各对应的所述n个传送区域进行复接,从而构成复接装置。
DIF编码器17还依次连接构成传送装置的驱动器19和输出端子20。驱动器19对从DIF编码器17输入的DIF数据包施加数据传送用的编码(信道编码)后,将该数据包输出到输出端子20。输出端子20上连接同轴电缆等传输线路(图中未示出),依次传送复接的数据。
下面,用图1具体说明本实施例数字数据传送装置的操作。DIF数据68上复接的VAUX数据、AAUX数据和子编码数据,省略对其处理的说明。
首先,4个磁头从磁带100并行读出重放数据51~54,并将该数据暂时写入存储器1。这些重放数据51~54分别为1帧的数据,从磁带100以磁道为单位进行划分后重放。因此,在存储器1由存储控制器2控制进行变换排列为以1帧为单位的数据的处理。
其次,将重放数据55~58分别从存储器1并行读出到重放数据处理器3~6。这些重放数据55~58分别为以帧为单位的数据,而且,设k为自然数,则重放数据55~58在时间轴上的顺序分别为k、(k+1)、(k+2)和(k+3)等编号的帧。
接着,各重放数据处理器3~6中,分别对仍处于已调状态的重放数据55~58进行解调处理。然后,重放数据处理器3~6将解调后的数据输出到其分别连接的纠错解码器7~10。各纠错解码器7~10根据记录时添加的纠错用奇偶校验数据,对输入的数据进行纠错解码处理,并作为DIF数据59~62分别写入存储器11~14。
又,在存储器11~14和复接器16中,将并行输入的4路DIF数据59~62以路为单位进行复接为1个处理***的复接处理。
现参照图2具体说明这些DIF数据59~62的复接处理。在下文的说明中,由存储器11~14分别将各处理的***依次定义为路1、路2和路3和路4。
图2为表示图1所示复接器中DIF数据以路为单位进行复接的操作的时序图。
图2中,将1帧的DIF数据59~62根据从存储控制器15(图1)写入的控制信号63(图1),以相同的定时分别写入对应的存储器11~14。这些DIF数据59~62在读出时,需要从路1开始按顺序在时间轴上复接。因此,存储控制器15首先从存储器11读出路1的1帧DIF数据59,然后按照路2、路3和路4的顺序,从存储器12~14分别读出1帧的DIF数据60~62。于是,存储控制器15以相同的定时对全部存储器11~14输出写入控制信号63。另一方面,存储控制器15比照各路1~4的DIF数据59~62的读出位置,对存储器11~14分别输出读出控制信号64~67(图1)。
复接器16将从存储器11~14按顺序读出的1帧DIF数据59~62按路1~4分别在时间轴上进行复接,并作为1个***的DIF数据68输出。复接处理为对各路1~4的DIF数据59~62在时间轴上进行压缩的时间轴压缩处理,因而,从存储器11~14的读出操作用4倍的写入操作频率进行。
由复接器16复接后的DIF数据68输入到DIF编码器17(图1)。DIF编码器17将输入DIF数据68分组为数据包,并添加数据包识别信息(数据包首部)、纠错用奇偶校验数据等。进而,DIF编码器17对存储器18(图1)内设置的4个传送区域按SDI标准中规定的行配置各路1~4的DIF数据包。
现用图3具体说明DIF编码器所生成DIF数据包的结构。
图3为表示图1所示DIF编码器所生成DIF数据包结构的说明图。
如图3所示,传送DIF数据68用的数据包,即DIF数据包,其组成部分包括数据包首部200、两个DIF数据块201、202,以及纠错用奇偶校验数据203(图中简称为“ECC”)。各DIF数据块201、202具有80字的数据量,为构成复接器16(图1)所复接DIF数据68的最小单元数据块。DIF编码器17在生成的两个DIF数据块201、202上添加7个字组成的数据包首部200和4个字组成的纠错用奇偶校验数据203。这样,就生成一个DIF数据包。如上所述,由DIF编码器17(图1)分组为数据包后,DIF数据包在SDI标准中1帧的有效图像周期按规定的行复接。然后,由驱动器19(图1)进行数据传送用的编码,将在SDI标准上复接DIF数据包所得数据从输出端子20(图1)输出到外部。在下文的说明中,将包含压缩图像数据的数字数据在SDI标准上复接所得数据称为压缩SDI(CompressedSDI)。
上述说明中,对DIF编码器17进行生成DIF数据包的数据包分组处理的结构作了阐述,但也可以作成利用复接用的存储器11~14组成数据包,并在DIF编码器17添加数据包首部200和纠错用奇偶校验数据203。
再参照图4,具体说明在SDI标准中的1帧有效图像周期配置4路DIF数据包进行传送的传送方法。
图4为表示图1所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置4路DIF数据包的方法的说明图。
如图4所示,将SDI标准所规定的电视信号中的1帧以行为单位划分为路1~4共4路中每路对应的4个传送区域。即,对路1~4的各传送区域分配规定的行数,例如分别分配94行。具体而言,如同图所示,路1的DIF数据包配置在第21行~第114行,并进行复接。同样,路2的DIF数据包、路3的DIF数据包和路4的DIF数据包分别配置在第115行~第208行、第284行~第377行和第378行~第471行,分别进行复接。
各路1~4中的DIF数据包数为每帧750个数据包。即,1帧的DIF数据由DIF编码器17(图1)生成750个DIF数据包。这些DIF数据包以行为单位分别复接成8个数据包为一组,并以规定的行为单位依次传送。通过将数据写入存储器18(图1)中对应于各路1~4设定的4个传送区域,进行这些DIF数据包配置。这样,各路1~4的DIF数据包就按行为单位时分复接,并按和磁带记录顺序相同的顺序传送。因此,即使在传输线路接收端的装置(例如伺服器装置)接收本实施例数字数据传送装置输出的压缩SDI数据时,也能按照接收顺序依次在硬盘上进行记录。结果,本实施例的数字数据传送装置不需要如参照图14所说明已有技术例子那样,进行变换数据排列等处理,也不需要该变换排列处理用的存储器等。
复接各路1~4的DIF数据包的行,不限定于图4所示的方式,可根据用途随意设定,例如,可作成路1、3后的几行空置,复接路2、4。
如上所述,本实施例的数字数据传送装置,在由相同序列的连续帧数据构成多路数据的情况下,能以行为单位按重放的时间顺序复接各路数据进行传送。
再者,本实施例的数字数据传送装置虽然以4倍数高速传送的情况为例,但是也可再增加路数,更高速地传送。
实施例2
图5为表示本发明第2实施例数字数据传送装置结构的方框图。此实施例中,数字数据传送装置的构成取为将4个不同素材的数据变换为压缩SDI数据进行传送。除此以外,各部分和第1实施例的相同,因而省略这些部分的重复说明。
如图5所示,本实施例的数字数据传送装置中,重放数据处理器3~6分别连接4个硬盘101、102、103、104。这些硬盘101~104分别记录互不相同的序列1、2、3、4的数据69、70、71、72。硬盘101~104同时重放数据69~72,并分别输出到重放数据处理器3~6。
重放数据处理器3~6对输入的数据69~72进行数据解调处理后,分别输出到纠错解码器7~10。各纠错解码器7~10和第1实施例的相同。根据记录时所加的纠错用奇偶校验数据对输入数据进行纠错和解码处理。然后纠错解码器7~10将所述系列1~4分别作为路1~4的DIF数据73、74、75、76,输出到存储器11~14。又,本实施例的数字数据传送装置中,所述重放装置由重放数据处理器3~6和纠错解码器7~10组成。
以后的处理和第1实施例中说明的相同,DIF数据73~76按路1~4的每一路在时间轴上复接为1个处理***,并作为DIF数据77从复接器16输出到DIF编码器17。然后,由DIF编码器17组成数据包,用存储器18中的传送区域在SDI标准的1帧有效图像周期内进行复接,并作为压缩SDI数据经驱动器19从输出端子20输出到外部。
现参照图6,具体说明本实施例数字数据传送装置中的传送方法。
图6为表示图5所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置4路DIF数据包的方法的说明图。
图4所示第1实施例中的传送方法,在第1帧的有效图像周期配置同一序列的连续4帧DIF数据包。与此相反,本实施例的传送方法,如图6所示,配置不同序列1~4的4路DIF数据包。然而,各路1~4中DIF数据包的配置与图4所示第1实施例的配置完全相同,各路1~4的DIF数据包以行为单位配置在存储器18(图5)中的传送区域进行传送。因此,本实施例的数字数据传送装置,即使同时多路传送不同系列数据时,作为各路的DIF数据,也能以场为单位和行为单位进行复接和分配。
实施例3
图7为表示本发明第3实施例数字数据传送装置构成的方框图。该实施例中,数字数据传送装置的构成取为复接多个重放装置来的压缩SDI数据进行传送。除此以外,各部分和第1实施例的相同,因而省略这些部分的重复说明。
如图7所示,本实施例的数字数据传送装置具有两个重放装置21、22和连接所述重放装置21、22的复接装置23。重放装置21、22重放压缩SDI数据78、79,并将该数据分别输入到复接装置23。复接装置23根据外部的控制装置(图中未示出)的控制,选择输入的压缩SDI数据78、79,并作为一路压缩SDI数据80输出到外部。
现参照图8,具体说明本实施例数字数据传送装置中的传送方法。
图8为表示图7所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置两个不同压缩SDI数据的DIF数据包的方法的说明图。
如图8所示,在第1场中的有效图像周期配置以数据包为单位划分重放装置21来的压缩SDI数据78而得的DIF数据包,并进行复接。复接装置23选择这些DIF数据包作为路1、2的压缩SDI数据80输出。在第2场中的有效图像周期,配置以数据包为单位划分重放装置22来的压缩SDI数据79而得的DIF数据包,并进行复接。复接装置23选择这些DIF数据包作为路3、4的压缩SDI数据80输出。
如上所述,本实施例数字数据传送装置,将不同重放装置来的压缩SDI数据和该压缩SDI数据的DIF数据包分别以路为单位和行为单位进行配置和复接。利用这种结构,本实施例的数字数据传送装置能以行为单位和以场为单位在传输线路上复接并分配数字数据。又,在接收端装置仅接收多路中的规定路时,可取出仅指定接收行所需的那路压缩SDI数据。
实施例4
图9为表示本发明第4实施例数字数据传送装置构成的方框图。该实施例中,数字数据传送装置的构成取为对应于两种不同数据速率传送压缩SDI数据。除此以外各部分与实施例1的相同,因而省略这些部分的重复说明。下文的说明中,为了便于与用图15和图16说明的已有技术例子比较,采用DV格式中规定的25Mbps和50Mbps两种数据速率进行阐述。与上述各实施例相同,数据速率25Mbps作为第1数据速率,该速率2倍的50Mbps作为第2数据速率。
如图9所示,本实施例的数字数据传送装置具有对由图中未示出的两个磁头从磁带100同时重放的重放数据81、82分别进行解调处理的重放数据处理器3、4,以及分别连接重放数据处理器3、4,对输入的重放数据进行纠错解码处理的纠错解码器7、8。和第1实施例相同,纠错解码器7、8根据记录时添加的奇偶校验数据,分别对从重放数据处理器3、4输入的重放数据进行纠错解码处理,并将包含压缩图像数据、声音数据和子编码数据的DIF数据83、84分别输出到存储器11、12。又,本实施例数字数据传送装置中,所述重放装置由重放数据处理器3、4和纠错解码器7、8构成。
本实施例的数字数据传送装置中,存储器11、12和复接器16将从纠错解码器7、8并行输入的两个分路A、B的DIF数据83、84复接为1个处理***所得的DIF数据85输出到DIF编码器17。
下面,用图9具体说明本实施例的数字数据传送装置的操作。
首先,用两个磁头从磁带100并行读出重放数据81、82并输出到重放数据处理器3、4。
其次,各重放数据处理器3、4,分别对仍处于调制状态的重放数据81、82进行解调处理。然后,重放数据处理3、4输出其分别连接的纠错解码器7、8中解调的数据。接着,各纠错解码器7、8根据记录时添加的纠错用奇偶校正数据,对输入的数据进行纠错解码处理,并作为DIF数据83、84分别写入存储器11、12。
接着,在存储器11、12和复接器16中,进行将并行输入的两个分路A、B的DIF数据83、84复接为1个处理***的复接处理。
现参照图10,具体说明这些DIF数据83、84的复接处理。
图10是表示图9所示复接器中DIF数据以分路为单位进行复接的操作的时序图。
图10中,根据存储控制器15(图9)来的写入控制信号63(图9),将1帧DIF数据83、84以相同的定时分别写入对应的存储器11、12。这些DIF数据83、84读出时,需要按分路A、B的顺序在时间轴上复接。因此,存储控制器15首先从存储器11读出分路A的1帧DIF数据83,然后从存储器12读出分路B的1帧DIF数据84。于是,存储控制器15以相同的定时对存储器11、12输出写入控制信号。另一方面,存储控制器15比照各分路A、B的DIF数据83、84的读出位置,分别对存储器11、12输出读出控制信号64、65(图9)。
复接器16将从存储器11、12按顺序读出的1帧DIF数据83、84按每一分路A、B在时间轴上进行复接,并作为1个***DIF数据85输出。复接处理为对各分路A、B的DIF数据83、84在时间轴上进行压缩的时间轴压缩处理,因而以4倍写入操作的频率进行从存储器11、12读出的操作。
以后的处理与第1和第2实施例中说明的相同,将复接为1个处理***的DIF数据85从复接器16输出到DIF编码器17(图9)。然后,由DIF编码器17组成数据包,用存储器18(图9)中的传送区域在SDI标准的1帧有效图像周期进行复接,并作为压缩SDI数据经驱动器19(图9)从输出端子20(图9)输出到外部。
现参照图11具体说明本实施例数字数据传送装置中的传送方法。
图11为表示图9所示数字数据传送装置中SDI标准所规定1帧有效图像周期内配置两个分路的DIF数据包的方法的说明图。
如图11所示,各分路A、B,与上述各实施例相同,其DIF数据包数为每1帧750个数据包。在第2数据率(50Mbps方式)的情况下,DIF数据包数为每1帧1500个数据包。
与其他实施例相同,这些DIF数据包也以行为单位配置成8个数据包为一组。这样,分路A的DIF数据包和分路B的DIF数据包分别按第21行~第114和第115行~第208行进行复接后传送。即,各分路A、B的DIF数据包以分路为单位和以行为单位在时间轴上复接,并作为压缩SDI数据85传送。
这里,对图11所示分路中的DIF数据包配置与图4和图6中分别示出的第1和第2实施例各路中的DIF数据包配置进行比较。根据该比较结果表明分路A和路1、分路B和路2,其DIF数据包完全按相同的行配置。即,本实施例的数字数据传送装置,在传送数据为50Mbps的情况下,可对应于25Mbps方式时的1路分为2个分路A、B进行处理。据此,50Mbps方式和25Mbps方式中可共用对压缩SID数据的复接和组成数据包的处理。因此,例如,如图12所示,能容易地进行在1场传送区域复接50Mbps方式的1路数据,在第2场的传送区域复接25Mbps方式的2路数据。
如上所述,本实施例的数字数据传送装置,即使如50Mbps方式和25Mbps方式那样传送的数字数据,其数据速率不同,传送区域中的DIF数据包也用相同的配置以行为单位进行复接。因此,本实施例的数字数据传送装置,不扩大复用器的电路规模就能传送数据,而且能使传输线路接收端装置中的数据处理容易进行。
再者,上述第1至第4实施例中就处理按DV格式压缩的数据的数字数据传送装置作了说明,但不限于DV格式,即使用其他高效编码技术压缩的数据也可。例如,根据MPEG(Moving Picture Experts Group,活动图像专家组)标准压缩的数据也同样可传送。
在上述实施例的说明中,数字数据传送装置处理相应于NTSC***的525/60方式的数据。但是,该数字数据传送装置也可处理与PAL***的625/50方式相应的数据。
以某种详细程度就较佳实施方式对本发明作了说明,但该较佳方式所揭示的内容其结构细节可以改变,不脱离本申请发明的范围和本发明的思想,可实现各要素组合和顺序的变化。
工业应用性
本发明可用于复接包含图像数据和声音数据的数字数据进行传送的数字数据传送装置及其传送方法,尤其可用于在电视信号的有效图像周期复接数字数据进行传送的数字数据传送装置及其传送方法。

Claims (16)

1.一种在电视信号中的1帧有效图像周期复接n路数字数据进行传送的数字数据传送装置,其中,n为2以上的整数,其特征在于该传送装置包括:
从记录媒体重放所述n路数字数据的重放装置;
以行为单位将所述电视信号中的1帧划分为n个传送区域,并将所述重放装置重放的所述n路数字数据以行为单位,在所述n个传送区域的各对应传送区域进行复接的复接装置;
传送所述复接装置复接的数据的传送装置。
2.如权利要求1所述的数字数据传送装置,其特征在于,所述n路中的各数字数据为在1个序列中时间上连续的数据。
3.如权利要求1所述的数字数据传送装置,其特征在于,所述n路中各数字数据为相互不同的序列的数据。
4.如权利要求1所述的数字数据传送装置,其特征在于,所述n路中的各数字数据结构上至少包含高效编码的图像数据。
5.如权利要求4所述的数字数据传送装置,其特征在于,所述高效编码图像数据为以1帧为单位利用25Mbps的数据速率进行高效编码的数据。
6.一种数字数据传送装置,利用第1数据速率和p倍所述第1数据速率的第2数据速率中的至少一种数据速率,在电视信号中的1帧有效图像周期复接至少1路数字数据进行传送,其中p、q为整数,其特征在于,所述传送装置包括:
从记录媒体重放所述至少1路数字数据的重放装置;
复接装置,用于所述重放装置重放的数字数据的数据速率为所述第1数据速率的数据时,将所述电视信号中的1帧以行为单位划分为q个传送区域,并将所述第1数据速率的q路数字数据以行为单位,在所述q个传送区域的各对应传送区域进行复接,而且
所述重放装置重放的所述数字数据的数据速率为所述第2数据速率的数据时,将所述电视信号中的1帧以行为单位划分为p个传送区域,并将所述第2数据速率的1路数字数据划分为所具规模与所述第1数据速率的1路相同的p个分路的数字数据,进而将所述第2数据速率的p个分路的数字数据以行为单位在所述p个传送区域的各对应传送区域进行复接;
传送所述复接装置复接的数据的传送装置。
7.如权利要求6所述的数字数据传送装置,其特征在于,所述数字数据结构上至少包含高效编码的图像数据。
8.如权利要求6或7所述的数字数据传送装置,其特征在于,所述第1和第2数据速率分别为25Mbps和50Mbps的数据。
9.一种在电视信号中的1帧有效图像周期复接n路数字数据进行传送的数字数据传送方法,其中,n为2以上的整数,其特征在于,该方法将所述电视信号中的1帧以行为单位划分为n个传送区域,并将所述n路数字数据以行为单位在所述n个传送区域的对应传送区域进行复接后加以传送。
10.如权利要求9所述的数字数据传送方法,其特征在于,所述n路中的各数字数据为1个序列中时间上连续的数据。
11.如权利要求9所述的数字数据传送方法,其特征在于,所述n路中的各数字数据为相互不同的序列的数据。
12.如权利要求9所述的数字数据传送方法,其特征在于,所述n路中的各数字数据结构上至少包含高效编码的图像数据。
13.如权利要求12所述的数字数据传送方法,其特征在于,所述高效编码图像数据为以1帧为单位利用25Mbps的数据速率进行高效编码的数据。
14.一种数字数据传送方法,利用第1数据速率和p倍所述第1数据速率的第2数据速率中的至少一种速率,在电视信号中的1帧有效图像周期复接至少1路数字数据进行传送,其中p、q为整数,其特征在于,该方法包括下述步骤:
在所述数字数据的数据速率为所述第1数据速率的数据时,将所述电视信号中的1帧以行为单位划分为q个传送区域,并将所述第1数据速率的q路数字数据以行为单位在所述q个传送区域的各对应传送区域进行复接;
在所述数字数据的数据速率为所述第2数据速率的数据时,将所述电视信号中的1帧以行为单位划分为p个传送区域,并将所述第2数据速率的1路数字数据划分为所具规模与所述第1数据速率的1路相同的p个分路的数字数据,进而将所述第2数据速率的p个分路的数字数据以行为单位,在所述p个传送区域的各对应传送区域进行复接后加以传送。
15.如权利要求14所述数字数据传送方法,其特征在于,所述数字数据结构上至少包含高效编码的图像数据。
16.如权利要求14或15所述的数字数据传送方法,其特征在于,所述第1和第2数据速率分别为25Mbps和50Mbp的数据。
CN98800865A 1997-06-20 1998-06-19 数字数据传送装置及其传送方法 Expired - Fee Related CN1119897C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP163940/97 1997-06-20
JP163940/1997 1997-06-20
JP16394097 1997-06-20

Publications (2)

Publication Number Publication Date
CN1229559A CN1229559A (zh) 1999-09-22
CN1119897C true CN1119897C (zh) 2003-08-27

Family

ID=15783719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98800865A Expired - Fee Related CN1119897C (zh) 1997-06-20 1998-06-19 数字数据传送装置及其传送方法

Country Status (8)

Country Link
EP (1) EP0920205B1 (zh)
JP (1) JP3527515B2 (zh)
KR (1) KR100306930B1 (zh)
CN (1) CN1119897C (zh)
CA (1) CA2262376C (zh)
DE (1) DE69836188T2 (zh)
RU (1) RU2154354C1 (zh)
WO (1) WO1998059492A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667738B1 (ko) 2000-03-29 2007-01-11 삼성전자주식회사 무선 패킷 송수신 장치 및 그 방법
JP2009100412A (ja) * 2007-10-19 2009-05-07 Panasonic Corp 映像伝送装置、映像送信装置および映像受信装置
JP4692576B2 (ja) * 2008-05-26 2011-06-01 ソニー株式会社 信号送信装置及び信号送信方法
JP5768332B2 (ja) * 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5119293B1 (zh) * 1970-05-03 1976-06-16
JPH0246705A (ja) * 1988-08-09 1990-02-16 Asahi Chem Ind Co Ltd コバルトフェライト磁性薄膜
JPH07230669A (ja) * 1993-12-24 1995-08-29 Sony Corp 情報データ記録再生装置及び情報データ処理システム
KR960701445A (ko) * 1993-12-24 1996-02-24 오오가 노리오 정보 데이타 기록 재생 장치 및 정보 데이타 처리 시스템(Information data recoding and reproducing device and information data processing system)
JPH07226022A (ja) * 1994-02-15 1995-08-22 Sony Corp ディジタル記録再生装置
JP3191630B2 (ja) * 1995-08-01 2001-07-23 松下電器産業株式会社 ディジタルデータ伝送方法

Also Published As

Publication number Publication date
CN1229559A (zh) 1999-09-22
DE69836188T2 (de) 2007-09-06
EP0920205A1 (en) 1999-06-02
CA2262376C (en) 2002-08-06
DE69836188D1 (de) 2006-11-30
KR20000068166A (ko) 2000-11-25
KR100306930B1 (ko) 2001-09-29
RU2154354C1 (ru) 2000-08-10
JP3527515B2 (ja) 2004-05-17
EP0920205B1 (en) 2006-10-18
EP0920205A4 (en) 2004-09-15
CA2262376A1 (en) 1998-12-30
WO1998059492A1 (fr) 1998-12-30

Similar Documents

Publication Publication Date Title
CN1089526C (zh) 数字式记录和再现设备
CN1227902C (zh) 信息发送、处理方法及装置、信息记录和再现方法及装置
CN1143301C (zh) 视频数据记录设备、重放设备、录放设备,和相应的方法
CN102404624A (zh) 一种数字机顶盒用支持硬件解码的全格式媒体播放器
CN1230009C (zh) 信号处理及流处理装置和方法、记录和/或播放装置
CN1152775A (zh) 包数据的记录装置和重放装置
CN1168272C (zh) 复合数据接收装置
CN1155241C (zh) 接收机和收发信机
CN1555620A (zh) 流解码装置
CN1184809C (zh) 数据处理设备、数据处理方法、记录设备和记录方法
CN1132316C (zh) 数据处理装置和数据记录装置
CN1078426C (zh) 数字录像机的比特流分配和恢复方法及压缩/解压缩装置
CN1119897C (zh) 数字数据传送装置及其传送方法
CN1798348A (zh) 个人视频记录器***以及在***中再现广播信号的方法
CN1176533A (zh) 记录信号生成设备
CN1138413C (zh) 一种数字记录和再现设备
CN1192630C (zh) 数据再现装置和数据再现方法
CN1173557C (zh) 编辑装置和数据传输方法
CN1222163C (zh) 磁性介质记录再现装置
CN1856073A (zh) 用于在数字广播接收器中存储数据的装置和方法
CN1110194C (zh) 视频信号记录设备
CN1165175C (zh) 多路传输设备和方法、图象输出设备和方法
CN1314268C (zh) 记录再现设备
JP2004120799A (ja) ディジタルデータ伝送装置及びその伝送方法
CN1190314A (zh) 数字视频家用***编译码器***的译码器和译码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee