CN106656422B - 一种动态调整fec冗余度的流媒体传输方法 - Google Patents

一种动态调整fec冗余度的流媒体传输方法 Download PDF

Info

Publication number
CN106656422B
CN106656422B CN201710002059.8A CN201710002059A CN106656422B CN 106656422 B CN106656422 B CN 106656422B CN 201710002059 A CN201710002059 A CN 201710002059A CN 106656422 B CN106656422 B CN 106656422B
Authority
CN
China
Prior art keywords
fec
rtp
streaming media
error correction
rtp message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710002059.8A
Other languages
English (en)
Other versions
CN106656422A (zh
Inventor
李伟海
陈保栈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHUHAI QUANZHI TECHNOLOGY Co Ltd
Original Assignee
ZHUHAI QUANZHI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHUHAI QUANZHI TECHNOLOGY Co Ltd filed Critical ZHUHAI QUANZHI TECHNOLOGY Co Ltd
Priority to CN201710002059.8A priority Critical patent/CN106656422B/zh
Publication of CN106656422A publication Critical patent/CN106656422A/zh
Application granted granted Critical
Publication of CN106656422B publication Critical patent/CN106656422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164Adaptation or special uses of UDP protocol
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

本发明公开了一种动态调整FEC冗余度的流媒体传输方法,包括步骤:A1、流媒体发送端根据初始FEC编码冗余度Z0,对M个RTP报文数据包进行FEC编码,形成FEC纠错数据包;A2、将所述RTP报文数据包和所述FEC纠错数据包发送到流媒体接收端;A3、流媒体接收端接收到所述RTP报文数据包和所述FEC纠错数据包后,如果确认出现丢包,则利用所述FEC纠错数据包和所述RTP报文数据包恢复丢失的RTP报文;A4、流媒体接收端将当前RTP报文信息和丢包信息通过UDP协议方式发送到流媒体发送端;A5、流媒体发送端根据所述当前RTP报文信息和所述丢包信息计算实时丢包率P,根据公式计算并确定下一次传送M个RTP报文数据包时的FEC纠错数据包数量N,其中N取最小整数。

Description

一种动态调整FEC冗余度的流媒体传输方法
技术领域
本发明涉及流媒体技术领域,具体涉及一种动态调整FEC冗余度的流媒体传输方法。
背景技术
流媒体(Streaming Media)指在互联网中使用流式传输技术的连续时基媒体,如:音频、视频或多媒体文件。流媒体的出现极大地方便了人们的工作和生活。由于网络流媒体的传输需要实时和低延时等特点,目前很大部分都是通过实时传输协议RTP(Real-timeTransport Protocol)来传输流媒体。实时传输协议RTP(Real-time Transport Protocol)是一个网络传输协议,RTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步,但并不保证服务质量。RTP通常采用UDP来实现数据在IP网络上的传输。因为UDP协议的传输过程没有重传机制,所以很容易造成传输数据的延时或者丢失。流媒体在传输过程中的数据丢失往往会造成视频花屏,画面静止,音视频不同步,声音卡顿,播放的不流畅等问题。由于RTP的不可靠性,需要加入一种处理机制,在很多的应用中一般采用加入FEC包,FEC(Forward Error Correction)前向纠错是一种通过在信息源增加冗余信息实现丢包恢复的一种措施。现有的向前纠错技术中,FEC的编码冗余度一般采用固定值,编码冗余度不能根据具体的网络环境做出对应的调整,这样占用的网络带宽较高。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种动态调整FEC冗余度的流媒体传输方法,克服现有技术流媒体传输过程中FEC的编码冗余度采用固定值,FEC编码冗余度不能根据具体网络环境做出调整,占用网络带宽较高的缺陷。
本发明为解决上述技术问题所采用的技术方案为:
一种动态调整FEC冗余度的流媒体传输方法,包括步骤:
A1、流媒体发送端根据初始FEC编码冗余度Z0,对M个RTP报文数据包进行FEC编码,形成FEC纠错数据包;
A2、将所述RTP报文数据包和所述FEC纠错数据包发送到流媒体接收端;
A3、流媒体接收端接收到所述RTP报文数据包和所述FEC纠错数据包后,如果确认出现丢包,则利用所述FEC纠错数据包和所述RTP报文数据包恢复丢失的RTP报文;
A4、流媒体接收端将当前RTP报文信息和丢包信息通过UDP协议方式发送到流媒体发送端;
A5、流媒体发送端根据所述当前RTP报文信息和所述丢包信息计算实时丢包率P,根据公式计算并确定下一次传送M个RTP报文数据包时的FEC纠错数据包数量N,其中N取最小整数。
根据本发明的实施例,所述步骤A1包括步骤:所述FEC纠错数据包的数量由公式确定。
根据本发明的实施例,所述步骤A5包括步骤:所述实时丢包率P按照公式
计算得到,其中rtp_num为当前接收到的RTP报文数据包数量,rtp_start为RTP报文数据包的起始编号,rtp_end为RTP报文数据包的结束编号,fec_start为FEC纠错数据包的起始编号,fec_end为FEC纠错数据包的结束编号,fec_num为当前接收到的FEC纠错数据包数量。
实施本发明的技术方案,具有以下有益效果:本发明不仅能利用FEC向前纠错技术自动纠正RTP网络传输过程中的丢包,并且能根据实时传输丢包率和最少占用网络带宽的原则动态调节RTP数据的FEC编码的冗余度,提高了流媒体的传输质量。
附图说明
下面通过参考附图并结合实例具体地描述本发明,本发明的优点和实现方式将会更加明显,其中附图所示内容仅用于对本发明的解释说明,而不构成对本发明的任何意义上的限制,在附图中:
图1为本发明流媒体发送端和接收端的数据交互过程示意图;
图2为本发明流媒体发送端的处理流程图;
图3为本发明流媒体接收端的处理流程图;
图4为本发明流媒体接收端通过UDP反馈给发送端的数据组织结构图。
具体实施方式
本发明动态调整FEC冗余度的流媒体传输方法,包括步骤:
A1、流媒体发送端根据初始FEC编码冗余度Z0,对M个RTP报文数据包进行FEC编码,形成FEC纠错数据包;
A2、将所述RTP报文数据包和所述FEC纠错数据包发送到流媒体接收端;
A3、流媒体接收端接收到所述RTP报文数据包和所述FEC纠错数据包后,如果确认出现丢包,则利用所述FEC纠错数据包和所述RTP报文数据包恢复丢失的RTP报文;
A4、流媒体接收端将当前RTP报文信息和丢包信息通过UDP协议方式发送到流媒体发送端;
A5、流媒体发送端根据所述当前RTP报文信息和所述丢包信息计算实时丢包率P,根据公式计算并确定下一次传送M个RTP报文数据包时的FEC纠错数据包数量N,其中N取最小整数。
根据本发明的实施例,所述步骤A1包括步骤:所述FEC纠错数据包的数量由公式确定。
根据本发明的实施例,所述步骤A5包括步骤:所述实时丢包率P按照公式
计算得到,其中rtp_num为当前接收到的RTP报文数据包数量,rtp_start为RTP报文数据包的起始编号,rtp_end为RTP报文数据包的结束编号,fec_start为FEC纠错数据包的起始编号,fec_end为FEC纠错数据包的结束编号,fec_num为当前接收到的FEC纠错数据包数量。
如图1、图2、图3和图4所示,
S1:流媒体发送端根据初始FEC编码冗余度Z0,对M个RTP报文数据包进行FEC编码,形成FEC纠错数据包;
S2:将RTP报文数据包和FEC纠错数据包发送到流媒体接收端;
S3:流媒体发送端接收流媒体接收端发送的反馈数据,并且算出流媒体接收端的实时丢包率P;
S4:根据计算得到的实时丢包率P,计算FEC编码冗余度Z,根据关系式(为了最少占用网络带宽,传输数据的冗余度最小,N取符合不等式条件的最小整数)可以得到关系式(N取最小整数)计算得出对接下来M个RTP数据包进行FEC编码需要的N个FEC纠错包;
S5:对接下来读取的M个RTP报文数据包进行FEC编码,得到N个FEC纠错数据包,接着执行S2。
流媒体接收端:
S6:流媒体接收端接收RTP报文数据包和FEC纠错数据包;
S7:对RTP报文数据包和FEC纠错数据包解封装;
S8:如果确认出现丢包,则利用FEC纠错数据包和RTP报文数据包恢复丢失的RTP报文;
S9:流媒体接收端统计当前RTP报文信息和丢包信息,采用UDP传输方式发送到流媒体发送端。
进一步讲述S9中流媒体接收端反馈的丢包信息的反馈方式:
S10:从接收到的RTP报文数据包可以得到当前接收到的RTP报文数据包的个数rtp_num,从解封装后的FEC编码数据可以得到当前参与FEC编码的RTP报文数据包的起始编号rtp_start、结束编号rtp_end、该组的FEC纠错数据包的起始编号fec_start、结束编号fec_end、收到的FEC纠错数据包个数fec_num,然后把六个数据按照rtp_start,rtp_end,fec_start,fec_end,rtp_num,fec_num的顺序排列,每个占16bit大小的格式,用UDP协议的方式发送给流媒体接收端,当流媒体接收端接收到反馈的UDP报文后,从里面依次读取出rtp_start,rtp_end,fec_start,fec_end,rtp_num,fec_num,则可以计算得到当前接收端的实时丢包率
如图1所示,流媒体发送端通过RTP发送原始码流和对应的FEC数据到流媒体数据接收端,流媒体接收端接收数据,并且根据接收到的数据进行FEC向前纠错解码恢复传输过程中丢失的数据包,同时采用UDP的方式把当前的RTP接收状况反馈给流媒体发送端,流媒体发送端根据接收到的反馈信息得到接收端的丢包率P并且动态调整当前FEC编码冗余度Z,根据更新的Z来确定接下来要编码的一组原始RTP数据对应FEC数据的个数,实现在丢包率为P的网络环境下,可以通过FEC向前纠错解码实现丢包的恢复。
图2是流媒体发送端的具体处理流程:
S201:流媒体发送端以最初始FEC编码冗余度Z0,读取一组M个原始RTP1数据包并进行FEC编码得出当前组的N0个FEC纠错包,其中Z0、M和N0符合关系式所以其中N0为整数;
S202:把这N0个FEC包FEC1封装成另外一路RTP包RTPFEC,并且发送RTP1数据包和RTPFEC数据包到流媒体接收端;
S203:流媒体发送端接收到流媒体接收端反馈的针对发送RTP1数据包和RTPFEC数据包的RTP报文信息和丢包信息统计出丢包率P1
S204:根据计算得到的P1去计算接下来发送的RTP2原始包所需的FEC纠错包的数量N1,根据关系式(为了最少占用网络带宽,传输数据的冗余度最小,N取符合条件的最小整数)得到关系式(N取最小整数)计算得出N1,对接下来读取M个原始RTP2数据进行FEC编码得出N1个FEC纠错包;
S205:接着执行S202。
图3是流媒体接收端的具体处理流程:
S301:流媒体接收端接收到RTP1-R和RTPFEC-R(由于网络丢包的存在不一定是原来的RTP1和RTPFEC);
S302:根据接收到的RTPFEC-R解封装得到FEC1-R
S303:把RTP1-R和FEC1-R用FEC解码方法去尝试解码得到原始发送的RTP1,如果能正常解码则把RTP1送到流媒体处理模块,如果解码失败则把RTP1-R送到流媒体处理模块;
S305:得到RTP1-R和RTPFEC-R之后,流媒体接收端需统计当前组RTP1数据和RTPFEC-R的丢包信息,用UDP的传输方式发送给到流媒体发送端;
S306:继续执行S301。
图4描述的是S305流媒体接收端通过UDP反馈的相关数据安排方式:
S401:从RTP1-R可以得到当前接收到的RTP数据的个数rtp_num,从RTPFEC-R可以得到当前参与FEC编码的RTP数据的起始编号rtp_start、结束编号rtp_end、该组的FEC的起始编号fec_start、结束编号fec_end、接收到的FEC数据个数fec_num,然后把四个数据按照rtp_start、rtp_end、fec_start、fec_end、rtp_num、fec_num的顺序排列,每个字段占16bit大小的格式用UDP的方式发送给流媒体接收端。当流媒体接收端接收到反馈的UDP报文后,从里面依次读取出rtp_start,rtp_end,fec_start,fec_end,rtp_num,fec_num,则可以计算得到当前接收端的实时丢包率
本领域技术人员不脱离本发明的实质和精神,可以有多种变形方案实现本发明,以上所述仅为本发明较佳可行的实施例而已,并非因此局限本发明的权利范围,凡运用本发明说明书及附图内容所作的等效结构变化,均包含于本发明的权利范围之内。

Claims (1)

1.一种动态调整FEC冗余度的流媒体传输方法,其特征在于,包括步骤:
A1、流媒体发送端根据初始FEC编码冗余度Z0,对M个RTP报文数据包进行FEC编码,形成FEC纠错数据包;
A2、将所述RTP报文数据包和所述FEC纠错数据包发送到流媒体接收端;
A3、流媒体接收端接收到所述RTP报文数据包和所述FEC纠错数据包后,如果确认出现丢包,则利用所述FEC纠错数据包和所述RTP报文数据包恢复丢失的RTP报文;
A4、流媒体接收端将当前RTP报文信息和丢包信息通过UDP协议方式发送到流媒体发送端;
A5、流媒体发送端根据所述当前RTP报文信息和所述丢包信息计算实时丢包率P,根据公式计算并确定下一次传送M个RTP报文数据包时的FEC纠错数据包数量N,其中N取最小整数;
其中,所述步骤A5包括步骤:所述实时丢包率P按照公式
计算得到,其中rtp_num为当前接收到的RTP报文数据包数量,rtp_start为RTP报文数据包的起始编号,rtp_end为RTP报文数据包的结束编号,fec_start为FEC纠错数据包的起始编号,fec_end为FEC纠错数据包的结束编号,fec_num为当前接收到的FEC纠错数据包数量;
其中,所述步骤A1包括步骤:所述FEC纠错数据包的数量由公式确定。
CN201710002059.8A 2017-01-03 2017-01-03 一种动态调整fec冗余度的流媒体传输方法 Active CN106656422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710002059.8A CN106656422B (zh) 2017-01-03 2017-01-03 一种动态调整fec冗余度的流媒体传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710002059.8A CN106656422B (zh) 2017-01-03 2017-01-03 一种动态调整fec冗余度的流媒体传输方法

Publications (2)

Publication Number Publication Date
CN106656422A CN106656422A (zh) 2017-05-10
CN106656422B true CN106656422B (zh) 2019-12-24

Family

ID=58838093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710002059.8A Active CN106656422B (zh) 2017-01-03 2017-01-03 一种动态调整fec冗余度的流媒体传输方法

Country Status (1)

Country Link
CN (1) CN106656422B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222296A (zh) * 2017-05-26 2017-09-29 深圳市冠旭电子股份有限公司 信息传输的方法、终端设备及计算机可读存储介质
CN110087140B (zh) * 2018-01-26 2022-07-05 腾讯科技(深圳)有限公司 一种传输流媒体数据的方法、装置、介质及设备
CN108183774B (zh) * 2018-03-26 2021-07-27 浙江齐聚科技有限公司 一种流媒体传输的前向纠错方法和***
CN108650061A (zh) * 2018-04-24 2018-10-12 达闼科技(北京)有限公司 基于fec的vpn代理方法、装置、存储介质和***
CN109547467A (zh) * 2018-12-19 2019-03-29 北京东土科技股份有限公司 媒体数据纠错传输及纠错方法、装置、设备及存储介质
CN111385055B (zh) * 2018-12-27 2023-03-24 杭州海康威视数字技术股份有限公司 一种数据传输方法和装置
CN109818714B (zh) * 2019-01-29 2022-02-11 北京世纪好未来教育科技有限公司 动态fec方法、装置、计算机终端和计算机可读存储介质
CN110213259A (zh) * 2019-05-29 2019-09-06 武汉大学 电力测控报文的udp传输方法、发送终端及接收终端
CN110505123B (zh) * 2019-09-04 2021-07-30 达闼机器人有限公司 丢包率的计算方法、服务器及计算机可读存储介质
CN110602452B (zh) * 2019-09-05 2020-12-25 杭州米络星科技(集团)有限公司 一种保障全球udp音视频流远距离实时传输流畅的方法
CN110838894B (zh) * 2019-11-27 2023-09-26 腾讯科技(深圳)有限公司 语音处理方法、装置、计算机可读存储介质和计算机设备
CN111787413B (zh) * 2020-07-09 2022-02-11 郑州信大捷安信息技术股份有限公司 流媒体数据传输方法、***、发送装置及接收装置
CN115085859B (zh) * 2021-03-15 2023-11-24 海能达通信股份有限公司 一种抗丢包方法、装置及计算机可读存储介质
CN113438053A (zh) * 2021-06-23 2021-09-24 中宇联云计算服务(上海)有限公司 基于云网融合技术的丢包补偿方法、***以及设备
CN113992304A (zh) * 2021-10-26 2022-01-28 新华三信息安全技术有限公司 一种抗丢包率更新方法、装置、电子设备及存储介质
CN114401208B (zh) * 2021-12-10 2022-12-06 北京百度网讯科技有限公司 数据传输方法、装置、电子设备和存储介质
CN115086285B (zh) * 2022-06-02 2024-05-17 深圳市欢太科技有限公司 一种数据处理方法、装置、存储介质及电子设备
CN115225209A (zh) * 2022-09-20 2022-10-21 江苏为是科技有限公司 数据发送、传输方法、发送装置、传输***和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072083A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种优化网络数据传输冗余纠错率的方法
CN103716718A (zh) * 2013-12-16 2014-04-09 广州华多网络科技有限公司 数据包的传输方法及装置
CN103813175A (zh) * 2012-11-01 2014-05-21 索尼公司 传输装置、传输方法、接收装置、接收方法和计算机程序
CN103957222A (zh) * 2014-05-20 2014-07-30 艾诺通信***(苏州)有限责任公司 一种基于fec算法的视频传输自适应方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072083A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种优化网络数据传输冗余纠错率的方法
CN103813175A (zh) * 2012-11-01 2014-05-21 索尼公司 传输装置、传输方法、接收装置、接收方法和计算机程序
CN103716718A (zh) * 2013-12-16 2014-04-09 广州华多网络科技有限公司 数据包的传输方法及装置
CN103957222A (zh) * 2014-05-20 2014-07-30 艾诺通信***(苏州)有限责任公司 一种基于fec算法的视频传输自适应方法

Also Published As

Publication number Publication date
CN106656422A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106656422B (zh) 一种动态调整fec冗余度的流媒体传输方法
US9136983B2 (en) Streaming and buffering using variable FEC overhead and protection periods
CN1171458C (zh) 流式视频接收机的解码器缓冲器
US20090103635A1 (en) System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks
EP1844593B1 (en) Signaling buffer parameters indicative of receiver buffer architecture
CN101193312B (zh) 基于反馈的自适应错误恢复装置、视频通信***和方法
US8010863B2 (en) Method and apparatus for synchronizing multiple multimedia streams
CN106911699B (zh) 一种基于rtp协议实现i帧重传的方法
EP2166687A1 (en) A method and apparatus for transmiting and receiving data packets
KR20080059508A (ko) 데이터 통신시스템, 데이터 송신장치, 데이터 송신방법 및패킷 사이즈 및 용장도 결정방법
EP2912845B1 (en) Enhanced video streaming with application layer forward error correction
KR20050049318A (ko) 패킷 에러 정정 장치 및 방법
WO2008119259A1 (fr) Système et procédé de correction d'erreurs sans voie de retour adaptative dynamique dans un réseau iptv
JP2011135609A (ja) 帯域外ディレクトリ情報を使用するエラー耐性の改良
JP2001045098A (ja) データ通信システム、データ通信装置、データ通信方法及び記憶媒体
US20100125768A1 (en) Error resilience in video communication by retransmission of packets of designated reference frames
EP3160097B1 (en) Method and apparatus for transmitting and receiving packets in broadcast and communication system
JP5344541B2 (ja) データ送信装置、送信方法及びプログラム
CN103428531A (zh) 一种多媒体数据的arq控制方法及***
EP1675318A1 (en) Media stream multicast distribution method and apparatus
JP2012015871A (ja) 映像伝送システム
CN101662339A (zh) 一种对前向纠错恢复的数据进行校验的方法及装置
CN101645903A (zh) 一种多媒体数据的传输方法及装置
KR101999105B1 (ko) 실시간 비디오 스트리밍에서 비디오 지연시간을 최소로 하면서 안정적으로 비디오 데이터를 송수신하는 방법
CN111200761A (zh) 实时流媒体传输***中一种丢包重传的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant