CN101494778A - 一种多视点可伸缩编码框架 - Google Patents

一种多视点可伸缩编码框架 Download PDF

Info

Publication number
CN101494778A
CN101494778A CN 200810046276 CN200810046276A CN101494778A CN 101494778 A CN101494778 A CN 101494778A CN 200810046276 CN200810046276 CN 200810046276 CN 200810046276 A CN200810046276 A CN 200810046276A CN 101494778 A CN101494778 A CN 101494778A
Authority
CN
China
Prior art keywords
viewpoint
layer
frame
spatial domain
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200810046276
Other languages
English (en)
Other versions
CN101494778B (zh
Inventor
张蕾
彭强
姜浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai spparks Technology Co. Ltd.
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN 200810046276 priority Critical patent/CN101494778B/zh
Publication of CN101494778A publication Critical patent/CN101494778A/zh
Application granted granted Critical
Publication of CN101494778B publication Critical patent/CN101494778B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种多视点可伸缩编码框架,对一个以上视点信息进行视频流传输编码,首先根据视点的重要程度,对多个视点进行分层,按其重要性依次分为I视点层、P视点层和B视点层,以实现视点数目的伸缩能力;然后根据立体显示终端对多视点视频图像的分辨率需求,对各个视点视频图像进行空域分层,以实现视点图像分辨率的伸缩能力;最后,根据立体显示终端的传输带宽条件,对各个视点的高分辨率空域层视频图像进行质量分层,从而实现视点视频质量的伸缩能力,提供了可伸缩性的多视点视频流,使其可同时适用于不同视点数目、不同分辨率及带宽条件的立体显示终端。

Description

一种多视点可伸缩编码框架
技术领域
本发明属于视频编码和处理领域,具体涉及多视点视频编码过程中的视点分层、空域分层及质量分层编码算法的研究。
背景技术
现有的多视点视频编码框架,主要以提高编码效率为主,如图1所示。此编码结构将多个视点分为了I视点、P视点和B视点。I视点,采用标准的层次B帧编码方式,如图1中的视点0。P视点,关键图像(如t、t+8时刻的P0)使用单向的视差预测编码;其余图像采用标准的层次B帧编码,如图1中的视点2、4。B视点,关键图像(如t、t+8时刻的B1)使用双向的视差预测编码;其余图像使用双向的视差/运动联合预测编码,如图1中的视点1、3。
虽然此预测结构较好的利用了视点内和视点间的信息冗余,生成的视频流可提供视点、时域的可伸缩能力。但是缺少空域、质量的伸缩性能,不能提供较好的分辨率和网络带宽的适应性。多个视点的联合预测结构抗传输差错的能力较低,尤其是I视点出错时,传输差错可能会扩散到全部视点中,造成视频质量的下降。P视点中关键图像仅使用单向视差估计预测,降低了多视点编码效率。B视点中非关键图像使用两个时域参考图像和两个视点间参考图像,编码复杂度较高。
发明内容
鉴于现有技术的以上缺点,本发明的目的在于,研制一种多视点视频编码框架,使其提供可伸缩性的多视点视频流,可同时适用于不同视点数目、不同分辨率及带宽条件的立体显示终端。本发明的目的是通过如下的手段实现的:
多视点可伸缩编码框架,对一个以上视点信息进行视频流传输编码,首先根据视点的重要程度,对多个视点进行分层,按其重要性依次分为I视点层、P视点层和B视点层,以实现视点数目的伸缩能力;然后根据立体显示终端对多视点视频图像的分辨率需求,对各个视点视频图像进行空域分层,以实现视点图像分辨率的伸缩能力;最后,根据立体显示终端的传输带宽条件,对各个视点的高分辨率空域层视频图像进行质量分层,从而实现视点视频质量的伸缩能力;具体编码框架构成方式如下:
(1)根据立体显示终端需求,设置多视点编码层数,按照I视点层、P视点层、B视点层的顺序依次编码各个视点层。
(2)设置每个视点层的空域分层数,从空域层0到空域层n依次编码;空域层0的图像分辨率最小,空域层n的图像分辨率最大。
其中空域层0的编码方式
A)I视点层采用基于关键参考帧的编码方式编码:根据关键参考帧选择策略判断待编码帧是否为关键参考帧;关键参考帧使用前一个I帧或者关键参考帧的重建图像为参考,进行帧间预测编码;非关键参考帧使用层次B帧编码方式编码。
B)P视点层以邻近的I视点层或P视点层同时刻同分辨率的重建图像为视点间参考图像,采用基于关键参考帧的编码方式编码;若视点间参考图像为I帧或关键参考帧,则P视点层的待编码为关键参考帧;关键参考帧编码:当视点间参考图像为I帧时,进行单向视差预测编码;当视点间参考图像为关键参考帧时,进行视差/运动联合预测编码;非关键参考帧使用层次B帧编码方式编码。
C)B视点层以邻近的已编码视点层同时刻同分辨率的重建图像为视点间参考图像进行编码;若视点间参考图像为I帧或关键参考帧,使用双向视差预测编码;若视点间参考图像为非关键参考帧,使用层次B帧编码方式编码。
采用如上的设计,本发明框架有效的利用了多视点视频编码的特征以及空域、质量分层编码的适应性优势,从而提供了一种视点数目、分辨率、质量均可根据用户需求、网络带宽任意伸缩的多视点视频流。同时将关键参考帧技术引入多视点可伸缩编码框架中,能够有效控制传输差错对多视点视频质量的影响。
采用本发明,多视点视频编码器对获取的多视点视频序列按照多视点可伸缩编码框架进行分层编码,得到可伸缩的多视点视频流。按照编码结构依次得到I视点层各个空域层、各个质量层视频流;P视点层各个空域层、各个质量层视频流;B视点层各个空域层、各个质量层视频流。依次传输到多视点视频服务器进行存储或转发。当有用户请求多视点视频流时,多视点视频服务器根据用户的网络带宽、指定的分辨率和视点数,从多视点码流中提取满足要求的子码流,打包传输给用户解码。用户接收到的视点编码层越多,可使用的多视点视频数目就越多;接收到的空域层越多,图像分辨率就越高;接收到的质量层越多,图像质量也就越好。如果是立体手机用户,只需接收两个视点层的低分辨率的视频流,就能满足其立体观看的需要。
附图说明
图1是现有技术多视点视频编码框架构架图,
图2是本发明多视点可伸缩编码框架构架图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步的详细说明。
图2所示是本发明提出的多视点可伸缩编码框架,以5个视点为例,记为V0-V4。5个视点分为1个I视点层(V2),2个P视点层(V0、V4),2个B视点层(V1、V3)。同时将I视点层编码为3个空域层,1个质量层;P视点层编码为2个空域层,1个质量层;B视点层编码为1个空域层,3个质量层。其中,帧内编码帧记为I、关键参考帧记为K、双向预测帧记为B。
I视点层编码,如图2中,视点2为I视点层。
空域层0的编码方式:首先根据关键参考帧选择策略判断待编码是否为关键参考帧。若为关键参考帧,使用前一个I帧或关键参考帧重建图像为参考,进行帧间预测编码。如图2视点2中,t+4时刻的关键参考帧V2-K(t+4)以V2-I(t)的重建图像为参考。非关键参考帧使用层次B帧编码方式编码,如图2视点2中,t+2时刻的编码帧V2-B(t+2)以V2-I(t)和V2-K(t+4)的重建图像为参考。
其余空域层,采用空域分层编码方式编码。
P视点编码,如图2中,视点0、4为P视点层,按照视点的先后顺序依次编码视点0和视点4。
(1)空域层0的编码方式:以邻近的I视点层或P视点层同时刻同分辨的重建图像为视点间参考图像,若视点间参考图像为I帧或关键参考帧,则待编码帧为关键参考帧。关键参考帧编码:当视点间参考图像为I帧时,进行单向视差预测编码,如图2视点0中,t时刻的关键参考帧V0-K(t)以V2-I(t)的空域层1重建图像为参考;当视点间参考图像为关键参考帧时,进行视差/运动联合编码,如图2视点0中,t+4时刻的关键参考帧V0-K(t+4)以V2-K(t+4)的空域层1重建图像和V0-K(t)的空域层0为参考。非关键参考帧使用层次B帧编码方式编码,如图2视点0中,t+1时刻的编码帧V0-B(t+1)以V0-K(t)和V0-B(t+2)的重建图像为参考。
(2)其余空域层,采用空域分层编码方式编码。
B视点层编码,如图2中,视点1、3为双向预测层,按照视点的先后顺序,依次编码视点1和视点3。
(1)此预测层使用了一个空域层,3个质量层,即将空域层0编码为3个质量层,依次编码质量层0、质量层1、质量层2。
(2)质量层1的编码方式:以邻近已编码视点层同时刻同分辨率的重建图像为视点间参考图像,进行编码。若视点间参考图像为I帧或关键参考帧,进行双向视差预测编码,如图2视点1中,t时刻编码帧V1-B(t)以V0-K(t)空域层1重建图像与V2-I(t)空域层2重建图像为参考。若视点间参考图像为非关键参考帧,使用层次B帧编码方式编码,如图2视点1中,t+2时刻编码帧V1-B(t+2)以V1-B(t)重建图像与V1-B(t+4)重建图像为参考。
(3)质量层1、质量层2采用质量分层编码方式编码。
这样,共编码5个视点,分为1个I视点层,2个P视点层,2个B视点层。同时将I视点层编码为3个空域层(qcif、cif、D1),1个质量层;P视点层编码为2个空域层(cif、D1),1个质量层;B视点层编码为1个空域层(D1),3个质量层。每隔3帧***一个关键参考帧,每隔8帧***一个I帧。采用层次B帧,GOP大小为4,记编码的时间先后顺序为t、t+4、t+2、t+1、t+3、t+8、t+6、t+5、t+7。
t时刻
(1)视点2为I视点层,记为V2-I(t)。空域层0采用帧内编码方式编码;空域层1-2使用空域分层编码方式编码。
(2)视点0为P视点层,待编码帧是关键参考帧,记为V0-K(t)。空域层0以V2-I(t)空域层1重建图像为参考,进行单向视差预测编码;空域层1使用空域分层编码方式编码。
(3)视点4为P视点层,待编码帧是关键参考帧,记为V4-K(t)。空域层0以V2-I(t)空域层1重建图像为参考,进行单向视差预测编码;空域层1使用空域分层编码方式编码。
(4)视点1为B视点层,记为V1-B(t)。质量层0以V0-K(t)空域层1和V2-I(t)空域层2为参考,进行双向的视差预测编码;质量层1-2使用质量分层编码方式编码。
(5)视点3为B视点层,记为V3-B(t)。质量层0以V2-I(t)空域层2和V4-K(t)空域层1为参考,进行双向的视差预测编码;质量层1-2使用质量分层编码方式编码。
t+4时刻
(1)视点2为I视点层,待编码帧是关键参考帧,记为V2-K(t+4)。空域层0以V2-I(t)重建图像为参考,进行帧间预测编码;空域层1-2使用空域分层编码方式编码。
(2)视点0为P视点层,待编码帧是关键参考帧,记为V0-K(t+4)。空域层0以V2-K(t+4)空域层1和V0-K(t)空域层0重建图像为参考,进行视差/运动联合预测编码;空域层1使用空域分层编码方式编码。
(3)视点4为P视点层,待编码帧是关键参考帧,记为V4-K(t+4)。空域层0以V2-K(t+4)空域层1和V4-K(t)空域层0重建图像为参考,进行视差/运动联合预测编码;空域层1使用空域分层编码方式编码。
(4)视点1为B视点层,记为V1-B(t+4)。质量层0以V0-K(t+4)空域层1和V2-K(t+4)空域层2为参考,进行双向的视差预测编码;质量层1-2使用质量分层编码方式编码。
(5)视点3为B视点层,记为V3-B(t+4)。质量层0以V2-K(t+4)空域层2和V4-K(t+4)空域层1为参考,进行双向的视差预测编码;质量层1-2使用质量分层编码方式编码。
t+2时刻
(1)视点2为I视点层,记为V2-B t+2)。空域层0以V2-I(t)和V2-K(t+4)重建图像为参考,进行双向预测编码;空域层1-2使用空域分层编码方式编码。
(2)视点0为P视点层,记为V0-B(t+2)。空域层0以V0-K(t)和V0-K(t+4)重建图像为参考,进行双向预测编码;空域层1使用空域分层编码方式编码。
(3)视点4为P视点层,记为V4-B(t+2)。空域层0以V4-K(t)和V4-K(t+4)重建图像为参考,进行双向预测编码;空域层1使用空域分层编码方式编码。
(4)视点1为B视点层,记为V1-B(t+2)。质量层0以V1-B(t)和V1-B(t+4)为参考,进行双向预测编码;质量层1-2使用质量分层编码方式编码。
(5)视点3为B视点层,记为V3-B(t+2)。质量层0以V3-B(t)和V3-B(t+4)为参考,进行双向预测编码;质量层1-2使用质量分层编码方式编码。
t+1时刻
(1)视点2为I视点层,记为V2-B(t+1)。空域层0以V2-I(t)和V2-B(t+2)重建图像为参考,进行双向预测编码;空域层1-2使用空域分层编码方式编码。
(2)视点0为P视点层,记为V0-B(t+1)。空域层0以V0-K(t)和V0-B(t+2)重建图像为参考,进行双向预测编码;空域层1使用空域分层编码方式编码。
(3)视点4为P视点层,记为V4-B(t+1)。空域层0以V4-K(t)和V4-B(t+2)重建图像为参考,进行双向预测编码;空域层1使用空域分层编码方式编码。
(4)视点1为B视点层,记为V1-B(t+1)。质量层0以V1-B(t)和V1-B(t+2)为参考,进行双向预测编码;质量层1-2使用质量分层编码方式编码。
(5)视点3为B视点层,记为V3-B(t+1)。质量层0以V3-B(t)和V3-B(t+2)空域层1为参考,进行双向预测编码;质量层1-2使用质量分层编码方式编码。
t+3时刻与t+1时刻编码方式相同
t+8时刻与t时刻编码方式相同
t+6时刻与t+2时刻编码方式相同
t+5、t+7时刻与t+1时刻编码方式相同。
本发明多视点可伸缩编码框架可以编码多个视点层、多个空域层及多个质量层,即可同时满足多个不同的立体显示需求,生成的多视点视频流需要同时满足立体手机用户、普通的多视点显示终端、多人观看的多视点高分辨率次立体实现终端。若只针对单一立体显示设备,则仅需编码显示设备需要的视点数、分辨率及多个质量层。
采用本发明的基本方法,在具体实施中可衍生出更多的实际方案,这些实际方案显然不应受所列实施例所限。

Claims (3)

1、一种多视点可伸缩编码框架,对一个以上视点信息进行视频流传输编码,首先根据视点的重要程度,对多个视点进行分层,按其重要性依次分为I视点层、P视点层和B视点层,以实现视点数目的伸缩能力;然后根据立体显示终端对多视点视频图像的分辨率需求,对各个视点视频图像进行空域分层,以实现视点图像分辨率的伸缩能力;最后,根据立体显示终端的传输带宽条件,对各个视点的高分辨率空域层视频图像进行质量分层,从而实现视点视频质量的伸缩能力;具体编码框架构成方式如下:
(1)根据立体显示终端需求,设置多视点编码层数,按照I视点层、P视点层、B视点层的顺序依次编码各个视点层;
(2)设置每个视点层的空域分层数,从空域层0到空域层n依次编码;空域层0的图像分辨率最小,空域层n的图像分辨率最大;
其中空域层0的编码方式:
A、I视点层采用基于关键参考帧的编码方式编码:根据关键参考帧选择策略判断待编码帧是否为关键参考帧;关键参考帧使用前一个I帧或者关键参考帧的重建图像为参考,进行帧间预测编码;非关键参考帧使用层次B帧编码方式编码;
B、P视点层以邻近的I视点层或P视点层同时刻同分辨率的重建图像为视点间参考图像,采用基于关键参考帧的编码方式编码;若视点间参考图像为I帧或关键参考帧,则P视点层的待编码帧为关键参考帧;关键参考帧编码:当视点间参考图像为I帧时,进行单向视差预测编码;当视点间参考图像为关键参考帧时,进行视差/运动联合预测编码;非关键参考帧使用层次B帧编码方式编码;
C、B视点层以邻近的已编码视点层同时刻同分辨率的重建图像为视点间参考图像进行编码;若视点间参考图像为I帧或关键参考帧,使用双向视差预测编码;若视点间参考图像为非关键参考帧,使用层次B帧编码方式编码。
2、根据权利要求1所述之一种多视点可伸缩编码框架,对所述多视点编码层数进行设置时可编码所有I、P、B视点层,也可只编码部分视点层。
3、根据权利要求1所述之一种多视点可伸缩编码框架,所述关键参考帧选择策略,可以每隔固定间隔***关键参考帧,也可以根据率失真优化模型综合考虑传输失真和多视点编码效率等因素动态确定关键参考帧。
CN 200810046276 2008-10-13 2008-10-13 一种多视点可伸缩编码框架 Expired - Fee Related CN101494778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810046276 CN101494778B (zh) 2008-10-13 2008-10-13 一种多视点可伸缩编码框架

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810046276 CN101494778B (zh) 2008-10-13 2008-10-13 一种多视点可伸缩编码框架

Publications (2)

Publication Number Publication Date
CN101494778A true CN101494778A (zh) 2009-07-29
CN101494778B CN101494778B (zh) 2011-03-23

Family

ID=40925140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810046276 Expired - Fee Related CN101494778B (zh) 2008-10-13 2008-10-13 一种多视点可伸缩编码框架

Country Status (1)

Country Link
CN (1) CN101494778B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045578A (zh) * 2009-10-16 2011-05-04 索尼公司 图像处理设备和图像处理方法
CN102196258A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种i帧编码方法及装置
CN102263973A (zh) * 2011-06-30 2011-11-30 天津大学 一种基于移动终端的光栅视点自适应显示方法
CN102668564A (zh) * 2009-12-21 2012-09-12 阿尔卡特朗讯公司 一种用于对多个视频流进行联合编码的方法和装置
CN103475878A (zh) * 2013-09-06 2013-12-25 同观科技(深圳)有限公司 一种视频编码方法和编码器
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045578A (zh) * 2009-10-16 2011-05-04 索尼公司 图像处理设备和图像处理方法
CN102045578B (zh) * 2009-10-16 2013-05-01 索尼公司 图像处理设备和图像处理方法
CN102668564A (zh) * 2009-12-21 2012-09-12 阿尔卡特朗讯公司 一种用于对多个视频流进行联合编码的方法和装置
CN102668564B (zh) * 2009-12-21 2017-03-15 阿尔卡特朗讯公司 一种用于对多个视频流进行联合编码的方法和装置
CN102196258A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种i帧编码方法及装置
CN102196258B (zh) * 2010-03-11 2013-03-27 中国科学院微电子研究所 一种i帧编码方法及装置
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN102263973A (zh) * 2011-06-30 2011-11-30 天津大学 一种基于移动终端的光栅视点自适应显示方法
CN102263973B (zh) * 2011-06-30 2013-06-19 天津大学 一种基于移动终端的光栅视点自适应显示方法
CN103475878A (zh) * 2013-09-06 2013-12-25 同观科技(深圳)有限公司 一种视频编码方法和编码器

Also Published As

Publication number Publication date
CN101494778B (zh) 2011-03-23

Similar Documents

Publication Publication Date Title
CN101023681B (zh) 一种多视点视频位流的解码方法和解码装置
CN103907347B (zh) 多视图视频编码和解码
RU2611240C2 (ru) Устройство, способ и компьютерная программа для трехмерного видеокодирования
CN102017628B (zh) 深度信号的编码
KR100943915B1 (ko) 다시점 비디오의 처리 방법 및 장치
CN1204757C (zh) 一种立体视频流编码/解码器及其立体视频编解码***
CN101494778B (zh) 一种多视点可伸缩编码框架
CN104365104B (zh) 用于多视点视频编码和解码的方法和设备
KR102246546B1 (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US10999583B2 (en) Scalability of multi-directional video streaming
CN104010196B (zh) 基于hevc的3d质量可伸缩视频编码
WO2009155827A1 (zh) 立体视频编解码方法、装置及***
KR20140091493A (ko) 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150105264A (ko) 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
CN104620585A (zh) 图像解码方法和使用其的装置
CN104995916A (zh) 视频数据解码方法和视频数据解码设备
KR20150073132A (ko) 휘도 보상을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20160031991A (ko) 적응적 휘도 보상을 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150043218A (ko) 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
KR20150081235A (ko) 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
CN117499657A (zh) 视频编解码的方法和装置
KR20140122673A (ko) 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150048650A (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
CN110278435A (zh) 一种图像块的帧内预测方法及装置
CN101568038B (zh) 基于视差/运动联合估计的多视点容错编码框架

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHANGHAI SILICON INTELLECTUAL PROPERTY EXCHANGE

Free format text: FORMER OWNER: SOUTHWEST COMMUNICATION UNIVERSITY

Effective date: 20120228

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 610031 CHENGDU, SICHUAN PROVINCE TO: 200030 XUHUI, SHANGHAI

TR01 Transfer of patent right

Effective date of registration: 20120228

Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee after: Shanghai Silicon Intellectual Property Exchange

Address before: 610031 Chengdu City, Sichuan Province, No. two North Ring Road, Southwest Jiao Tong University,

Patentee before: Southwest Jiaotong University

ASS Succession or assignment of patent right

Owner name: SHANGHAI SSIPEX TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SHANGHAI SILICON INTELLECTUAL PROPERTY EXCHANGE CO., LTD.

Effective date: 20120323

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120323

Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1706

Patentee after: Shanghai spparks Technology Co. Ltd.

Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee before: Shanghai Silicon Intellectual Property Exchange

ASS Succession or assignment of patent right

Owner name: SHANGHAI GUIZHI INTELLECTUAL PROPERTY SERVICE CO.,

Free format text: FORMER OWNER: SHANGHAI SIPAI KESI TECHNOLOGY CO., LTD.

Effective date: 20120606

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120606

Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee after: Shanghai wisdom Intellectual Property Service Co., Ltd.

Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1706

Patentee before: Shanghai spparks Technology Co. Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200121

Address after: 201203 block 22301-1450, building 14, No. 498, GuoShouJing Road, Pudong New Area (Shanghai) pilot Free Trade Zone, Shanghai

Patentee after: Shanghai spparks Technology Co. Ltd.

Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee before: Shanghai Guizhi Intellectual Property Service Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110323

Termination date: 20201013

CF01 Termination of patent right due to non-payment of annual fee