CN108141641B - 视频配送装置、视频配送***及视频配送方法 - Google Patents
视频配送装置、视频配送***及视频配送方法 Download PDFInfo
- Publication number
- CN108141641B CN108141641B CN201580083858.1A CN201580083858A CN108141641B CN 108141641 B CN108141641 B CN 108141641B CN 201580083858 A CN201580083858 A CN 201580083858A CN 108141641 B CN108141641 B CN 108141641B
- Authority
- CN
- China
- Prior art keywords
- video
- video signal
- transmitting
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 103
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/6473—Monitoring network processes errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
视频配送装置包括在通过环型网络进行连接的1个以上的显示装置之间收发2D或3D的视频信号的收发部。该收发部具有：通过环型网络的上行线路来收发视频信号的UL用发送部和UL用接收部；以及通过下行线路来收发视频信号的DL用发送部和DL用接收部。于是，在收发2D视频信号的情况下，DL用发送部和DL用接收部收发2D的视频信号。在收发3D视频信号的情况下，DL用发送部和DL用接收部收发左眼用的视频信号，UL用发送部和UL用接收部收发右眼用的视频信号。
Description
技术领域
本发明涉及向显示装置配送二维(2D)视频和三维(3D)视频的视频配送装置、包含显示装置和视频配送装置在内的视频配送***、以及向显示装置配送2D视频和3D视频的视频配送方法。
背景技术
近年来，随着视频处理技术的进步，视频的高精度化不断得以推进。作为家用电视机主流的全高清电视机的分辨率为2K(1920×1080像素)，而其4倍精度的4K电视机已开始实用化，而且16倍精度的8K电视机也已接近实用化。另外，不仅是现有的2D视频，立体视频即3D视频也已得到普及。为了显示3D视频，从原理上说需要右眼用和左眼用的独立的视频，因此，需要2D视频的2倍的信息量。
视频的高精度化和高度化的推进会导致视频配送中所处理的信息量呈飞跃式增加。因此，也需要视频传输线路的大容量化和高质量化。
另外，还存在各种各样的对多个显示装置配送视频来进行显示的视频配送***。例如，在车辆中，在驾驶座处具有仪表用的显示装置，在前座中央部处具有导航用的显示装置，在后座处具有RSE(Rear Seat Entertainment：后座娱乐)***用的显示装置。而且，作为针对这些显示装置的视频配送方式，使用HDMI(High-Definition MultimediaInterface：高清晰度多媒体接口、注册商标)那样的标准规格，或将视频RGB并行信息进行串行化，或将视频信号进行压缩编码。
如上所述，视频的信息量增加，并且对于多种多样化的视频配送***寻求传输线路的高效化和高速化，提出了如下所示的方法。
例如专利文献1所涉及的传输***利用HDMI(注册商标)标准规格的3D视频信号传输格式，用1根HDMI(注册商标)电缆来传输多个不同的2D视频信号。
例如，专利文献2所涉及的发送装置将通知2D视频与3D视频的切换的先行信息***以分时方式包含有2D视频信号和3D视频信号的复用流，并将其发送至接收装置。接收装置接收来自发送装置的复用流，基于先行信息来对快门眼镜(shutter glasses)的2D视频显示与3D视频显示的切换时刻进行控制。
现有技术文献
专利文献
专利文献1：日本专利特开2012-49933号公报
专利文献2：日本专利特开2012-129827号公报
发明内容
发明所要解决的技术问题
根据上述专利文献1，由于能传输2种2D视频信号以代替右眼用和左眼用的1组3D视频信号，因此，能实现传输线路的高效化。相反，在上述专利文献1所记载的传输***中存在以下问题：在传输多个2D视频信号时，无法传输3D视频信号。
根据上述专利文献2，能传输混合有3D视频信号和2D视频信号的信号流。然而，在上述专利文献2所记载的发送装置中存在以下问题：无法对多个显示装置配送视频信号。
本发明是为了解决上述问题而完成的，其目的在于力图提高对1个以上显示装置配送二维和三维视频信号时的传输效率和传输速度。
解决技术问题所采用的技术方案
本发明所涉及的视频配送装置包括：视频获取生成部，该视频获取生成部获取或生成二维或三维的视频信号；以及收发部，该收发部在通过环型网络进行连接的1个以上的显示装置之间收发视频信号，收发部具有：上行线路用收发部，该上行线路用收发部通过环型网络的上行线路来收发视频信号；以及下行线路用收发部，该下行线路用收发部通过下行线路来收发视频信号，在收发二维视频信号的情况下，从上行线路用收发部或下行线路用收发部中的任意一方或双方收发该二维视频信号，在收发三维视频信号的情况下，从上行线路用收发部和下行线路用收发部中的任意一方收发右眼用的视频信号，从另一个收发左眼用的视频信号。
发明效果
根据本发明，在通过环型网络进行连接的一个以上的显示装置之间收发二维视频信号的情况下，从上行线路用收发部和下行线路用收发部中的任意一方或双方进行收发，在收发三维视频信号的情况下，从上行线路用收发部或下行线路用收发部中的任意一方收发右眼用的视频信号，从另一个收发左眼用的视频信号，因此，能力图提高对一个以上显示装置配送二维和三维的视频信号时的传输效率和传输速度。
附图说明
图1是表示本发明的实施方式1所涉及的视频配送***的结构例的框图。
图2是对实施方式1所涉及的视频配送装置所配送的数据包的一个示例进行说明的图。
图3是对实施方式1所涉及的视频配送装置所配送的数据包的其他示例进行说明的图。
图4是表示实施方式1所涉及的显示装置的结构例的框图。
图5是表示实施方式1所涉及的视频配送装置的动作的流程图。
图6是表示本发明的实施方式2所涉及的视频配送***的结构例的框图。
图7是本发明的各实施方式所涉及的视频配送装置的硬件结构图。
图8是本发明的各实施方式所涉及的视频配送装置的硬件结构图。
具体实施方式
下面，为了对本发明进行更加详细的说明，根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是表示本发明实施方式1所涉及的视频配送***的结构例的框图。视频配送***包含视频配送装置100、以及通过环型网络与该视频配送装置100有线连接的1个以上的显示装置。
在图1的示例中，对视频配送装置100连接有第1显示装置200和第2显示装置300这2个显示装置，但也可以连接1个或3个以上。在该环型网络中，将从视频配送装置100按照第1显示装置200、第2显示装置300的顺序传输视频信号的传输线路称为下行线路(以下记为DL)，将从视频配送装置100按照第2显示装置300、第1显示装置200的顺序传输视频信号的传输线路称为上行线路(以下记为UL)。
另外，将视频配送装置100与第1显示装置200之间的传输线路称为DL1和UL3，将第1显示装置200与第2显示装置300之间的传输线路称为DL2和UL2，将第2显示装置300与视频配送装置100之间的传输线路称为DL3和UL1。通过将显示装置的网络拓扑设为环型，从而与设为星型等其他拓扑的情况相比，能缩短传输线路的合计长度。即，能缩短电缆的合计长度，能削减传输线路成本。除此以外，通过设为环型，从而如后所述，能力图提高对1个以上显示装置配送2D和3D的视频信号时的传输效率和传输速度。
视频配送装置100对通过环型网络进行连接的第1显示装置200和第2显示装置300配送视频信号。该视频配送装置100包括：视频获取生成部110，该视频获取生成部110获取或生成2D视频信号或3D视频信号；收发部120，该收发部120在第1显示装置200与第2显示装置300之间收发视频信号；以及控制部130，该控制部130对视频获取生成部110和收发部120进行控制。
视频获取生成部110包括视频获取部111和视频生成部112中的至少一个。视频获取部111从外部装置获取2D视频信号或3D视频信号。3D视频信号包含右眼用信号和左眼用信号。
视频生成部112具有图形功能或视频解码功能等，生成2D视频信号或3D视频信号。另外，视频生成部112将视频获取部111所获取到的2D视频信号转换为3D视频信号，或者反过来将3D视频信号转换为2D视频信号，或者根据显示装置的分辨率对视频信号的分辨率进行变更。此外，为了使第1显示装置200和第2显示装置300显示不同的视频，视频生成部112能同时输出多种视频信号。向收发部120输入视频生成部112所输出的视频信号。
另外，视频获取生成部110在控制部130的控制下进行视频信号的获取或生成，并将该视频信号的种类等信息通知给控制部130。
此外，在不存在视频生成部112的情况下，视频获取部111向收发部120输出视频信号，并将视频信号的种类等信息通知给控制部130。
收发部120包括数据包生成部121、数据包分配部122、DL用发送部123、DL用接收部124、UL用发送部125以及UL用接收部126。
DL用发送部123和DL用接收部124是下行线路用收发部，UL用发送部125和UL用接收部126是上行线路用收发部。
数据包生成部121从视频获取生成部110接收视频信号，生成用于配送至第1显示装置200和第2显示装置300的数据包。数据包分配部122从数据包生成部121接收数据包，并将其分配至DL用发送部123和UL用发送部125。DL用发送部123将从数据包分配部122接收的数据包输出至下行线路用的传输线路即DL1、DL2、DL3，并配送至第1显示装置200和第2显示装置300。DL用接收部124接收DL1、DL2、DL3所传输来的数据包。UL用发送部125将从数据包分配部122接收的数据包输出至上行线路用的传输线路即UL1、UL2、UL3，并配送至第2显示装置300和第1显示装置200。UL用接收部126接收UL1、UL2、UL3所传输来的数据包。
图2和图3是对视频配送装置100所配送的数据包的示例进行说明的图。设“#1”是表示第1显示装置200的识别信息，“#2”是表示第2显示装置300的识别信息。视频1水平线期间(horizontal line period)是第1显示装置200和第2显示装置300显示水平方向上1扫描线的量的视频信号的期间，与控制部130所生成的水平同步信号同步。
数据包生成部121将从视频获取部111所接收到的视频信号中在视频1水平线期间内显示于第1显示装置200和第2显示装置300的1水平线的量的视频信号进行打包。另外，数据包生成部121向该1水平线的视频信号附加通信报头并进行打包，从而在第1显示装置200和第2显示装置300接收到数据包时能判定是否是以自身为目标的数据包。
在通信报头中例如包含帧类型、视频类型、有效数据量以及差错检测码等信息，将成为其基础的信息从控制部130通知给数据包生成部121。
帧类型是表示是以哪个显示装置为目标的数据包的信息，是表示发送目标的显示装置的识别信息。视频类型是3D视频或2D视频等表示视频信号的类别的信息。有效数据量是表示数据包数据量的信息。差错检测码是CRC(Cyclic Redundancy Check：循环冗余校验)码等用于进行通信报头内的差错检测的码。
在3D的视频信号的情况下，数据包分配部122如图2所示，将右眼用信号分配给下行线路，将左眼用信号分配给上行线路，使得能同时进行配送。此外，数据包分配部122也可以将右眼用信号分配给上行线路，将左眼用信号分配给下行线路。
然后，将下行线路侧数据包从数据包分配部122输出至DL用发送部123，并从DL用发送部123经由DL1、DL2、DL3的传输线路配送至第1显示装置200和第2显示装置300。将上行线路侧数据包从数据包分配部122输出至UL用发送部125，并从UL用发送部125经由UL1、UL2、UL3的传输线路配送至第2显示装置300和第1显示装置200。
由此，利用两个传输线路来同时发送右眼用信号和左眼用信号，从而与现有技术那样用一个传输线路来依次发送右眼用信号和左眼用信号的情况相比，能力图提高传输效率和传输速度。
在2D的视频信号的情况下，数据包分配部122如图3所示，将该2D视频信号分配给下行线路，上行线路设为空白信号。此外，数据包分配部122也可以将2D视频信号分配给上行线路，将下行线路设为空白信号。或者，数据包分配部122也可以将同一2D视频信号分配给上行线路和下行线路这两方。在图3中，示出了仅对第2显示装置300配送2D视频信号的示例。
然后，将下行线路侧的数据包从数据包分配部122输出至DL用发送部123，并从DL用发送部123经由DL1、DL2、DL3的传输线路配送至第1显示装置200和第2显示装置300。
DL用发送部123和UL用发送部125与水平同步信号同步地发送视频1水平线的量的视频信号的数据包，从而使得第1显示装置200与第2显示装置300中的视频重放不会发生偏差。
图4是表示第1显示装置200的结构例的框图。第1显示装置200包括收发部210、视频重放部220、控制部230以及显示部240。虽然图示省略，但第2显示装置300也具有与第1显示装置200相同的结构。以下，利用第1显示装置200为例来对显示装置的详细结构进行说明。
第1显示装置200例如是搭载于车辆的驾驶座附近的仪表用的显示装置、搭载于前座中央部的导航***用的显示装置、或搭载于后座的RSE***用的显示装置等。此外，第1显示装置200的用途并不局限于车辆用，也可以用于家用等那样的用途。
收发部210包括DL用发送部211、DL用接收部212、UL用发送部213、UL用接收部214以及收发控制部215。
DL用接收部212通过DL1的传输线路来接收来自视频配送装置100的数据包，并向DL用发送部211输出。DL用发送部211将从DL用接收部212接收到的数据包通过DL2的传输线路再次向第2显示装置300进行发送。
另外，DL用接收部212将所接收到的数据包的通信报头向收发控制部215输出而使其被分析，并从收发控制部215接收分析结果。然后，DL用接收部212基于通信报头的分析结果，从所接收到的数据包中仅获取以自身为目标的数据包，并向视频重放部220输出。以自身为目标的数据包例如是图2中的#1的3D右眼用信号。
UL用接收部214通过UL2的传输线路来接收来自第2显示装置300的数据包，并向UL用发送部213输出。UL用发送部213将从UL用接收部214接收到的数据包通过UL3的传输线路再次向视频配送装置100进行发送。
另外，UL用接收部214将所接收到的数据包的通信报头向收发控制部215输出而使其被分析，并从收发控制部215接收分析结果。然后，UL用接收部214基于通信报头的分析结果，从所接收到的数据包中仅获取以自身为目标的数据包，并将其向视频重放部220进行输出。以自身为目标的数据包例如是图2中的#1的3D左眼用信号。
收发控制部215从DL用接收部212或UL用接收部214接收通信报头，对该通信报头进行分析来判断其是否为以自身为目标的数据包，将分析结果向DL用接收部212或UL用接收部214进行输出。
另外，收发控制部215将对通信报头进行分析而得到的视频类型等信息向控制部230进行输出。
视频重放部220从DL用接收部212和UL用接收部214接收数据包，并接收从控制部230通知而来的视频类型等信息。然后，视频重放部220基于视频类型等信息根据数据包对视频信号进行重放，并向显示部240进行输出。显示部240是显示器，从视频重放部220接收视频信号并进行显示。在视频类型为3D的情况下，视频重放部220将下行线路的右眼用信号和上行线路的左眼用信号向显示部240输出。在视频类型为2D的情况下，视频重放部220将下行线路或上行线路的2D信号向显示部240输出。
此外，控制部230基于通过下行线路和上行线路的传输线路从视频配送装置100以水平同步信号的周期所传输来的数据包的定时，来生成内部基准时钟。然后，控制部230利用该内部基准时钟来对收发部210收发视频信号的定时、以及视频重放部220将视频信号显示于显示部240的水平同步定时进行控制。
另外，DL用发送部211和UL用发送部213也可以将自身的识别信息包含于所接收到的数据包内，并再次进行发送。此外，DL用发送部211和UL用发送部213在因传输线路上发生异常或故障等而导致在DL用接收部212或UL用接收部214中无法接收到数据包的情况下，也可以再次发送包含有自身的识别信息和空白信号的数据包。自身的识别信息例如在后述的实施方式2中被用于环型网络的故障判定。
接着，利用图5的流程图，对视频配送装置100的动作进行说明。
在步骤ST1中，视频获取生成部110的视频获取部111从外部装置获取2D或3D的视频信号，并向收发部120输出，或者视频生成部112生成2D或3D的视频信号，并向收发部120输出。
在步骤ST2中，收发部120的数据包生成部121从视频获取生成部110接收视频信号，对其附加通信报头并进行打包。数据包分配部122在打包后的视频信号为2D视频信号的情况下(步骤ST2为“是”)，前进至步骤ST3，在打包后的视频信号为3D视频信号的情况下(步骤ST2为“否”)，前进至步骤ST4。
在步骤ST3中，数据包分配部122将打包后的2D视频信号和通信报头向DL用发送部123输出。DL用发送部123将打包后的2D视频信号和通信报头经由DL1、DL2、DL3向第1显示装置200和第2显示装置300进行配送。
在步骤ST4中，数据包分配部122将打包后的3D视频信号即右眼用信号和通信报头向DL用发送部123输出。DL用发送部123将打包后的右眼用信号和通信报头经由DL1、DL2、DL3向第1显示装置200和第2显示装置300配送。
另外，数据包分配部122将打包后的3D视频信号即左眼用信号和通信报头向UL用发送部125输出。UL用发送部125将打包后的左眼用信号和通信报头经由UL1、UL2、UL3向第2显示装置300和第1显示装置200进行配送。
如上所述，实施方式1所涉及的视频配送装置100构成为包括：视频获取生成部110，该视频获取生成部110获取或生成2D或3D的视频信号；以及收发部120，该收发部120在通过环型网络进行连接的第1显示装置200与第2显示装置300之间收发视频信号。收发部120具有：通过环型网络的上行线路来收发视频信号的UL用发送部125和UL用接收部126；以及通过下行线路来收发视频信号的DL用发送部123和DL用接收部124。然后，在收发2D视频信号的情况下，DL用发送部123和DL用接收部124收发2D视频信号。在收发3D视频信号的情况下，DL用发送部123和DL用接收部124收发左眼用的视频信号，UL用发送部125和UL用接收部126收发右眼用的视频信号。由此，能提高对1个以上的显示装置配送2D和3D的视频信号时的传输效率和传输速度。另外，通过利用环型网络来连接视频配送装置100、第1显示装置200和第2显示装置300，从而能削减传输线路成本。
另外，根据实施方式1，收发部120构成为将表示视频信号的传输目标的显示装置的识别信息附加至该视频信号来进行发送。由此，能针对每个显示装置发送不同的视频信号。
另外，根据实施方式1，收发部120构成为在视频1水平线期间内分别发送显示于第1显示装置200和第2显示装置300的1水平线单位的视频信号。由此，能在1个以上的显示装置中使视频显示同步。
实施方式2.
在上述实施方式1中，经由传输线路进行配送的下行线路和上行线路的数据包在视频配送装置100中并不用于视频显示。因此，视频配送装置100的DL用接收部124和UL用接收部126所接收到的数据包被废弃。与之相对，在本实施方式2中，将该数据包用于视频配送***的故障诊断，以力图提高传输质量。
图6是表示本发明实施方式2所涉及的视频配送***的结构例的框图。视频配送***包含视频配送装置100a、以及通过环型网络与该视频配送装置100a进行有线连接的第1显示装置200和第2显示装置300。在图6中，关于与图1以及图4相同或相当的部分，标注相同的标号并省略说明。
实施方式2所涉及的视频配送装置100a为了进行视频配送***的故障诊断而具备视频重放部141、视频比较部142以及故障判定部143。另外，视频配送装置100a具备数据包生成部121能进行读写的存储部127。数据包生成部121将需要再次发送所生成的数据包的情况下所具备的该数据包暂时存储于存储部127。
视频重放部141获取从DL用发送部123发送并经由DL1、DL2、DL3而被DL用接收部124所接收到的数据包，根据该数据包对视频信号进行重放并向视频比较部142输出。另外，视频重放部141获取从UL用发送部125发送并经由UL1、UL2、UL3而被UL用接收部126所接收到的数据包，根据该数据包对视频信号进行重放并向视频比较部142输出。
视频比较部142获取由视频获取生成部110所获取或生成的配送前的视频信号。另外，视频比较部142获取由视频重放部141进行了重放的配送后的视频信号。然后，视频比较部142对配送前和配送后的1水平线单位的视频信号进行比较来检测差异，将比较结果向控制部130输出。在配送前后视频信号存在差异的情况下，DL1、DL2、DL3、UL1、UL2、UL3中任意一个传输线路上有可能发生了异常或故障。
控制部130在从视频比较部142接收到存在差异的比较结果的情况下，将再次发送检测到差异的视频信号的指示向收发部120输出。收发部120的数据包生成部121若从控制部130接收再次发送的指示，则从存储部127读取再次发送的数据包并向数据包分配部122输出。数据包分配部122将从数据包生成部121接收到的数据包向DL用发送部123或UL用发送部125进行分配，并进行再次发送。
例如，在图2所示的#1的3D右眼用信号在配送前后检测到差异的情况下，收发部120在相同的视频1水平线期间内发送#2的3D右眼用信号之后，接着再次发送#1的通信报头和#1的3D右眼用信号。由此，能力图提高视频信号的传输质量。
故障判定部143获取从DL用发送部123发送并经由DL1、DL2、DL3而被DL用接收部124所接收到的数据包、以及从UL用发送部125发送并经由UL1、UL2、UL3而被UL用接收部126所接收到的数据包。然后，故障判定部143基于这些数据包来对视频配送***的故障进行判定，将判定结果向控制部130输出。
这里，第1显示装置200和第2显示装置300的DL用发送部211和UL用发送部213如上述实施方式1中所说明的那样，将自身的识别信息包含于所接收到的数据包中来进行再次发送。另外，DL用发送部211和UL用发送部213在因传输线路上发生异常或故障等而导致在DL用接收部212或UL用接收部214中无法接收到数据包的情况下，再次发送包含有自身的识别信息和空白信号的数据包。
例如设想视频配送装置100a收发图2所示的3D视频信号的数据包的情况。在这种情况下，若DL1的电缆断线，则第1显示装置200在水平同步信号的定时无法从视频配送装置100a接收数据包。因此，第1显示装置200经由DL2向第2显示装置300再次发送包含自身的识别信息(#1)和空白信号的数据包。第2显示装置300经由DL2从第1显示装置200接收包含#1的识别信息和空白信号的数据包，将自身的识别信息(#2)包含于其中来进行再次发送。视频配送装置100a的DL用接收部124经由DL3从第2显示装置300接收包含#1、#2的识别信息和空白信号的数据包。故障判定部143根据从DL用接收部124获取到的数据包中包含有#1、#2的识别信息但未包含视频信号的情况，来判定为DL1发生故障，并向控制部130进行通知。控制部130在接收到该通知时，判断为无法使用下行线路，从而向视频生成部112输出将第1显示装置200用的视频信号和第2显示装置300用的视频信号从3D视频信号转换为2D视频信号的指示，并向数据包分配部122输出仅使用上行线路的指示。由此，从视频配送装置100a经由上行线路向第1显示装置200和第2显示装置300配送2D视频信号。
另外，在视频配送装置100a收发图2所示的3D视频信号的数据包的情况下，若DL2的电缆发生断线，则第2显示装置300在水平同步信号的定时无法从第1显示装置200接收数据包。因此，第2显示装置300经由DL3向视频配送装置100a再次发送包含自身的识别信息(#2)和空白信号的数据包。视频配送装置100a的DL用接收部124经由DL3从第2显示装置300接收包含#2的识别信息和空白信号的数据包。故障判定部143根据从DL用接收部124获取到的数据包中包含有#2的识别信息但未包含视频信号的情况，来判定为DL2发生故障，并向控制部130进行通知。控制部130在接收到该通知时，判断为能经由下行线路向第1显示装置200配送视频，但无法向第2显示装置300配送视频。然后，控制部130向视频生成部112输出将第2显示装置300用的视频信号从3D视频信号转换为2D视频信号的指示，并向数据包分配部122输出将第2显示装置300用的2D视频信号分配给上行线路的指示。由此，对于第1显示装置200，通过经由DL1及经由UL1、UL2，可继续配送来自视频配送装置100a的3D视频信号。另一方面，对于第2显示装置300，通过经由UL1，可从视频配送装置100a配送2D视频信号。
另外，在视频配送装置100a收发图2所示的3D视频信号的数据包的情况下，若DL3的电缆发生断线，则视频配送装置100a的DL用接收部124在水平同步信号的定时无法从第2显示装置300接收数据包。在这种情况下，故障判定部143判定为DL3发生故障，并向控制部130进行通知。但是，即使DL3发生故障，也能经由DL1、DL2对第1显示装置200和第2显示装置300发送数据包。因此，控制部130判断为继续进行配送。由此，继续对第1显示装置200和第2显示装置300配送3D视频信号。
由此，在3D视频配送过程中在下行线路的电缆发生了断线等故障的情况下，虽然不同于本来要配送的3D视频，但仍能在第1显示装置200和第2显示装置300中继续显示视频。由此，能力图提高视频配送***整体的质量。
虽然省略了说明，但在上行线路侧也能实现与下行线路侧同样的故障判定和配送切换。
接着，设想视频配送装置100a将包含2D视频信号在内的数据包经由下行线路进行收发的情况。在这种情况下，若DL1、DL2、DL3中的任意一个的电缆发生断线，则如上所述，在视频配送装置100a的DL用接收部124中接收内容与所配送的数据包不同的数据包。故障判定部143若根据DL用接收部124所接收到的数据包来对下行线路的故障进行判定，则向控制部130进行通知。控制部130在接收到该通知时，对数据包分配部122输出将第1显示装置200用的2D视频信号和第2显示装置300用的2D视频信号分配给上行线路的指示。由此，从视频配送装置100a经由上行线路继续向第1显示装置200和第2显示装置300配送2D视频信号。
由此，在2D视频配送过程中在下行线路的电缆发生了断线等故障的情况下，能通过正常的上行线路的电缆，在第1显示装置200和第2显示装置300中继续显示视频。由此，能力图提高视频配送***整体的质量。
虽然省略了说明，但在上行线路侧也能实现与下行线路侧同样的故障判定和配送切换。
此外，在图6的示例中，视频配送装置100a包括视频重放部141、视频比较部142及故障判定部143的全部，但也可以构成为仅包括视频重放部141和视频比较部142，也可以构成为仅包括故障判定部143。
如上所述，实施方式2所涉及的视频配送装置100a包括视频比较部142，该视频比较部142对向第1显示装置200和第2显示装置300进行发送前的视频信号、与从第1显示装置200和第2显示装置300接收到的该视频信号进行比较，并对差异进行检测。于是，收发部120构成为再次发送由视频比较部142检测到差异的视频信号。由此，能力图提高视频配送***的质量。
另外，实施方式2所涉及的视频配送装置100a包括故障判定部143，该故障判定部143利用在第1显示装置200和第2显示装置300无法接收视频信号的情况下所发送的信息，来对环型网络的故障进行判定。于是，视频获取生成部110构成为在收发部120收发3D视频信号的过程中由故障判定部143判定有故障的情况下，将该3D视频信号转换为2D视频信号。另外，收发部120构成为对经视频获取生成部110进行转换后的2D视频信号进行收发。由此，能力图提高视频配送***的质量。
最后，利用图7和图8来对本发明的各实施方式所涉及的视频配送装置100、100a的硬件结构例进行说明。
视频配送装置100、100a中的收发部120是图7所示的收发电路12。视频配送装置100、100a中的视频获取生成部110、控制部130、视频重放部141、视频比较部142以及故障判定部143是执行保存在存储器11中的程序的处理器10。处理器10也被称为CPU(CentralProcessing Unit：中央处理单元)、处理装置、运算装置、微处理器、微机或DSP(DigitalSignal Processor：数字信号处理器)等。另外，视频配送装置100a中的存储部127是图7所示的存储器11。
在视频配送装置100、100a是图7所示的硬件结构的情况下，视频获取生成部110、控制部130、视频重放部141、视频比较部142和故障判定部143的各功能通过软件、固件或软件与固件的组合来实现。软件或固件以程序的形式来表述，并保存在存储器11中。处理器10读取存储于存储器11的程序并执行，从而执行各部分的功能。即，视频配送装置100、100a包括存储器11，该存储器11用于保存在被处理器10所执行时成为最终执行图5所示的各步骤的程序。另外，该程序也可以认为是使计算机执行视频配送装置100、100a的各部分的步骤或方法的程序。
存储器11和后述的存储器21例如可以是RAM(Random Access Memory：随机存储器)、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable Programmable ROM：电可编程只读存储器)、EEPROM(Electrically EPROM：电可擦可编程只读存储器)等非易失性或易失性半导体存储器，也可以是硬盘、软盘等磁盘，也可以是小型光盘、CD(CompactDisc：压缩盘)、DVD(Digital Versatile Disc：数字通用光盘)等光盘，但优选为是可高速访问的RAM。
在图8所示的硬件结构例中，视频配送装置100、100a中的视频获取生成部110、收发部120、控制部130、视频重放部141、视频比较部142和故障判定部143是处理电路20。另外，视频配送装置100a中的存储部127是图8所示的存储器21。
在视频配送装置100、100a是图8所示的硬件结构的情况下，处理电路20相当于例如单一电路、复合电路、程序化后的处理器、并列程序化后的处理器、ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或它们的组合。视频配送装置100、100a的各部分的功能可以由多个处理电路20来实现，也可以将各部分的功能汇总而由一个处理电路20来实现。
此外，关于视频配送装置100、100a的各部分的功能，可以用专用的硬件即处理电路20来实现其一部分，用软件或固件来实现其一部分。由此，视频配送装置100、100a的各部分的结构可由硬件、软件、固件或它们的组合来实现。
本发明可以在其发明的范围内对各实施方式进行自由组合，对各实施方式的任意构成要素进行变形，或省略各实施方式的任意的构成要素。
工业上的实用性
本发明所涉及的视频配送***设为对通过环型网络进行连接的1个以上的显示装置配送视频，因此，例如适合作为在车辆中具有1个以上的显示装置的RSE***等所使用的视频配送***。
标号说明
10 处理器
11、21 存储器
12 收发电路
20 处理电路
100 视频配送装置
110 视频获取生成部
111 视频获取部
112 视频生成部
120 收发部
121 数据包生成部
122 数据包分配部
123 DL用发送部
124 DL用接收部
125 UL用发送部
126 UL用接收部
127 存储部
130 控制部
141 视频重放部
142 视频比较部
143 故障判定部
200 第1显示装置
210 收发部
211 DL用发送部
212 DL用接收部
213 UL用发送部
214 UL用接收部
215 收发控制部
220 视频重放部
230 控制部
240 显示部
300 第2显示装置
Claims (7)
1.一种视频配送装置，其特征在于，包括：
视频获取生成部，该视频获取生成部获取或生成二维视频信号或三维视频信号；以及
收发部，该收发部在通过环型网络进行连接的、至少包含第1显示装置和第2显示装置的2个以上的显示装置之间收发所述视频信号，
在将从视频配送装置按照所述第1显示装置、所述第2显示装置的顺序传输所述视频信号的传输线路设为下行线路，将从所述视频配送装置按照所述第2显示装置、所述第1显示装置的顺序传输所述视频信号的传输线路设为上行线路的情况下，
所述收发部具有：上行线路用收发部，该上行线路用收发部通过所述环型网络的上行线路来收发视频信号；以及下行线路用收发部，该下行线路用收发部通过下行线路来收发视频信号；在收发二维视频信号的情况下，从所述上行线路用收发部或所述下行线路用收发部中的任意一方或双方收发该二维视频信号，在收发三维视频信号的情况下，从所述上行线路用收发部或所述下行线路用收发部中的任意一方收发右眼用的视频信号，从另一方收发左眼用的视频信号。
2.如权利要求1所述的视频配送装置，其特征在于，
所述收发部将表示视频信号的发送目标的所述显示装置的识别信息附加于该视频信号进行发送。
3.如权利要求1所述的视频配送装置，其特征在于，
所述收发部在所述2个以上的显示装置显示所述2个以上的显示装置的水平方向上1扫描线的量的视频信号的期间内，发送显示于所述2个以上的显示装置的该水平方向上1扫描线的量的视频信号的各个视频信号。
4.如权利要求1所述的视频配送装置，其特征在于，
包括视频比较部，该视频比较部对向所述2个以上的显示装置发送之前的视频信号与从所述2个以上的显示装置接收到之后的该视频信号进行比较，并对差异进行检测，
所述收发部再次发送由所述视频比较部检测到差异的视频信号。
5.如权利要求1所述的视频配送装置，其特征在于，
包括故障判定部，该故障判定部在所述显示装置无法接收到视频信号的情况下，利用该显示装置所发送的信息来对所述环型网络的故障进行判定，
所述视频获取生成部在所述收发部收发三维视频信号的过程中由所述故障判定部判定为故障的情况下，将该三维视频信号转换为二维视频信号，
所述收发部收发经所述视频获取生成部进行转换后的所述二维视频信号。
6.一种视频配送***，其特征在于，包含：
2个以上的显示装置，该2个以上的显示装置通过环型网络进行连接、且至少包含第1显示装置和第2显示装置；以及
视频配送装置，该视频配送装置包括获取或生成二维视频信号或三维视频信号的视频获取生成部以及在所述2个以上的显示装置之间收发所述视频信号的收发部，
在将从所述视频配送装置按照所述第1显示装置、所述第2显示装置的顺序传输所述视频信号的传输线路设为下行线路，将从所述视频配送装置按照所述第2显示装置、所述第1显示装置的顺序传输所述视频信号的传输线路设为上行线路的情况下，
所述收发部具有：上行线路用收发部，该上行线路用收发部通过所述环型网络的上行线路来收发视频信号；以及下行线路用收发部，该下行线路用收发部通过下行线路来收发视频信号；在收发二维视频信号的情况下，从所述上行线路用收发部或所述下行线路用收发部中的任意一方或双方收发该二维视频信号，在收发三维视频信号的情况下，从所述上行线路用收发部或所述下行线路用收发部中的任意一方收发右眼用的视频信号，从另一方收发左眼用的视频信号。
7.一种视频配送方法，所述视频配送方法是在通过环型网络进行连接、且至少包含第1显示装置和第2显示装置的2个以上的显示装置之间收发视频信号的视频配送装置的视频配送方法，所述视频配送方法的特征在于，包括：
在将从所述视频配送装置按照所述第1显示装置、所述第2显示装置的顺序传输所述视频信号的传输线路设为下行线路，将从所述视频配送装置按照所述第2显示装置、所述第1显示装置的顺序传输所述视频信号的传输线路设为上行线路的情况下，
由视频获取生成部获取或生成二维视频信号或三维视频信号的步骤；
在所述视频获取生成部获取或生成了二维视频信号的情况下，由收发部利用所述环型网络的上行线路或下行线路中的任意一方或双方来收发该二维视频信号的步骤；以及
在所述视频获取生成部获取或生成了三维视频信号的情况下，由所述收发部从所述环型网络的上行线路或下行线路中的任意一方收发右眼用的视频信号，从另一方收发左眼用的视频信号的步骤。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/079804 WO2017068681A1 (ja) | 2015-10-22 | 2015-10-22 | 映像配信装置、映像配信システムおよび映像配信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108141641A CN108141641A (zh) | 2018-06-08 |
| CN108141641B true CN108141641B (zh) | 2020-09-22 |
Family
ID=58557909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580083858.1A Expired - Fee Related CN108141641B (zh) | 2015-10-22 | 2015-10-22 | 视频配送装置、视频配送***及视频配送方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20180213204A1 (zh) |
| JP (1) | JP6246443B2 (zh) |
| CN (1) | CN108141641B (zh) |
| DE (1) | DE112015006839B4 (zh) |
| WO (1) | WO2017068681A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11500601B2 (en) * | 2021-01-27 | 2022-11-15 | Dell Products L.P. | Method and system for providing a mesh network of displays using a universal serial bus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07288792A (ja) * | 1994-04-15 | 1995-10-31 | Matsushita Electric Ind Co Ltd | 多地点画像伝送システム |
| JPH0965310A (ja) * | 1995-08-22 | 1997-03-07 | Nippon Telegr & Teleph Corp <Ntt> | ループ型接続多地点テレビ電話装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08294144A (ja) * | 1995-02-22 | 1996-11-05 | Sanyo Electric Co Ltd | 立体映像信号の伝送方式 |
| JP4116470B2 (ja) * | 2002-03-06 | 2008-07-09 | ヒューレット・パッカード・カンパニー | メディア・ストリーミング配信システム |
| JP5463747B2 (ja) * | 2009-06-15 | 2014-04-09 | ソニー株式会社 | 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造 |
| US9083958B2 (en) * | 2009-08-06 | 2015-07-14 | Qualcomm Incorporated | Transforming video data in accordance with three dimensional input formats |
| US20130215240A1 (en) * | 2010-05-28 | 2013-08-22 | Sadao Tsuruga | Receiver apparatus and output method |
| JP5608475B2 (ja) | 2010-08-30 | 2014-10-15 | 日立コンシューマエレクトロニクス株式会社 | 伝送システム及びＳｏｕｒｃｅ機器 |
| JP2012129827A (ja) | 2010-12-15 | 2012-07-05 | Sony Corp | 送信装置、送信方法、受信装置および受信方法 |
| US8803912B1 (en) * | 2011-01-18 | 2014-08-12 | Kenneth Peyton Fouts | Systems and methods related to an interactive representative reality |
| EP2652960A4 (en) * | 2011-04-22 | 2014-06-11 | Samsung Electronics Co Ltd | RECEIVER FOR RECEIVING AND DISPLAYING A PLURALITY OF FLOWS THROUGH SEPARATE ROADS, METHOD FOR PROCESSING THE PLURALITY OF FLOWS AND METHOD OF TRANSMITTING THE SAME |
-
2015
- 2015-10-22 US US15/744,433 patent/US20180213204A1/en not_active Abandoned
- 2015-10-22 CN CN201580083858.1A patent/CN108141641B/zh not_active Expired - Fee Related
- 2015-10-22 WO PCT/JP2015/079804 patent/WO2017068681A1/ja active Application Filing
- 2015-10-22 DE DE112015006839.2T patent/DE112015006839B4/de not_active Expired - Fee Related
- 2015-10-22 JP JP2017546337A patent/JP6246443B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07288792A (ja) * | 1994-04-15 | 1995-10-31 | Matsushita Electric Ind Co Ltd | 多地点画像伝送システム |
| JPH0965310A (ja) * | 1995-08-22 | 1997-03-07 | Nippon Telegr & Teleph Corp <Ntt> | ループ型接続多地点テレビ電話装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180213204A1 (en) | 2018-07-26 |
| JPWO2017068681A1 (ja) | 2018-01-11 |
| DE112015006839T5 (de) | 2018-05-17 |
| DE112015006839B4 (de) | 2019-01-31 |
| JP6246443B2 (ja) | 2017-12-13 |
| CN108141641A (zh) | 2018-06-08 |
| WO2017068681A1 (ja) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8397272B2 (en) | Multi-stream digital display interface | |
| KR101994599B1 (ko) | 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치 | |
| JP5916771B2 (ja) | 接続デバイスによる使用のためのマルチメディア・データストリームの変換 | |
| KR20120105520A (ko) | 3차원 비디오 콘텐츠의 전송 및 처리 | |
| US20130093844A1 (en) | Electronic apparatus and display control method | |
| US20110316990A1 (en) | Video transmission device, video display device, video display system, video transmission method and computer program | |
| CN104936315B (zh) | 一种通过wifi传输数据的方法、主设备及模块设备 | |
| WO2008030562A2 (en) | Point-to-multipoint high definition multimedia transmitter and receiver | |
| JP2016509425A (ja) | スプライススクリーンの立体表示の同期信号処理方法及び装置、スプライススクリーン | |
| CN101304420A (zh) | 通过单信号线的内容受保护的数字链路 | |
| EP2466907B1 (en) | System and method for in-band A/V timing measurement of serial digital video signals | |
| CN102377990A (zh) | 传送和接收设备以及传送和接收方法 | |
| CN102656851B (zh) | 将数据流去封装进入多个链路中的方法、装置及*** | |
| US20200029121A1 (en) | Data Flow Control Method and Apparatus | |
| US11818323B2 (en) | Image generation system, method for generating a virtual viewpoint image, and storage medium | |
| JP6467822B2 (ja) | 表示システム、送信装置、及び、表示システムの制御方法 | |
| CN108141641B (zh) | 视频配送装置、视频配送***及视频配送方法 | |
| JP2013516117A (ja) | 多重ストリーム送信／受信動作を伴う３次元ビデオディスプレイシステム | |
| JP2015188154A (ja) | 伝送装置および伝送方法、受信装置および受信方法、伝送システム、並びにプログラム | |
| US11297687B2 (en) | Information processing device, information processing system, and information processing method | |
| CN106488271A (zh) | 一种视频直播方法及装置 | |
| CN105304001A (zh) | 一种基于serdes的信号扩展盒 | |
| JP2012244625A (ja) | 適応型タイミングコントローラ及びその駆動方法 | |
| US8384827B2 (en) | System and method for in-band A/V timing measurement of serial digital video signals | |
| WO2023087143A1 (zh) | 一种视频传输方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200922 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |