CN111114434A - 视觉辅助成像方法、车载视觉辅助***及存储设备 - Google Patents

视觉辅助成像方法、车载视觉辅助***及存储设备 Download PDF

Info

Publication number
CN111114434A
CN111114434A CN201911080211.XA CN201911080211A CN111114434A CN 111114434 A CN111114434 A CN 111114434A CN 201911080211 A CN201911080211 A CN 201911080211A CN 111114434 A CN111114434 A CN 111114434A
Authority
CN
China
Prior art keywords
vehicle
image information
user
information
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911080211.XA
Other languages
English (en)
Other versions
CN111114434B (zh
Inventor
李海宁
孙永刚
李江伟
张荃
黄继辉
唐新鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Desay Microelectronic Technology Co ltd
Original Assignee
Shenzhen Desay Microelectronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Desay Microelectronic Technology Co ltd filed Critical Shenzhen Desay Microelectronic Technology Co ltd
Priority to CN201911080211.XA priority Critical patent/CN111114434B/zh
Publication of CN111114434A publication Critical patent/CN111114434A/zh
Application granted granted Critical
Publication of CN111114434B publication Critical patent/CN111114434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种视觉辅助成像方法、车载视觉辅助***及存储设备，视觉辅助成像方法应用于视觉辅助***，包括设于车辆盲区位置的显示装置，***还包括用户视角获取装置、车内摄像头以及车外摄像头，方法包括：获取用户的视角信息；当视角信息满足预设的辅助条件时，获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息；将车外图像信息与车内图像信息进行拼接，获得拼接图像信息；从拼接图像信息中截取目标图像信息；将目标图像信息通过显示装置进行成像显示。本申请中该显示装置显示的图像内容更接近实际景象，有利于驾驶员了解视觉盲区外部的实际情况，进而降低驾驶风险。

Description

视觉辅助成像方法、车载视觉辅助***及存储设备
技术领域
本申请涉及车载电子领域，特别涉及一种视觉辅助成像方法、车载视觉辅助***及存储设备。
背景技术
车体前方支撑柱，也称为A柱，负责连接汽车前挡风玻璃和前车门，是关乎车体安全性的重要部件。从车体结构上讲，A柱要满足侧翻安全性，同时需要满足更严格的车顶压溃标准。然而A柱也被认为是驾驶员的视觉障碍物，不少驾驶者在日常驾驶过程中，前方视线都会受到A柱影响，从而令可视范围有所缩窄，行人和弱势道路使用者的危险得以增加。
为了解决A柱带来的视觉盲区的问题，当前主要有两种解决方案：一是改变A柱物理结构，在前门车窗加入固定式的小窗，以提升侧前方的可视范围。二是利用车载视觉辅助***，在汽车中加入探测驾驶员动作和拍摄车外状况的摄像头和流媒体屏幕，以投射的方式将A柱盲区的情况显示给驾驶者。
但是，即使采用一般的电子视觉***，因该视觉***所映射出的景象与现实景象存在差异，成像效果不佳，驾驶员仍然难以判断A柱外的实际情况，从而造成驾驶风险。
发明内容
本申请提供一种视觉辅助成像方法、车载视觉辅助***及存储设备，可以提高视觉辅助***的成像效果，降低驾驶风险。
本申请提供一种视觉辅助成像方法，应用于视觉辅助***，包括设于车辆盲区位置的显示装置，所述***还包括用户视角获取装置、车内摄像头以及车外摄像头，所述方法包括：
获取用户的视角信息；
当所述视角信息满足预设的辅助条件时，获取与所述视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息；
将所述车外图像信息与所述车内图像信息进行拼接，获得拼接图像信息；
从所述拼接图像信息中截取目标图像信息，所述目标图像信息与所述显示装置在所述拼接图像信息中的显示区域关联；
将所述目标图像信息通过所述显示装置进行成像显示。
本申请还提供一种车载视觉辅助***，包括：
用户视角获取装置，与所述用户的头部相对，用于获取用户的视角信息；
车内摄像头，安装于所述驾驶员的头部附近，用于获取所述用户视角下的车内图像信息；
车外摄像头，安装于车辆外部，用于获取车辆的车外图像信息；
显示装置，设于车辆盲区位置，用于显示目标图像信息；
处理器以及存储器，所述处理器与所述用户视角获取装置、车内摄像头、车外摄像头以及存储器电性连接；
所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，以执行如上所述的视觉辅助成像方法。
本申请还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如上所述的视觉辅助成像方法。
由上可知，本申请实施例中的视觉辅助成像方法、车载视觉辅助***及存储设备，通过获取与用户视角对应方位的车外图像信息以及车内图像信息，并将该车内图像信息与车外图像信息进行拼接后截取相应的目标图像信息，以使显示装置所显示的图像内容可以和外部的景象相匹配，从而提高了视觉辅助***的成像效果。该图像内容更接近实际景象，有利于驾驶员了解视觉盲区外部的实际情况，进而降低驾驶风险。
附图说明
图1为本申请实施例提供的视觉辅助成像***的应用场景示意图。
图2为本申请实施例提供的视觉辅助成像方法的实现流程图。
图3为本申请实施例提供的图像拼接过程的应用场景示意图。
图4为本申请实施例提供的视觉辅助成像方法的应用场景示意图。
图5为本申请实施例提供的获得车外图像信息以及车内图像信息的实现流程图。
图6为本申请实施例提供的视觉辅助成像方法的另一应用场景示意图。
图7为本申请实施例提供的调整图像截取位置的实现流程图。
图8为本申请实施例提供的调整图像截取位置的另一实现流程图。
图9为本申请实施例提供的车载视觉辅助***的结构示意图。
图10为本申请实施例提供的车载视觉辅助***的另一结构示意图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
本申请公开了一种视觉辅助成像方法，该视觉辅助方法应用于视觉辅助***中。
请参阅图1，图中示出了本申请实施例提供的视觉辅助***的应用场景图，该车载视觉辅助***可以包括用户视角获取装置111、车内摄像头112、车外摄像头113以及显示装置12。
该用户视角获取装置111可以设置成与用户的头部相对，通过获取用户的头部动态信息（如头部的转动、眼球的转动等）来获取用户的视角信息，以确定用户的视角情况，也即用户正在观察着何方。
具体的，该用户视角获取装置111可以是彩色摄像头、红外摄像头、景深摄像头的至少一种，以通过上述摄像头获得用户的头部/眼球特征，通过识别算法来确认该头部的转动角度参数和/或眼球的视线角度参数。可以理解的，该识别算法可以是本领域常用的头部/眼球识别算法，本申请对此不作限定。
在一些实施例中，该用户视角获取装置111可以安装在驾驶座的正对面，也可以设计成头戴式佩戴于用户的头部，利用摄像头以及位置传感器来检测用户的头部/眼球特征。
该车内摄像头112，可以设置在驾驶员的头部附近，以获取用户视角下的车内图像信息。其中，该车内摄像头112可以观察到车辆盲区位置的显示装置12，以及车辆外部的景象。
在一些实施例中，该车内摄像头112的位置位于驾驶员的头部附近，使得其视角与用户的视角相近，可以通过一些转换算法获得用户视角下的车内图像信息。另外，该车内摄像头112还可以设置在头戴式设备上。该车内摄像头112的具体放置位置可以根据实际情况而定。
该车外摄像头113，可以设置在车辆外部，以获取到车辆外部的车外图像信息。具体的，该车外摄像头113可以设置在车辆外部的两侧，例如设置在车辆倒后镜处，以确保该车外图像信息包含车辆盲区位置被A柱遮挡的外部景象。
该显示装置12，设于车辆盲区位置，用于显示目标图像信息，该显示装置12可以用于显示车外摄像头113获取到的外部景象。
请参阅图2，图中示出了本申请实施例提供的视觉辅助成像方法的实现流程。
如图2所示，该视觉辅助成像方法包括：
101、获取用户的视角信息。
用户的视角信息可以通过车内的用户视角获取装置获取，该用户视角获取装置可以检测用户的头部或者眼球的运动来确定用户的当前视角。
其中，该视角信息可以包括头部的转动角度参数和/或眼球的视线角度参数。
102、当视角信息满足预设的辅助条件时，获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息。
其中，该辅助条件可以认为是用户需要观察到车辆盲区位置、也即A柱位置时的条件。该车外图像信息以及车内图像信息可以是一帧图像所对应的图像信息，也可以是多帧图像形成的视频流，在此不作限定。
在一些实施例中，该辅助条件可以是判断头部的转动角度参数是否位于预设参数区间；和/或判断眼球的视线角度参数是否位于预设参数区间。
例如，若显示装置相对于驾驶座之间的夹角为30度，该预设参数区间可以设为20-40度。若当前检测到该用户的头部相对于直视方向的夹角为32度，使得该头部的转动角度参数满足该预设参数区间的要求，则可以确定该用户的视角信息满足预设的辅助条件。
当该视角信息满足预设的辅助条件后，获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息。
可以理解的，上述预设参数区间仅用于举例，预设参数区间可以采用一个或多个预设阈值来进行替换，该预设参数区间的具体数值可以根据驾驶座与显示装置之间的具体夹角值以及实际情况而定。
其中，该车外图像信息应当与视角信息对应方位，例如若用户的头部转向右侧的A柱方向，则所获取到的车外图像信息应该为该车辆右侧的A柱方向以外的车外景象，而若用户的头部转向左侧则所获取的车外图像信息也应该为车辆左侧的A柱方向以外的车外景象。需要注意的是，该车外图像信息的获得角度可以根据不同的视角信息相对应调整。
另外，该车内图像信息同样可以根据所获得的用户的视角信息对应，例如若用户的头部转向右侧的A柱方向，则所获取到的车内图像信息可以包含该车辆右侧的A柱方向的图像。
可以理解的，除了当用户的视角信息满足预设条件时再触发图像信息的获取动作，该图像信息还可以是实时持续获取，可以根据实际情况而定。
103、将车外图像信息与车内图像信息进行拼接，获得拼接图像信息。
其中，将车外图像信息与车内图像信息进行拼接，主要是将车外图像信息与车内图像信息拼接形成为同一视角、景象尺寸下的拼接图像信息。
在一些实施例中，可以提取车外图像信息与车内图像信息的景象特征点，并将两者对应的特征点进行匹配，以使拼接后的图像信息中对应特征点为同一图像位置。
请参阅图3，图中示出了本申请实施例提供的图像拼接过程的应用场景。
如图3所示，例如，若车外图像信息1A中包含车辆外部的树木11所对应的图像信息，而车内图像信息1B中也同样包含车辆外部的树木11所对应的图像信息，可以基于现有的拼接手段使得两个图像信息的该部分进行拼接、重合，以形成统一的拼接图像信息1C。
当然，除此之外还可以采用其他现有的拼接方式，本申请对此不作限定。
104、从拼接图像信息中截取目标图像信息，目标图像信息与显示装置在拼接图像信息中的显示区域关联。
其中，显示装置在车内图像信息中会有与其对应的图像区域，可以将该图像区域中显示装置12所占的区域设为显示区域12。
具体的，在图3所示中，车外图像信息1A与车内图像信息1B存在均可观察到的车外景象，将这些车外景象对应的图像信息进行拼接后，在显示区域12的位置处会存在被A柱挡住的车外景象，从而导致用户无法观察到该被挡住的车外景象，如图3中的树木13。
此时在拼接过程中，该树木13所对应的图像信息会与显示区域12的图像信息重合，该树木13所对应的图像信息也是需要向用户进行展示的图像信息。因此，可以通过在拼接图像信息的显示区域12中对该树木13所对应的图像信息进行截取，以获得目标图像信息。
105、将目标图像信息通过显示装置进行成像显示。
请参阅图4，图中示出了本申请实施例提供的视觉辅助成像方法的应用场景。
如图4所示，该场景中示出了车辆内部的使用环境。其中，该显示装置设置在车辆的A柱内侧。
用户在驾驶过程中，若头部观察到车辆右侧A柱时，该显示装置可以获取到的包含树木景象的目标图像信息，并通过显示装置将该目标图像信息在显示装置中进行显示。用户通过观察该显示装置所显示的图像，即可获知在用户的当前视角下该右侧A柱以外的车外景象。
当然，上述目标图像信息可以理解为某帧图像的目标图像信息，也可以理解为持续获得的视频流。并且，该目标图像信息除了可以根据视角信息进行触发获得，还可以通过功能设置使其持续获得并通过显示装置进行长时间显示，在此不作限定。
通过上述方式获得的目标图像信息，因拼接图像信息中的车外/车内景象的视角、尺寸重合，使得所获得的目标图像信息的视角、尺寸与车外真实景象相似，形成类似透明A柱的效果，克服了现有技术中显示装置所显示的景象无法与真实景象对应的问题。
由上可知，本申请实施例中的视觉辅助成像方法，通过获取与用户视角对应方位的车外图像信息以及车内图像信息，并将该车内图像信息与车外图像信息进行拼接后截取相应的目标图像信息，以使显示装置所显示的图像内容可以和外部的景象相匹配，从而提高了视觉辅助***的成像效果。该图像内容更接近实际景象，有利于驾驶员了解视觉盲区外部的实际情况，进而降低驾驶风险。
请参阅图5，图中示出了本申请实施例提供的获得车外图像信息以及车内图像信息的实现流程。
如图5所示，当视角信息满足预设的辅助条件时，获取车辆的车外图像信息以及用户视角下的车内图像信息，包括：
201、判断头部的转动角度参数/视线角度参数是否位于预设参数区间。
例如，若显示装置相对于驾驶座之间的夹角为30度，该预设参数区间可以设为20-40度。若当前检测到该用户的头部相对于直视方向的夹角为32度，使得该头部的转动角度参数满足该预设参数区间的要求，则可以确定该用户的视角信息满足预设的辅助条件。
202、若头部的转动角度参数/视线角度参数位于预设参数区间，判断是否持续了预设时长。
为了避免误判，可以引入一预设时长作为触发辅助功能的条件之一，使得该辅助条件设为头部的转动角度参数/视线角度参数位于预设参数区间、且持续了预设时长。
例如，若设置该预设时长为1秒，只有当检测到该用户的头部相对于直视方向的夹角为32度，且在20-40度范围内持续了1秒后确认为满足预设的辅助条件。
203、若持续了预设时长，则获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息。
可以理解的，上述预设参数区间以及预设时长仅用于举例，预设参数区间可以采用一个或多个预设阈值来进行替换，该预设参数区间以及预设时长的具体数值可以根据驾驶座与显示装置之间的具体夹角值以及实际情况而定。
通过上述方式可以避免对辅助功能的触发误判，以避免该视觉辅助***对用户造成过多的干扰。
请参阅图6，图中示出了本申请实施例提供的获得目标图像信息的实现方法。
如图6所示，从拼接图像信息中截取目标图像信息，可以包括：
301、确定显示装置在拼接图像信息中对应的显示区域，截取显示区域范围内的图像信息。
其中，显示区域可以通过识别算法来进行确认，或者通过预设一个范围框来框选出拼接图像信息中的显示区域。
结合图3，图中的拼接图像信息1C中，显示装置位于拼接图像信息中的A柱内侧，可以通过识别算法来确认该显示装置的显示区域12（也即可以用于显示图像的区域）。
当确认显示区域12后，截取该显示区域12范围内的图像信息，该图像信息为车外图像信息进行拼接后位于该显示区域12范围内的图像信息，也即树木13对应的图像信息。
302、根据显示装置的显示规格将显示区域范围内的图像信息进行适配，获得目标图像信息。
其中，所述适配主要为了解决目标图像信息的显示效果的问题，例如若目标图像信息对应的视频流的分辨率为900P，而显示装置的分辨率规格为720P，则可以将目标图像信息对应的视频流分辨率格式调整至与显示装置的显示规格匹配的720P，以确保该目标图像信息对应视频流的显示效果。
当然，除了所列举的分辨率规格，还可以是图像显示形状、色彩等规格问题，可以根据实际情况而定。
通过上述的目标图像信息获得方式，可以使得目标图像信息贴合显示装置的显示要求，以保证该目标图像信息在显示装置的显示效果，确保该目标图像信息中所显示的景象与实际视角下的车外景象尽可能一致。
请参阅图7，图中示出了本申请实施例提供的调整图像截取位置的实现流程。
如图7所示，为了进一步提升目标图像信息的成像效果，在截取显示区域范围内的图像信息之前，还可以包括：
301、获取车辆的运行轨迹信息。
其中，该车辆的运行轨迹信息可以包括车辆的车体速度参数、轮速脉冲参数、方向盘转角参数以及横纵向加速度参数的至少一种。
通过该车辆的运行轨迹信息，可以预测到车辆接下来的运行轨迹，根据运行轨迹信息以及***延时值可以对图像信息的截取位置进行补偿调整。
302、获得***延时值，***延时值与***的链路延时值、算法延时值相关。
该***延时值可以包括***的链路延时值、算法延时值。因车辆在移动过程中速度很快，上述***延时值会使得目标图像信息的显示产生迟滞，从而使得目标图像信息在显示的时候不能与车外景象完全对应。
获取该***延时值可以有效确认***中具体的迟滞时长。
在一些实施例中，该链路延时值、算法延时值可以通过检测信号的延时时长来进行确认，或者采用某一经测算过的可能的预设值作为链路延时值以及算法延时值。
303、根据***延时值以及运行轨迹信息，确定目标图像信息受***延时值影响形成的图像偏离程度。
当获得***延时值后，通过车辆的运行轨迹信息可以获知该车辆的实际运行速度、轨迹，通过与***延时值结合后可以获得图像偏离程度，如图像的偏移距离、方向等。
例如，若***延时值为100ms，车辆的车速为120km/h，可以基于上述两个参数进行计算，获得显示图像时该图像可能受到***延时值产生的偏移距离、方向。
304、基于图像偏离程度调整图像信息的截取位置。
根据该图像可能的偏移距离、方向，***可以通过调整图像的截取位置，使得所截取的位置是在车辆经历***延时值后对应的目标图像信息。例如，将图像截取位置调整至拼接图像中靠前的位置等。
当然，截取位置的具体调整方式可以根据实际情况而定，本申请对此不作限定。
由上可知，根据车辆的运行轨迹信息以及***延时值来对图像截取位置的调整，以补偿***延时值所产生的图像偏移情况，进一步确保所显示的目标图像信息与车外景象保持一致，提升目标图像信息的成像效果。
请参阅图8，图中示出了本申请实施例提供的调整图像截取位置的实现流程。
如图8所示，为了进一步提升目标图像信息的成像效果，在将目标图像信息通过显示装置进行成像显示之后，还可以包括：
501、获取当前视角下的车内图像信息以及对应视角的车外图像信息，所述车内图像信息包括显示装置的显示区域中所显示的目标图像。
502、将车内图像信息与车外图像信息进行拼接，获得拼接图像信息。
503、判断拼接图像信息在显示区域处图像拼接是否不连续。
当该车内图像信息的显示区域处所显示的图像，与车外图像信息中该显示区域处的车外景象位置不一致时，拼接后的拼接图像信息会在该处出现图像重影或图像衔接错误的情况。
当出现上述情况时，可以确认该拼接图像信息在显示区域处图像拼接不连续。
504、若拼接图像信息在显示区域处图像拼接不连续，则对车外图像信息中用于截取目标图像信息的截取位置进行补偿调整，以使拼接图像信息在显示区域处实现图像拼接连续。
例如，若拼接图像信息在显示区域处图像拼接不连续，且车内图像信息的显示区域处所显示的图像偏右，则可以将该目标图像信息的截取区域向左调整，使车内图像信息与车外图像信息拼接后在显示区域中的图像完全重合，直至拼接图像信息在显示区域处图像拼接连续。
当然，具体的调整方式可以根据实际情况而定，本申请对此不作限定。
由上可知，当目标图像信息在显示装置中显示后，利用获取的拼接图像信息来判断是否存在图像拼接不一致的情况，并以此闭环反馈机制来调整图像的显示效果，可以进一步确保所显示的目标图像信息与车外景象保持一致，提升目标图像信息的成像效果。
请参阅图9，图中示出了本申请实施例提供的车载视觉辅助***60，该车载视觉辅助***60包括用户视角获取装置61、车内摄像头62、车外摄像头63、显示装置64、处理器65以及存储器66。
该用户视角获取装置61，与用户的头部相对，用于获取用户的视角信息；
车内摄像头62，安装于驾驶员的头部附近，用于获取用户视角下的车内图像信息；
车外摄像头63，安装于车辆外部，用于获取车辆的车外图像信息；
显示装置64，设于车辆盲区位置，用于显示目标图像信息；
处理器65以及存储器66，该处理器65与用户视角获取装置61、车内摄像头62、车外摄像头63以及存储器66电性连接；
该用户视角获取装置61可以设置成与用户的头部相对，通过获取用户的头部动态信息（如头部的转动、眼球的转动等）来获取用户的视角信息，以确定用户的视角情况，也即用户正在观察着何方。
具体的，该用户视角获取装置61可以是彩色摄像头、红外摄像头、景深摄像头的至少一种，以通过上述摄像头获得用户的头部/眼球特征，通过识别算法来确认该头部的转动角度参数和/或眼球的视线角度参数。可以理解的，该识别算法可以是本领域常用的头部/眼球识别算法，本申请对此不作限定。
在一些实施例中，该用户视角获取装置61可以安装在驾驶座的正对面，也可以设计成头戴式佩戴于用户的头部，利用摄像头以及位置传感器来检测用户的头部/眼球特征。
该车内摄像头62，可以设置在驾驶员的头部附近，以获取用户视角下的车内图像信息。其中，该车内摄像头62可以观察到车辆盲区位置的显示装置64，以及车辆外部的景象。
在一些实施例中，该车内摄像头62位于用户上方的车辆顶部内侧，并朝向车辆的A柱，使得其视角与用户的视角相近，可以通过一些转换算法获得用户视角下的车内图像信息。该车内摄像头62可以是广角摄像头或者是视角可变的可动摄像头，可实际位于车辆驾驶座上方。另外，该车内摄像头62还可以设置在头戴式设备上。该车内摄像头62的具体放置位置可以根据实际情况而定。
该车外摄像头63，可以设置在车辆外部，以获取到车辆外部的车外图像信息。具体的，该车外摄像头63可以设置在车辆外部的两侧，例如设置在车辆倒后镜处。优选的，车外摄像头63位于车辆的A柱外侧，以确保该车外图像信息包含车辆盲区位置被A柱遮挡的外部景象。
该显示装置64，设于车辆盲区位置，用于显示目标图像信息，该显示装置64可以用于显示车外摄像头63获取到的外部景象。具体的，该显示装置64位于车辆的A柱内侧。以使目标图像信息对应的图像贴近实际位置。
该存储器66中存储有计算机程序，该处理器65通过调用存储器66中存储的计算机程序，以执行如下的视觉辅助成像方法：
获取用户的视角信息；当视角信息满足预设的辅助条件时，获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息；将车外图像信息与车内图像信息进行拼接，获得拼接图像信息；从拼接图像信息中截取目标图像信息，该目标图像信息与显示装置64在拼接图像信息中的显示区域关联； 将目标图像信息通过显示装置64进行成像显示。
用户的视角信息可以通过车内的用户视角获取装置61获取，该用户视角获取装置61可以检测用户的头部或者眼球的运动来确定用户的当前视角。
其中，该视角信息可以包括头部的转动角度参数和/或眼球的视线角度参数。
其中，该辅助条件可以认为是用户需要观察到车辆盲区位置、也即A柱位置时的条件。该车外图像信息以及车内图像信息可以是一帧图像所对应的图像信息，也可以是多帧图像形成的视频流，在此不作限定。
在一些实施例中，该辅助条件可以是判断头部的转动角度参数是否位于预设参数区间；和/或判断眼球的视线角度参数是否位于预设参数区间。
例如，若显示装置64相对于驾驶座之间的夹角为30度，该预设参数区间可以设为20-40度。若当前检测到该用户的头部相对于直视方向的夹角为32度，使得该头部的转动角度参数满足该预设参数区间的要求，则可以确定该用户的视角信息满足预设的辅助条件。
当该视角信息满足预设的辅助条件后，获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息。
可以理解的，上述预设参数区间仅用于举例，预设参数区间可以采用一个或多个预设阈值来进行替换，该预设参数区间的具体数值可以根据驾驶座与显示装置64之间的具体夹角值以及实际情况而定。
其中，该车外图像信息应当与视角信息对应方位，例如若用户的头部转向右侧的A柱方向，则所获取到的车外图像信息应该为该车辆右侧的A柱方向以外的车外景象，而若用户的头部转向左侧则所获取的车外图像信息也应该为车辆左侧的A柱方向以外的车外景象。需要注意的是，该车外图像信息的获得角度可以根据不同的视角信息相对应调整。
另外，该车内图像信息同样可以根据所获得的用户的视角信息对应，例如若用户的头部转向右侧的A柱方向，则所获取到的车内图像信息可以包含该车辆右侧的A柱方向的图像。
可以理解的，除了当用户的视角信息满足预设条件时再触发图像信息的获取动作，该图像信息还可以是实时持续获取，可以根据实际情况而定。
其中，将车外图像信息与车内图像信息进行拼接，主要是将车外图像信息与车内图像信息拼接形成为同一视角、景象尺寸下的拼接图像信息。
在一些实施例中，可以提取车外图像信息与车内图像信息的景象特征点，并将两者对应的特征点进行匹配，以使拼接后的图像信息中对应特征点为同一图像位置。
请参阅图3，图中示出了本申请实施例提供的图像拼接过程的应用场景。
如图3所示，例如，若车外图像信息1A中包含车辆外部的树木11所对应的图像信息，而车内图像信息1B中也同样包含车辆外部的树木11所对应的图像信息，可以基于现有的拼接手段使得两个图像信息的该部分进行拼接、重合，以形成统一的拼接图像信息1C。
当然，除此之外还可以采用其他现有的拼接方式，本申请对此不作限定。
其中，显示装置64在车内图像信息中会有与其对应的图像区域，可以将该图像区域中显示屏所占的区域设为显示区域12。
具体的，在图3所示中，车外图像信息1A与车内图像信息1B存在均可观察到的车外景象，将这些车外景象对应的图像信息进行拼接后，在显示区域12的位置处会存在被A柱挡住的车外景象，从而导致用户无法观察到该被挡住的车外景象，如图3中的树木13。
此时在拼接过程中，该树木13所对应的图像信息会与显示区域12的图像信息重合，该树木13所对应的图像信息也是需要向用户进行展示的图像信息。因此，可以通过在拼接图像信息的显示区域12中对该树木13所对应的图像信息进行截取，以获得目标图像信息。
用户在驾驶过程中，若头部观察到车辆右侧A柱时，该显示装置64可以获取到的包含树木景象的目标图像信息，并通过显示装置64将该目标图像信息在显示装置64中进行显示。用户通过观察该显示装置64所显示的图像，即可获知在用户的当前视角下该右侧A柱以外的车外景象。
当然，上述目标图像信息可以理解为某帧图像的目标图像信息，也可以理解为持续获得的视频流。并且，该目标图像信息除了可以根据视角信息进行触发获得，还可以通过功能设置使其持续获得并通过显示装置64进行长时间显示，在此不作限定。
通过上述方式获得的目标图像信息，因拼接图像信息中的车外/车内景象的视角、尺寸重合，使得所获得的目标图像信息的视角、尺寸与车外真实景象相似，形成类似透明A柱的效果，克服了现有技术中显示装置64所显示的景象无法与真实景象对应的问题。
请参阅图10，图中示出了本申请实施例提供的车载视觉辅助***的另一结构。
在一些实施例中，如图10所示，为了实现对目标图像信息更加人性化的显示，该车载视觉辅助***60还可以包括图像调节装置67，该图像调节装置67用于调节目标图像信息的显示效果，该图像调节装置67与处理器65电性连接。
具体的，该图像调节装置67可以包括设于车辆驾驶位附近的调节按钮，该调节按钮可以是四向按钮，驾驶员可以根据自己的视角，通过控制前后左右的按钮，控制屏幕的目标图像信息对应的图像进行前后左右的移动，将图像放置合理范围内，再由拼接算法进行拼接计算。
或者，若图像调节装置67集成在显示装置中，且该显示装置为触摸屏时，驾驶员可以通过在屏幕上移动，拉伸或缩小目标图像信息对应的图像，以确保其显示效果满足驾驶员的要求。
当然，该图像调节装置67除了上述形式，还可以采用其他实现形式，例如其他专用或共用功能的旋钮、按钮，还可以采用语音控制等，具体实现形式不作限定。
由上可知，本申请实施例中的车载视觉辅助***60，通过获取与用户视角对应方位的车外图像信息以及车内图像信息，并将该车内图像信息与车外图像信息进行拼接后截取相应的目标图像信息，以使显示装置64所显示的图像内容可以和外部的景象相匹配，从而提高了车载视觉辅助***60的成像效果。该图像内容更接近实际景象，有利于驾驶员了解视觉盲区外部的实际情况，进而降低驾驶风险。
在一些实施例中，所述处理器65还可以用于：
判断所述头部的转动角度参数是否位于预设参数区间；和/或
判断所述眼球的视线角度参数是否位于预设参数区间。
在一些实施例中，所述处理器65还可以用于：
判断所述头部的转动角度参数和/或眼球的视线角度参数是否位于预设区参数间，且持续了预设时长。
在一些实施例中，所述处理器65还可以用于：
确定所述显示装置64在所述拼接图像信息中对应的显示区域，截取所述显示区域范围内的图像信息；
根据所述显示装置64的显示规格将所述显示区域范围内的图像信息进行适配，获得所述目标图像信息。
在一些实施例中，所述处理器65还可以用于：
获取车辆的运行轨迹信息以及***延时值；
根据所述运行轨迹信息以及***延时值对所述图像信息的截取位置进行补偿调整。
在一些实施例中，所述处理器65还可以用于：
获得***延时值，所述***延时值与***的链路延时值、算法延时值相关；
根据所述***延时值以及所述运行轨迹信息，确定所述目标图像信息受所述***延时值影响形成的图像偏离程度；
基于所述图像偏离程度调整所述图像信息的截取位置。
在一些实施例中，所述处理器65还可以用于：
获取当前视角下的车内图像信息以及对应视角的车外图像信息，所述车内图像信息包括所述显示装置64的显示区域中所显示的目标图像；
将所述车内图像信息与所述车外图像信息进行拼接，获得拼接图像信息；
判断所述拼接图像信息在所述显示区域处图像拼接是否不连续；
若是，则对所述车外图像信息中用于截取所述目标图像信息的截取位置进行补偿调整，以使所述拼接图像信息在所述显示区域处实现图像拼接连续。
本申请实施例中，所述车载视觉辅助***与上文实施例中的视觉辅助成像方法属于同一构思，在所述车载视觉辅助***上可以运行所述视觉辅助成像方法实施例中提供的任一方法步骤，其具体实现过程详见视觉辅助成像方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。
在一些实施例中，还提供了一种存储介质，该存储介质中存储有多条指令，该指令适于由处理器加载以执行上述任一视觉辅助成像方法，例如：
获取用户的视角信息；当视角信息满足预设的辅助条件时，获取与视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息；将车外图像信息与车内图像信息进行拼接，获得拼接图像信息；从拼接图像信息中截取目标图像信息，该目标图像信息与显示装置在拼接图像信息中的显示区域关联；将目标图像信息通过显示装置进行成像显示。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，RandomAccess Memory）、磁盘或光盘等。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (15)

1.一种视觉辅助成像方法，应用于视觉辅助***，包括设于车辆盲区位置的显示装置，其特征在于，所述***还包括用户视角获取装置、车内摄像头以及车外摄像头，所述方法包括：
获取用户的视角信息；
当所述视角信息满足预设的辅助条件时，获取与所述视角信息对应方位的车辆的车外图像信息以及用户视角下的车内图像信息；
将所述车外图像信息与所述车内图像信息进行拼接，获得拼接图像信息；
从所述拼接图像信息中截取目标图像信息，所述目标图像信息与所述显示装置在所述拼接图像信息中的显示区域关联；
将所述目标图像信息通过所述显示装置进行成像显示。
2.如权利要求1所述的视觉辅助成像方法，其特征在于，所述视角信息至少包括：
头部的转动角度参数；和/或
眼球的视线角度参数。
3.如权利要求2所述的视觉辅助成像方法，其特征咋与，所述当所述视角信息满足预设的辅助条件时，获取车辆的车外图像信息以及用户视角下的车内图像信息，包括：
判断所述头部的转动角度参数是否位于预设参数区间；和/或
判断所述眼球的视线角度参数是否位于预设参数区间。
4.如权利要求3所述的视觉辅助成像方法，其特征在于，所述当所述视角信息满足预设的辅助条件时，获取车辆的车外图像信息以及用户视角下的车内图像信息，还包括：
判断所述头部的转动角度参数和/或眼球的视线角度参数是否位于预设区参数间，且持续了预设时长。
5.如权利你要求1所述的视觉辅助成像方法，其特征在于，所述从所述拼接图像信息中截取目标图像信息，包括：
确定所述显示装置在所述拼接图像信息中对应的显示区域，截取所述显示区域范围内的图像信息；
根据所述显示装置的显示规格将所述显示区域范围内的图像信息进行适配，获得所述目标图像信息。
6.如权利要求5所述的视觉辅助成像方法，其特征在于，在所述截取所述显示区域范围内的图像信息之前，还包括：
获取车辆的运行轨迹信息以及***延时值；
根据所述运行轨迹信息以及***延时值对所述图像信息的截取位置进行补偿调整。
7.如权利要求6所述的视觉辅助成像方法，其特征在于，所述根据所述运行轨迹信息以及***延时值对所述图像信息的截取位置进行补偿调整，包括：
获得***延时值，所述***延时值与***的链路延时值、算法延时值相关；
根据所述***延时值以及所述运行轨迹信息，确定所述目标图像信息受所述***延时值影响形成的图像偏离程度；
基于所述图像偏离程度调整所述图像信息的截取位置。
8.如权利要求6所述的视觉辅助成像方法，其特征在于，所述车辆的运行轨迹信息包括：
车辆的车体速度参数、轮速脉冲参数、方向盘转角参数以及横纵向加速度参数的至少一种。
9.如权利要求1所述的视觉辅助成像方法，其特征在于，在所述将所述目标图像信息通过所述显示装置进行成像显示之后，还包括：
获取当前视角下的车内图像信息以及对应视角的车外图像信息，所述车内图像信息包括所述显示装置的显示区域中所显示的目标图像；
将所述车内图像信息与所述车外图像信息进行拼接，获得拼接图像信息；
判断所述拼接图像信息在所述显示区域处图像拼接是否不连续；
若是，则对所述车外图像信息中用于截取所述目标图像信息的截取位置进行补偿调整，以使所述拼接图像信息在所述显示区域处实现图像拼接连续。
10.一种车载视觉辅助***，其特征在于，包括：
用户视角获取装置，与所述用户的头部相对，用于获取用户的视角信息；
车内摄像头，安装于所述驾驶员的头部附近，用于获取所述用户视角下的车内图像信息；
车外摄像头，安装于车辆外部，用于获取车辆的车外图像信息；
显示装置，设于车辆盲区位置，用于显示目标图像信息；
处理器以及存储器，所述处理器与所述用户视角获取装置、车内摄像头、车外摄像头以及存储器电性连接；
所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，以执行如权利要求1-9任意一项所述的视觉辅助成像方法。
11.如权利要求10所述的车载视觉辅助***，其特征在于，所述用户视角获取装置，包括：
彩色摄像头、红外摄像头、景深摄像头的至少一种。
12.如权利要求10所述的车载视觉辅助***，其特征在于，所述车内摄像头位于所述用户上方的车辆顶部内侧，并朝向所述车辆的A柱。
13.如权利要求10所述的车载视觉辅助***，其特征在于：
所述显示装置位于车辆的A柱内侧；
所述车内摄像头位于车辆驾驶座上方的车顶内侧；
所述车外摄像头位于车辆的A柱外侧。
14.如权利要求10所述的车载视觉辅助***，其特征在于，所述***还包括图像调节装置，所述图像调节装置与所述处理器电性连接；
所述图像调节装置用于调节所述目标图像信息的显示效果。
15.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1-9任意一项所述的视觉辅助成像方法。
CN201911080211.XA 2019-11-07 2019-11-07 视觉辅助成像方法、车载视觉辅助***及存储设备 Expired - Fee Related CN111114434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911080211.XA CN111114434B (zh) 2019-11-07 2019-11-07 视觉辅助成像方法、车载视觉辅助***及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911080211.XA CN111114434B (zh) 2019-11-07 2019-11-07 视觉辅助成像方法、车载视觉辅助***及存储设备

Publications (2)

Publication Number Publication Date
CN111114434A true CN111114434A (zh) 2020-05-08
CN111114434B CN111114434B (zh) 2021-08-27

Family

ID=70495627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911080211.XA Expired - Fee Related CN111114434B (zh) 2019-11-07 2019-11-07 视觉辅助成像方法、车载视觉辅助***及存储设备

Country Status (1)

Country Link
CN (1) CN111114434B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277796A (zh) * 2020-01-21 2020-06-12 深圳市德赛微电子技术有限公司 图像处理方法、车载视觉辅助***及存储设备
CN112115797A (zh) * 2020-08-21 2020-12-22 东风电驱动***有限公司 一种用于智能驾驶的人机交互***及方法
CN112550469A (zh) * 2020-12-25 2021-03-26 浙江零跑科技有限公司 一种汽车透视a柱模块及显示方法
CN112849158A (zh) * 2021-01-22 2021-05-28 精电(河源)显示技术有限公司 图像显示方法、车载显示***以及汽车
CN113276774A (zh) * 2021-07-21 2021-08-20 新石器慧通（北京）科技有限公司 无人车远程驾驶过程中视频画面的处理方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171738A1 (en) * 2001-04-17 2002-11-21 Jingfeng Guan Automobile-based video system, a substitution of traditional mirrors
US20060119705A1 (en) * 2004-12-06 2006-06-08 Arbl Co., Ltd. Apparatus for creating effectively transparent A-pillars on vehicle
CN103358996A (zh) * 2013-08-13 2013-10-23 吉林大学 汽车a柱透视化车载显示装置
CN104228684A (zh) * 2014-09-30 2014-12-24 吉林大学 一种消除汽车a柱盲区的装置及其方法
CN104890576A (zh) * 2015-05-22 2015-09-09 西安电子科技大学 一种智能全方位消除汽车盲区的装置
CN107458310A (zh) * 2017-09-18 2017-12-12 诏安县鹏达机械设计部 一种全方位行车环境监控***
CN107738614A (zh) * 2017-10-20 2018-02-27 付宇 商用车盲区多画面视频组合显示实现方法
CN109934076A (zh) * 2017-12-19 2019-06-25 广州汽车集团股份有限公司 视觉盲区的场景图像的生成方法、装置、***及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171738A1 (en) * 2001-04-17 2002-11-21 Jingfeng Guan Automobile-based video system, a substitution of traditional mirrors
US20060119705A1 (en) * 2004-12-06 2006-06-08 Arbl Co., Ltd. Apparatus for creating effectively transparent A-pillars on vehicle
CN103358996A (zh) * 2013-08-13 2013-10-23 吉林大学 汽车a柱透视化车载显示装置
CN103358996B (zh) * 2013-08-13 2015-04-29 吉林大学 汽车a柱透视化车载显示装置
CN104228684A (zh) * 2014-09-30 2014-12-24 吉林大学 一种消除汽车a柱盲区的装置及其方法
CN104890576A (zh) * 2015-05-22 2015-09-09 西安电子科技大学 一种智能全方位消除汽车盲区的装置
CN107458310A (zh) * 2017-09-18 2017-12-12 诏安县鹏达机械设计部 一种全方位行车环境监控***
CN107738614A (zh) * 2017-10-20 2018-02-27 付宇 商用车盲区多画面视频组合显示实现方法
CN109934076A (zh) * 2017-12-19 2019-06-25 广州汽车集团股份有限公司 视觉盲区的场景图像的生成方法、装置、***及终端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277796A (zh) * 2020-01-21 2020-06-12 深圳市德赛微电子技术有限公司 图像处理方法、车载视觉辅助***及存储设备
CN112115797A (zh) * 2020-08-21 2020-12-22 东风电驱动***有限公司 一种用于智能驾驶的人机交互***及方法
CN112550469A (zh) * 2020-12-25 2021-03-26 浙江零跑科技有限公司 一种汽车透视a柱模块及显示方法
CN112849158A (zh) * 2021-01-22 2021-05-28 精电(河源)显示技术有限公司 图像显示方法、车载显示***以及汽车
CN113276774A (zh) * 2021-07-21 2021-08-20 新石器慧通（北京）科技有限公司 无人车远程驾驶过程中视频画面的处理方法、装置及设备

Also Published As

Publication number Publication date
CN111114434B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN111114434B (zh) 视觉辅助成像方法、车载视觉辅助***及存储设备
CN107444263B (zh) 车辆用显示装置
EP2045132B1 (en) Driving support device, driving support method, and computer program
CN102371944B (zh) 车辆用视觉辅助***以及具备该***的车辆
EP3466763B1 (en) Vehicle monitor system
CN111277796A (zh) 图像处理方法、车载视觉辅助***及存储设备
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
WO2022052789A1 (zh) 车内后视镜全视野动态显示方法、存储介质及电子设备
JP2004203126A (ja) 車両用周辺監視装置
JP2008213649A (ja) 車両用周辺監視装置
CN107298050A (zh) 图像显示装置
JP4855884B2 (ja) 車両周辺監視装置
JP2011234095A (ja) 車両用視認支援装置
CN108482252A (zh) 一种显示a柱盲区障碍视角图像的***、方法及车辆
CN112298040A (zh) 一种基于透明a柱的辅助驾驶方法
CN116674468A (zh) 影像显示方法及相关装置、车辆、存储介质和程序
JP2007253819A (ja) 駐車支援装置
JP2017111739A (ja) 運転支援装置、運転支援方法
JP2009248812A (ja) 運転支援装置
JP6115278B2 (ja) 車両用表示装置
CN214775848U (zh) 一种基于a柱显示屏的障碍物探测装置及汽车
JP6365600B2 (ja) 車両用表示装置
KR101663290B1 (ko) 영상과 거리 보정을 통한 주차 보조 시스템
JP7347330B2 (ja) 車両周辺監視装置
KR101623774B1 (ko) 차량의 운전 사각 모니터링 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200508

Assignee: Shenzhen Dechi micro vision technology Co.,Ltd.

Assignor: SHENZHEN DESAY MICROELECTRONIC TECHNOLOGY Co.,Ltd.

Contract record no.: X2020980002081

Denomination of invention: Vision-assisted imaging method, vehicle-mounted vision-assisted system and storage device

License type: Exclusive License

Record date: 20200509

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210827