CN107972583B - 车辆用成像显示装置以及记录介质 - Google Patents

车辆用成像显示装置以及记录介质 Download PDF

Info

Publication number
CN107972583B
CN107972583B CN201710811446.6A CN201710811446A CN107972583B CN 107972583 B CN107972583 B CN 107972583B CN 201710811446 A CN201710811446 A CN 201710811446A CN 107972583 B CN107972583 B CN 107972583B
Authority
CN
China
Prior art keywords
angle
view
vehicle
distance
switched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710811446.6A
Other languages
English (en)
Other versions
CN107972583A (zh
Inventor
天野正明
浅井五朗
奥村友章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016242151A external-priority patent/JP6555240B2/ja
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN107972583A publication Critical patent/CN107972583A/zh
Application granted granted Critical
Publication of CN107972583B publication Critical patent/CN107972583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

一种车辆用成像与显示装置，包括：显示单元，该显示单元被配置为显示拍摄图像，通过利用对车辆的后方成像的成像单元进行图像拍摄而获得拍摄图像；以及控制单元，该控制单元被配置为进行如下的视角切换控制：当随着车辆的后方的对象与车辆之间的距离减小而满足预定的广角条件时，将在显示单元上显示的拍摄图像的视角切换为比当前视角更广的角度；并且当满足返回至原始视角的预定返回条件时，将视角切换为原始视角。

Description

车辆用成像显示装置以及记录介质
技术领域
本发明涉及一种车辆用成像显示装置以及记录介质，该成像显示装置显示通过对车辆的后方成像而获得的拍摄图像。
背景技术
已经公开了一种车辆用成像显示装置，其用于通过利用诸如照相机这样的成像单元对车辆的后方成像并且显示拍摄的图像而检查车辆的后方，所述拍摄的图像通过在车辆内部的诸如监控器这样的显示单元上成像来代替利用光学后视镜而获得。
例如，在日本专利申请No.2009-81664(JP 2009-81664A)中描述的技术中，具有与内部后视镜的后视镜反射的图像相对应的图像尺寸的后方图像被显示在相对宽的中央显示区域中，该中央显示区域位于图像显示单元的水平方向上的中央。作为比后方图像更加压缩的图像的右后方图像和左后方图像被显示在外侧显示区域中，该外侧显示区域位于中央显示区域的外侧。
发明内容
如在JP 2009-81664A中描述的，当利用设置在车辆的后部中的后方照相机等而拍摄后方图像时，照相机可以设置在车辆的后部中，并且从而在车辆后方的对象可以被显示为：随着与对象相距的距离减小，而比在内部后视镜中呈现的光学图像大。结果，由于乘员可能感受到由于对象以大尺寸显示而导致的压迫感，所以存在改进的空间。
本发明提供了一种车辆用成像显示装置和记录介质，当车辆靠近在车辆后方的对象时，该成像显示装置能够使由于以大尺寸显示的对象而导致的压迫感最小化。
根据本发明的第一方面，提供了一种车辆用成像与显示装置，包括：显示单元，该显示单元设置在车辆内部的前部，并且被配置为显示拍摄到的拍摄图像，通过利用对车辆的后方成像的成像单元进行图像拍摄而获得该拍摄图像；以及控制单元，该控制单元被配置为进行如下视角切换控制：当随着所述车辆后方的对象与所述车辆之间的距离减小而满足预定的广角条件时，将在所述显示单元上显示的所述拍摄图像的视角切换为比当前视角更广的角度；并且当满足返回至原始视角的预定返回条件时，将视角切换至原始视角。
根据该方面，利用对车辆后方成像的成像单元进行图像拍摄所获得的拍摄图像被显示在显示单元上。
控制单元进行如下视角切换控制：当满足乘员由于显示在显示单元上的对象而感到压迫感的预定广角条件时，将在所述显示单元上显示的拍摄图像的视角切换为比当前视角更广的角度；并且当满足使视角返回至原始视角的预定返回条件时，将视角切换至原始视角。即，由于当视角被切换为比当前视角更广的角度时，对象被显示为比不切换视角时小(例如，与以在光学后视镜上呈现的图像相同的尺寸显示)，所以能够使施加给乘员的压迫感最小化。因此，当车辆接近在车辆后方的对象时，能够最小化由于将对象显示为比需要地大而产生的压迫感。
车辆后方的对象与车辆之间的距离是例如从成像单元到对象的距离；从诸如距离传感器这样的检测单元到对象的距离；或者通过利用车辆与车辆间通信或道路与车辆间通信而获取后方车辆的位置信息，以根据车辆的位置以及后方车辆的位置而检测到的距离。
乘员由于显示在显示单元上的对象而感到压迫感的预定的广角条件是例如：由对象与车辆之间的距离的阈值、拍摄图像中对象的尺寸的阈值、或者拍摄图像中的对象与显示单元的显示面积的比率的阈值所预先定义的条件。
将拍摄图像的视角切换至比当前视角更广的角度的方法的实例包括如下方法：通过改变并显示拍摄图像的裁剪范围的图像处理而切换视角的方法；以及驱动变焦镜头等以光学切换视角的方法。所述实例还包括如下方法：准备成像单元以及具有不同视角的多个镜头并且切换镜头的方法；以及准备包含具有不同视角的镜头的多个成像单元并且切换成像单元的方法。
返回条件是例如由如下阈值而预先定义的条件：对象与车辆之间的距离的阈值、拍摄图像中的对象的尺寸的阈值、或者拍摄图像中的对象与显示单元的显示面积的比率的阈值。返回条件可以采用与预定的广角条件相同的阈值，然而还可以考虑滞后而采用另一个阈值。
在该方面中，所述控制单元可以接收表示所述车辆向后移动的信号，并且当满足所述广角条件时，将所述拍摄图像的视角切换为比当前视角更广的角度。因此，即使当在停车时与停止的后方车辆的距离减小时，也能够使施加给乘员的压迫感最小化。
当对象与车辆之间的距离小时，或者当显示的对象的尺寸更大时，乘员可能由于显示的后方对象而感到压迫感。因此，在该方面中，在以下情况中的至少一种情况下可以满足所述广角条件：通过检测单元检测到小于预定距离的距离情况，该检测单元检测距所述车辆后方的对象的距离；以及在所述拍摄图像中的所述对象的面积大于预定面积的情况。
在该方面中，当其它车辆被检测为所述对象并且满足所述广角条件时，所述控制单元可以将所述拍摄图像的视角切换为比当前视角更广的角度。因此，即使当后方车辆接近时，能够使由于显示的车辆而导致的压迫感最小化。
在该方面中，当将视角切换为广角时，所述控制单元可以将视角切换为作为所述对象的其它车辆的横向宽度得以显示的范围的视角，或者切换为作为所述对象的其它车辆的轮廓的至少一部分得以显示在所述显示单元上的范围的视角。因此，能够使由于显示的后方车辆而导致的压迫感减小。
在该方面中，当进行所述视角切换控制时，所述控制单元可以切换视角，使得随着与所述对象相距的距离减小或者随着所述对象在所述拍摄图像中的尺寸增大，视角逐渐变为更广的角度。因此，即使当与对象相距的距离减小时，能够使得显示自然，而不会将对象显示为非常大，并且不突然减小对象的尺寸。当视角逐渐切换时，视角可以阶梯式地切换或者可以连续地切换。
在该方面中，当视角被切换至更广的角度时，所述控制单元还可以进行通知控制，以通知视角正在被切换。因此，能够通知乘员视角角度被切换并且显示。
根据本发明的第二方面，提供了一种非暂时性记录介质，其中存储有程序。所述程序是成像显示程序，该成像显示程序使得计算机用作根据第一方面所述的成像显示装置的所述控制单元。
如上所述，根据本发明，能够使当车辆后方的对象与车辆之间的距离减小时所导致的、由于被显示的后方对象而产生的压迫感最小化。
附图说明
下文将参考附图描述本发明的示例性实施例的特征、优势效果以及技术和工业重要性，在附图中，相同的标号表示相同的元件，并且在附图中：
图1A是示意性地示出根据实施例的车辆用成像显示装置的车辆安装位置并且示出车辆前部的图；
图1B是示意性地示出根据实施例的车辆用成像显示装置的车辆安装位置并且示出车辆后部的图；
图2是示意性地示出根据实施例的车辆用成像显示装置的配置的方框图；
图3A是示出由根据实施例的车辆用成像显示装置执行的显示控制的图；
图3B是示出由根据实施例的车辆用成像显示装置执行的显示控制的图；
图3C是示出由根据实施例的车辆用成像显示装置执行的显示控制的图；
图3D是示出由根据实施例的车辆用成像显示装置执行的显示控制的图；
图4是示出由根据实施例的车辆用成像显示装置执行的显示控制的流程的实例的流程图；
图5是示出由根据实施例的车辆用成像显示装置执行的显示控制的第一修改例的流程的实例的流程图；
图6A是示出当视角不切换时在监控器上显示的图像的实例的图；
图6B是示出当视角逐渐切换为更广角度时在监控器上显示的图像的实例的图；
图7是示出视角对于与后方对象的距离的依赖性的实例的图；
图8是示出由根据实施例的车辆用成像显示装置执行的显示控制的第二修改例的流程的实例的流程图；
图9是示出由根据实施例的车辆用成像显示装置执行的显示控制的第三修改例的流程的实例的流程图；
图10是示出由根据实施例的车辆用成像显示装置执行的显示控制的第四修改例的流程的实例的流程图。
具体实施方式
后文中，将参考附图详细描述本发明的实施例的实例。图1A和1B是示意性地示出根据本实施例的车辆用成像显示装置的车辆安装位置的图，其中，图1A图示出车辆的前部，并且图1B图示出车辆的后部。
根据本实施例的车辆用成像显示装置利用照相机12执行图像拍摄操作，该照相机12作为成像单元的实例而被设置在车辆的后部，通过该照相机12的图像拍摄操作而获得的拍摄图像被显示在监控器14上，该监控器14作为显示单元的实例而被设置在车辆内部的内部后视镜的位置。通过将监控器14设置在内部后视镜的位置，能够使得监控器14用作内部后视镜。
在该实施例中，半反射镜被设置在监控器14的显示表面侧上。在监控器14打开的显示状态下，所显示的图像通过半反射镜而传播，并且能够利用监控器14而检查后方视野。另一方面，在监控器14关闭的非显示状态下，能够利用半反射镜的光学反射图像而检查后方视野。
在车辆的后部处的保险杠设置有作为检测单元的实例的距离传感器16，并且检测关于与后方的对象相距的距离的距离信息。在图1B中，多个(在图1B中四个)距离传感器16被设置在保险杠中，但是距离传感器的数量不受限制。距离传感器的数量可以是一个，只要能够利用单个距离传感器16覆盖必要区域即可，或者距离传感器的数量可以是两个以上。由于照相机12与距离传感器16之间的位置关系被预先确定，所以能够通过利用距离传感器16检测距离而检测到从照相机12到对象的距离。
控制照相机12和监控器14的控制装置18设置在行李箱中。在上述实例中，控制装置18设置在行李箱中，然而控制装置18的位置不限于此，并且控制装置可以设置在车辆内部中的其他位置。
图2是示意性地示出根据本实施例的车辆用成像显示装置的配置的方框图。
根据本实施例的车辆用成像显示装置10包括照相机12、监控器14、距离传感器16、开关20以及作为控制单元的实例的控制装置18。
照相机12对车辆的后方成像，并且将成像结果输出到控制装置18。照相机12例如设置在车辆外部(例如，在图1B所示的行李箱处)，并且对作为车辆的周边的车辆后方成像。在本实施例中，照相机12设置在车辆外部，然而照相机12可以设置在车辆内部。
监控器14设置在通常设置内部后视镜的位置，并且连接到控制装置18。通常设置内部后视镜的位置的实例包括在车辆前侧的在顶棚的车辆宽度方向上的中央处的位置，或者在前挡风玻璃的中央处的上部附近的位置。在本实施例中，监控器14设置在内部后视镜的位置，然而本发明不限于此，并且监控器仅须设置在车辆内部的前部，诸如仪表板的上部。由照相机12拍摄到的拍摄图像在控制装置18的控制之下而被显示在监控器14上。
距离传感器16是检测与诸如后方车辆这样的对象相距的距离的传感器，并且将关于与后方的对象相距的距离的距离信息输出到控制装置。距离传感器16通过输出诸如超声波或者红外波这样的信号并且接收从对象反射的信号而检测距离信息。图1B示出了多个距离传感器16，然而图2中代表性地示出了一个距离传感器16。
开关20是用于打开/关闭监控器14的显示的开关，开关20的操作结果输入到控制装置18，并且监控器14由于开关20的操作而打开和关闭。开关20可以设置在例如，与开启内部后视镜的防眩的操纵杆相对应的部分处。
控制装置18由微型计算机构成，在微型计算机中，CPU 18A、ROM18B、RAM 18C和I/O(输入/输出接口)18D连接到总线18E。
在ROM 18B中存储诸如用于执行将照相机12拍摄到的拍摄图像显示在监控器14上的显示控制的程序这样的各种程序。通过将存储在ROM 18B中的程序加载到RAM 18C中并且使CPU 18A执行所加载的程序，来进行拍摄图像在监控器14上的显示控制等。
I/O 18D连接到照相机12、监控器14、距离传感器16和开关20。控制装置18获取照相机12的成像结果，对拍摄图像执行将成像结果显示在监控器14上的处理(诸如将拍摄图像的左右两侧反转的镜像改变)，并且将拍摄图像显示在监控器14上。在本实施例中，进行从照相机12的拍摄图像裁剪成预定的基准视角的范围内的图像的处理，并且裁剪后的图像被显示在监控器14上。预定的基准视角采用满足规则的范围内的预定的视角。例如，可以采用当在监控器14上显示与在光学内部后视镜上呈现的范围相同的范围时的视角，作为所述预定的基准视角。
在传统的光学内部后视镜中，即使当后方车辆接近时，乘员也没有压迫感，然而在根据本实施例的车辆用成像显示装置10中，照相机12可能设置在车辆的后部中，并且靠近的对象可能显得比传统的内部后视镜中的大。因此，当诸如后方车辆这样的对象接近车辆的后部时，乘员可能具有压迫感。
因此，在根据本实施例的车辆用成像显示装置中，执行如下视角切换控制：当车辆后方的对象与车辆之间的距离减小并且满足乘员由于监控器14上显示的对象而有压迫感的预定的广角条件时，将视角切换为比当前视角更广的视角；并且当满足将视角返回至原始视角的预定返回条件时，将视角切换为原始的视角。具体地，当与后方的对象相距的距离小于预定的距离(例如，2m)时，视角被切换为比预定的基准视角更广的角度(后文中，可以称为视角增大)。当与后方的对象相距的距离等于或者大于预定的距离时，视角被切换为原始的基准视角。在本实施例中，由于在监控器14上裁剪并且显示一部分区域，而不是显示照相机12的整个拍摄图像，并且通过改变裁剪范围而切换视角，所以进行改变和显示拍摄图像的裁剪范围的显示控制，作为视角切换控制。在切换视角的显示控制中，具体地，从拍摄图像裁剪出与要改变的视角相对应的范围，对裁剪的图像进行镜像改变，或者进行匹配监控器14的显示区域的像素数量的图像处理(诸如缩小、压缩、像素细化或者插值这样的图像处理)，而后显示所得到图像。然而，在下文的说明中，为了简化说明，将略过镜像改变、匹配监控器14的显示区域的图像处理等。
具体地，如图3A所示，假定作为对象的后方车辆X被显示在监控器14上。后方车辆X如图3B所示地靠近，并且在监控器14上被显示为大的，从而乘员具有压迫感。因此，当与后方车辆X相距的距离小于预定的距离时，视角被切换为更广角度。例如，视角如图3C所示地被切换为更广角度，并且后方车辆X在监控器14上被显示为比视角未被切换为更广角度的情况小。当与后方车辆X相距的距离等于或者大于预定距离时，视角返回到原始的视角，而后拍摄图像被显示在监控器14上。
如图3C中的虚线所示，可以显示表示视角被切换为更广角度的标记22等，并且可以通知乘员视角被切换为更广角度。或者，可以通过进行产生声音、光等的通知控制而通知视角被切换为更广角度。
作为将视角切换为更广角度的方法，在本实施例中如上所述地采用了通过改变并且显示从照相机12的整个拍摄图像裁剪出的范围而切换视角的方法，然而当能够驱动照相机12的镜头时，可以驱动变焦镜头等以在光学上切换视角。或者，可以设置具有不同的视角的多个镜头和照相机，并且可以在镜头之间进行切换。或者，可以准备包括具有不同视角的镜头的多个照相机，并且可以在照相机之间进行切换。或者，可以组合上述方法以切换视角。
当视角被切换为更广角度时，视角可以被切换为后方车辆X的横向宽度得以显示的范围的更广角度，或者可以被切换为后方车辆X的轮廓的至少一部分得以显示在监控器14上的范围的更广角度，如图3C所示。或者，如图3D所示，视角可以被切换为后方车辆X下方的路面得以显示的范围的更广角度。
接着，下文将描述具有上述构造的根据本实施例的车辆用成像显示装置10的控制装置18所执行的具体显示控制。图4示出由根据本实施例的车辆用成像显示装置10的控制装置18所执行的显示控制的流程的实例的流程图。在未示出的点火开关接通的情况下，当开关20接通时开始图4所示的流程。
在步骤100中，CPU 18A获取照相机12拍摄到的拍摄图像，开始在监控器14上显示该拍摄图像，并且执行步骤102的处理。在本实施例中，从照相机12的拍摄图像裁剪与预定基准视角相对应的范围，并且显示在监控器14上。因此，车辆的后方的拍摄图像被显示在监控器14上，并且能够检查后方。
在步骤102中，CPU 18A基于距离传感器16的检测结果检测与后方的对象相距的距离，而后进行步骤104的处理。
在步骤104中，CPU 18A判定与对象相距的距离是否小于预定的阈值。当判定结果是肯定的时，执行步骤106的处理，并且当判定结果是否定的时，进行步骤113的处理。
在步骤106中，CPU 18A判定是否已经执行稍后描述的步骤108，并且视角是否已经切换到更广角度。当判定结果是否定的时，执行步骤108的处理，并且当判定结构是肯定的时，执行步骤110的处理。
在步骤108中，CPU 18A将被显示的图像的视角切换至更广角度，而后执行步骤110的处理。具体地，通过放大从经照相机12的图像拍摄而获取的所述拍摄图像的裁剪范围，将视角切换至比当前显示的拍摄图像的视角更广的角度。因此，当诸如后方车辆X这样的对象接近车辆时，视角被切换至更广角度，并且从而防止了拍摄图像的显示使得乘员感到压迫。
在步骤110中，CPU 18A再次检测与对象相距的距离，并且判定与对象相距的距离是否等于或者大于预定的阈值。当判定结果是肯定的时，执行步骤112的处理，并且当判定结果是否定的时，进行步骤114的处理。
在步骤112中，CPU 18A使视角返回到原始的视角，而后执行步骤114的处理。
另一方面，在步骤113中，CPU 18A判定是否已经执行步骤108，以及视角视图是否已经被切换至更广角度。当判定结果是肯定的时，执行步骤112的处理，并且当判定结果是否定的时，进行步骤114的处理。
在步骤114中，CPU 18A判定是否已经操作开关20以指示关闭显示。当判定是肯定的时，结束一系列处理，并且当判定是否定的时，从步骤102开始重复上述处理。
由于当与后方的对象相距的距离小于预定距离时，拍摄图像的视角被切换至更广角度，并且当与对象相距的距离等于或者大于预定距离时，将视角返回至原始的视角，所以能够使施加给乘员的压迫感最小化，而不使靠近的对象显示为看起来比现有技术中更大。
在将视角切换至更广角度的广角条件下的预定距离和在将视角返回至原始视角的返回条件下的预定距离可以被设定为相同的距离，然而优选地，这两个预定距离可以被设定为不同的距离，以为处理提供滞后，从而防止反复切换视角的抖动。
在上述实施例中，不论后方的对象的类型如何，当与后方的对象相距的距离小于预定距离时，使视角切换至更广角度，然而后方的对象不限于车辆。例如，如图5所示，步骤101和116可以添加至图4所示的流程。
即，在步骤100中，CPU 18A获取照相机12拍摄到的拍摄图像，开始在监控器14上显示拍摄图像，并且执行步骤101的处理。
在步骤101中，CPU 18A判定是否存在后方车辆X。例如，通过基于照相机12拍摄到的拍摄图像进行诸如图案匹配这样的图像处理而检测后方车辆X，来执行该判定。当判定结果是肯定的时，执行步骤102的处理，并且当判定结果是否定的时，执行步骤116的处理。
在步骤116中，CPU 18A判定是否已经执行了步骤A108，以及视角是否已经被切换至更广角度。当判定结果是肯定的时，执行步骤112的处理，并且当判定结果是否定的时，执行步骤114的处理。
以该方式，通过添加步骤101和116，当与后方车辆X相距的距离小于预定距离时，视角能够被切换，并且当与后方车辆X相距的距离等于或者大于预定距离时，视角能够返回到原始视角。因此，由于即使当后方车辆X接近时，视角能够被切换至更广角度，所以能够使施加给乘员的压迫感最小化，而不将后方车辆X在监控器14上显示为大的。
在上述实施例中，当与后方对象相距的距离小于预定距离时，将视角切换至更广角度，然而当视角快速切换至更广角度时，容易使得在监控器14上显示的后方对象由于视角的切换而突然尺寸减小，从而给乘员不适感。因此，当与后方对象相距的距离小于预定距离时，视角可以逐渐切换至更广角度。
例如，当不切换视角时在监控器14上显示的图像以图6A中所示，并且当将视角逐渐切换为更广角度时的图像以图6B中所示。当即使与后方对象(图6A和6B中的车辆)相距的距离减小而视角也不切换时，如图6A所示，后方车辆X从显示该后方车辆X的整体图像的状态逐渐靠近，该后方车辆X被显示为更大，于是后方车辆X的仅一部分被显示。另一方面，如图6B所示，即使当后方车辆X靠近时，通过将视角逐渐切换为更广角度，后方车辆也能够自然地被显示，而不会极度增大后方车辆X的尺寸，也不会突然减小后方车辆X的尺寸。将视角逐渐切换至广角的具体方法能够例如如图7所示地，通过预先确定与距后方对象的距离相对应的视角并且切换视角以与该距离相对应来实施。此处，当随着与后方对象相距的距离减小，视角逐渐切换至更广角度时，可以如图7中的实线所指示地线性地进行视角到更广角度的切换，或者可以如图7中的虚线所指示地非线性地进行视角到更广角度的切换。当视角逐渐切换至更广角度时，可以如图7所示连续地进行切换，然而可以阶梯式地进行该切换。即使当视角被逐渐切换至更广角度时，当视角切换至更广角度时，如上述地，视角也可以被切换至显示后方车辆X的横向宽度的范围的视角，或者切换至在监控器14上显示后方车辆X的轮廓的至少一部分的范围的视角。或者，视角可以被切换至显示后方车辆X下方的路面的范围的视角。
在上述实施例中，作为乘员由于监控器14上显示的对象而感到压迫感的预定广角条件，当与后方对象相距的距离小于预定距离时视角被切换，然而预定的广角条件不限于此。例如，当屏幕被监控器14上显示的对象所占据的比率等于或者大于预定比率时，可以将视角切换至更广角度。或者，当在拍摄到的拍摄图像中后方对象的尺寸大于预定尺寸时，可以将视角切换至更广角度。在该情况下，例如，可以计算拍摄图像中的对象的面积，并且当计算出的面积大于预定面积时，将视角切换至更广角度。作为具体处理，如图8所示，执行步骤103，来代替图4中的步骤102和104，并且执行步骤109来代替步骤110。即，在步骤103中，判定在拍摄图像中的对象的尺寸是否大于预定的阈值，当判定结果是肯定的时，执行步骤106的处理，并且当判定结果是否定的时，执行步骤114的处理。在步骤109中，判定拍摄图像中的对象的尺寸是否等于或小于预定的阈值，当判定结果是肯定的时，执行步骤112的处理，并且当判定结果是否定的时，执行步骤114的处理。
或者，根据传感器测试的结果等已知，当监控器14的显示区域未被在小于预定距离(例如，2m)的距离处的对象填满时，减小了压迫感。因此，当与对象相距的距离小于预定距离并且在拍摄图像中的后方对象的尺寸大于预定尺寸时，可以将视角切换至更广角度。在该情况下，当与对象相距的距离等于或者大于预定距离时，或者当拍摄图像中的后方对象的尺寸等于或者小于预定尺寸时，可以满足将视角返回至原始的视角的返回条件。或者，与对象相距的距离等于或大于预定距离的情况或在拍摄图像中的后方的对象的尺寸等于或者小于预定尺寸的情况可以被应用于返回条件。作为处理的实例，例如，如图9所示，执行步骤105，来代替图4中的步骤104，并且执行步骤111，来代替步骤110。即，在步骤105中，判定与对象相距的距离是否小于预定距离以及在拍摄图像中的后方对象的尺寸是否大于预定的阈值，当判定结果是肯定的时，执行步骤106的处理，并且当判定结果是否定的时，执行步骤114的处理。在步骤111中，判定是否满足上述返回条件，当判定结果是肯定的时，执行步骤112的处理，并且当判定结果是否定的时，执行步骤114的处理。
或者，当与对象相距的距离小于预定距离时或者当在拍摄图像中的后方对象的尺寸大于预定尺寸时，可以将视角切换至更广角度。
如以上参考图5所述，步骤101和116可以添加到图8和9所示的流程。
在上述实施例中，不论车辆的行驶方向如何，当满足切换视角的广角条件时视角均可以被切换至更广角度，然而也可以将切换视角时的车辆的行驶方向限制于向后方向。
例如，如图10所示，步骤101A可以在步骤100之后添加到图5所示的流程。或者，与图10相似地，步骤101A可以在步骤100之后添加到图4、8或9。
即，在图10所示的处理实例中，在步骤100中，CPU 18A获取照相机12拍摄到的拍摄图像，并且开始将拍摄图像显示在监控器14上，而后进行步骤101A的处理。
在步骤101A中，CPU 18A判定车辆是否向后移动。例如，通过判定是否从位移传感器或者倒车开关接收到表示车辆向后移动的信号，而判定车辆是否向后移动。当判定结果是肯定的时，执行步骤101的处理，并且当判定结果是否定的时，执行步骤116的处理。
通过以这种方式添加步骤101A，在向后移动时，当与后方车辆X相距的距离小于预定距离时能够切换视角，并且当该距离等于或者大于预定距离时，能够将视角返回至原始的视角。因此，即使当在停车时与停止的后方车辆相距的距离变小时，也能够使施加给乘员的压迫感最小化。
在上述实施例中，已经描述了利用距离传感器16检测与后方对象相距的距离的实例，然而检测与对象相距的距离的方法不限于距离传感器16。例如，可以通过车辆与车辆间通信或者道路与车辆间通信而获取后方车辆X的位置信息，并且可以检测到与后方车辆相距的距离。或者，可以利用诸如投影差或者光流法这样的图像处理而从单目照相机拍摄到的拍摄图像检测出与对象相距的距离。或者，可以从利用立体照相机而获得的拍摄图像检测出与后方的对象相距的距离。
由根据上述实施例的车辆用成像与显示装置10的控制装置18执行的图4、5、8和9中示出的显示控制已经被描述为通过执行程序而进行的软件处理，然而该显示控制还可以通过硬件执行。或者，可以软件与硬件组合地执行显示控制。ROM中存储的程序可以被记录在各种记录介质上，并且可以是分布式的。
本发明不限于上述说明，而能够在不背离本发明的主旨的情况下以各种形式进行修改。

Claims (16)

1.一种车辆用成像显示装置，包括：
显示单元，该显示单元设置在车辆内部的前部，并且被配置为显示拍摄图像，利用对车辆后方成像的成像单元进行图像拍摄而获得所述拍摄图像；以及
控制单元，该控制单元被配置为进行如下的视角切换控制：随着所述车辆后方的对象与所述车辆之间的距离减小而满足预定的广角条件时，将在所述显示单元上显示的所述拍摄图像的视角切换为比当前视角更广的视角，以及当满足返回至原始视角的预定返回条件时，将视角切换为所述原始视角，其特征在于，
所述预定的广角条件和所述预定返回条件是由阈值定义的，其中，对所述预定的广角条件所定义的阈值是对象与车辆之间的距离、拍摄图像中的对象的尺寸或者拍摄图像中的对象与显示单元的显示面积的比率；并且对所述预定返回条件所定义的阈值是对象与车辆之间的距离、拍摄图像中的对象的尺寸或者拍摄图像中的对象与显示单元的显示面积的比率，并且其中，对所述预定的广角条件所定义的所述阈值与对所述预定返回条件所定义的所述阈值是不同的。
2.根据权利要求1所述的成像显示装置，其中，所述控制单元接收表示所述车辆向后移动的信号，并且当满足所述广角条件时，将所述拍摄图像的视角切换为比当前视角更广的视角。
3.根据权利要求1所述的成像显示装置，其中，以下情况中的至少一种情况满足所述广角条件：检测与所述车辆后方的对象相距的距离的检测单元检测到小于预定距离的距离，以及所述拍摄图像中的所述对象的面积大于预定面积。
4.根据权利要求2所述的成像显示装置，其中，以下情况中的至少一种情况满足所述广角条件：检测与所述车辆后方的对象相距的距离的检测单元检测到小于预定距离的距离，以及所述拍摄图像中的所述对象的面积大于预定面积。
5.根据权利要求1至4的任意一项所述的成像显示装置，其中，当其它车辆被检测为所述对象并且满足所述广角条件时，所述控制单元将所述拍摄图像的视角切换为比当前视角更广的视角。
6.根据权利要求5所述的成像显示装置，其中，当将视角切换为广角时，所述控制单元将所述视角切换为作为所述对象的所述其它车辆的横向宽度得以显示的范围的视角，或者切换为作为所述对象的所述其它车辆的轮廓的至少一部分得以显示在所述显示单元上的范围的视角。
7.根据权利要求1至4的任意一项所述的成像显示装置，其中，当进行所述视角切换控制时，所述控制单元切换视角，使得随着与所述对象相距的距离减小或者随着所述对象在所述拍摄图像中的尺寸增大，所述视角逐渐变为更广的视角。
8.根据权利要求5所述的成像显示装置，其中，当进行所述视角切换控制时，所述控制单元切换视角，使得随着与所述对象相距的距离减小或者随着所述对象在所述拍摄图像中的尺寸增大，所述视角逐渐变为更广的视角。
9.根据权利要求6所述的成像显示装置，其中，当进行所述视角切换控制时，所述控制单元切换视角，使得随着与所述对象相距的距离减小或者随着所述对象在所述拍摄图像中的尺寸增大，所述视角逐渐变为更广的视角。
10.根据权利要求1至4的任意一项所述的成像显示装置，其中，当视角被切换为更广的视角时，所述控制单元还进行通知正在切换所述视角的通知控制。
11.根据权利要求5所述的成像显示装置，其中，当视角被切换为更广的视角时，所述控制单元还进行通知正在切换所述视角的通知控制。
12.根据权利要求6所述的成像显示装置，其中，当视角被切换为更广的视角时，所述控制单元还进行通知正在切换所述视角的通知控制。
13.根据权利要求7所述的成像显示装置，其中，当视角被切换为更广的视角时，所述控制单元还进行通知正在切换所述视角的通知控制。
14.根据权利要求8所述的成像显示装置，其中，当视角被切换为更广的视角时，所述控制单元还进行通知正在切换所述视角的通知控制。
15.根据权利要求9所述的成像显示装置，其中，当视角被切换为更广的视角时，所述控制单元还进行通知正在切换所述视角的通知控制。
16.一种存储有程序的记录介质，其中，所述程序是成像显示程序，该成像显示程序使得计算机用作根据权利要求1至15的任意一项所述的成像显示装置的所述控制单元。
CN201710811446.6A 2016-10-25 2017-09-11 车辆用成像显示装置以及记录介质 Active CN107972583B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016208407 2016-10-25
JP2016-208407 2016-10-25
JP2016242151A JP6555240B2 (ja) 2016-10-25 2016-12-14 車両用撮影表示装置及び車両用撮影表示プログラム
JP2016-242151 2016-12-14

Publications (2)

Publication Number Publication Date
CN107972583A CN107972583A (zh) 2018-05-01
CN107972583B true CN107972583B (zh) 2021-06-25

Family

ID=59887036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710811446.6A Active CN107972583B (zh) 2016-10-25 2017-09-11 车辆用成像显示装置以及记录介质

Country Status (3)

Country Link
US (1) US10897572B2 (zh)
EP (1) EP3315366B1 (zh)
CN (1) CN107972583B (zh)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0632175A (ja) 1992-07-18 1994-02-08 Nissan Motor Co Ltd 車両用後方撮像装置
JP3424386B2 (ja) 1995-05-01 2003-07-07 三菱自動車工業株式会社 車両後方監視装置
RU10827U1 (ru) 1999-01-22 1999-08-16 Общество с ограниченной ответственностью "ДКМ Венчурные проекты" Стабилизатор давления
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
JP2001197482A (ja) 1999-10-29 2001-07-19 Nippon Seiki Co Ltd 車両用監視装置
JP3924683B2 (ja) 2003-10-02 2007-06-06 株式会社ナビタイムジャパン ナビゲーション装置、ナビゲーション方法およびプログラム
JP2006264574A (ja) 2005-03-25 2006-10-05 Matsushita Electric Ind Co Ltd 車載カメラ及び車載カメラシステム
JP2009059006A (ja) * 2007-08-30 2009-03-19 Pentel Corp 座標入力装置
JP2009060404A (ja) * 2007-08-31 2009-03-19 Denso Corp 映像処理装置
JP5194679B2 (ja) 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5320970B2 (ja) 2008-10-15 2013-10-23 日産自動車株式会社 車両用表示装置および表示方法
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
RU102827U1 (ru) 2010-09-24 2011-03-10 Общество с ограниченной ответственностью "ЛП7" Машиночитаемый носитель информации
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
JP2013191050A (ja) * 2012-03-14 2013-09-26 Toyota Motor Corp 車両周辺監視装置
US9139135B2 (en) * 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
CN202847557U (zh) * 2012-09-11 2013-04-03 长安大学 一种自主循迹的倒车辅助装置
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
DE102013012810A1 (de) * 2013-08-01 2015-02-05 Connaught Electronics Ltd. Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
JP6323018B2 (ja) 2014-01-17 2018-05-16 株式会社デンソー 運転支援装置
KR20150110860A (ko) 2014-03-20 2015-10-05 엘에스산전 주식회사 차량의 펌웨어 업데이트 장치 및 그 방법
JP2016034091A (ja) 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
KR101677856B1 (ko) 2015-08-06 2016-11-18 연세대학교 산학협력단 차량용 후방 카메라 시스템
JP6590628B2 (ja) * 2015-10-09 2019-10-16 キヤノン株式会社 撮像装置、その制御方法、およびプログラム、並びに記憶媒体

Also Published As

Publication number Publication date
US20180115708A1 (en) 2018-04-26
CN107972583A (zh) 2018-05-01
EP3315366A1 (en) 2018-05-02
US10897572B2 (en) 2021-01-19
EP3315366B1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
JP4985250B2 (ja) 駐車支援装置
JP6624105B2 (ja) 画像表示装置
JP6683451B2 (ja) 車両用視認装置
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
EP3566904B1 (en) Image display apparatus
JP5213063B2 (ja) 車両表示装置および表示方法
JP2005311868A (ja) 車両周辺視認装置
JP2010130646A (ja) 車両周辺確認装置
JP6744236B2 (ja) 画像表示装置
JP2010130647A (ja) 車両周辺確認装置
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP2013161440A (ja) 車両周辺監視装置
JP2019116220A (ja) 車両用視認装置
KR101941607B1 (ko) 차량용 촬영 표시 장치 및 기록 매체
CN107972583B (zh) 车辆用成像显示装置以及记录介质
JP2005182305A (ja) 車両走行支援装置
CN111186375B (zh) 车辆用电子镜***
JP4449618B2 (ja) 車両周辺監視システム
JP6602721B2 (ja) 車両用視認装置
JP4799236B2 (ja) 車載表示システム
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
CN113051997A (zh) 用于监视车辆周围环境的设备和非暂时性计算机可读介质
JP2020093574A (ja) 表示制御装置、表示制御システム、表示制御方法、および表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant