CN114677425A - 确定物体景深的方法与装置 - Google Patents

确定物体景深的方法与装置 Download PDF

Info

Publication number
CN114677425A
CN114677425A CN202210266067.4A CN202210266067A CN114677425A CN 114677425 A CN114677425 A CN 114677425A CN 202210266067 A CN202210266067 A CN 202210266067A CN 114677425 A CN114677425 A CN 114677425A
Authority
CN
China
Prior art keywords
image data
real
field
historical
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210266067.4A
Other languages
English (en)
Inventor
程大治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaoma Huixing Technology Co ltd
Original Assignee
Beijing Xiaoma Huixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoma Huixing Technology Co ltd filed Critical Beijing Xiaoma Huixing Technology Co ltd
Priority to CN202210266067.4A priority Critical patent/CN114677425A/zh
Publication of CN114677425A publication Critical patent/CN114677425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种确定物体景深的方法与装置。该方法包括：获取多张历史图像数据，多张历史图像数据是采用视场角不同的多个图像采集设备，在历史时间段内拍摄距离车辆同一距离和/或不同距离处的历史目标物得到的；采用各历史图像数据和与各历史图像数据对应的历史目标物的景深，进行训练得到归一化模型；获取实时图像数据，且采用归一化模型确定出与实时图像数据对应的实时目标物计算景深；采用拍摄实时图像数据的图像采集设备的相关参量，对实时目标物计算景深进行反归一化处理，得到与实时图像数据对应的实时目标物的真实景深。本方案的归一化模型适用于不同视角的图像采集设备，不同距离的目标物。

Description

确定物体景深的方法与装置
技术领域
本申请涉及计算机视觉领域，具体而言，涉及一种确定物体景深的方法、装置、计算机可读存储介质、处理器、车辆与***。
背景技术
计算机视觉主要是通过计算机以及相关视觉传感器对生物视觉的一种模拟。首先采用视觉传感器获取外界图像，再将外界图像转换成数字信号，实现对图像的数据化处理。
对物体景深进行估计是计算机视觉的一个重要的分支，现有的方案常采用简单的单目场景深度估计方法和双目场景深度估计方法，采用单目相机获取的特征较少，采用双目相机需要进行立体图像匹配，计算比较复杂，采用单目场景深度估计方法和双目场景深度估计方法均造成准确度不高的问题。
发明内容
本申请的主要目的在于提供一种确定物体景深的方法、装置、计算机可读存储介质、处理器、车辆与***，以至少解决对物体景深进行估计的方法准确度较低的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种确定物体景深的方法，所述方法应用于车辆驾驶***，所述车辆驾驶***包括车辆和安装在所述车辆上的视场角不同的多个图像采集设备，包括：获取多张历史图像数据，多张所述历史图像数据是采用视场角不同的多个所述图像采集设备，在历史时间段内拍摄距离所述车辆同一距离和/或不同距离处的历史目标物得到的；采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型；获取实时图像数据，且采用所述归一化模型确定出与所述实时图像数据对应的实时目标物计算景深；采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深。
进一步地，采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深，包括：根据所述图像采集设备的相关参量，确定实时目标物计算景深与要确定的所述实时目标物的真实景深之间的比值关系；根据所述比值关系和所述实时目标物计算景深，确定所述实时目标物的真实景深。
进一步地，采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型，包括：对各所述历史图像数据进行滤波处理和阈值分割处理，得到与各所述历史图像数据对应的处理后的历史图像数据；采用各所述处理后的历史图像数据和与各所述处理后的历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型。
进一步地，采用各所述处理后的历史图像数据和与各所述处理后的历史图像数据对应所述历史目标物的景深，进行训练得到归一化模型，包括：提取出所述处理后的历史图像数据的多种不同的特征参数，且所述处理后的历史图像数据的一个颜色通道代表一种所述特征参数；采用各所述处理后的历史图像数据的多种不同的所述特征参数，以及与各所述处理后的历史图像数据对应所述历史目标物的景深，进行训练得到归一化模型。
进一步地，在所述图像采集设备有三个的情况下，采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型，包括：构建训练集，所述训练集包括第一视场角图像采集设备拍摄得到的第一数量的所述历史图像数据，第二视场角图像采集设备拍摄得到的第二数量的所述历史图像数据，第三视场角图像采集设备拍摄得到的第三数量的所述历史图像数据，其中，所述第一数量至少是由所述第一视场角的大小、所述第一视场角图像采集设备与所述车辆的相对位置关系和所述历史目标物与所述车辆的相对位置关系决定的，所述第二数量至少是由所述第二视场角的大小、所述第二视场角图像采集设备与所述车辆的相对位置关系和所述历史目标物与所述车辆的相对位置关系决定的，所述第三数量至少是由所述第三视场角的大小、所述第三视场角图像采集设备与所述车辆的相对位置关系和所述历史目标物与所述车辆的相对位置关系决定的；采用所述训练集进行训练，得到所述归一化模型。
进一步地，在采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练的过程中，所述方法还包括：获取所述归一化模型得到的输出结果和所述历史目标物的景深之间的误差；根据所述误差调整所述第一数量、所述第二数量和所述第三数量中的至少之一。
进一步地，在采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深之后，所述方法还包括：根据所述实时目标物的真实景深，确定所述车辆的行驶速度和行驶加速度。
进一步地，所述图像采集设备的相关参量包括所述图像采集设备的坐标与世界坐标之间的相对位姿、所述图像采集设备的光心位置、所述图像采集设备的畸变量。
进一步地，所述视场角为以下之一:30°、60°、90°、120°。
进一步地，所述归一化模型为卷积神经网络模型，所述卷积神经网络模型包括输入层、输出层和隐含层。
根据本申请的另一个方面，提供了一种确定物体景深的装置，所述装置应用于车辆驾驶***，所述车辆驾驶***包括车辆和安装在所述车辆上的视场角不同的多个图像采集设备，包括：第一获取单元，用于获取多张历史图像数据，多张所述历史图像数据是采用视场角不同的多个所述图像采集设备，在历史时间段内拍摄距离所述车辆同一距离和/或不同距离处的历史目标物得到的；训练单元，用于采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型；第二获取单元，用于获取实时图像数据，且采用所述归一化模型确定出所述实时图像数据对应的实时目标物计算景深；处理单元，用于采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深。
根据本申请的另一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
根据本申请的另一个方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。
根据本申请的又一个方面，提供了一种车辆，包括一个或多个处理器，存储器以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。
根据本申请的再一个方面，提供了一种***，包括所述的车辆和多个视场角不同的多个图像采集设备，所述图像采集设备安装在所述车辆上，所述图像采集设备与所述车辆通信。
应用本申请的技术方案，通过获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。由于归一化模型是采用视场角不同的多个上述图像采集设备采集距离上述车辆同一距离和/或不同距离处的历史目标物得到的，使得得到的归一化模型适用于不同视角的图像采集设备，不同距离的目标物。即训练得到了一种通用的模型，可以求取到视场角不同的上述图像采集设备采集得到的图像对应的目标物的景深，然后再经过反归一化处理，得到实时目标物的真实景深。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的实施例的确定物体景深的方法流程图；
图2示出了根据本申请的实施例的确定物体景深的装置示意图；
图3示出了根据本申请的实施例的求解归一化乘数的原理图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
正如背景技术中所介绍的，现有技术中对物体景深进行估计的方法准确度较低，为解决对物体景深进行估计的方法准确度较低的问题，本申请的实施例提供了一种确定物体景深的方法、装置、计算机可读存储介质、处理器、车辆与***。
根据本申请的实施例，提供了一种确定物体景深的方法。
图1是根据本申请实施例的确定物体景深的方法的流程图。上述方法应用于车辆驾驶***，上述车辆驾驶***包括车辆和安装在上述车辆上的视场角不同的多个图像采集设备，如图1所示，该方法包括以下步骤：
步骤S101，获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的；
步骤S102，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型；
步骤S103，获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深；
步骤S104，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。
具体地，上述图像采集设备可以选用相机。
上述方案中，通过获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。由于归一化模型是采用视场角不同的多个上述图像采集设备采集距离上述车辆同一距离和/或不同距离处的历史目标物得到的，使得得到的归一化模型适用于不同视角的图像采集设备，不同距离的目标物。即训练得到了一种通用的模型，可以求取到视场角不同的上述图像采集设备采集得到的图像对应的目标物的景深，然后再经过反归一化处理，得到实时目标物的真实景深。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
一种可选的实施例中，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深，包括：根据上述图像采集设备的相关参量，确定实时目标物计算景深与要确定的上述实时目标物的真实景深之间的比值关系；根据上述比值关系和上述实时目标物计算景深，确定上述实时目标物的真实景深。即经过反归一化得到实时目标物计算景深与实时目标物的真实景深之间的对应关系，由于景深就是距离信息，即得到实时目标物计算景深与实时目标物的真实景深之间的比值关系，然后根据归一化模型得到的实时目标物计算景深和比值关系，确定实时目标物的真实景深。实现对实时目标物的真实景深的精确确定。
本申请的一种具体的实施例中，获取物体景深的方法包括如下步骤：
步骤1：将3D目标物的中心点的齐次坐标左乘相机外参矩阵，再左乘相机内参矩阵，得到3D目标物中心点在图像平面中的二维坐标；
步骤2：将3D目标物中心点在图像平面中的二维坐标通过内参矩阵进行归一化，得到3D目标物中心点在归一化图像平面上的坐标；
步骤3：如图3所示，从相机中心M向3D目标物中心点在归一化图像平面Z上的二维坐标N发射射线，并在预定深度处(例如10米)截取射线得到一个点P，基于点P构造一个球体B(例如，直径为1厘米)，然后将球体B投影至归一化图像平面Z上，得到一个圆C，求得该圆的宽度所占的像素数量，将像素数除以球的直径得到归一化乘数；
步骤4：将标注得到的3D目标物的深度(即真实深度)除以归一化乘数，得到归一化后的物体深度，并作为深度学习回归目标；
步骤5：反归一化：对于一个图像上的物体的二维包围框，归一化模型会估计一个归一化后的深度。进行反归一化时，将框的中心点作为二维坐标，进行上述步骤2和步骤3，得到归一化乘数。将模型估计的深度乘以归一化乘数，即可得到反归一化后的深度，也就是真实深度。
一种可选的实施例中，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，包括：对各上述历史图像数据进行滤波处理和阈值分割处理，得到与各上述历史图像数据对应的处理后的历史图像数据；采用各上述处理后的历史图像数据和与各上述处理后的历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型。具体地，滤波处理是为了滤除历史图像数据的噪声，阈值分割处理是为了进行二值化分割。采用处理后的历史图像数据有利于模型的训练，保证训练得到的归一化模型的准确性。
一种可选的实施例中，采用各上述处理后的历史图像数据和与各上述处理后的历史图像数据对应上述历史目标物的景深，进行训练得到归一化模型，包括：提取出上述处理后的历史图像数据的多种不同的特征参数，且上述处理后的历史图像数据的一个颜色通道代表一种上述特征参数；采用各上述处理后的历史图像数据的多种不同的上述特征参数，以及与各上述处理后的历史图像数据对应上述历史目标物的景深，进行训练得到归一化模型。模型的训练其实就是对参数进行训练，提取出上述处理后的历史图像数据的多种不同的特征参数，再进行训练，可以得到准确的归一化模型。
具体地，处理后的历史图像数据有十个颜色通道，每一个颜色通道可以代表一种特征参数，进而可以采用不同的颜色通道对应的图像进行训练得到归一化模型。
一种可选的实施例中，在上述图像采集设备有三个的情况下，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，包括：构建训练集，上述训练集包括第一视场角图像采集设备拍摄得到的第一数量的上述历史图像数据，第二视场角图像采集设备拍摄得到的第二数量的上述历史图像数据，第三视场角图像采集设备拍摄得到的第三数量的上述历史图像数据，其中，上述第一数量至少是由上述第一视场角的大小、上述第一视场角图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系决定的，上述第二数量至少是由上述第二视场角的大小、上述第二视场角图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系决定的，上述第三数量至少是由上述第三视场角的大小、上述第三视场角图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系决定的；采用上述训练集进行训练，得到上述归一化模型。即可以根据视场角的大小、图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系等参数决定训练集中的数据的多少，通过适应性地调整，保证训练得到的归一化模型较好的适用性和较高的准确性。
一种可选的实施例中，在采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练的过程中，上述方法还包括：获取上述归一化模型得到的输出结果和上述历史目标物的景深之间的误差；根据上述误差调整上述第一数量、上述第二数量和上述第三数量中的至少之一。即在训练过程中为保证模型的参数的准确性，可以根据归一化模型得到的输出结果和上述历史目标物的景深之间的误差调整第一数量、上述第二数量和上述第三数量中的至少之一。
另一种实施例中，可以根据归一化模型得到的输出结果和上述历史目标物的景深之间的误差调整模型中的参数。例如，调整网络的层数。
一种可选的实施例中，在采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深之后，上述方法还包括：根据上述实时目标物的真实景深，确定上述车辆的行驶速度和行驶加速度。即根据实时目标物的真实景深，指导实时导航。
一种可选的实施例中，上述图像采集设备的相关参量包括上述图像采集设备的坐标与世界坐标之间的相对位姿、上述图像采集设备的光心位置、上述图像采集设备的畸变量。当然，相关参量还包括除图像采集设备的坐标与世界坐标之间的相对位姿、上述图像采集设备的光心位置、上述图像采集设备的畸变量之外的其他参数，本领域技术人员可以根据实际需求进行选择。
一种可选的实施例中，上述视场角为以下之一：30°、60°、90°、120°。当然，视场角还可以是除30°、60°、90°、120°以外的视场角。
一种可选的实施例中，上述归一化模型为卷积神经网络模型，上述卷积神经网络模型包括输入层、输出层和隐含层。
本申请实施例还提供了一种确定物体景深的装置，需要说明的是，本申请实施例的确定物体景深的装置可以用于执行本申请实施例所提供的用于确定物体景深的方法。以下对本申请实施例提供的确定物体景深的装置进行介绍。
图2是根据本申请实施例的确定物体景深的装置的示意图。上述装置应用于车辆驾驶***，上述车辆驾驶***包括车辆和安装在上述车辆上的视场角不同的多个图像采集设备，如图2所示，该装置包括：
第一获取单元10，用于获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的；
训练单元20，用于采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型；
第二获取单元30，用于获取实时图像数据，且采用上述归一化模型确定出上述实时图像数据对应的实时目标物计算景深；
处理单元40，用于采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。
上述方案中，第一获取单元获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的，训练单元采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，第二获取单元获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深，处理单元采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。由于归一化模型是采用视场角不同的多个上述图像采集设备采集距离上述车辆同一距离和/或不同距离处的历史目标物得到的，使得得到的归一化模型适用于不同视角的图像采集设备，不同距离的目标物。即训练得到了一种通用的模型，可以求取到视场角不同的上述图像采集设备采集得到的图像对应的目标物的景深，然后再经过反归一化处理，得到实时目标物的真实景深。
一种可选的实施例中，处理单元包括第一确定模块和第二确定模块，第一确定模块用于根据上述图像采集设备的相关参量，确定实时目标物计算景深与要确定的上述实时目标物的真实景深之间的比值关系；第二确定模块用于根据上述比值关系和上述实时目标物计算景深，确定上述实时目标物的真实景深。即经过反归一化得到实时目标物计算景深与实时目标物的真实景深之间的对应关系，由于景深就是距离信息，即得到实时目标物计算景深与实时目标物的真实景深之间的比值关系，然后根据归一化模型得到的实时目标物计算景深和比值关系，确定实时目标物的真实景深。实现对实时目标物的真实景深的精确确定。
一种可选的实施例中，训练单元包括处理模块和第一训练模块，处理模块用于对各上述历史图像数据进行滤波处理和阈值分割处理，得到与各上述历史图像数据对应的处理后的历史图像数据；第一训练模块用于采用各上述处理后的历史图像数据和与各上述处理后的历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型。具体地，滤波处理是为了滤除历史图像数据的噪声，阈值分割处理是为了进行二值化分割。采用处理后的历史图像数据有利于模型的训练，保证训练得到的归一化模型的准确性。
一种可选的实施例中，第一训练模块包括提取子模块和训练子模块，提取子模块用于提取出上述处理后的历史图像数据的多种不同的特征参数，且上述处理后的历史图像数据的一个颜色通道代表一种上述特征参数；训练子模块用于采用各上述处理后的历史图像数据的多种不同的上述特征参数，以及与各上述处理后的历史图像数据对应上述历史目标物的景深，进行训练得到归一化模型。模型的训练其实就是对参数进行训练，提取出上述处理后的历史图像数据的多种不同的特征参数，再进行训练，可以得到准确的归一化模型。
一种可选的实施例中，在上述图像采集设备有三个的情况下，训练单元包括构建模块和第二训练模块，构建模块用于构建训练集，上述训练集包括第一视场角图像采集设备拍摄得到的第一数量的上述历史图像数据，第二视场角图像采集设备拍摄得到的第二数量的上述历史图像数据，第三视场角图像采集设备拍摄得到的第三数量的上述历史图像数据，其中，上述第一数量至少是由上述第一视场角的大小、上述第一视场角图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系决定的，上述第二数量至少是由上述第二视场角的大小、上述第二视场角图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系决定的，上述第三数量至少是由上述第三视场角的大小、上述第三视场角图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系决定的；第二训练模块用于采用上述训练集进行训练，得到上述归一化模型。即可以根据视场角的大小、图像采集设备与上述车辆的相对位置关系和上述历史目标物与上述车辆的相对位置关系等参数决定训练集中的数据的多少，通过适应性地调整，保证训练得到的归一化模型较好的适用性和较高的准确性。
一种可选的实施例中，上述装置还包括第三获取单元和调整单元，第三获取单元用于在采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练的过程中，获取上述归一化模型得到的输出结果和上述历史目标物的景深之间的误差；调整单元用于根据上述误差调整上述第一数量、上述第二数量和上述第三数量中的至少之一。即在训练过程中为保证模型的参数的准确性，可以根据归一化模型得到的输出结果和上述历史目标物的景深之间的误差调整第一数量、上述第二数量和上述第三数量中的至少之一。
一种可选的实施例中，上述装置还包括确定单元，确定单元用于在采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深之后，根据上述实时目标物的真实景深，确定上述车辆的行驶速度和行驶加速度。即根据实时目标物的真实景深，指导实时导航。
所述确定物体景深的装置包括处理器和存储器，上述第一获取单元、训练单元、第二获取单元和处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来精确确定物体的景深。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行所述确定物体景深的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述确定物体景深的方法。
本发明实施例提供了一种车辆，包括一个或多个处理器，存储器以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的方法。
本发明实施例提供了一种***，包括上述的车辆和多个视场角不同的多个图像采集设备，上述图像采集设备安装在上述车辆上，上述图像采集设备与上述车辆通信。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S101，获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的；
步骤S102，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型；
步骤S103，获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深；
步骤S104，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的；
步骤S102，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型；
步骤S103，获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深；
步骤S104，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请的确定物体景深的方法，通过获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的，采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深，采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。由于归一化模型是采用视场角不同的多个上述图像采集设备采集距离上述车辆同一距离和/或不同距离处的历史目标物得到的，使得得到的归一化模型适用于不同视角的图像采集设备，不同距离的目标物。即训练得到了一种通用的模型，可以求取到视场角不同的上述图像采集设备采集得到的图像对应的目标物的景深，然后再经过反归一化处理，得到实时目标物的真实景深。
2)、本申请的确定物体景深的装置，第一获取单元获取多张历史图像数据，多张上述历史图像数据是采用视场角不同的多个上述图像采集设备，在历史时间段内拍摄距离上述车辆同一距离和/或不同距离处的历史目标物得到的，训练单元采用各上述历史图像数据和与各上述历史图像数据对应的上述历史目标物的景深，进行训练得到归一化模型，第二获取单元获取实时图像数据，且采用上述归一化模型确定出与上述实时图像数据对应的实时目标物计算景深，处理单元采用拍摄上述实时图像数据的上述图像采集设备的相关参量，对上述实时目标物计算景深进行反归一化处理，得到与上述实时图像数据对应的上述实时目标物的真实景深。由于归一化模型是采用视场角不同的多个上述图像采集设备采集距离上述车辆同一距离和/或不同距离处的历史目标物得到的，使得得到的归一化模型适用于不同视角的图像采集设备，不同距离的目标物。即训练得到了一种通用的模型，可以求取到视场角不同的上述图像采集设备采集得到的图像对应的目标物的景深，然后再经过反归一化处理，得到实时目标物的真实景深。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种确定物体景深的方法，其特征在于，所述方法应用于车辆驾驶***，所述车辆驾驶***包括车辆和安装在所述车辆上的视场角不同的多个图像采集设备，包括：
获取多张历史图像数据，多张所述历史图像数据是采用视场角不同的多个所述图像采集设备，在历史时间段内拍摄距离所述车辆同一距离和/或不同距离处的历史目标物得到的；
采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型；
获取实时图像数据，且采用所述归一化模型确定出与所述实时图像数据对应的实时目标物计算景深；
采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深。
2.根据权利要求1所述的方法，其特征在于，采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深，包括：
根据所述图像采集设备的相关参量，确定实时目标物计算景深与要确定的所述实时目标物的真实景深之间的比值关系；
根据所述比值关系和所述实时目标物计算景深，确定所述实时目标物的真实景深。
3.根据权利要求1所述的方法，其特征在于，采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型，包括：
对各所述历史图像数据进行滤波处理和阈值分割处理，得到与各所述历史图像数据对应的处理后的历史图像数据；
采用各所述处理后的历史图像数据和与各所述处理后的历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型。
4.根据权利要求3所述的方法，其特征在于，采用各所述处理后的历史图像数据和与各所述处理后的历史图像数据对应所述历史目标物的景深，进行训练得到归一化模型，包括：
提取出所述处理后的历史图像数据的多种不同的特征参数，且所述处理后的历史图像数据的一个颜色通道代表一种所述特征参数；
采用各所述处理后的历史图像数据的多种不同的所述特征参数，以及与各所述处理后的历史图像数据对应所述历史目标物的景深，进行训练得到归一化模型。
5.根据权利要求1所述的方法，其特征在于，在所述图像采集设备有三个的情况下，采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型，包括：
构建训练集，所述训练集包括第一视场角图像采集设备拍摄得到的第一数量的所述历史图像数据，第二视场角图像采集设备拍摄得到的第二数量的所述历史图像数据，第三视场角图像采集设备拍摄得到的第三数量的所述历史图像数据，其中，所述第一数量至少是由所述第一视场角的大小、所述第一视场角图像采集设备与所述车辆的相对位置关系和所述历史目标物与所述车辆的相对位置关系决定的，所述第二数量至少是由所述第二视场角的大小、所述第二视场角图像采集设备与所述车辆的相对位置关系和所述历史目标物与所述车辆的相对位置关系决定的，所述第三数量至少是由所述第三视场角的大小、所述第三视场角图像采集设备与所述车辆的相对位置关系和所述历史目标物与所述车辆的相对位置关系决定的；
采用所述训练集进行训练，得到所述归一化模型。
6.根据权利要求5所述的方法，其特征在于，在采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练的过程中，所述方法还包括：
获取所述归一化模型得到的输出结果和所述历史目标物的景深之间的误差；
根据所述误差调整所述第一数量、所述第二数量和所述第三数量中的至少之一。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深之后，所述方法还包括：
根据所述实时目标物的真实景深，确定所述车辆的行驶速度和行驶加速度。
8.根据权利要求1至6中任一项所述的方法，其特征在于，所述图像采集设备的相关参量包括所述图像采集设备的坐标与世界坐标之间的相对位姿、所述图像采集设备的光心位置、所述图像采集设备的畸变量。
9.根据权利要求1至6中任一项所述的方法，其特征在于，所述视场角为以下之一:
30°、60°、90°、120°。
10.根据权利要求1至6中任一项所述的方法，其特征在于，所述归一化模型为卷积神经网络模型，所述卷积神经网络模型包括输入层、输出层和隐含层。
11.一种确定物体景深的装置，其特征在于，所述装置应用于车辆驾驶***，所述车辆驾驶***包括车辆和安装在所述车辆上的视场角不同的多个图像采集设备，包括：
第一获取单元，用于获取多张历史图像数据，多张所述历史图像数据是采用视场角不同的多个所述图像采集设备，在历史时间段内拍摄距离所述车辆同一距离和/或不同距离处的历史目标物得到的；
训练单元，用于采用各所述历史图像数据和与各所述历史图像数据对应的所述历史目标物的景深，进行训练得到归一化模型；
第二获取单元，用于获取实时图像数据，且采用所述归一化模型确定出所述实时图像数据对应的实时目标物计算景深；
处理单元，用于采用拍摄所述实时图像数据的所述图像采集设备的相关参量，对所述实时目标物计算景深进行反归一化处理，得到与所述实时图像数据对应的所述实时目标物的真实景深。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至10中任意一项所述的方法。
13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至10中任意一项所述的方法。
14.一种车辆，其特征在于，包括一个或多个处理器，存储器以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至10中任意一项所述的方法。
15.一种***，其特征在于，包括权利要求14所述的车辆和多个视场角不同的多个图像采集设备，所述图像采集设备安装在所述车辆上，所述图像采集设备与所述车辆通信。
CN202210266067.4A 2022-03-17 2022-03-17 确定物体景深的方法与装置 Pending CN114677425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210266067.4A CN114677425A (zh) 2022-03-17 2022-03-17 确定物体景深的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210266067.4A CN114677425A (zh) 2022-03-17 2022-03-17 确定物体景深的方法与装置

Publications (1)

Publication Number Publication Date
CN114677425A true CN114677425A (zh) 2022-06-28

Family

ID=82075108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210266067.4A Pending CN114677425A (zh) 2022-03-17 2022-03-17 确定物体景深的方法与装置

Country Status (1)

Country Link
CN (1) CN114677425A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118532A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 视觉景深估计方法、装置、设备及存储介质
WO2019137081A1 (zh) * 2018-01-11 2019-07-18 华为技术有限公司 一种图像处理方法、图像处理装置及拍照设备
CN111426299A (zh) * 2020-06-15 2020-07-17 北京三快在线科技有限公司 一种基于目标物的景深进行测距的方法及装置
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118532A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 视觉景深估计方法、装置、设备及存储介质
WO2019137081A1 (zh) * 2018-01-11 2019-07-18 华为技术有限公司 一种图像处理方法、图像处理装置及拍照设备
CN111426299A (zh) * 2020-06-15 2020-07-17 北京三快在线科技有限公司 一种基于目标物的景深进行测距的方法及装置
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109461181B (zh) 基于散斑结构光的深度图像获取方法及***
US9521391B2 (en) Settings of a digital camera for depth map refinement
CN107705333B (zh) 基于双目相机的空间定位方法及装置
US9805294B2 (en) Method for denoising time-of-flight range images
US10740964B2 (en) Three-dimensional environment modeling based on a multi-camera convolver system
AU2011362799B2 (en) 3D streets
CN105303514A (zh) 图像处理方法和装置
CN109300151B (zh) 图像处理方法和装置、电子设备
CN103477644A (zh) 记录图像和从图像获得3d信息的方法、相机***
CN111080526A (zh) 航拍图像的农田面积的测算方法、装置、设备及介质
CN111986472B (zh) 车辆速度确定方法及车辆
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN113447923A (zh) 目标检测方法、装置、***、电子设备及存储介质
CN112511767B (zh) 一种视频拼接方法及设备、存储介质
AU2013273843A1 (en) Motion blur compensation for depth from defocus
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建***和方法
CA3046003C (en) Systems and methods for augmented reality applications
CN117132737B (zh) 一种三维建筑模型构建方法、***及设备
CN105488780A (zh) 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
CN112116068A (zh) 一种环视图像拼接方法、设备及介质
CN112907657A (zh) 一种机器人重定位方法、装置、设备及存储介质
Maki et al. 3d model generation of cattle using multiple depth-maps for ict agriculture
CN114677425A (zh) 确定物体景深的方法与装置
CN115235493B (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
US11205064B1 (en) Measuring quality of depth images in real time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination