CN109429171A - 物体探测 - Google Patents

物体探测 Download PDF

Info

Publication number
CN109429171A
CN109429171A CN201810926919.1A CN201810926919A CN109429171A CN 109429171 A CN109429171 A CN 109429171A CN 201810926919 A CN201810926919 A CN 201810926919A CN 109429171 A CN109429171 A CN 109429171A
Authority
CN
China
Prior art keywords
vehicle
computer
storage box
method described
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810926919.1A
Other languages
English (en)
Inventor
斯图尔特·C·萨尔特
克莉丝汀·安·赫尔曼
彼得罗·布托洛
安妮特·琳恩·许布纳
保罗·肯尼思·德洛克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN109429171A publication Critical patent/CN109429171A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

识别在距离车辆的指定距离内的物体。为物体分配车辆内的位置,并且在该位置探测物体。在探测到处于位置中的物体时致动车辆部件。

Description

物体探测
技术领域
本发明涉及车辆技术领域,具体涉及物体探测。
背景技术
车辆可以将用户和货物运输到目的地。用户在到达车辆处时可能拥有在运输期间需要存储在车辆中的物体(例如行李)。在无人驾驶或自主车辆中,可能无法向用户传达车辆中的存储物体的可用位置或者确定是否已存储物体或已从其指定位置取回物体。因此,自主车辆中的当前问题是缺乏用于探测物体并且管理车辆中物体的位置的基础设施。
发明内容
根据本发明,提供一种方法,包含:
通过无线协议识别车辆的指定距离内和车辆外部的物体;
将识别出的物体分配到车辆中的位置;
探测物体处于位置;和
在探测到处于位置上的物体时致动车辆部件。
根据本发明的一个实施例,方法还包含:根据经由无线协议发送的标识符和由车辆图像传感器提供的图像中的一个或多个来识别物体。
根据本发明的一个实施例,将识别出的物体分配给车辆中的位置包括:将物体的特征与位置的特征进行比较。
根据本发明的一个实施例,位置是存储箱。
根据本发明的一个实施例,方法还包含:在存储箱中的收发器中接收来自与物体相关联的发射器的传输。
根据本发明的一个实施例,存储箱包括由实心壁形成的封闭空间。
根据本发明的一个实施例,壁中的一个或多个包括导电层。
根据本发明的一个实施例,方法还包含:从存储箱中的收发器接收对来自物体发射器的传输的确认。
根据本发明的一个实施例,车辆部件是变速器、动力传动***、制动器和转向器中的一个。
根据本发明的一个实施例,无线协议是蓝牙低功耗(BLE)。
根据本发明,提供一种***,包含计算机,计算机编程为:
通过无线协议识别车辆指定距离内和车辆外部的物体;
将识别出的物体分配到车辆中的位置;
探测物体处于位置;和
在探测到处于位置上的物体时致动车辆部件。
根据本发明的一个实施例,计算机还编程为:根据经由无线协议发送的标识符和由车辆图像传感器提供的图像中的一个或多个来识别物体。
根据本发明的一个实施例,计算机还编程为:通过将物体的特征与位置的特征进行比较来将识别出的物体分配到车辆中的位置。
根据本发明的一个实施例,位置是存储箱。
根据本发明的一个实施例,计算机还编程为:在存储箱中的收发器中接收来自与物体相关联的发射器的传输。
根据本发明的一个实施例,存储箱包括由实心壁形成的封闭空间。
根据本发明的一个实施例,壁中的一个或多个包括导电层。
根据本发明的一个实施例,计算机还编程为:从存储箱中的收发器接收对来自物体发射器的传输的确认。
根据本发明的一个实施例,车辆部件是发射器、动力传动***、制动器和转向器中的一个。
根据本发明的一个实施例,无线协议是蓝牙低功耗(BLE)。
附图说明
图1是用于管理车辆中和车辆附近的物体的示例***的框图;
图2是示例性车辆中的示例性位置的侧视图;
图3是示例物体的透视图;
图4是示例性物体和示例性车辆的视图;
图5是用于探测车辆的指定距离内的物体并且将物体分配到车辆中的位置的示例过程。
具体实施方式
一种***包括计算机,该计算机编程为通过无线协议识别车辆的指定距离内和车辆外部的物体、将识别出的物体分配到车辆中的位置、探测物体处于该位置、并且在探测到处于该位置上的物体时致动车辆部件。
计算机还可以编程为根据经由无线协议发送的标识符和由车辆图像传感器提供的图像中的一个或多个来识别物体。
计算机还可以编程为通过将物体的特征与位置的特征进行比较来将识别的物体分配到车辆中的位置。
该位置可以是存储箱。存储箱可包括由实心壁形成的封闭空间。一个或多个壁可包括导电层。计算机还可以编程为在存储箱中的收发器中接收来自与物体相关联的发射器的传输。计算机还可以编程为从存储箱中的收发器接收对来自物体发射器的传输的确认。
车辆部件是发射器、动力传动***、制动器和转向器中的一个。
无线协议是蓝牙低功耗(BLE)。
一种方法,包括通过无线协议识别车辆的指定距离内或车辆外部的物体、将识别出的物体分配到车辆中的位置、探测物体处于该位置、并且在探测到物体处于该位置时致动车辆部件。
该方法还可以包括根据经由无线协议发送的标识符和由车辆图像传感器提供的图像中的一个或多个来识别物体。将识别到的物体分配到车辆中的位置包括将物体的特征与位置的特征进行比较。
该位置可以是存储箱。存储箱可包括由实心壁形成的封闭空间。一个或多个壁可包括导电层。该方法还可以包括在存储箱中的收发器中接收来自与物体相关联的发射器的传输。该方法还可以包括从存储箱中的收发器接收对来自物体发射器的传输的确认。
还公开了一种编程为执行任何上述方法步骤的计算装置。还公开了一种包含该计算装置的车辆。还公开了一种计算机程序产品,包含存储可由计算机处理器执行的指令的计算机可读介质,以执行任何上述方法步骤。
图1示出了示例***100,其包括计算机105,该计算机105编程为识别车辆101的指定距离内的物体和车辆101外部的物体,并且将物体分配给车辆101中的位置。车辆101中的计算机105编程为从一个或多个传感器110接收收集数据115。例如,车辆101的数据115可以包括车辆101的位置、目标的位置等。位置数据可以是已知的形式,例如地理坐标(例如通过导航***(如已知的,使用全球定位***(GPS))获得的纬度和经度坐标)。数据115的其他示例可以包括车辆101***和部件的测量结果,例如车辆速度、车辆轨迹等。
如已知的,计算机105通常编程用于车辆101网络(例如包括通信总线)上的通信。计算机105可以通过网络、总线和/或其他有线或无线机制(例如车辆101中的有线或无线局域网),来向车辆101中的各种装置发送消息和/或从各种装置(例如控制器、致动器、传感器(包括传感器110)等)接收消息。可选地或另外地,在计算机105实际包含多个装置的情况下,车辆网络可以用于在本公开表示为计算机105的装置之间的通信。另外,计算机105可以编程用于与网络125通信,如下所述,网络125可以包括各种有线和/或无线网络技术,例如蜂窝、蓝牙、蓝牙低功耗(BLE)、有线和/或无线分组网络等。
数据存储装置106可以是任何已知类型,例如硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。数据存储装置106可以存储从传感器110发送的收集数据115。
传感器110可包括各种装置。例如,如已知地,车辆101中的各种控制器可以作为传感器110操作以经由车辆101网络或总线提供数据115,例如与车辆速度、加速度、位置、子***和/或部件状态等有关的数据115。此外,其他传感器110可包括摄像机、运动探测器等(即传感器110)以提供用于评估目标的位置、投射目标的路径、评估道路车道的位置等的数据115。传感器110还可以包括短程雷达、远程雷达、激光雷达和/或超声传感器。
收集数据115可以包括在车辆101中收集的各种数据。上面提供了收集数据115的示例,此外,通常使用一个或多个传感器110收集数据115,并且可以另外包括在计算机105中和/或服务器130处根据其计算的数据。通常,收集数据115可包括可由传感器110收集和/或根据这些数据计算的任何数据。
车辆101可包括多个车辆部件120。如本文所使用的,每个车辆部件120包括适于执行机械功能或操作(例如移动车辆、减慢或停止车辆、转向车辆等)的一个或多个硬件部件。部件120的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如可以包括方向盘、转向齿条等中的一个或多个)、制动部件、停车辅助部件、自适应巡航控制部件、自适应转向部件、存储箱、货舱等。
当计算机105操作车辆101时,车辆101是“自主”车辆101。出于本公开的目的,术语“自主车辆”用于指代以完全自主模式操作的车辆101。完全自主模式被定义为其中车辆101的推进装置(通常通过包括电动马达和/或内燃发动机的动力传动***)、制动装置和转向装置的每一个都由计算机105控制。半自主模式是其中车辆101推进装置(通常通过包括电动马达和/或内燃发动机的动力传动***)、制动装置和转向装置中的至少一个至少部分地由计算机105而不是操作人类操作者控制。
***100还可以包括连接到服务器130和数据存储装置135的网络125。计算机105还可以编程为经由网络125与如服务器130的一个或多个远程站点通信,这样的远程站点可以包括数据存储装置135。网络125表示车辆计算机105可以与远程服务器130通信的一个或多个机制。因此,网络125可以是各种有线或无线通信机制(包括有线(例如电缆和光纤)和/或无线(例如蜂窝、无线、卫星、微波和射频)通信机制和任何期望的网络拓扑(或当利用多个通信机制时的拓扑)的任何期望组合)中的一个或多个。示例性通信网络包括提供数据通信服务的无线通信网络(例如使用蓝牙、蓝牙低功耗(BLE)、IEEE 802.11、如专用短程通信(DSRC)的车辆到车辆(V2V)等)、局域网(LAN)和/或广域网(WAN)(包括因特网)。
车辆101包括在本说明书中通过存储箱140示例的多个存储位置。存储箱140可以设置在车辆101车厢中并且由车辆部件(例如地板、座椅、车顶等)支撑。存储箱140可以在运输期间容纳车辆101中的物体。计算机105可以将存储箱140的门142或舱盖从关闭状态致动到打开状态以允许物体的进出。例如,计算机105可以在探测到接近的物体时将存储箱140的门142致动到打开状态,以允许用户将物体存储在存储箱140中。如下所述,在将车辆101移动到下一个目的地之前,计算机105可以在确认物体在存储箱140中之后将存储箱140的门142致动到关闭状态。
存储箱140可以包括收发器145。收发器145经由车辆网络与计算机105通信。如下面进一步描述的,收发器145可以接收物体160可以发送的消息,例如发射器165可以发送的消息。在探测到来自物体的消息时,收发器145可以向计算机105发送消息以确认物体在存储箱140中。收发器145通过可以促进无线通信的天线、电路、芯片或其他电子部件来实现。收发器145可以编程为根据任何数量的有线或无线通信协议进行通信。例如,收发器145可以编程为根据卫星通信协议、基于蜂窝的通信协议(LTE(长期演进技术(Long TermEvolution)、3G(第三代移动通信)等)、蓝牙、蓝牙低功耗、以太网、控制器区域网络(CAN)协议、WiFi(无线)、本地互连网络(LIN)协议等。
***100可以包括用户装置150。如本文所使用的,“用户装置”是便携式计算装置,其包括存储器、处理器、显示器和一个或多个输入机构(例如触摸屏、按钮等)以及用于如本文所述的无线通信的硬件和软件。因此,用户装置150可以是包括处理器和存储器的各种计算装置(例如智能电话、平板电脑、个人数字助理等)中的任何一个。用户装置150可以使用网络125与车辆计算机105通信。例如,用户装置150可以利用如上述的无线技术通信地彼此连接和/或连接到车辆计算机105。用户装置150包括用户装置处理器155。
***100可包括物体160。物体可以是用户在车辆101中可运输的任何物体。换句话说,用户可以将物体160搬运到车辆101中并且将物体160运送到车辆101中的期望位置。例如,物体160可以是用户可以携带到车辆101上的行李箱、包裹、板条箱或任何其他物体160。
发射器165可以例如通过尼龙搭扣胶水、一个或多个紧固件(例如铆钉、U形钉、螺栓、绳子或绳索等)、或一些其他紧固装置固定到物体160上。发射器165可以例如嵌入在物体160的表面(如织物覆盖物)中和/或由物体160支撑,使得发射器165与物体160一起被运输(例如携带)。发射器165可以与计算机105以及存储箱140的收发器145通信。例如,发射器165可以通过网络125与计算机105和/或收发器145通信。发射器165可以直接与计算机105通信,即具有在没有中间装置的情况下发送或接收的通信。例如,当物体160接近车辆101时,发射器165可以直接向计算机105发送传输以允许计算机105探测物体160。另外地或可选地,发射器165可以与计算机105间接通信,即通过中间装置(例如存储箱140的收发器145)进行发送或接收的通信。例如,当物体160放置在存储箱140中时,发射器165可以间接地向计算机105发送传输(例如可以通过收发器145将传输中继到计算机105)以确认物体160在存储箱140中。发射器165可以是无线电发射器、雷达发射器、超声波发射器、和/或声纳发射器。
物体160的发射器165可以包括用于发送可以由例如计算机105和/或收发机145接收的传输的天线。该传输可以包括物体160唯一的承载消息和标识符。承载消息可以包括强度指示符,例如接收信号强度指示符(RSSI)。传输可以包括无线电波传输、编码数字消息、调制模拟消息等。发射器165可以包括电子振荡器以产生承载消息。标识符可以包括可以识别物体160的信息,例如物体160的描述符、物体160的特征等。发射器165可以包括用于使用已知的调制技术(例如振幅调制、频率调制、频移键控(例如在两个频率之间移位以发送数字数据)等)将标识符与承载消息组合的调制器电路。在探测到传输时,计算机105可以使用已知的解码技术对传输进行解码以识别物体160,例如可以识别传输中的标识符以确定物体160的描述符和/或特征。
图2示出了车辆101中的示例性存储位置。“存储位置”是车辆101中可以存储或存放物体160的例如用于运输的空间。计算机105可以根据可以映射到车身内的空间(例如乘客车厢、货舱等)的三维笛卡尔坐标系或其他坐标系来维护车辆101中的存储位置列表。例如,计算机105可以根据每个位置的大体唯一的标识符和/或描述符(例如“行李箱”、“在前排乘客座椅下”等)以及指定与每个相应位置相关联的车辆空间的一组坐标(例如坐标x、y、z)、指定用于指定作为存储位置的空间的矩形实体的顶点的三元组,来维护可能的存储位置的列表。例如,存储位置可以是设置在车辆101车厢中的存储箱140。可选地,存储位置可以在车辆货舱中,例如行李箱中。计算机105可以存储指示存储箱140的空间的一组笛卡尔坐标和/或可以存储用于存储箱140的标识符,标识符同样可以与存储箱140中的收发器145和/或传感器关联以便可以如本文所述地监视存储位置。
存储位置(例如存储箱140)包括由实心壁144形成的封闭空间146,例如物体可以存储在封闭空间146中。壁144可以围绕封闭空间146延伸并且支撑存储箱140。例如,壁144可以是围绕封闭空间146连续延伸(例如每个壁144可以从一个壁144延伸到另一个壁144)的实心表面,例如壁144可以是金属或塑料。
壁144中的一个或多个可相对于其他壁144移动。例如,存储箱140可包括可选择性地从关闭状态移动到打开状态的门142。门142可以铰接地附接到一个壁144。计算机105可以将门142从关闭状态致动到打开状态以允许物体160进出。例如,当车辆101探测到接近物体160时,计算机105可以将门142致动到打开状态以允许用户将物体160存储在存储箱140中。在将车辆101移动到下一个目的地之前,计算机105可以在确认物体160在存储箱140中之后将门142致动到关闭状态。
壁144中的一个或多个可以包括跨越壁144延伸的导电层148。导电层148可以配置为增强来自与物体160相关联的发射器165的无线消息。例如,导电层148可以是金属(例如铜、铝、铁等),以降低(例如阻挡、偏转、干扰等)来自外部源(例如存储箱140外部的用户装置150)的无线消息。另一个示例,导电层148可以是导电塑料,例如聚乙炔(polyacetylene)、聚亚苯基亚乙烯基(polyphenylene vinylene)等。当导电层148降低来自外部源的无线消息时,来自与物体160相关联的发射器165的无线消息可以比来自外部来源的无线信息相对更强。(在该上下文中,“外部源”是存储箱140外部的RF(射频,RadioFrequency)发射源。)当收发器145在存储箱140中接收到更强的消息时,计算机105可以确认物体160设置在存储器中,例如计算机105可以根据来自发射器165的消息的相对强度来识别来自与物体160相关联的发射器165的消息。
收发器145可以设置在存储箱140内。例如,收发器145可以附接到存储箱140的一个壁144。收发器145可以识别物体160存储在存储箱140中。例如,当物体160设置在存储箱140中时,收发器145可以从物体160的发射器165接收消息。收发器145可以向计算机105发送消息以确认物体160设置在存储箱140中。当计算机105接收到确认消息时,计算机105可以将存储箱140的门142致动到关闭状态。
图3示出了示例性物体160。物体160可以是用户可以在车辆101中运输的行李箱(例如手提箱、行李袋、背包、公文包等)。物体160可以包括发射器165,例如发射器165在用户接近车辆101之前例如通过胶水、尼龙搭扣、线和/或铆钉等固定到物体160上。可选地,当用户到达车辆101时,用户可以将发射器165附到物体160,例如车辆101可以包括用户可以附到物体160的发射器165。发射器165可以发送识别物体160的消息到计算机105和/或收发器145。当计算机在物体160接近车辆101时从发射器165接收到消息时,计算机可以将存储箱140的门142致动到打开状态。当物体已被放置在存储位置(例如存储箱140)中时,存储箱140中的收发器145可从发射器165接收消息,并且收发器145还可经由网络125与计算机105通信以将存储箱140的门142致动到关闭状态。
图4示出了示例性物体和示例性车辆。车辆101包括多个座椅122。座椅122支撑车辆101车厢的用户。座椅122可以设置在车辆101车厢中以容纳用户和物体160(例如货物、行李等)。车辆101可以是可以将用户和物体160运输到相应目的地的自主服务车辆。
车辆101可以包括多个存储位置,例如存储箱140。存储位置可以是车辆101中的可以在车辆101运输时存储物体160的空间。这些位置可以设置在车辆101中以容纳用户和物体160。例如,存储位置可以是车辆101的存储箱140和/或货舱(例如行李箱)中的一个或多个。每个存储位置可以分配给座椅122中的一个。也就是说,车辆101中的每个用户可以在车辆101运输时使用存储位置之一来存储物体160。可选地或另外地,如本文所述,每个存储位置可以与物体160的特征相关联。计算机105可以为每个物体160确定特定存储位置(例如特定存储箱140),并且探测存储位置中的物体160。因此,当其中一个用户到达目的地时,计算机105可以确定用户是否已将一个或多个物体160留在相应的存储位置。
车辆101可以包括用于捕获物体160的图像的车辆图像传感器110。车辆图像传感器110可以由车辆101支撑并且可以背向车辆101以探测车辆外部的物体160。车辆图像传感器110可以是提供来自可见光谱的图像的摄像机,由此可以使用传统的图像分析技术来探测物体160。计算机105可以根据物体160的特征(即可以根据图像识别技术识别并且用于确定物体160的类型的特征)来维护存储的物体图像的数据库。例如,计算机105可以根据每种物体类型的大体唯一的标识符和/或用于每种物体类型的描述符(例如“手提箱”、“行李袋”、“笔记本电脑”等)来维护可能物体的列表。作为另一个示例,车辆图像传感器110可以是热成像传感器、雷达、激光雷达等。
计算机105可以通过在距离车辆101的指定距离内经由无线协议从发射器165接收消息来确定物体160正在接近车辆101。指定距离是存储在计算机105的存储器中的距离值,并且被确定为距车辆101的距离(例如距车辆101内的中心点或一些其他点的半径),其中当物体160处于指定距离处或在指定距离内时,物体160接近车辆101。指定距离可以设置为根据车辆101周围的位置和/或环境。例如,相比在低密度区域中,在高密度区域(例如多个物体160可以相对靠近车辆101的区域)中指定距离可以更小,以确保物体160的正确识别。车辆101可包括多个传感器(例如BLE接近传感器),其可在物体160在指定距离内时探测来自附到物体160上的发射器165的传输。例如,计算机105可以编程为根据从车辆图像传感器110接收的延伸到指定距离的视场内的图像数据来确定物体160在指定距离内。作为另一示例,计算机105可以编程为确定与物体160发射器165相关联的信号强度指示符,例如接收信号强度指示符(RSSI)。计算机105可以根据信号强度指示符(例如信号强度指示符高于信号强度阈值)确定物体160在指定距离内。另外地或可选地,用户可以在车辆101中为物体160保留位置。例如,用户装置150可以经由无线协议发送消息以识别要存储在存储位置中的物体160并且确保可用于物体160的存储位置。
无线协议可以是任何合适的无线通信协议。例如,无线协议可以是蓝牙低功耗(BLE)。可选地,无线协议可以是蓝牙、Wi-Fi或任何其他合适的无线通信。
计算机105可以在探测到来自发射器165的传输时识别接近车辆的物体160。例如,传输可以包括计算机105可以探测的标识符(例如物体160的描述符和/或特征),例如计算机105可以对传输进行解码以识别物体160。计算机105可以根据可以与不同类型的物体160相关联的无线通信特征(例如频率和振幅)来维护标识符列表。例如,计算机可以根据每个物体160的大体上唯一的标识符和/或描述符(例如“手提箱”、“行李袋”、“笔记本电脑”等)来维护可能物体的列表。在探测到来自发射器165的消息之后,计算机105可以使用已知的处理技术将标识符与存储的列表进行比较以识别物体160。作为另一个示例,计算机105可以通过由车辆图像传感器110捕获的图像来识别物体160。计算机105可以在指定距离内探测到来自发射器165的消息之后,致动车辆图像传感器110以捕获物体160的图像。计算机105可以使用已知的处理技术,将物体160的图像与存储的物体图像进行比较以识别物体160。计算机105可以在识别物体160之后,将物体160分配给存储箱140。
计算机105可以确定物体160的特征。物体特征是物体160的任何物理属性。例如,物体特征可以包括物体160的尺寸(如果适用的话),例如长度、高度、宽度、周长等。作为另一个示例,特征可以是物体160的质量或重量。另外地或可选地,特征可以是物体160的材料特征。物体160可以例如包含危险物质,由此期望选定的存储箱140适于储存和运输危险物质。车辆101可包括可探测物体160的特征的多个传感器,例如车辆图像传感器110、设置在箱140中的重量传感器等。另外地或可选地,用户可通过用户装置150识别物体160的特征。
计算机105可以将物体160的特征与车辆101中的每个存储箱140的存储特征(即物理特征和/或容量)进行比较。存储箱140的特征可以是尺寸(例如长度、宽度和高度)以及物体160的限制(例如物体是否包含危险材料)。当物体160的特征满足根据存储箱140的特征(例如航空公司随身行李要求、危险品要求等)的约束时,计算机105可以将物体160分配给存储箱140。当物体160满足约束时,计算机105可以将物体160分配给可用的存储箱140,例如与用户的座椅122相关联的存储箱140,并且可以将存储箱140的门142致动到打开状态。可选地,如果物体160超出约束,则计算机105可以将物体160分配给车辆101的货舱,并且可以将货舱的门142(例如行李箱盖)致动到打开状态。
计算机105可以致动车辆101以前进到目的地,例如致动导航部件以将车辆101导航到目的地并且致动推进部件将车辆101驱动到目的地。当物体160存储在存储箱140中时,收发器145可以从发射器165接收传输并且向计算机105发送物体160在存储箱140中的确认。当计算机105接收到来自收发器145的确认时,计算机105可以将存储箱140的门142致动到关闭状态。当存储箱140的门142处于关闭状态时,计算机105可以致动车辆部件120以将车辆101驱动到目的地。
计算机105可以根据来自用户探测传感器110(例如安装在座椅122中的重量传感器110)的数据来探测离开车辆101的用户。可选地或另外地,用户探测传感器110可以是已知用于探测车辆101中的乘员或用户存在的一些其他传感器(如已知地,例如摄像机等)。例如,如果用户探测传感器110是重量传感器,则计算机105可以将指示座椅122未被占用的基线数据与对应收集的压力数据115的阈值读数(例如压力读数)进行比较,以确定座椅122被占用或未被占用。此外,当计算机105在到达目的地时确定用户不在座椅122中并且在到达目的地之前用户在座椅122中时,计算机105可以确定用户已经离开座椅122。
计算机105可以将分配给座椅122的存储位置与座椅122中的用户相关联。因此,计算机105可以在探测到用户已经离开座椅122时,搜索留在存储位置的物体160。例如,如果计算机105在探测到物体160时为用户分配了存储箱140,则计算机105可以向用户装置150发送指示存储箱140并且指导用户将他或她的物体160放置在存储箱140中的消息。当用户离开车辆101(例如根据座椅122的占用情况从占用变化为未被占用来确定)时,收发器145可以在从物体160发射器165接收到留在存储箱140中的消息时向计算机105发送消息。
计算机105可以通过探测用户装置150的位置来探测用户离开车辆101。车辆101可以包括可以探测车辆101中用户装置150的位置的多个传感器110,例如BLE接近传感器。计算机105可以与用户装置150通信以提供关于用户装置150的位置的数据。当传感器110探测到用户装置150的位置在车辆101车厢外时,计算机105可以确定拥有用户装置150的用户在车辆101车厢外,即该用户已经离开车辆101。
当车辆101在目的地停止时,计算机105可以将存储箱140致动到打开状态,并且收发器145可以从留在分配给在目的地离开的用户的存储箱140中的发射器165(例如物体160)接收消息。在从分配给离开的用户的发射器165接收到消息时,收发器145可以向计算机105发送消息,并且计算机105在从收发器145接收到消息时可以向用户装置150发送消息以提醒用户取回他或她的物体160。当计算机105根据在收发器145处接收的消息识别存储箱140中的物体160时,计算机105可以致动用户装置150上的输出以通知在目的地离开的用户。例如,计算机105可以向用户装置150发送消息、致动用户装置150中的触觉反馈装置、使用户装置150中的灯闪烁、致动用户装置150中的扬声器以产生音频提示等。可选择地或另外地,计算机105可以致动车辆101上的视觉显示器,例如车辆行进灯条、例如附到车辆101的可配置为给车辆101的用户显示信息(例如路线、出发和/或到达时间等)的电子标志。计算机105可以等待预定的一段时间(存储在数据存储器和/或服务器中)并且在目的地处经过一段时间后致动用户输出,例如给用户取回和带走物体160的时间。另外,计算机105可以将存储箱140的门142致动到打开状态。当物体160从存储箱140移除时,导电层148可以将发射器165发送到收发器145的消息(例如包括物体160的标识符的消息)降低到收发器145,即发射器165是外部源。在这种情况下,收发器145可以向计算机105发送消息以确认物体160已从存储箱140中移除。计算机105在确认物体从存储箱140中移除后,可以将存储箱140致动到关闭状态并且可以驾驶车辆到下一个目的地。
图5示出了用于探测在车辆101的指定距离内的物体160并且将物体160分配到车辆101中的存储位置的示例过程。过程500在框505中开始,其中计算机105探测接近车辆101的物体160。如上所述,计算机105可以探测物体160何时在车辆101的指定距离内,例如探测来自发射器165的高于信号强度阈值的信号强度指示符(例如RSSI)、从用户装置150接收消息等。如果计算机105在指定距离内探测到物体160,则过程500在框510中继续。否则,该过程保持在框505中。
在框510中,计算机105致动车辆图像传感器120以探测指定距离内的物体160的图像。如上所述,计算机105可以比较物体160的捕获图像以识别物体160的特征,例如尺寸、重量等。车辆图像传感器120可以具有延伸到指定距离的视野以捕获指定距离内的物体160的图像。
接下来,在框515中,计算机105将物体160分配到车辆101中的存储位置,例如与座椅122、货舱(即行李箱)等相关联的存储箱140。如上所述,计算机105可以确定物体160的特征并且将物体160的特征与存储箱140的特征进行比较。计算机105可以根据物体160的特征,将物体160分配给能够在运输期间存储物体160的存储箱140。计算机105可以将分配的存储箱140致动到打开位置以允许存放物体160。
接下来,在框520中,计算机105注册物体160的无线标识符。如上所述,计算机105可以维护物体160唯一的标识符列表。如下所述,计算机105可以存储物体160的标识符以将标识符与从收发器145接收的消息进行比较。
接下来,在框525中,收发器145可以探测所分配的存储箱140中的物体160。如上所述,存储箱140通常包括导电层148,导电层148可以降低来自外部源(例如用户装置150)的消息。当物体160存储在分配的存储箱140中时,因为来自发射器165的消息相对于来自外部源的消息更强,所以收发器145可以探测来自发射器165的消息,例如该消息可以包括物体160的标识符。收发器145可以向计算机105发送物体160在分配的存储箱140中的确认消息(例如包括物体160的标识符)。计算机105可以将接收的标识符与上面的框520中注册的标识符进行比较,以确定在所分配的存储箱140中是否探测到物体160。如果在所分配的存储箱140中探测到物体160,则过程500继续到框540。否则,过程500继续到框530。
在框530中,计算机105致动对用户装置150的输出。例如,计算机105可以通过网络125向用户装置150发送消息。可选地或另外地,计算机105可以致动用户装置150上的触觉装置和/或灯和/或音频提示。如上所述,该消息可以指示用户已将物体160留在存储箱140中。
接下来,在框535中,计算机105探测物体160是否在存储箱140中。例如,如上所述,如果物体在存储箱140中,则收发器145可以探测来自发射器165的传输。如果物体160保留在存储箱140中,则过程500返回到框530。否则,过程500继续到框540。
在框540中,车辆101前进到目的地。例如,计算机105可以致动车辆101部件(例如推进部件和导航部件),以驱动并且导航车辆101到目的地。
在框545中,计算机105可以确定车辆101到达目的地。计算机105可以例如从导航部件接收数据115,以确定车辆101到达目的地。如果车辆101到达目的地,则过程500可以继续到框550。否则,该过程保持在框545。
在框550中,计算机105致动对用户装置150的输出。例如,计算机105可以通过网络125向用户装置150发送消息。可选地或另外地,计算机105可以致动用户装置150上的触觉装置和/或灯和/或音频提示。如上所述,该消息可以向用户提供从存储箱140中取回物体160的提醒。
接下来,在框555中,计算机105可以探测用户离开车辆101。如上所述,计算机105可以通过以下来探测用户离开车辆101:例如从车辆座椅中的用户探测传感器110收集数据115、到达用户的预定目的地、收集关于用户的视觉数据115、探测车辆101车厢外的用户装置150、关闭车辆101等。如果计算机105探测到用户离开,则过程500在框560中继续。否则,过程500保持在框555中。
在框560中,计算机105可以确定从存储箱140中取回物体160。如上所述,当从存储箱140移除物体160时,收发器145可以向计算机105发送消息。如果物体160从存储箱140中移除,则计算机105可以将存储箱140致动到关闭位置,并且过程500结束。否则,过程500返回到框550以提醒用户取回物体160。
如本文所使用的,修饰形容词的副词“大体上”表示由于材料、加工、制造、数据采集器测量、计算、处理时间、通信时间等方面的缺陷,而形状、结构、测量、值、计算等可能与精确描述的几何体、距离、测量、值、计算等有偏差。
计算装置105通常各自包括可以由如上显示的一个或多个计算机执行的,并且用于执行上述过程的框和步骤的指令。计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序进行编译或解释,这些编程语言和/或技术包括但不限于单独的或组合的JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常,处理器(如微处理器)从存储器、计算机可读介质等接收指令并且执行这些指令,由此执行包括本文所述过程中的一个或多个的一个或多个过程。可以使用各种计算机可读介质来存储和传输这样的指令和其他数据。计算装置105中的文件通常是存储在如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(如指令)的任何介质。这种介质可以采取包括但不限于非易失性介质、易失性介质等的许多形式。非易失性介质包括如光盘或磁盘以及其他永久存储器。易失性介质包括如通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM(光盘只读存储器,compact disc read-only memory)、DVD(数字影碟,digital videodisk)、任何其他光学介质、打孔卡、纸带、任何其他具有孔图案的物理介质、RAM(随机存取存储器,Random Access Memory)、PROM(可编程只读存储器,ProgrammableRead Only Memory)、EPROM(可擦可编程只读存储器)、闪存电可擦除可编程只读存储器(FLASH-EEPROM)、任何其它存储器芯片或存储器盒、或计算机可从其读取的任何其它介质。
对于本文所述的介质、过程、***、方法等,应当理解的是,尽管将这些过程等的步骤已描述为根据某个有序序列发生,但这样的过程可以按照不同于本文描述顺序的顺序执行的描述步骤来实施。还应当理解的是,可以同时执行某些步骤,可以添加其他步骤,或者可以省略本文描述的某些步骤。例如,在过程500中,可以省略这些步骤中的一个或多个,或者可以以不同于图5所示的顺序执行这些步骤。换言之,本文提供的***和/或过程的描述是以说明某些实施例为目的,而不应将其解释为对公开主题的限制。
因此,应当理解的是,包括上述描述和附图及以下权利要求的本公开旨在是说明性的而不是限制性的。在阅读上述描述之后,除了提供的实施例之外的许多实施例和应用将是对本领域技术人员显而易见的。不应该参考上述描述来确定本发明的范围,而应该参考本公开所附权利要求和/或包括在基于本公开的非临时专利申请中的权利要求,以及这些权利要求所享有的全部等同范围来确定本发明的范围。预期和意图的是,未来的发展将出现在本文讨论的技术中,并且所公开的***和方法将并入到未来的实施例中。总之,应该理解的是,本公开主题是能够进行修改和变化的。
除非另有说明或者上下文另有要求,否则修饰名词的冠词“一”应理解为一个或多个。短语“根据”包括部分或全部根据。

Claims (16)

1.一种方法,包含:
通过无线协议识别车辆的指定距离内和车辆外部的物体;
将所述识别出的物体分配到所述车辆中的位置;
探测所述物体处于所述位置;和
在探测到处于所述位置上的所述物体时致动车辆部件。
2.根据权利要求1所述的方法,还包含:根据经由所述无线协议发送的标识符和由车辆图像传感器提供的图像中的一个或多个来识别所述物体。
3.根据权利要求2所述的方法,其中将所述识别出的物体分配给所述车辆中的所述位置包括:将所述物体的特征与所述位置的特征进行比较。
4.根据权利要求1所述的方法,其中所述位置是存储箱。
5.根据权利要求4所述的方法,还包含:在所述存储箱中的收发器中接收来自与所述物体相关联的发射器的传输。
6.根据权利要求5所述的方法,其中所述存储箱包括由实心壁形成的封闭空间。
7.根据权利要求6所述的方法,其中所述壁中的一个或多个包括导电层。
8.根据权利要求5所述的方法,还包含:从所述存储箱中的所述收发器接收对来自所述物体发射器的所述传输的确认。
9.根据权利要求1所述的方法,其中所述车辆部件是变速器、动力传动***、制动器和转向器中的一个。
10.根据权利要求1所述的方法,其中所述无线协议是蓝牙低功耗(BLE)。
11.根据权利要求4-10中任一项所述的方法,还包含:根据经由所述无线协议发送的标识符和由车辆图像传感器提供的图像中的一个或多个来识别所述物体。
12.根据权利要求2-3和9-10中任一项所述的方法,其中所述位置是存储箱。
13.一种编程为执行权利要求1-10中任一项所述的方法的计算机。
14.一种包括权利要求13的计算机的车辆。
15.一种计算机程序产品,包含存储可由计算机处理器执行以执行权利要求1-10中任一项所述的方法的指令的计算机可读介质。
16.一种***,包含计算机,所述计算机编程为:
通过无线协议识别车辆指定距离内和车辆外部的物体;
将所述识别出的物体分配到所述车辆中的位置;
探测所述物体处于所述位置;和
在探测到处于所述位置上的所述物体时致动车辆部件。
CN201810926919.1A 2017-08-21 2018-08-15 物体探测 Pending CN109429171A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/681,847 US11200530B2 (en) 2017-08-21 2017-08-21 Object detection
US15/681,847 2017-08-21

Publications (1)

Publication Number Publication Date
CN109429171A true CN109429171A (zh) 2019-03-05

Family

ID=65235268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810926919.1A Pending CN109429171A (zh) 2017-08-21 2018-08-15 物体探测

Country Status (3)

Country Link
US (1) US11200530B2 (zh)
CN (1) CN109429171A (zh)
DE (1) DE102018120144A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488235B2 (en) * 2019-10-07 2022-11-01 Oculogx Inc. Systems, methods, and devices for utilizing wearable technology to facilitate fulfilling customer orders
US11649055B2 (en) * 2019-12-16 2023-05-16 Airbus Operations Gmbh Process for determining that luggage has been left behind in an overhead bin
US20210378171A1 (en) * 2020-06-03 2021-12-09 Scythe Robotics, Inc. Control interface for autonomy

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315024A (ja) * 2004-04-30 2005-11-10 Fujitsu Ten Ltd 車両制御装置
US20070018813A1 (en) * 2005-07-22 2007-01-25 Liggitt Richard C Electronic identification tag
US20150094876A1 (en) * 2013-09-30 2015-04-02 At&T Intellectual Property I, Lp Determining available storage capacity of a vehicle
US20150210199A1 (en) * 2014-01-24 2015-07-30 Hand Held Products, Inc. Shelving and package locating systems for delivery vehicles
CN105239869A (zh) * 2014-07-11 2016-01-13 上海通用汽车有限公司 一种旋转式汽车车门控制***及其控制方法
CN105830101A (zh) * 2013-12-18 2016-08-03 宝马股份公司 用于装载机动车的方法和***
US20160332535A1 (en) * 2015-05-11 2016-11-17 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237557B1 (en) * 2005-11-22 2012-08-07 Allen D Hertz Pickup truck tailgate safety light system
US8209093B2 (en) * 2008-08-28 2012-06-26 Nissan North America, Inc. Adaptive instruction system for a vehicle
US20120109419A1 (en) 2010-10-28 2012-05-03 Ncr Corporation Lockable compartment access management
US9398795B2 (en) 2012-03-09 2016-07-26 Cellco Partnership Airline baggage tracking and notification system
US9082102B2 (en) * 2012-04-10 2015-07-14 Geoforce, Inc. System and method for remote equipment data management
FR3003946B1 (fr) * 2013-03-29 2015-12-04 Greensystech Appareil de mesure de temperature
US9256852B1 (en) 2013-07-01 2016-02-09 Google Inc. Autonomous delivery platform
DK178083B1 (en) 2013-12-18 2015-05-04 Aporta Digital Aps Alarm system for luggage in a luggage compartment in a passenger train
US9371035B2 (en) * 2014-03-25 2016-06-21 Ford Global Technologies, Llc Lighted vehicle bin assembly and method of calibrating same
US10046637B2 (en) * 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315024A (ja) * 2004-04-30 2005-11-10 Fujitsu Ten Ltd 車両制御装置
US20070018813A1 (en) * 2005-07-22 2007-01-25 Liggitt Richard C Electronic identification tag
US20150094876A1 (en) * 2013-09-30 2015-04-02 At&T Intellectual Property I, Lp Determining available storage capacity of a vehicle
CN105830101A (zh) * 2013-12-18 2016-08-03 宝马股份公司 用于装载机动车的方法和***
US20150210199A1 (en) * 2014-01-24 2015-07-30 Hand Held Products, Inc. Shelving and package locating systems for delivery vehicles
CN105239869A (zh) * 2014-07-11 2016-01-13 上海通用汽车有限公司 一种旋转式汽车车门控制***及其控制方法
US20160332535A1 (en) * 2015-05-11 2016-11-17 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service

Also Published As

Publication number Publication date
US20190057341A1 (en) 2019-02-21
DE102018120144A1 (de) 2019-02-21
US11200530B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
CN105745675B (zh) 用于使用无线节点网络来管理物品的装运的方法和***
CN109429171A (zh) 物体探测
CN110119920A (zh) 用于拾取和递送的装置、***、方法和介质
CN106573546A (zh) 为电动车辆呈现路线信息
CN107873098A (zh) 检测与服务有关的车辆内的物体
JP7027914B2 (ja) 移動体、荷物仕分支援方法、荷物仕分支援プログラム及び荷物仕分支援システム
CN109284853A (zh) 用于自主和/或半自主运输交通工具的方法和控制设备
CN109843639A (zh) 信息处理装置
JP2004318263A (ja) 車載機器、車両に置かれた物品の情報出力方法
CN109425496A (zh) 车辆检查
JP2020060853A (ja) 忘れ物配送支援装置、忘れ物配送支援システム、忘れ物配送支援方法、及び忘れ物配送支援用コンピュータプログラム
US20190259000A1 (en) Enhanced cargo delivery system
WO2017068871A1 (ja) 情報処理装置、情報処理方法及び輸送システム
US9720416B1 (en) Vehicle security system
CN105787546A (zh) Rfid标签及rfid***
WO2019188678A1 (ja) 検出機器、管理方法、及び通信装置
US20090009322A1 (en) System and method for position location in an enclosed environment
JP7215401B2 (ja) 搬送制御システム、搬送制御プログラムおよび搬送制御方法
CN113469606A (zh) 管理装置、管理方法及存储介质
WO2019054206A1 (ja) 移動体誘導システム
JP7372144B2 (ja) 車載処理装置、及び車載処理システム
JP2007026018A (ja) 物流用移動体の移動管理方法及び物流用移動体の移動管理システム
JP4498238B2 (ja) 物流追跡システム
US11608002B2 (en) Transportation receptacle for vehicles
US20190088123A1 (en) Local navigation system for vehicle navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination