CN110648539B - 车载装置以及控制方法 - Google Patents

车载装置以及控制方法 Download PDF

Info

Publication number
CN110648539B
CN110648539B CN201910551705.5A CN201910551705A CN110648539B CN 110648539 B CN110648539 B CN 110648539B CN 201910551705 A CN201910551705 A CN 201910551705A CN 110648539 B CN110648539 B CN 110648539B
Authority
CN
China
Prior art keywords
vehicle
time
number plate
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910551705.5A
Other languages
English (en)
Other versions
CN110648539A (zh
Inventor
樋口雄大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110648539A publication Critical patent/CN110648539A/zh
Application granted granted Critical
Publication of CN110648539B publication Critical patent/CN110648539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供车载装置以及控制方法。对根据车外的图像进行号码牌的识别的车载装置适当地分配硬件资源。具有:图像识别单元,使用对车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;以及周期决定单元,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定进行所述识别处理的周期。

Description

车载装置以及控制方法
技术领域
本发明涉及识别车辆的号码牌信息的车载装置。
背景技术
在车辆的搜索中号码牌信息有用。如专利文献1记载的那样,能够从由车载摄影机摄影的图像来识别车辆的号码牌的字符信息。
现有技术文献
专利文献1:日本特开2011-100409号公报
专利文献2:日本特开2017-211760号公报
专利文献3:日本特开2002-260165号公报
发明内容
在通过设置于车辆的摄影机识别其他车辆的号码牌信息的情况下,车载装置中的资源分配成为课题。一般而言,车载装置执行与其他车辆、路侧装置的通信、向用户的信息提供这样的号码牌信息的识别以外的处理,所以车载装置需要将内置的处理器、存储器等资源适当地分配给号码牌的识别处理和其以外的处理。
本发明是考虑上述课题而完成的,其目的在于对根据车外的图像进行号码牌的识别的车载装置适当地分配硬件资源。
本发明所涉及的车载装置的特征在于,具有:
图像识别单元,使用对车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;以及周期决定单元,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定进行所述识别处理的周期。
另外,本发明的其他方案所涉及的车载装置的特征在于,具有:
图像识别单元,使用对车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;信息取得单元,取得作为与所述车辆周边的道路环境有关的信息的环境信息;以及周期决定单元,根据所述环境信息,决定进行所述识别处理的周期。
另外,本发明的其他方案所涉及的车载装置的特征在于,具有:
第一处理单元,使用对车辆的外部进行摄影的摄影机来取得图像,进行包含于所述图像的号码牌信息的识别处理;第二处理单元,进行所述号码牌信息的识别以外的处理;以及分配单元,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定分配给所述第一处理单元的资源量和分配给所述第二处理单元的资源量。
本发明所涉及的控制方法的特征在于,
搭载于车辆的车载装置执行:图像识别步骤,使用对所述车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;以及周期决定步骤,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定进行所述识别处理的周期。
另外,本发明的其他方案是用于使计算机执行上述控制方法的程序或者非临时地存储有该程序的计算机可读存储介质。
根据本发明,能够对根据车外的图像进行号码牌的识别的车载装置适当地分配硬件资源。
附图说明
图1是本发明所涉及的车辆搜索***的概要图。
图2是例示车辆20和其他车辆的位置关系的图。
图3是第一实施方式所涉及的车载装置30的模块结构图。
图4是车载装置30决定识别周期的处理的流程图。
图5是示出针对每个识别周期取得的时间序列的图像的图。
图6是示出识别周期和距离值的关系的图。
图7是在收集阶段中车载装置30进行的处理的流程图。
图8是在搜索阶段中车载装置30进行的处理的流程图。
图9是第二实施方式所涉及的车载装置30的***结构图。
图10是示出在第二实施方式中车载装置30在步骤S101中进行的处理的流程图。
(符号说明)
10:服务器装置;20:车辆;30:车载装置;301:图像取得部;302:号码牌信息识别部;303:号码牌信息处理部;304:位置信息取得部;305:通信部;306:控制部。
具体实施方式
本发明所涉及的车载装置使用对车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于图像的号码牌信息的识别处理。号码牌信息的识别能够通过既知的方法进行。
在上述装置中,将车载装置的资源以何种程度分配给号码牌信息的识别成为问题。例如,在如在摄影机的视场内其他车辆未移动那样的状况下,在以短的周期进行号码牌信息的识别时,浪费地消耗车载装置的资源。另一方面,在如对向车辆的速度高那样的状况下,如果不缩短识别处理的周期,则发生信息的丢失。
因此,本发明所涉及的车载装置根据摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定进行号码牌信息的识别处理时的周期(以下称为识别周期)。
此外,其他车辆的号码牌的滞留时间也可以是指多台的代表值。
在摄影机的视场内的其他车辆的号码牌的滞留时间短的情况下,为了得到更多的识别信息的机会,将识别周期设定得短。另外,在摄影机的视场内的其他车辆的号码牌的滞留时间长的情况下,为了释放资源,将识别周期设定得长。
这样,在摄影机的视场内的其他车辆的号码牌的滞留时间更短的情况下,也可以使识别周期更短。
根据上述方式,能够适当地分配车载装置的资源。
此外,摄影机的视场内的其他车辆的号码牌的滞留时间的长短可以是基于实测的例子,也可以是基于推定的例子。另外,该滞留时间也可以不一定计算为值。例如,也可以根据对影响滞留时间的其他要素进行感测而得到的结果直接计算识别周期。
此外,也可以通过解析每单位时间取得的多个所述图像,取得与所述摄影机的视场内的所述其他车辆的号码牌的滞留时间关联起来的值,并根据该值决定所述周期。
与号码牌的滞留时间关联起来的值,可以是指号码牌的滞留时间自身,也可以是指间接地表示号码牌的滞留时间的值。例如,可以是其他车辆的速度信息(绝对速度、相对速度),也可以是表示在矢量空间中包含于图像的号码牌信息的集合如何移动了的值。另外,也可以取得与号码牌的滞留时间有关的多个值,使用其代表值(例如平均值、中央值、最频值、最大值、最小值等)。
另外,本发明所涉及的车载装置也可以还取得作为与所述车辆周边的道路环境有关的信息的环境信息,根据所述环境信息,推定所述摄影机的视场内的所述其他车辆的号码牌的滞留时间。
这样,其他车辆的号码牌的滞留时间也可以根据道路环境推定。例如,也可以在搭载有车载装置的车辆处于推定“其他车辆在摄影机的视场内高速通过”的道路环境的情况下,将识别周期设定得短,在处于推定“其他车辆的移动速度低”的道路环境的情况下,将识别周期设定得长。
此外,环境信息可以根据对照所述车辆的当前位置和道路数据库而得到的结果取得,也可以从路侧装置等取得。
另外,环境信息优选为与行车道数有关的信息、与道路宽度有关的信息、与和交叉路口的相对位置有关的信息的至少某一个。
其原因为根据行车道数、道路宽度,图像中的对向车的移动速度变化。另外,根据和交叉路口的相对位置,能够推定位于车列的开头还是位于车列之中。即,能够推定是否处于能够捕捉更多的车辆的号码牌的位置。
另外,本发明所涉及的车载装置也可以还具有取得与所述其他车辆的相对速度的速度取得单元,所述周期决定单元还根据与所述其他车辆的相对速度来决定所述周期。
本车辆的速度能够通过车速传感器的输出、由GPS接收机取得的本车辆的速度、由CAN消息发送的车速信息等得到。另外,其他车辆的速度能够通过从该其他车辆无线发送的车速信息、图像解析等计算。
以下,根据附图说明本发明的具体的实施方式。各实施方式记载的硬件结构、模块结构、功能结构等只要无特别记载,则发明的技术的范围不仅限定于这些。
(第一实施方式)
参照图1说明第一实施方式所涉及的车辆搜索***的概要。本实施方式所涉及的车辆搜索***包括服务器装置10和搭载于多个车辆20的车载装置30。服务器装置10是管理处于下属的多个车辆20的装置。车载装置30是能够与服务器装置10进行通信且能够执行后述功能的车载终端。此外,在图1中例示了一台服务器装置10,但服务器装置10也可以有多个。例如,也可以存在管辖不同的区域的多个服务器装置10。
本实施方式所涉及的车载装置30具有使用搭载于车辆20的摄影机来取得车外的图像,识别存在于车辆20的周边的车辆(以下称为其他车辆)的号码牌信息的功能。识别出的号码牌信息被编码,与车辆20的位置信息一起被发送以及积蓄到服务器装置10。由此,服务器装置10能够掌握具有识别出的号码牌信息的车辆的大致的位置。
在搜索特定的车辆的情况下,服务器装置10通过参照积蓄的信息,确定作为搜索的对象的车辆(以下称为搜索对象车辆)过去被发现的区段,针对在该区段的附近行驶的车辆20,发送进行车辆的搜索的指令(以下称为搜索指令)。接受到搜索指令的车载装置30继续号码牌信息的识别,在发现了搜索对象车辆的情况下,将该意思通知给服务器装置10。
车载装置30除了号码牌信息的识别处理以外,还执行各种处理。因此,车载装置30需要适当地分配在号码牌信息的识别中使用的资源和在其以外的处理中使用的资源。例如,如果缩短识别号码牌信息时的周期(识别周期),则识别精度提高,但存在其他处理变得缓慢的担心。相反,如果延长识别周期,则存在发生号码牌信息的丢失的担心。
图2是例示车辆20和其他车辆的位置关系的图。虚线表示搭载于车辆20的车载摄影机的有效视场(能够有效地识别号码牌信息的范围)。在本说明书中,车载摄影机的视场是指有效视场。另外,帧率是指每秒进行号码牌信息的识别的次数。帧率是识别周期的倒数。
例如,在图2的(A)所示的道路中捕捉通过对向行车道的车辆的号码牌的情况下,优选在符号201所示的区间内,以如号码牌信息的识别最低能够进行一次那样的帧率进行识别处理。
接下来,考虑在图2的(B)所示的道路上行驶的情况。在本例子中,道路的宽度宽,所以车辆可能通过车载摄影机的视场的角落。即,在更短的时间对向车辆从图像消失,所以优选相比于图2的(A)的情况而提高帧率。例如,优选在符号202所示的区间内,以如号码牌信息的识别最低能够进行一次那样的帧率进行识别处理。
另一方面,如图2的(C)所示,在如在单向通行的道路行驶那样的情况下,由于不存在对向行车道,所以无需缩短号码牌信息的识别周期。在这样的情况下,优选将帧率设定得低,对其他处理分配资源。
在第一实施方式所涉及的车辆搜索***中,为了解决相关课题,车载装置30根据车载摄影机的视场内的其他车辆的号码牌的滞留时间,动态地决定识别周期(或者帧率)。
第一实施方式所涉及的车载装置30是具有CPU、GPU等处理器、RAM、ROM等主存储装置、EPROM、硬盘驱动器、可移动介质等辅助存储装置的计算机。在辅助存储装置中,储存操作***(OS)、各种程序、各种表等,通过将储存于其中的程序载入到主存储装置的作业区域并执行,经由程序的执行控制各结构部等,能够实现如后述那样的与预定的目的符合的各功能。但是,一部分或者全部的功能也可以通过如ASIC、FPGA那样的硬件电路实现。
图3是第一实施方式所涉及的车载装置30的模块结构图。
第一实施方式所涉及的车载装置30构成为具有图像取得部301、号码牌信息识别部302、号码牌信息处理部303、位置信息取得部304、通信部305、控制部306。
图像取得部301是使用朝向车辆的外部设置的车载摄影机来取得该车辆周边的图像的单元。车载摄影机例如也可以是前部摄影机、后部摄影机、侧部摄影机等,但优选设置于与其他车辆的号码牌正对的机会多的位置。
号码牌信息识别部302是判定在图像取得部301取得的图像中是否有车辆的号码牌,识别包含于该号码牌的字符信息(号码牌信息)的单元(本发明中的图像识别单元、第一处理单元)。号码牌的字符信息的识别处理能够通过既存的任意的手法(算法)进行。
号码牌信息处理部303是对号码牌信息识别部302识别出的号码牌信息进行编码,变换(编码)为适合于向外部的发送的形式的单元。在本实施方式中,号码牌信息处理部303将检测到的所有号码牌信息变换为固定长(m位)的位串(称为摘要(digest))。具体的方法后述。
位置信息取得部304是取得车辆的当前位置的单元,典型地构成为包括GPS接收器等。位置信息取得部304取得的信息被发送到控制部306。
通信部305是用于将车载装置30与网络连接的通信接口。通信部305例如构成为包括用于无线通信的无线通信电路。通信部305利用的通信规格也可以利用3G、LTE等移动体通信网络。
控制部306是掌控车载装置30的控制的单元(本发明中的周期决定单元)。控制部306通过控制上述各模块的执行,执行图像的取得、号码牌信息的识别、号码牌信息的编码、摘要的发送等。另外,通过调整识别号码牌信息的周期,进行在号码牌信息的识别处理和其以外的处理中使用的资源的分配。具体的方法后述。此外,控制部306也可以执行与号码牌信息的识别相关的处理以外的处理。
接下来,说明决定识别周期(帧率)的具体的方法。
在本实施方式中,车载装置30从车载摄影机周期性地取得图像,根据取得的多个图像决定识别周期。图4是车载装置30决定识别周期的处理的流程图。此外,在此,车载装置30(图像取得部301)设为依照预定的周期周期性地取得图像,积蓄到内置的存储器。图5示出针对每个识别周期取得的时间序列的图像。此外,在此,为简化说明,设为识别周期与图像取得部301取得图像的周期相同。即,在识别周期是33.3毫秒的情况下,以每秒30张的帧率取得图像。当然,识别周期也可以与图像取得部301取得图像并积蓄到存储器的周期不同。
首先,在步骤S11中,取得时刻t下的图像,识别包含于该图像的所有号码牌信息。时刻t可以是当前时刻,也可以是过去的时刻(例如从当前时刻追溯预定的步长的时刻)。在此,将识别出的号码牌信息的集合设为St。
接下来,在步骤S12中,取得时刻t+1下的图像,识别包含于该图像的所有号码牌信息。时刻t+1是从时刻t延迟1个步长的时刻。在此,将识别出的号码牌信息的集合设为St+1。
接下来,在步骤S13中,计算表示集合St和集合St+1的距离的值(以下称为距离值)Dt。该距离值例如能够通过以下的式计算(反斜杠表示差集运算)。
【式1】
Dt=|st\st+r|+|st+1\st|
意味着距离值Dt越大,在时刻t包含于图像的号码牌信息的集合和在时刻t+1包含于图像的号码牌信息的集合越背离。即,意味着单位时间中的车辆的更替剧烈。
此外,在本实施方式中,为了使结果平均化,一边变更t一边计算多个距离值Dt,根据计算出的多个距离值,决定识别周期(步骤S14)。例如,也可以如图5所示,计算4个距离值(D1~D4),求出它们的平均值、中央值、最大值等而利用。此外,在图示的例子中,利用过去5帧量的图像,但也可以采用更长的期间。例如,也可以每秒取得1次图像,使用在过去30秒间得到的图像来计算多个(例如29个)距离值,计算平均值等。
得到的距离值可以说是间接地表示车载摄影机的视场内的其他车辆的号码牌的滞留时间的值。意味着该值越大,单位时间中的车辆的更替越剧烈,所以将识别周期设定得更短。识别周期和距离值的对应可以使用表等来进行,也可以使用算式等来进行。例如,也可以预先存储如图6所示那样的对应关系,设定识别周期。
此外,图4所示的处理是一个例子,只要能够求出包含于图像内的多个号码牌信息的时间的变化量,则也可以采用例示以外的方法。例如,也可以通过针对每个帧追踪在图像内识别出的号码牌,计算车载摄影机的视场内的各号码牌的滞留时间,根据其代表值设定识别周期。
接下来,说明使用决定的识别周期,识别存在于周边的车辆的号码牌信息,生成摘要并发送给服务器装置10的处理。
车载装置30进行的处理被分成收集号码牌信息的阶段(收集阶段)和根据从服务器装置10接收到的搜索指令搜索特定的搜索对象车辆的阶段(搜索阶段)。
图7是在收集阶段中车载装置30(控制部306)进行的处理的流程图。车载装置30在未接受搜索指令的状态下执行收集阶段。
首先,在步骤S101中,如上所述,根据过去取得的多个图像,决定识别周期。此外,也可以在未取得图像的情况下设定默认值作为识别周期。
接下来,在步骤S102中,判定识别周期是否已到来。在此,在识别周期未到来的情况下,待机直至接下来的周期到来。此外,也可以在待机过程中执行其他处理(与号码牌的识别无关的处理)。
在识别周期已到来的情况下,在步骤S103中,经由图像取得部301取得图像。取得的图像被临时地存储到存储器预定的期间。在此,存储的图像在变得不被使用的定时被删除。
接下来,在步骤S104中,由号码牌信息识别部302识别包含于图像的号码牌信息。例如,通过模板匹配切出号码牌存在的区域,将该区域作为对象,进行字符信息的识别处理。在本步骤中,使用既知的方法进行号码牌信息的识别即可。
在步骤S105中,由号码牌信息处理部303将识别的结果得到的号码牌信息变换为摘要。具体而言,针对号码牌信息(设为x),分别应用k个散列函数h1~hk,计算k个散列函数h1(x)~hk(x)。各散列函数h1~hk是将任意的号码牌信息变换为0至m-1的整数的函数。
通过进行这样的处理,能够对号码牌信息进行编码,能够提高隐匿性。此外,关于这些散列函数,由号码牌信息处理部303存储,并且,在所有车辆30以及服务器装置10中利用共同的散列函数。由此,能够验证对象的摘要是否为与搜索对象车辆的号码牌信息对应的摘要。
此外,在本例子中,根据单一的号码牌信息生成了摘要,但摘要也可以是多个号码牌信息被重叠而得到的例子。例如,也可以使用布隆过滤器合成多个摘要。通过上述结构,也能够验证在对象的摘要中是否包括搜索对象车辆的号码牌信息。
将在步骤S105中生成的摘要与位置信息取得部304取得的车辆20的位置信息一起,经由通信部305发送到服务器装置10(步骤S106)。
被发送到服务器装置10的摘要被提供用于车辆的搜索。例如,在***管理者进行指定号码牌信息来进行特定的车辆的搜索的意思的输入时,服务器装置10参照从多个车载装置30收集到的多个摘要,确定包括指定的号码牌信息的摘要。该处理能够通过利用在步骤S105中进行的方法变换所指定的号码牌信息并比较得到的结果来进行。如果包括指定的号码牌信息的摘要被确定,则确定检测到该号码牌信息的地点,针对在该地点的附近行驶的车辆20,发送包括号码牌信息的搜索指令。
图8是搭载于接收到搜索指令的车辆20的车载装置30进行的处理(搜索阶段)的流程图。在搜索阶段中,与收集阶段同样地,周期性地进行号码牌信息的识别,但在检测到与包含于搜索指令的号码牌信息的一致的情况下将该意思通知给服务器装置10这点中相异。虚线所示的步骤与收集阶段相同,所以详细的说明省略。
在搜索阶段中发现了搜索对象车辆的情况下(步骤S201-“是”),将发现了搜索对象车辆的意思的通知、车辆20的位置信息、以及由车载摄影机取得的图像发送给服务器装置10(步骤S202)。
由此,***管理者能够掌握搜索对象车辆的当前位置和周边的状况。
如以上说明,根据第一实施方式,在根据车载装置读取出的号码牌信息进行车辆的搜索的***中,能够以适当的周期进行号码牌信息的识别。即,在摄影机的视场内的其他车辆的号码牌的滞留时间更短的情况下将识别周期设定得更短,所以相比于将识别周期固定的情况,号码牌的识别精度提高。另外,在无需以高的帧率进行号码牌信息的识别的情况下将识别周期设定得长,所以能够将空闲的资源活用于其他处理。
(第二实施方式)
在第一实施方式中,使用连续取得的图像,取得与车载摄影机的视场内的其他车辆的号码牌的滞留时间有关的值。相对于此,第二实施方式是根据车辆20行驶的道路的环境来推定车载摄影机的视场内的其他车辆的号码牌的滞留时间的实施方式。
例如,如参照图2说明,其他车辆通过车载摄影机的视场内所需的时间根据车辆20行驶的道路的环境而变动。因此,在第二实施方式中,根据对照车辆20的位置信息和与车辆20周边的道路环境有关的信息而得到的结果进行识别周期的设定。
图9是第二实施方式所涉及的车载装置30的***结构图。对与第一实施方式重复的要素用虚线图示并省略说明。
道路信息存储部307是存储与车辆20行驶的道路的环境有关的信息(以下称为道路环境信息)的数据库。作为道路环境信息,例如,可以举出有无人行道、道路宽度、行车道数、交通量、有无单向通行等,但也可以在道路信息存储部307中存储这些以外的信息。在第二实施方式中,针对将道路按照预定的长度划分而得到的每个区间(道路分段)提供道路环境信息。另外,将道路环境信息与表示道路分段的地理的位置的信息关联起来存储。
道路信息取得部308是根据位置信息取得部304取得的位置信息和存储于道路信息存储部307的信息来取得车辆20周边的道路环境信息的单元。在第二实施方式中,根据道路信息取得部308取得的道路环境信息,控制部306设定识别周期。
在第二实施方式中,在步骤S101中进行的处理与第一实施方式相异。图10是示出在第二实施方式中在步骤S101中进行的处理的流程图。
首先,在步骤S21中,经由位置信息取得部304取得车辆20的位置信息。位置信息可以是仅辨别所行驶的道路的例子,也可以是确定行驶方向、行驶行车道的例子。另外,也可以是确定在道路中设定的分段的例子。
接下来,在步骤S22中,根据取得的位置信息,针对存储于道路信息存储部307的数据库进行检索,取得对应的道路环境信息。此时,也可以根据行进方向、行驶行车道、分段等缩减范围。
然后,在步骤S23中,根据取得的道路环境信息,推定其他车辆的号码牌的滞留时间。
举出具体的例子进行说明。
在本实施方式中,作为道路环境信息,例示(1)利用与道宽有关的信息的例子、(2)利用与有无对向行车道有关的信息的例子、(3)利用与车列有关的信息的例子这三种。
(1)利用与道宽有关的信息的例子
车载摄影机的视场内的其他车辆的滞留时间如参照图2说明的那样,根据车辆20行驶的道路的宽度而变化。因此,能够有效地利用与道宽有关的信息。
例如,作为道路环境信息,取得如以下的信息。以下的例子与图2的(B)的情形相当。
·中央隔离带:无
·行驶行车道数:2
·行驶行车道:第2行车道
·对向行车道数:2
·行车道宽:3米
在该情况下,可知从行驶行车道至对向行车道的距离是最大6米。因此,通过参照与车载摄影机的视场(图2中的虚线)有关的信息,能够推定通过视场内的号码牌的滞留时间。
此外,也可以在推定滞留时间时使用本车辆的速度。其原因为号码牌的滞留时间根据相对速度大幅变化。同样地,在能够取得对方侧车辆的速度的情况下,也可以将其并用。
例如,在对向车辆在从本车辆旁边3米行驶的情况、且车载摄影机的视场角是120度、有效距离是10米、相对速度是时速60km的情况下,需要以每秒2.1帧以上进行识别。在相对速度是时速120km的情况下成为每秒4.3帧。
另外,在对向车辆在从本车辆旁边6米行驶的情况、且车载摄影机的视场角是120度、有效距离是10米、相对速度是时速60km的情况下,需要以每秒3.7帧以上进行识别。在相对速度是时速120km的情况下成为每秒7.4帧。
此外,本车辆的速度可以从CAN等通信总线、车速传感器等取得,也可以根据GPS数据判定。另外,对方侧车辆的速度例如可以通过车车间通信(Basic Safety Message(基本安全消息)等)取得,也可以根据从雷达、LIDAR、距离图像传感器等得到的信息、解析图像而得到的结果推定。
另外,在能够取得与相应的道路中的限制速度有关的信息的情况下,也可以利用该信息。例如,在是在限制速度为时速60km的道路行驶过程中的情况下,也可以设为车辆以时速60km行驶而进行推定。
(2)利用与有无对向行车道有关的信息的例子
在不存在对向行车道的情况下,无需识别以高速接近的对向车辆的号码牌。因此,能够有效地利用与有无对向行车道有关的信息。
例如,在根据道路环境信息辨别出“行驶过程中的道路是单向通行的道路”的意思的情况下,成为仅看到先行车辆的号码牌的状态,所以推定长的滞留时间。本例子与图2的(C)的情形相当。此外,在存在中央隔离带而无法看清对向行车道的情况下也是同样的。
(3)利用与车列有关的信息的例子
在车辆20位于车列的中间的情况下,针对对向行车道的视线变差。因此,在这样的情况下,也可以处置为看不到对向行车道。例如,也可以在满足如以下那样的条件的情况下判定为车辆20位于车列的中间。
(条件1)车辆20在从交叉路口的停止位置起预定的距离以上(例如3米以上)的位置停止
与此相反,例如,也可以在满足如以下那样的条件的情况下判定为车辆20存在于车列的开头。
(条件2)车辆20在从交叉路口的停止位置起小于预定的距离(例如小于3米)的位置停止
在处置为看不到对向行车道的情况下,成为与上述(2)相同的处置。
接下来,在步骤S24中,根据推定出的号码牌的滞留时间,决定识别周期(帧率)。例如,在车载摄影机的视场内存在其他车辆的期间内,设定如将号码牌信息的识别最低能够进行一次那样的识别周期。
如以上说明的那样,根据第二实施方式,能够根据道路环境信息将号码牌的识别周期设定为适当的值。
此外,在实施方式的说明中,利用了道路环境信息即与行驶过程中的道路的特征有关的信息,但在车辆20在无需高的帧率下的号码牌识别的区段中行驶的情况下,也可以固定帧率。例如,在对照地图信息和位置信息的结果判定为车辆20存在于停车场的情况下,也可以降低帧率。
另外,在本实施方式中,使用了存储有道路环境信息的数据库,但该数据库也可以处于车载装置30的外部。
另外,道路环境信息也可以通过对车辆20的周围直接进行感测来取得。例如,也可以使用雷达、LIDAR这样的传感器取得的数据。感测的对象可以是道路宽度、行车道数,也可以是与先行车辆的车间距离。例如,在车间距离小于阈值的情况下,也可以判定为车载摄影机的视野被先行车辆遮挡。另外,也可以接收并使用从路侧装置发送的道路环境信息。
另外,也可以通过解析图像取得部301取得的图像来生成道路环境信息。例如,也可以根据解析图像而得到的结果来判定在紧接着停止线之前已停止(即位于车列的开头)的情况。
(变形例)
上述实施方式只不过是一个例子,本发明能够在不脱离其要旨的范围内适宜地变更而实施。
例如,在车载装置30的负荷高而无法以计算出的识别周期进行号码牌信息的识别处理的情况下,也可以对服务器装置10委托处理的一部分。例如,在每单位时间的处理量超过规定量的情况下,也可以将与该超过量对应的图像发送到服务器装置10,委托号码牌信息的识别处理。
另外,在实施方式的说明中,通过调整识别周期进行了资源的分配,但也可以通过其以外的方法进行资源的分配。例如,也可以通过调整识别精度、图像的分辨率进行资源的分配。
另外,在第二实施方式中,利用了与道路环境有关的信息,但也可以仅使用对其他车辆进行感测而得到的结果来设定识别周期。例如,也可以通过上述方法,针对每个车辆计算本车辆和其他车辆的相对速度。根据上述方式,能够针对每个车辆计算车载摄影机的视场内的号码牌的滞留时间。也可以据此设定适当的识别周期。
在本公开中说明的处理、单元只要不产生技术上的矛盾,就能够自由地组合而实施。
另外,也可以说明为1个装置进行的处理由多个装置分担而执行。或者,说明为不同的装置进行的处理由1个装置执行。在计算机***中,能够灵活地变更通过什么样的硬件结构(服务器结构)实现各功能。
还能够通过将安装有在上述实施方式中说明的功能的计算机程序供给给计算机,该计算机具有的1个以上的处理器读出并执行程序来实现本发明。这样的计算机程序可以通过能够与计算机的***总线连接的非临时的计算机可读存储介质提供给计算机,也可以经由网络提供给计算机。非临时的计算机可读存储介质例如包括磁盘(软盘(Floppy(注册商标)Disk)、硬盘驱动器(HDD)等)、光盘(CD-ROM、DVD盘/蓝光光盘等)等任意的类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡、闪存、光学式卡、适合于储存电子的命令的任意的类型的介质。

Claims (11)

1.一种车载装置,具有:
图像识别单元,使用对车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;以及
周期决定单元,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定进行所述识别处理的周期,
所述周期决定单元被配置为:
取得包含于第一时刻(t)下的图像的号码牌集合(St);
取得包含于第二时刻(t+1)下的图像的号码牌集合(St+1);
取得包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)的距离值(Dt);以及
根据过去的预定期间中的所述距离值的集合决定进行所述识别处理的周期,
所述距离值(Dt)越大,包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)越背离,
所述第二时刻(t+1)是从所述第一时刻(t)延迟1个步长的时刻。
2.根据权利要求1所述的车载装置,其中,
所述周期决定单元在所述摄影机的视场内的其他车辆的号码牌的滞留时间更短的情况下,使所述周期更短。
3.根据权利要求1所述的车载装置,其中,
所述周期决定单元通过解析每单位时间取得的多个所述图像,取得与所述摄影机的视场内的所述其他车辆的号码牌的滞留时间关联起来的值,根据该值决定所述周期。
4.根据权利要求1所述的车载装置,其中,
还具有信息取得单元,该信息取得单元取得作为与所述车辆周边的道路环境有关的信息的环境信息,
所述周期决定单元根据所述环境信息来推定所述摄影机的视场内的所述其他车辆的号码牌的滞留时间。
5.根据权利要求4所述的车载装置,其中,
所述环境信息是根据对照所述车辆的当前位置和道路数据库而得到的结果取得的。
6.根据权利要求4所述的车载装置,其中,
所述环境信息是从路侧装置取得的。
7.根据权利要求4所述的车载装置,其中,
所述环境信息是与行车道数有关的信息、与道路宽度有关的信息、与和交叉路口的相对位置有关的信息的至少某一个。
8.根据权利要求1所述的车载装置,其中,
还具有取得与所述其他车辆的相对速度的速度取得单元,
所述周期决定单元还根据与所述其他车辆的相对速度来决定所述周期。
9.一种控制方法,其中,
搭载于车辆的车载装置执行:
图像识别步骤,使用对所述车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;以及
周期决定步骤,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定进行所述识别处理的周期,
所述周期决定步骤包括:
取得包含于第一时刻(t)下的图像的号码牌集合(St);
取得包含于第二时刻(t+1)下的图像的号码牌集合(St+1);
取得包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)的距离值(Dt);以及
根据过去的预定期间中的所述距离值的集合决定进行所述识别处理的周期,
所述距离值(Dt)越大,包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)越背离,
所述第二时刻(t+1)是从所述第一时刻(t)延迟1个步长的时刻。
10.一种车载装置,具有:
图像识别单元,使用对车辆的外部进行摄影的摄影机来取得图像,针对每预定的周期,进行包含于所述图像的号码牌信息的识别处理;
信息取得单元,取得作为与所述车辆周边的道路环境有关的信息的环境信息;以及
周期决定单元,根据所述环境信息决定进行所述识别处理的周期,
所述周期决定单元根据所述环境信息来推定所述摄影机的视场内的其他车辆的号码牌的滞留时间,并且根据所述摄影机的视场内的所述其他车辆的号码牌的滞留时间的长短,决定进行所述识别处理的周期,
所述周期决定单元被配置为:
取得包含于第一时刻(t)下的图像的号码牌集合(St);
取得包含于第二时刻(t+1)下的图像的号码牌集合(St+1);
取得包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)的距离值(Dt);以及
根据过去的预定期间中的所述距离值的集合决定进行所述识别处理的周期,
所述距离值(Dt)越大,包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)越背离,
所述第二时刻(t+1)是从所述第一时刻(t)延迟1个步长的时刻。
11.一种车载装置,具有:
第一处理单元,使用对车辆的外部进行摄影的摄影机来取得图像,进行包含于所述图像的号码牌信息的识别处理;
第二处理单元,进行所述号码牌信息的识别以外的处理;以及
分配单元,根据所述摄影机的视场内的其他车辆的号码牌的滞留时间的长短,决定分配给所述第一处理单元的资源量和分配给所述第二处理单元的资源量,
所述车载装置还具有周期决定单元,所述周期决定单元被配置为:
取得包含于第一时刻(t)下的图像的号码牌集合(St);
取得包含于第二时刻(t+1)下的图像的号码牌集合(St+1);
取得包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)的距离值(Dt);以及
根据过去的预定期间中的所述距离值的集合决定进行所述识别处理的周期,
所述距离值(Dt)越大,包含于所述第一时刻(t)下的图像的号码牌集合(St)与包含于所述第二时刻(t+1)下的图像的号码牌集合(St+1)越背离,
所述第二时刻(t+1)是从所述第一时刻(t)延迟1个步长的时刻。
CN201910551705.5A 2018-06-27 2019-06-25 车载装置以及控制方法 Active CN110648539B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018121831A JP6828719B2 (ja) 2018-06-27 2018-06-27 車載装置および制御方法
JP2018-121831 2018-06-27

Publications (2)

Publication Number Publication Date
CN110648539A CN110648539A (zh) 2020-01-03
CN110648539B true CN110648539B (zh) 2022-09-23

Family

ID=69009414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551705.5A Active CN110648539B (zh) 2018-06-27 2019-06-25 车载装置以及控制方法

Country Status (3)

Country Link
US (1) US11250274B2 (zh)
JP (1) JP6828719B2 (zh)
CN (1) CN110648539B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
US11978267B2 (en) 2022-04-22 2024-05-07 Verkada Inc. Automatic multi-plate recognition
US11557133B1 (en) * 2022-04-22 2023-01-17 Verkada Inc. Automatic license plate recognition
KR20240009746A (ko) * 2022-07-14 2024-01-23 현대자동차주식회사 외부 기기로부터 수신된 컨텐츠 이미지 정보를 표시하는 차량 장치 및 그 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830892A (ja) * 1994-07-12 1996-02-02 Hitachi Ltd 交通監視システム及び車番認識装置付き自動車
JP2005347945A (ja) * 2004-06-01 2005-12-15 Toyota Motor Corp 車両周辺監視装置及び車両周辺監視方法
CN1725266A (zh) * 2004-07-21 2006-01-25 上海高德威智能交通***有限公司 基于视频触发和测速的车辆智能监测记录***和方法
CN101587641A (zh) * 2008-05-21 2009-11-25 上海新联纬讯科技发展有限公司 车辆牌照检测与识别***
JP2011237933A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102360504A (zh) * 2011-10-20 2012-02-22 北京航空航天大学 一种基于多自然特征的自适应虚实三维注册方法
CN104584100A (zh) * 2012-07-20 2015-04-29 丰田自动车株式会社 车辆周边监视装置、车辆周边监视***
CN104751637A (zh) * 2013-12-30 2015-07-01 相阳 交通车辆监控管理方案
WO2016043781A1 (en) * 2014-09-20 2016-03-24 Elsheemy Mohamed Comprehensive traffic control system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3351340B2 (ja) * 1998-03-12 2002-11-25 三菱自動車工業株式会社 オプティカルフロー式後方情報検出装置
JP3987264B2 (ja) * 2000-03-24 2007-10-03 富士通株式会社 ナンバープレート読取装置及び方法
JP4511750B2 (ja) 2001-02-27 2010-07-28 三菱重工業株式会社 車両監視システム
WO2010038851A1 (ja) * 2008-10-02 2010-04-08 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
US8854458B2 (en) * 2009-04-15 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object detection device
JP4905496B2 (ja) * 2009-04-15 2012-03-28 トヨタ自動車株式会社 物体検出装置
JP2011086000A (ja) * 2009-10-13 2011-04-28 Toyota Motor Corp 運転支援装置
JP2011100409A (ja) 2009-11-09 2011-05-19 Yupiteru Corp 車載用電子機器及びプログラム
WO2012160902A1 (ja) * 2011-05-24 2012-11-29 日産自動車株式会社 車両用監視装置及び車両の監視方法
US20130182110A1 (en) * 2012-01-17 2013-07-18 Parx Ltd. Method, device and integrated system for payment of parking fees based on cameras and license plate recognition technology
JP5979046B2 (ja) * 2013-03-19 2016-08-24 富士通株式会社 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP6175846B2 (ja) * 2013-03-27 2017-08-09 富士通株式会社 車両追跡プログラム、サーバ装置および車両追跡方法
US9405988B2 (en) * 2013-08-13 2016-08-02 James Alves License plate recognition
CN112528737B (zh) * 2014-06-03 2022-03-01 御眼视觉技术有限公司 用于检测对象的***和方法
CN106303400B (zh) * 2015-05-12 2019-06-18 杭州海康威视数字技术股份有限公司 车载摄像机的监控方法和装置
US10607485B2 (en) * 2015-11-11 2020-03-31 Sony Corporation System and method for communicating a message to a vehicle
JP6552992B2 (ja) * 2016-03-17 2019-07-31 株式会社東芝 情報処理装置、車載装置および情報処理方法
JP6683012B2 (ja) 2016-05-24 2020-04-15 沖電気工業株式会社 画像処理システム、画像処理方法および撮像装置
CN108073923B (zh) * 2016-11-09 2021-09-17 杭州海康威视数字技术股份有限公司 一种车牌校正方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830892A (ja) * 1994-07-12 1996-02-02 Hitachi Ltd 交通監視システム及び車番認識装置付き自動車
JP2005347945A (ja) * 2004-06-01 2005-12-15 Toyota Motor Corp 車両周辺監視装置及び車両周辺監視方法
CN1725266A (zh) * 2004-07-21 2006-01-25 上海高德威智能交通***有限公司 基于视频触发和测速的车辆智能监测记录***和方法
CN101587641A (zh) * 2008-05-21 2009-11-25 上海新联纬讯科技发展有限公司 车辆牌照检测与识别***
JP2011237933A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102360504A (zh) * 2011-10-20 2012-02-22 北京航空航天大学 一种基于多自然特征的自适应虚实三维注册方法
CN104584100A (zh) * 2012-07-20 2015-04-29 丰田自动车株式会社 车辆周边监视装置、车辆周边监视***
CN104751637A (zh) * 2013-12-30 2015-07-01 相阳 交通车辆监控管理方案
WO2016043781A1 (en) * 2014-09-20 2016-03-24 Elsheemy Mohamed Comprehensive traffic control system

Also Published As

Publication number Publication date
JP2020003997A (ja) 2020-01-09
JP6828719B2 (ja) 2021-02-10
US20200005050A1 (en) 2020-01-02
CN110648539A (zh) 2020-01-03
US11250274B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
CN110648539B (zh) 车载装置以及控制方法
CN107727106B (zh) 动态地图构成方法、动态地图构成***以及移动终端
US9336450B2 (en) Methods and systems for selecting target vehicles for occupancy detection
US20200117926A1 (en) Apparatus, method, and system for controlling parking of vehicle
US11205342B2 (en) Traffic information processing device
CN107251123B (zh) 车辆组管理装置、车辆组管理方法和车辆组显示装置
CN110704663B (zh) 车载装置以及车辆搜索***
US20180224296A1 (en) Image processing system and image processing method
WO2014172708A1 (en) Pedestrian right of way monitoring and reporting system and method
US10157541B2 (en) Vehicle surveillance system, vehicle surveillance method, and program
US11189162B2 (en) Information processing system, program, and information processing method
JP6939362B2 (ja) 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム
KR20170039465A (ko) 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
CN113111682A (zh) 目标对象感知方法和装置、感知基站、感知***
US11837084B2 (en) Traffic flow estimation apparatus, traffic flow estimation method, traffic flow estimation program, and storage medium storing traffic flow estimation program
JP5667907B2 (ja) 情報提供システム
KR20150001480A (ko) 지능형 교통 정보 제공 장치 및 방법
JP7192541B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110363982B (zh) 基于路边无线单元的车型识别方法、终端设备及存储介质
US20220388506A1 (en) Control apparatus, movable object, control method, and computer-readable storage medium
US11823570B2 (en) Traffic management server, and method and computer program for traffic management using the same
JP7347502B2 (ja) 渋滞情報提供装置、渋滞情報処理方法及びプログラム
KR101907504B1 (ko) 하이패스 진입로 상황을 주변 차량에 전달하여 교통 혼잡을 해소하고 운전자 안전을 확보하는 통합형 차로제어기
EP3425607A1 (en) Mobile body management device, mobile body management method and storage medium
KR102559928B1 (ko) 도로 촬영 정보를 이용하는 도로 맵 정보 현행화 방법, 이에 사용되는 관리 서버 및 도로 촬영 정보를 이용하는 도로 맵 정보 현행화 방법을 실행시키는 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant