JP2020038654A - インテリジェント路側ユニットおよびその制御方法 - Google Patents

インテリジェント路側ユニットおよびその制御方法 Download PDF

Info

Publication number
JP2020038654A
JP2020038654A JP2019159296A JP2019159296A JP2020038654A JP 2020038654 A JP2020038654 A JP 2020038654A JP 2019159296 A JP2019159296 A JP 2019159296A JP 2019159296 A JP2019159296 A JP 2019159296A JP 2020038654 A JP2020038654 A JP 2020038654A
Authority
JP
Japan
Prior art keywords
roadside unit
camera
intelligent roadside
control method
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019159296A
Other languages
English (en)
Other versions
JP7073318B2 (ja
Inventor
▲獲▼ 曹
Huo Cao
▲獲▼ 曹
星 胡
Xing Hu
星 胡
▲聖▼ 陶
Sheng Tao
▲聖▼ 陶
海松 王
Kaimatsu O
海松 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020038654A publication Critical patent/JP2020038654A/ja
Application granted granted Critical
Publication of JP7073318B2 publication Critical patent/JP7073318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】インテリジェント路側ユニットのコストが高く、データ計算量が大きいという課題を解決する。【解決手段】インテリジェント路側ユニットは、環状軌道と、環状軌道の上に設けられ、且つ環状軌道に沿って移動可能なカメラと、カメラを駆動するドライバと、異なる道路方向の障害物情報をそれぞれ検出する複数のレーダを含む環状レーダアレイと、レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、車両の接近方向を取得し、接近方向に移動して撮影するようにカメラを駆動するようにドライバを制御するコントローラと、を含む。環状軌道を設け、カメラを環状軌道に配置することにより、車両の接近方向に移動して撮影するようにカメラを制御でき、各方向にカメラを配置する必要がなく、コストが削減され、データ計算量も少なくなる。さらに、環状レーダアレイを採用することにより、測定精度を確保することができる。【選択図】図１

Description

本願は、交通技術の分野に関し、特に、インテリジェント路側ユニットおよびその制御方法に関する。
インテリジェント路側ユニットは、自動運転の重要なサポートである。インテリジェント路側ユニットのインテリジェントニーズが高まるにつれて、インテリジェント路側ユニットの感知能力に対する要求はますます高くなり、インテリジェント路側ユニットの能動的な検知能力を向上させるために、インテリジェント路側ユニットに様々な検知検出器を追加する必要がある。

しかしながら、センサの数および種類の増加に伴い、インテリジェント路側ユニットのコストが増大し、データ計算量も大きい。
本発明は、従来技術においてインテリジェント路側ユニットのコストが高く、データ計算量が大きいという課題を解決するためのインテリジェント路側ユニットおよびその制御方法を提供する。
本願の第１の態様の実施例は、
環状軌道と、
前記環状軌道の上に設けられ、且つ前記環状軌道に沿って移動可能なカメラと、
前記カメラを駆動するドライバと、
異なる道路方向の障害物情報をそれぞれ検出する複数のレーダを含む環状レーダアレイと
前記レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、前記車両の接近方向を取得し、接近方向に移動して撮影するように前記カメラを駆動するように前記ドライバを制御するコントローラと、を含むインテリジェント路側ユニットを提供する。
本願の実施例のインテリジェント路側ユニットは、環状軌道と、環状軌道の上に設けられ、且つ環状軌道に沿って移動可能なカメラと、カメラを駆動するドライバと、環状レーダアレイと、コントローラとを含み、環状レーダアレイは、複数のレーダを含み、複数のレーダが異なる道路方向の障害物情報をそれぞれ検出し、コントローラは、レーダによって検出された障害物情報に基づいて接近している車両があるか否かを判断し、車両の接近方向を取得し、接近方向に移動して撮影するようにカメラを駆動するようにドライバを制御する。このように、環状軌道を設け、カメラを環状軌道に配置することにより、車両の接近方向に移動して撮影するようにカメラを制御することができ、各方向にカメラを配置する必要がなくなり、コストが削減されるだけではなく、データ計算量も少なくなる。さらに、インテリジェント路側ユニットは、環状レーダアレイを採用することにより、測定精度を確保することができる。
本願の第２の態様の実施例は、インテリジェント路側ユニットに適用される制御方法を提供し、当該方法は、
それぞれ異なる道路方向の障害物情報を検出する複数のレーダを含む環状レーダアレイによって検出された異なる道路方向の障害物情報を取得するステップと、
前記レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、前記車両の接近方向を取得するステップと、
前記接近方向に移動して撮影するようにカメラを駆動するようにドライバを制御するステップであって、前記カメラが環状軌道の上に設けられ、且つ前記環状軌道に沿って移動可能であるステップと、を含む。
本願の実施例の制御方法は、まず、それぞれ異なる道路方向の障害物情報を検出する複数のレーダを含む環状レーダアレイによって検出された異なる道路方向の障害物情報を取得し、次に、レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、車両の接近方向を取得した、次に、接近方向に移動して撮影するように、環状軌道の上に設けられ、且つ環状軌道に沿って移動可能なカメラを駆動するようにドライバを制御する。このように、車両の接近方向に移動して撮影するように、環状軌道の上に設けられたカメラを制御することにより、各方向にカメラを設けて、カメラによって撮影された各方向の画像を取得する必要がなくなり、コストが削減されるだけではなく、データ計算量も少なくなる。さらに、環状レーダアレイは、測定精度を確保することができる。
本願の第３の態様の実施例は、プロセッサとメモリとを含むインテリジェント路側ユニットを提供し、前記プロセッサは、メモリに記憶されている実行可能なプログラムコードを読み取り、前記実行可能プログラムコードに対応するプログラムを実行することにより、上記第２の態様の実施例に記載の制御方法を実現する。
本願の第４の態様の実施例は、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合、上記第２の態様の実施例に記載の制御方法が実現される。
本願の付加的な態様および利点は、一部が以下の説明において示され、一部が以下の説明により明らかになるか、または本願の実践により理解される。
本願の上記および/または付加的な態様および利点は、以下、図面を参照して実施例を説明することにより、明らかになり、理解しやすくなる。
本願の実施例に係るインテリジェント路側ユニットの概略構成図である。 本願の実施例に係る別のインテリジェント路側ユニットの概略構成図である。 本願の実施例に係る制御方法の概略フローチャートである。 本願の実施例に係る別の制御方法の概略フローチャートである。
以下、本願の実施例を詳細に説明する。前記実施例における例が図面に示され、同一または類似する符号は、常に同一または類似する構成要素、或いは、同一または類似する機能を有する構成要素を表す。以下に、図面を参照しながら説明される実施例は例示するものであり、本願を解釈するためだけに用いられ、本願を限定するものと理解してはいけない。
以下、図面を参照しながら本発明の実施例のインテリジェント路側ユニットおよびその制御方法について説明する。
実際の使用において、交通量の少ない交差点について、インテリジェント路側ユニットの各方向にカメラを配置すると、コストが増加するだけではなく、データ計算量も大幅に増加する。本願の実施例は、従来技術においてインテリジェント路側ユニットのコストが高く、データ計算量が大きいという課題に対して、インテリジェント路側ユニットを提供する。
本願の実施例のインテリジェント路側ユニットは、環状軌道上で設けて、環状軌道にカメラを配置することにより、カメラを車両の接近方向に移動して撮影するように制御することができ、カメラを全方向に配置する必要がなくなり、コストが削減されるだけではなく、データ計算量も少なくなる。さらに、インテリジェント路側ユニットは、環状レーダアレイを採用することにより、測定精度を確保することができる。
図１は、本願の実施例に係るインテリジェント路側ユニットの概略構成図である。
図１に示すように、当該インテリジェント路側ユニットは、環状軌道１１０と、カメラ１２０と、ドライバ１３０と、環状レーダアレイ１４０と、コントローラ１５０とを含む。
カメラ１２０は、環状軌道１１０に設けられ、且つ環状軌道１１０に沿って移動可能であり、ドライバ１３０は、カメラ１２０に接続され、環状軌道１１０を移動するようにカメラ１２０を駆動することができ、環状レーダアレイ１４０は、複数のレーダを含み、複数のレーダは、異なる道路方向の障害物情報をそれぞれ検出する。
障害物の情報は、障害物とインテリジェント路側ユニットとの間の距離および方位などの情報を含むことができ、レーダの数は、実際のニーズに応じて設定することができる。
具体的な実現時に、ミリ波レーダを使用することができ、環状ミリ波レーダアレイは、複数のミリ波レーダによって形成される。レーザレーダが高精度および耐干渉の利点を有するため、レーザレーダも使用することができ、環状レーザレーダアレイは、複数のレーザレーダによって形成される。
カメラ１２０は、コントローラ１５０に接続され、コントローラ１５０は、カメラ１２０によって撮影された画像を取得することができる。
コントローラ１５０は、レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、車両の接近方向を取得し、接近方向に移動して撮影するようにカメラ１２０を駆動するようにドライバ１３０を制御することができる。
本実施例では、カメラ１２０は環状軌道１１０に設けられ、コントローラ１５０は、環状レーダアレイにおける複数のレーダによって検出された異なる道路方向の障害物情報に基づいて、接近している車両があるか否かを判断する。具体的には、コントローラ１５０は、所定の時間ごとにレーダによって検出された障害物とレーダとの間の距離および方位などの情報を取得し、その後、接近している車両があるか否かを判断することができ、レーダによって検出された障害物がインテリジェント路側ユニットに徐々に接近している場合、コントローラ１５０は、車両が接近していることが検出されたと判断し、車両の接近方向を取得する。その後、車両の接近方向に移動して撮影するようにカメラ１２０を駆動するようにドライバ１３０を制御する。
例えば、レーダが、東西方向の道路に、東から西への方向に障害物があり、且つ障害物とレーダとの間の距離が６０メートル、５０メートル、４０メートルであると検出した場合、コントローラ１５０は、レーダによって検出された障害物情報に基づいて、東から西への方向に徐々に接近している車両があると判断することができ、東方向に移動して撮影するようにカメラ１２０を制御する。
実際の使用において、交通量の少ない交差点について、各方向にカメラを配置すると、コストが増加するだけではなく、計算量も大幅に増加する。本実施例では、車両が比較的に少ない交差点については、まず、環状レーダアレイによって車両の接近方向を検出し、環状軌道上で移動して進行方向の画像を取得するようにカメラを駆動するので、交通量の少ない交差点に対して、インテリジェント路側ユニットのコストを削減し、計算量を効果的に減少することができる。
本実施例では、カメラが環状軌道の上に設けられ、かつカメラが環状軌道上で移動可能であるため、カメラが各方向に移動して撮影することができ、つまり、一つのカメラを配置するだけで、各方向に撮影することを実現することができ、各方向に複数のカメラを配置する必要がなくなり、コストが大幅に削減される。また、接近している車両があると検出された場合には、車両の接近方向に移動して撮影するようにカメラが制御されるので、データ計算量が大幅に少なくなる。さらに、環状レーダアレイを配置することにより、測定精度を確保することができる。
実際の使用において、カメラはレーダ信号によって干渉されることがあり、画像の鮮明度を向上させるために、本施例では、インテリジェント路側ユニットは、カメラの少なくとも一部を被覆する遮蔽層をさらに含む。例えば、カメラ１２０の、レンズを除いた他の部分は、遮蔽材料によって被覆される。
遮蔽層は放熱に影響を及ぼすので、実際の使用において、遮蔽層は、カメラ１２０の、レンズおよび放熱部分を除いた他の部分を被覆することができる。これにより、カメラの動作および放熱性に影響を与えることなく、画像の鮮明度が向上する。
したがって、カメラが遮蔽層により被覆されることにより、レーダなどの部品によるカメラへの干渉を回避することができ、カメラの画像鮮明度が向上する。
さらに、コントローラ１５０は、カメラ１２０によって撮影された画像とレーダによって検出された障害物情報とに基づいて点群画像をさらに生成することができる。点群画像とは、物体の表面の点データ集合によって生成された画像である。
レーダは、障害物とインテリジェント路側ユニットとの間の距離を検出することができるので、コントローラ１５０は、同一時刻の障害物上の各点とインテリジェント路側ユニットとの間の距離を取得し、カメラ１２０によって撮影された画像と組み合わせて、点群画像を生成することができる。
インテリジェント路側ユニットは無人運転の重要なサポートであるので、インテリジェント路側ユニットは、点群画像をインテリジェント路側ユニットの付近の無人運転車両またはサーバに送信することができる。図２は、本願の実施例に係る別のインテリジェント路側ユニットの概略構成図である。
図２に示すように、インテリジェント路側ユニットは、コミュニケータ１６０をさらに含む。
コミュニケータ１６０は、コントローラ１５０に接続され、コントローラ１５０は、コミュニケータ１６０を介して点群画像を無人運転車両またはインテリジェント路側ユニットの付近のサーバに送信することができる。コミュニケータ１６０は、アンテナであってもよく、コントローラ１５０は、点群画像をアンテナを介してインテリジェント路側ユニットの付近の無人運転車両またはサーバに送信する。
本実施例では、コントローラは、点群画像をインテリジェント路側ユニットの付近の無人運転車両に送信し、これにより、無人車両が点群画像に応じた制御ポリシーを採用することができる。または、コントローラは、点群画像をサーバにアップロードし、サーバが点群画像に基づいてビッグデータ分析を実行するか、または、サーバが点群画像に基づいて制御命令を生成し、制御命令を付近の無人運転車両に送信する。これにより、無人運転車両の安全性および信頼性が向上する。
実際の使用において、車両が赤信号を待つ時間を短縮するために、この実施例におけるインテリジェント路側ユニットは、信号機をさらに含む。
コントローラ１５０は、点群画像に基づいて信号機を制御することができる。具体的には、インテリジェント路側ユニットを交差点の中央に配置することができ、コントローラ１５０は、点群画像に基づいて、ある道路上の車両が多いが、交差する他の道路上の車両が比較的に少ないと決定した場合、車両の多い道路の赤信号時間を短縮し、青信号時間を増加することにより、車両の待ち時間を短縮することができる。
本実施例では、コントローラは、点群画像に基づいて信号機を制御することができるので、実際の交通量に応じて信号機を制御することができ、車両の待ち時間を短縮することができる。
上記の実施例を実施するために、本願の実施例は制御方法をさらに提供する。当該制御方法は、本願の実施例に係るインテリジェント路側ユニットによって実行することができる。
図３は、本願の実施例に係る制御方法の概略フローチャート図である。図３に示すように、当該制御方法は、以下のステップ２０１〜ステップ２０３を含む。
ステップ２０１において、環状レーダアレイによって検出された異なる道路方向の障害物情報を取得する。
環状レーダアレイは、複数のレーダを含み、複数のレーダは、異なる道路方向の障害物情報をそれぞれ検出する。障害物の情報は、障害物とインテリジェント路側ユニットとの間の距離および方位などの情報を含むことができ、レーダの数は実際のニーズに応じて設定することができる。
具体的な実現時に、ミリ波レーダを使用することができ、環状ミリ波レーダアレイは、複数のミリ波レーダによって形成される。レーザレーダが高精度および耐干渉の利点を有するため、レーザレーダも使用することができ、環状レーザレーダアレイは、複数のレーザレーダによって形成される。
本実施例では、環状レーダアレイを用いて道路方向の異なる障害物情報を検出するため、検出精度を確保することができる。
ステップ２０２において、レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、車両の接近方向を取得する。
インテリジェント路側ユニットは、環状レーダアレイにおける複数のレーダによって検出された異なる道路方向の障害物情報に基づいて、接近している車両があるか否かを判断することができる。具体的には、インテリジェント路側ユニットは、所定の時間ごとにレーダによって検出された障害物とレーダとの間の距離および方位などの情報を取得し、その後、接近している車両があるか否かを判断することができ、レーダによって検出された障害物がインテリジェント路側ユニットに徐々に接近している場合、車両が接近していることが検出されたと判断し、車両の接近方向を取得することができる。
例えば、レーダが、東西方向の道路に、東から西への方向に障害物があり、且つ障害物とレーダとの間の距離が６０メートル、５０メートル、４０メートルであると検出した場合、インテリジェント路側ユニットは、レーダによって検出され障害物情報に基づいて、東から西への方向に徐々に接近している車両があると判断することができる。
ステップ２０３において、接近方向に移動して撮影するようにカメラを駆動するようにドライバを制御する。
この実施例では、カメラは、環状軌道の上に設けられ、且つ環状軌道に沿って移動可能である。
自動車の接近方向を決定した後、インテリジェント路側ユニットは、環状軌道に沿って自動車の接近方向に移動するようにカメラを駆動するようにドライバを制御することができる。これにより、カメラのレンズが自動車の進行方向を向いて撮影するようになる。
実際の使用において、交通量の少ない交差点について、カメラを各方向に配置すると、コストが増加するだけではなく、計算量も大幅に増加する。本実施例では、車両が比較的に少ない交差点については、まず、環状レーダアレイによって車両の接近方向を検出し、環状軌道上で移動して接近方向の画像を取得するようにカメラを駆動するので、交通量の少ない交差点について、インテリジェント路側ユニットのコストを削減し、計算量を効果的に減少することができる。
本実施例では、カメラが環状軌道の上に設けられ、かつカメラが環状軌道上で移動可能であるため、カメラが各方向に移動して撮影することができ、つまり、一つのカメラを配置するだけで、各方向に撮影することを実現することができ、各方向に複数のカメラを配置する必要がなくなり、コストが大幅に削減される。また、接近している車両があると検出された場合には、車両の接近方向に移動して撮影するようにカメラが制御されるので、データ計算量が大幅に少なくなる。さらに、環状レーダアレイが各道路方向の障害物情報を検出することにより、測定精度を確保することができる。
実際の使用において、カメラはレーダ信号によって干渉されることがあり、画像の鮮明度を向上させるために、本施例では、カメラは、少なくとも一部が遮蔽層によって被覆することができる。例えば、カメラの、レンズを除いた他の 部分は、遮蔽材料によって被覆される。
遮蔽層は放熱に影響を及ぼすので、実際の使用において、遮蔽層は、カメラの、レンズおよび放熱部分を除いた他の部分を被覆することができる。これにより、カメラの動作および放熱性に影響を与えることなく、画像の鮮明度が向上する。
したがって、カメラが遮蔽層により被覆されることにより、レーダなどの部品によるカメラへの干渉を回避することができ、カメラの画像鮮明度が向上する。
さらに、インテリジェント路側ユニットは、カメラによって撮影された画像とレーダによって検出された障害物情報とに基づいて点群画像をさらに生成して、無人運転車両またはサーバに送信することができる。点群画像とは、物体の表面の点データ集合によって生成された画像である。図４は、本願の実施例に係る別の制御方法の概略フローチャートである。
図４に示すように、当該制御方法は、以下のステップ３０１とステップ３０２とをさらに含む。
ステップ３０１において、カメラによって検出された画像とレーダによって検出された障害物情報とに基づいて点群画像を生成する。
レーダは、障害物とインテリジェント路側ユニットとの間の距離を検出することができるので、インテリジェント路側ユニットは、同一時刻の障害物上の各点とインテリジェント路側ユニットとの間の距離を取得し、カメラによって撮影された画像と組み合わせて、点群画像を生成することができる。
ステップ３０２において、コミュニケータを介して点群画像をインテリジェントロードサイドユニットの付近の無人運転車両またはサーバに送信する。
インテリジェント路側ユニットは無人運転の重要なサポートであるので、インテリジェント路側ユニットは、点群画像をインテリジェント路側ユニットの付近の無人運転車両またはサーバに送信することができる。
インテリジェント路側ユニットは、コミュニケータを介して点群画像をインテリジェント路側ユニットの付近の無人運転車両またはサーバーに送信することができる。コミュニケータはアンテナであってもよく、インテリジェント路側ユニットは、アンテナを介して点群画像をインテリジェント路側ユニットの付近の無人運転車両またはサーバに送信する。
本実施例では、インテリジェント路側ユニットは、点群画像をインテリジェント路側ユニットの付近の無人運転車両に送信し、これにより、無人車両が点群画像に基づいて対応する制御ポリシーを採用することができる。または、コントローラは、点群画像をサーバにアップロードし、サーバが点群画像に基づいてビッグデータ分析を実行するか、または、サーバが点群画像に基づいて制御命令を生成し、制御命令を付近の無人運転車両に送信する。これにより、無人運転車両の安全性および信頼性が向上する。
実際の使用において、車両が赤信号を待つ時間を短縮するために、本実施例において、インテリジェント路側ユニットは、点群画像に基づいて信号機を制御することができる。
具体的には、インテリジェント路側ユニットを交差点の中央に配置することができ、インテリジェント路側ユニットが、点群画像に基づいて、ある道路上の車両が多いが、交差する他の道路上の車両が比較的に少ないと決定した場合、車両の多い道路の赤信号時間を短縮し、青信号時間を増加することにより、車両の待ち時間を短縮することができる。
本実施例では、コントローラは、点群画像に基づいて信号機を制御することができるので、実際の交通量に応じて信号機を制御することができ、車両の待ち時間を短縮することができる。
上記の実施例を実現するために、本発明の実施例は、プロセッサとメモリとを含むインテリジェント路側ユニットをさらに提供し、前記プロセッサは、前記メモリに記憶されている実行可能なプログラムコードを読み取り、前記実行可能なプログラムコードに対応するプログラムを実行することにより、上記の実施例に記載の制御方法を実現する。
上記の実施例を実施するために、本発明の実施例は、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合、上記の実施例に記載の制御方法が実現される。
本明細書の説明において、「一実施例」、「一部の実施例」、「例」、「具体的な例」、或いは「一部の例」などの用語を参考した説明とは、当該実施例或いは例を合わせて説明された具体的な特徴、構成、材料或いは特性が、本開示の少なくとも１つの実施例或いは例に含まれることである。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施例或いは例を示すものではない。また、説明された具体的な特徴、構成、材料或いは特性は、いずれか１つ或いは複数の実施例又は例において適切に結合することができる。なお、相互に矛盾しない限り、当業者は、本明細書において説明された異なる実施例又は例、及び異なる実施例又は例の特徴を結合し、組み合わせることができる。
フローチャートにおける、又はここで他の形態で記載された任意のプロセス又は方法は、特定ロジック機能又はプロセスのステップを実現するための１つ又は複数の実行可能な命令コードを含むモジュール、セグメント又は一部を表すと理解されてもよい。また、本発明の好ましい実施形態の範囲は、ここで、示された又は論議された順番ではなく、係る機能に応じてほぼ同時の形態又は逆の順番で機能を実行することができる他の実現を含むことができる。これは、当業者であれば理解すべきのものである。
フローチャートで示された又はここで他の形態で説明されたロジック及び/又はステップは、例えば、ロジック機能を実現するための実行可能な命令の順番付けられたリストと見なすことができ、任意のコンピュータ読み取り可能な記憶媒体に具体的に実装されて、命令実行システム、装置、又はデバイス（例えばコンピュータに基づいたシステム、プロセッサを含むシステム、又は他の命令実行システム、装置又はデバイスから命令を取得して命令を実行するシステム）に利用されるか、又はこれらの命令実行システム、装置又はデバイスと組み合わせて利用される。本願明細書において、「コンピュータ読み取り可能な記憶媒体」は、命令実行システム、装置又はデバイスによって、又は、命令実行システム、装置又はデバイスと組み合わせて使用するためのプログラムを含む、格納する、通信する、伝播する、又は伝送することができる任意の装置であってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非限定的なリスト）として、１つ又は複数の配線を備える電気接続部（電子デバイス）、ポータブルコンピュータディスクカートリッジ（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバデバイス、及びポータブルコンパクトディスク読み出し専用リメモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な記憶媒体は、前記プログラムが印刷され得る紙又は他の適切な媒体であってもよく、これは、例えば、紙や他の媒体を光学的スキャンし、次に編集し、解釈し、又は必要な場合に他の適切な形態で処理して前記プログラムを電子的に取得して、そしてコンピュータメモリに格納するからである。
当業者であれば、上記の実施例に係る方法に含まれる全部又は一部のステップは、プログラムによってハードウェアを命令することで実行することができると理解することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に格納することができ、当該プログラムが実行される場合、方法実施例におけるステップの１つ又はそれらの組み合わせが実行される。
上記の記憶媒体は、読み出し専用メモリ、磁気ディスク、又はＣＤなどであってもよい。なお、以上、本発明の実施例を示して説明したが、上記実施例は例示するものであって、本発明を制限するためのものであると理解してはいけない。当業者であれば、本発明の範囲内で上記実施例に対して変更、修正、置換え、変形を行うことができる。

Claims (16)

  1. 環状軌道と、
    前記環状軌道の上に設けられ、且つ前記環状軌道に沿って移動可能なカメラと、
    前記カメラを駆動するドライバと、
    異なる道路方向の障害物情報をそれぞれ検出する複数のレーダを含む環状レーダアレイと、
    前記レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、前記車両の接近方向を取得し、前記接近方向に移動して撮影するように前記カメラを駆動するように前記ドライバを制御するコントローラと、を含む、
    ことを特徴とするインテリジェント路側ユニット。
  2. 前記コントローラは、前記カメラによって撮影された画像と前記レーダによって検出された障害物情報とに基づいて点群画像を生成する、
    ことを特徴とする請求項１に記載のインテリジェント路側ユニット。
  3. 前記インテリジェント路側ユニットは、前記コントローラに接続されるコミュニケータをさらに含み、前記コントローラは、前記コミュニケータを介して前記点群画像を前記インテリジェント路側ユニットの付近の無人運転車両またはサーバに送信する、
    ことを特徴とする請求項２に記載のインテリジェント路側ユニット。
  4. 前記インテリジェント路側ユニットは、信号機をさらに含み、前記コントローラは、前記点群画像に基づいて前記信号機を制御する、
    ことを特徴とする請求項３に記載のインテリジェント路側ユニット。
  5. 前記環状レーダアレイの複数のレーダは、ミリ波レーダまたはレーザレーダである、
    ことを特徴とする請求項２〜４のいずれかに記載のインテリジェント路側ユニット。
  6. 前記レーダによって検出された障害物が前記インテリジェント路側ユニットに徐々に接近している場合、前記コントローラは、車両が接近していることが検出されたと判断する、
    ことを特徴とする請求項２〜４のいずれかに記載のインテリジェント路側ユニット。
  7. 前記インテリジェント路側ユニットは、前記カメラの少なくとも一部を被覆する遮蔽層をさらに含む、
    ことを特徴とする請求項２〜４のいずれかに記載のインテリジェント路側ユニット。
  8. インテリジェント路側ユニットに適用される制御方法であって、
    それぞれ異なる道路方向の障害物情報を検出する複数のレーダを含む環状レーダアレイによって検出された異なる道路方向の障害物情報を取得するステップと、
    前記レーダによって検出された障害物情報に基づいて、接近している車両があるか否かを判断し、前記車両の接近方向を取得するステップと、
    前記接近方向に移動して撮影するようにカメラを駆動するようにドライバを制御するステップであって、前記カメラが環状軌道の上に設けられ、且つ前記環状軌道に沿って移動可能であるステップと、を含む、
    ことを特徴とする制御方法。
  9. 前記環状レーダアレイの複数のレーダは、ミリ波レーダまたはレーザレーダである、
    ことを特徴とする請求項８に記載の制御方法。
  10. 前記制御方法は、
    前記レーダによって検出された障害物が前記インテリジェント路側ユニットに徐々に接近している場合、車両が接近していることが検出されたと判断するステップを更に含む、
    ことを特徴とする請求項８に記載の制御方法。
  11. 前記カメラの少なくとも一部が遮蔽層によって被覆されている、
    ことを特徴とする請求項８に記載の制御方法。
  12. 前記制御方法は、
    前記カメラによって撮影された画像と前記レーダによって検出された障害物情報とに基づいて点群画像を生成するステップを更に含む、
    ことを特徴とする請求項８に記載の制御方法。
  13. 前記制御方法は、
    コミュニケータを介して前記点群画像を前記インテリジェント路側ユニットの付近の無人運転車両またはサーバに送信するステップをさらに含む、
    ことを特徴とする請求項１２に記載の制御方法。
  14. 前記制御方法は、
    前記点群画像に基づいて信号機を制御するステップを更に含む、
    ことを特徴とする請求項１３に記載の制御方法。
  15. プロセッサとメモリとを含むインテリジェント路側ユニットであって、
    前記プロセッサは、前記メモリに記憶されている実行可能なプログラムコードを読み取り、前記実行可能なプログラムコードに対応するプログラムを実行することにより、請求項８〜１４のいずれかに記載の制御方法を実現する、
    ことを特徴とするインテリジェント路側ユニット。
  16. コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合、請求項８〜１４のいずれかに記載の制御方法が実現される、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
JP2019159296A 2018-08-31 2019-09-02 インテリジェント路側ユニットおよびその制御方法 Active JP7073318B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811014577.2A CN110874923B (zh) 2018-08-31 2018-08-31 智能路侧单元和控制方法
CN201811014577.2 2018-08-31

Publications (2)

Publication Number Publication Date
JP2020038654A true JP2020038654A (ja) 2020-03-12
JP7073318B2 JP7073318B2 (ja) 2022-05-23

Family

ID=67587612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019159296A Active JP7073318B2 (ja) 2018-08-31 2019-09-02 インテリジェント路側ユニットおよびその制御方法

Country Status (4)

Country Link
US (1) US20200072965A1 (ja)
EP (1) EP3618035B1 (ja)
JP (1) JP7073318B2 (ja)
CN (1) CN110874923B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354221A (zh) * 2020-04-10 2020-06-30 南京楚航科技有限公司 一种基于毫米波雷达探测的道路智能停车设备和***
CN112071093A (zh) * 2020-04-22 2020-12-11 义硕智能股份有限公司 交通号志灯的控制***及方法
CN111894678A (zh) * 2020-09-04 2020-11-06 核工业北京地质研究院 一种用于敞开式tbm施工的洞壁自动扫描***
CN112863190B (zh) * 2020-12-30 2022-09-20 北京北大千方科技有限公司 一种危险品运输车辆信息采集设备及采集方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004009833A (ja) * 2002-06-05 2004-01-15 Nissan Motor Co Ltd 運転状況記録装置
JP2014052861A (ja) * 2012-09-07 2014-03-20 Ihi Corp 解析装置および解析方法
CN204512867U (zh) * 2015-03-24 2015-07-29 福建新前信息工程有限公司 一种盘式安装的安防网络摄像机
US20160125713A1 (en) * 2013-05-23 2016-05-05 Sony Corporation Surveillance apparatus having an optical camera and a radar sensor
EP3177009A1 (en) * 2015-12-02 2017-06-07 GeoVision Inc. Camera system with a full view monitoring function
JP2017181101A (ja) * 2016-03-28 2017-10-05 セコム株式会社 対象物体検知装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111210A (en) * 1990-06-22 1992-05-05 Survival Safety Engineering, Inc. Collision avoidance radar detector system
JP2000172979A (ja) * 1998-12-01 2000-06-23 Mitsubishi Heavy Ind Ltd 接近物体の監視装置および方法
US7012637B1 (en) * 2001-07-27 2006-03-14 Be Here Corporation Capture structure for alignment of multi-camera capture systems
JP4088182B2 (ja) * 2003-03-17 2008-05-21 富士通株式会社 画像情報処理システム
US9208668B1 (en) * 2014-09-16 2015-12-08 Geovision Inc. Camera system with a full view monitoring function
US9934689B2 (en) * 2014-12-17 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation at blind intersections
CN204442504U (zh) * 2015-03-19 2015-07-01 浙江海洋学院 一种便捷环轨摄录一体机
US9489841B1 (en) * 2015-06-18 2016-11-08 James Damian Huggins Portable multi-function roadway barrier
CN105323488B (zh) * 2015-11-24 2019-01-08 微导科技（福建）有限公司 一种智能摄像装置的控制***的控制方法
US20170372602A1 (en) * 2016-06-24 2017-12-28 Continental Advanced Lidar Solutions Us, Llc Ladar enabled traffic control
CN206069250U (zh) * 2016-08-30 2017-04-05 四川中桴美达科技有限公司 塔机视野扩展装置
CN106534634A (zh) * 2016-11-08 2017-03-22 天津华来科技有限公司 一种监控摄像头
US10593198B2 (en) * 2016-12-06 2020-03-17 Flir Commercial Systems, Inc. Infrastructure to vehicle communication protocol
CN106781547B (zh) * 2016-12-29 2020-03-20 深圳市金溢科技股份有限公司 一种交通信号灯智能控制方法、路侧设备及***
CN106838787A (zh) * 2016-12-30 2017-06-13 武汉亿文光电设备有限公司 一种太阳能智能续航监控方法及装置
CN207318904U (zh) * 2017-09-01 2018-05-04 陈永佳 新型智能拍摄台
CN107591008A (zh) * 2017-09-18 2018-01-16 同济大学 一种基于路侧设备的分布式交通控制***
CN107527506A (zh) * 2017-09-20 2017-12-29 上海安道雷光波***工程有限公司 嵌入式雷达监测复合仪、以及雷达监测抓拍***和方法
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108389402A (zh) * 2018-03-28 2018-08-10 成都蓉创智谷科技有限公司 一种基于激光雷达的交通灯***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004009833A (ja) * 2002-06-05 2004-01-15 Nissan Motor Co Ltd 運転状況記録装置
JP2014052861A (ja) * 2012-09-07 2014-03-20 Ihi Corp 解析装置および解析方法
US20160125713A1 (en) * 2013-05-23 2016-05-05 Sony Corporation Surveillance apparatus having an optical camera and a radar sensor
CN204512867U (zh) * 2015-03-24 2015-07-29 福建新前信息工程有限公司 一种盘式安装的安防网络摄像机
EP3177009A1 (en) * 2015-12-02 2017-06-07 GeoVision Inc. Camera system with a full view monitoring function
JP2017181101A (ja) * 2016-03-28 2017-10-05 セコム株式会社 対象物体検知装置

Also Published As

Publication number Publication date
CN110874923A (zh) 2020-03-10
US20200072965A1 (en) 2020-03-05
EP3618035B1 (en) 2024-01-24
JP7073318B2 (ja) 2022-05-23
EP3618035A1 (en) 2020-03-04
CN110874923B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
JP2020038654A (ja) インテリジェント路側ユニットおよびその制御方法
US11462022B2 (en) Traffic signal analysis system
US11099272B2 (en) Intelligent roadside unit
US11579285B2 (en) Intelligent roadside unit
JP2020038651A (ja) インテリジェント路側ユニットおよびその制御方法、コンピュータ機器および記憶媒体
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
US11335030B2 (en) Camera-calibration system and method thereof
JP6818820B2 (ja) インテリジェント路側ユニットおよびその情報処理方法
US11327486B2 (en) Vehicle and control method thereof
EP3618033A1 (en) System and method for controlling traffic lights
US10451735B2 (en) Information processing device, information processing method, and vehicle
JP7077282B2 (ja) インテリジェント路側ユニットおよびその情報処理方法
US11210938B2 (en) Intelligent road side unit and regulation method thereof
US12025747B2 (en) Sensor-based control of LiDAR resolution configuration
JP7409324B2 (ja) 制御装置、情報処理装置、並びに、移動制御システム、方法及びプログラム
KR20230168635A (ko) 자율 주행 시스템 및 차량 자율 주행을 위한 방법
KR20230072294A (ko) 교차로에서의 군집주행 방법 및 그를 위한 차량 제어장치
KR20220148011A (ko) 차량의 주행을 보조하는 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210907

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220207

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220511

R150 Certificate of patent or registration of utility model

Ref document number: 7073318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150