JP6808590B2 - 情報処理装置、情報処理方法、プログラムおよび移動体 - Google Patents

情報処理装置、情報処理方法、プログラムおよび移動体 Download PDF

Info

Publication number
JP6808590B2
JP6808590B2 JP2017153254A JP2017153254A JP6808590B2 JP 6808590 B2 JP6808590 B2 JP 6808590B2 JP 2017153254 A JP2017153254 A JP 2017153254A JP 2017153254 A JP2017153254 A JP 2017153254A JP 6808590 B2 JP6808590 B2 JP 6808590B2
Authority
JP
Japan
Prior art keywords
sensor
distribution
probability
occupancy
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017153254A
Other languages
English (en)
Other versions
JP2019032700A (ja
Inventor
友樹 渡辺
友樹 渡辺
雄磨 佐野
雄磨 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017153254A priority Critical patent/JP6808590B2/ja
Priority to EP18159701.4A priority patent/EP3441906A1/en
Priority to US15/911,310 priority patent/US10885353B2/en
Publication of JP2019032700A publication Critical patent/JP2019032700A/ja
Application granted granted Critical
Publication of JP6808590B2 publication Critical patent/JP6808590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G01S2007/52009—Means for monitoring or calibrating of sensor obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、情報処理装置、情報処理方法、プログラムおよび移動体に関する。
レーザセンサなどの距離センサを用いて取得した障害物上の点の位置情報に基づいて、障害物マップを生成するシステムが知られている。障害物マップは、各位置における障害物の占有度（０．０〜１．０）を表すマップである。取得した位置の周辺は障害物が存在する可能性が高いため、大きな値の占有度が設定される。逆に取得した位置の手前は障害物が存在する確率が低いため、小さな値の占有度が設定される。また、取得した位置の奥は、遮蔽によりセンシングできないため、障害物の有無がわからないことを示す中間値（０．５）が占有度として設定される。
例えば、取得された位置でピーク（例えば０．９）とし、ピークから前後に離れるにつれて徐々に低減するように占有度を設定する技術が提案されている。この技術では、ピークよりも後ろ側は徐々に低減し、値が０．５以下となる位置から奥は０．５の一定値が占有度として設定される。
従来技術では、例えば距離センサによって、対象の位置を高い精度で検知できることを前提として、０．５を一律に設定することで未計測を表現している。しかし、センサの精度が低い場合には占有度のピークが０．５を下回る場合があるため、適切な占有度を設定することができない。
特開２００７−３３３４８６号公報
本発明が解決しようとする課題は、適切な占有度を設定する情報処理装置を提供することである。
実施形態の情報処理装置は、位置取得部と、占有度算出部と、を備える。位置取得部は、センサにより計測された、対象が存在する位置または存在しない位置を表す位置情報を取得する。占有度算出部は、位置情報とセンサの計測精度とに基づいて、センサにより計測されない確率を表す未計測確率分布に基づく分布であって、センサの位置から位置情報が表す位置に向かう方向に存在する複数の領域それぞれを対象が占有する度合いを示す占有度分布を算出する。
移動体を示す図。 移動体の構成を示すブロック図。 マップの導出の説明図。 表示されるマップＭの一例を示す模式図。 対象が存在するときの占有度の説明図。 占有度の設定例を示す説明図。 占有度の設定例を示す説明図。 対象が存在しないときの占有度の説明図。 情報処理の手順を示すフローチャート。 ハードウェア構成図。
以下に添付図面を参照して、情報処理装置、情報処理方法、プログラム、および移動体を詳細に説明する。
図１は、本実施形態の移動体１０の一例を示す図である。
移動体１０は、情報処理装置２０と、出力部１０Ａと、外界センサ１０Ｂと、内界センサ１０Ｃと、動力制御部１０Ｇと、動力部１０Ｈと、を備える。
情報処理装置２０は、例えば、専用または汎用コンピュータである。本実施形態では、情報処理装置２０が、移動体１０に搭載されている場合を一例として説明する。
移動体１０とは、移動可能な物である。移動体１０は、例えば、車両、台車、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、ドローン））、および、ロボット、などである。また、移動体１０は、例えば、人による運転操作を介して走行する移動体や、人による運転操作を介さずに自動的に走行（自律走行）可能な移動体である。本実施形態では、移動体１０が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、および、四輪自動車などである。本実施形態では、車両が、自律走行可能な四輪自動車である場合を一例として説明する。
なお、情報処理装置２０は、移動体１０に搭載された形態に限定されない。情報処理装置２０は、静止物に搭載されていてもよい。静止物は、地面に固定された物である。静止物は、移動不可能な物や、地面に対して静止した状態の物である。静止物は、例えば、ガードレール、ポール、駐車車両、および、道路標識、などである。また、情報処理装置２０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
動力部１０Ｈは、移動体１０に搭載された、駆動デバイスである。動力部１０Ｈは、例えば、エンジン、モータ、および、車輪、などである。
動力制御部１０Ｇは、動力部１０Ｈを制御する。動力制御部１０Ｇの制御によって動力部１０Ｈが駆動する。例えば、動力制御部１０Ｇは、移動体１０を自動的に運転するために、外界センサ１０Ｂおよび内界センサ１０Ｃから得られる情報や、後述する処理で導出される存在確率情報などに基づいて、動力部１０Ｈを制御する。動力部１０Ｈの制御によって、移動体１０のアクセル量、ブレーキ量、および、操舵角などが制御される。例えば、動力制御部１０Ｇは、障害物を避けて現在走行中の車線を保ち、かつ、前方車両との車間距離を所定距離以上保つように車両の制御を行う。
出力部１０Ａは、各種情報を出力する。本実施形態では、出力部１０Ａは、情報処理装置２０で導出されたマップを出力する。マップは、障害物の占有度を示す。マップの詳細は後述する。
出力部１０Ａは、マップを送信する通信機能、マップを表示する表示機能、および、マップを示す音を出力する音出力機能、などを備える。例えば、出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ、および、スピーカ１０Ｆ、の少なくとも１つを含む。なお、本実施形態では、出力部１０Ａは、通信部１０Ｄ、ディスプレイ１０Ｅ、および、スピーカ１０Ｆを備えた構成を一例として説明する。
通信部１０Ｄは、マップを他の装置へ送信する。例えば、通信部１０Ｄは、公知の通信回線を介してマップを他の装置へ送信する。ディスプレイ１０Ｅは、マップを表示する。ディスプレイ１０Ｅは、例えば、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、投影装置、および、ライトなどである。スピーカ１０Ｆは、マップを示す音を出力する。
外界センサ１０Ｂは、移動体１０の周辺の外界を認識するセンサである。外界センサ１０Ｂは、移動体１０に搭載されていてもよいし、該移動体１０の外部に搭載されていてもよい。移動体１０の外部とは、例えば、他の移動体や外部装置などを示す。
移動体１０の周辺とは、該移動体１０から予め定めた範囲内の領域である。この範囲は、外界センサ１０Ｂの観測可能な範囲である。この範囲は、予め設定すればよい。
外界センサ１０Ｂは、外界の観測情報を取得する。観測情報は、外界センサ１０Ｂの設置位置の周辺の、観測結果を示す情報である。本実施形態では、観測情報は、外界センサ１０Ｂ（すなわち移動体１０）の周辺の複数の検知点の各々の位置情報を導出可能な情報である。
検知点の位置情報は、実空間における検知点の位置を示す情報である。例えば、検知点の位置情報は、外界センサ１０Ｂから検知点までの距離と、外界センサ１０Ｂを基準とした検知点の方向と、を示す情報である。これらの距離および方向は、例えば、外界センサ１０Ｂを基準とする検知点の相対位置を示す位置座標や、検知点の絶対位置を示す位置座標や、ベクトルなどで表すことができる。具体的には、位置情報は、極座標や、直交座標で表される。本実施形態では、検知点の位置情報は、極座標で示される場合を、一例として説明する。
検知点は、移動体１０の外界における、外界センサ１０Ｂによって個別に観測される点の各々を示す。例えば、外界センサ１０Ｂは、外界センサ１０Ｂの周囲に光を照射し、反射点で反射した反射光を受光する。この反射点が、検知点に相当する。なお、複数の反射点を１つの検知点として用いてもよい。電磁波や音波などの反射を用いてもよい。
外界センサ１０Ｂは、複数の検知点の各々に対する光の照射方向（外界センサ１０Ｂを基準とする検知点の方向）と、複数の検知点の各々で反射した反射光に関する情報と、を含む、観測情報を得る。反射光に関する情報は、例えば、光の照射から反射光の受光までの経過時間や、受光した光の強度（または出射した光の強度に対する受光した光の強度の減衰率）などである。そして、外界センサ１０Ｂは、この経過時間などを用いて、検知点の位置情報を導出し、情報処理装置２０へ出力する。なお、観測情報から検知点の位置情報の導出は、情報処理装置２０で行ってもよい。本実施形態では、外界センサ１０Ｂが、検知点の各々の位置情報を、情報処理装置２０へ出力する場合を説明する。
外界センサ１０Ｂは、例えば、撮影装置や、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、などである。撮影装置は、撮影によって撮影画像データ（以下、撮影画像と称する）を得る。撮影装置は、ステレオカメラ、位置特定用カメラなどである。外界センサ１０Ｂとして撮影装置を用いる場合、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術、および、ステレオマッチング技術などを用いて、幾何学的に位置情報を導出してもよい。撮影画像は、画素ごとに画素値を規定したデジタル画像データや、画素毎に外界センサ１０Ｂからの距離を規定したデプスマップなどである。レーザセンサは、例えば、水平面に対して平行に設置された二次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサや、三次元ＬＩＤＡＲセンサである。
本実施形態では、外界センサ１０Ｂが、撮影装置である場合を、一例として説明する。
本実施形態では、外界センサ１０Ｂは、移動体１０の走行方向を撮影方向として設置されている場合を、一例として説明する。このため、本実施形態では、外界センサ１０Ｂは、移動体１０の走行方向（すなわち、前方）の、検知点の各々の位置情報を取得する。
内界センサ１０Ｃは、移動体１０自体の情報を観測するセンサである。内界センサ１０Ｃは、自己位置情報を取得する。自己位置情報は、移動体１０の位置情報を含む。移動体１０の位置情報は、移動体１０の現在の位置を示す情報である。内界センサ１０Ｃは、例えば、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等である。なお、移動体１０の位置情報は、ワールド座標（世界座標）によって表されるものとする。
次に、移動体１０の電気的構成について詳細に説明する。図２は、移動体１０の構成の一例を示すブロック図である。
移動体１０は、情報処理装置２０と、出力部１０Ａと、外界センサ１０Ｂと、内界センサ１０Ｃと、動力制御部１０Ｇと、動力部１０Ｈと、を備える。上述したように、出力部１０Ａは、通信部１０Ｄと、ディスプレイ１０Ｅと、スピーカ１０Ｆと、を含む。
情報処理装置２０、出力部１０Ａ、外界センサ１０Ｂ、内界センサ１０Ｃ、および動力制御部１０Ｇは、バス１０Ｉを介して接続されている。動力部１０Ｈは、動力制御部１０Ｇに接続されている。
情報処理装置２０は、記憶部２０Ｂと、処理部２０Ａと、を有する。すなわち、出力部１０Ａ、外界センサ１０Ｂ、内界センサ１０Ｃ、動力制御部１０Ｇ、処理部２０Ａ、および、記憶部２０Ｂは、バス１０Ｉを介して接続されている。
なお、記憶部２０Ｂ、出力部１０Ａ（通信部１０Ｄ、ディスプレイ１０Ｅ、スピーカ１０Ｆ）、外界センサ１０Ｂ、内界センサ１０Ｃ、および動力制御部１０Ｇ、の少なくとも１つは、有線または無線で処理部２０Ａに接続すればよい。また、記憶部２０Ｂ、出力部１０Ａ（通信部１０Ｄ、ディスプレイ１０Ｅ、スピーカ１０Ｆ）、外界センサ１０Ｂ、内界センサ１０Ｃ、および、動力制御部１０Ｇ、の少なくとも１つと、処理部２０Ａと、を、ネットワークを介して接続してもよい。
記憶部２０Ｂは、各種データを記憶する。記憶部２０Ｂは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２０Ｂは、情報処理装置２０の外部に設けられた記憶装置であってもよい。また、記憶部２０Ｂは、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２０Ｂを、複数の記憶媒体から構成してもよい。
処理部２０Ａは、位置取得部２０Ｃと、マップ生成部２０Ｄと、存在確率導出部２０Ｅと、未計測確率導出部２０Ｆと、占有度算出部２０Ｇと、出力制御部２０Ｈと、を備える。位置取得部２０Ｃと、マップ生成部２０Ｄと、存在確率導出部２０Ｅと、未計測確率導出部２０Ｆと、占有度算出部２０Ｇと、出力制御部２０Ｈは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
なお、本実施形態において用いる「プロセッサ」との文言は、例えば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、および、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））の回路を意味する。
プロセッサは、記憶部２０Ｂに保存されたプログラムを読み出し実行することで、上記各部を実現する。なお、記憶部２０Ｂにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、上記各部を実現する。
位置取得部２０Ｃは、位置関連情報を取得する。位置関連情報は、検知点の位置情報を少なくとも含む。本実施形態では、位置関連情報は、検知点の位置情報と、自己位置情報と、を含む。
本実施形態では、処理部２０Ａは、位置関連情報などを用いて、後述する処理を行うことで、マップを導出する。
図３−１は、マップの導出の一例の説明図である。図３−１に示すように、移動体１０に搭載された外界センサ１０Ｂが、実空間Ｓにおける複数の検知点Ｐの各々の位置情報を取得する。位置取得部２０Ｃは、外界センサ１０Ｂで検知された複数の検知点Ｐの各々の、位置情報を取得する。
詳細には、位置取得部２０Ｃは、外界センサ１０Ｂで検知可能な検知点Ｐの密度、すなわち、外界センサ１０Ｂの解像度に応じた数の検知点Ｐについて、位置情報を取得する。検知点Ｐの位置情報は、例えば、極座標で表される。なお、外界センサ１０Ｂは、直交座標で表した、検知点の三次元情報を取得してもよい。なお、検知点Ｐの位置情報が直交座標で表される場合、位置取得部２０Ｃは、直交座標を極座標に変換すればよい。
本実施形態では、位置取得部２０Ｃは、検知点Ｐの位置情報として、極座標で表される位置情報を取得する場合を説明する。すなわち、検知点Ｐの位置情報は、極座標空間における、距離ｒ（動径と称される場合もある）と、角度φ（偏角と称される場合もある）と、によって表される。角度φは、移動体１０の走行中の推定地面に沿ったｘｙ平面（鉛直方向に直交する平面）上における、移動体１０の位置を原点とした方向である。
なお、本実施形態において、移動体１０の位置、および、移動体１０の現在位置、とは、情報処理装置２０の搭載された移動体１０の現在の位置を示す。すなわち、移動体１０の位置情報は、移動体１０の位置（現在位置）を示す情報である。
なお、本実施形態では、極座標空間のｘｙ平面における、移動体１０の現在位置を原点とした、角度φに沿った方向を、「角度方向」と称して説明する場合がある。極座標空間におけるｘｙ平面は、極座標空間の動径方向に直交する平面である。角度方向（φ方向）は、極座標空間の動径方向に直交する２つの偏角（θ、φ）の内の、ｘ軸またはｙ軸からの角度φを示す方向である。また、本実施形態では、極座標空間における動径方向を、「距離方向」と称して説明する。動径方向は、移動体１０の現在位置を原点としたときの、検知点Ｐまでの距離（距離ｒ）を示す方向（ｒ方向）であり、動径軸に沿った方向である。
なお、検知点Ｐの位置情報は、実際には、さらに、角度θを含む極座標で表される。角度θは、移動体１０の走行中の推定地面に沿ったｘｙ平面に対する垂線（ｚ軸）に対する角度である。本実施形態では、角度θについては考慮しないため、記載を省略する。
なお、位置取得部２０Ｃは、検知点Ｐの位置情報を、外部装置から取得してもよい。この場合、位置取得部２０Ｃは、通信部１０Ｄを介して外部装置から、検知点Ｐの位置情報を取得すればよい。
自己位置情報は、移動体１０の位置情報を含む。本実施形態では、位置取得部２０Ｃは、内界センサ１０Ｃから自己位置情報を取得する。なお、移動体１０の位置情報は、例えば、ワールド座標で表されるものとする。
そして、位置取得部２０Ｃは、複数の検知点Ｐの各々の位置情報と、自己位置情報と、を含む位置関連情報を、マップ生成部２０Ｄへ出力する。
図２に戻り、説明を続ける。次に、マップ生成部２０Ｄについて説明する。マップ生成部２０Ｄは、マップを生成する。
図３−２は、表示されるマップＭの一例を示す模式図である。
マップＭは、対象の占有度を規定したマップである。本実施形態では、マップＭは、複数の区画領域Ｇによって構成されており、各区画領域Ｇに、占有度算出部２０Ｇで算出した対象の占有度を規定したマップである。
対象とは、占有度の特定対象の物体である。対象は、情報処理装置２０を搭載する対象の移動体１０の種類などに応じて、適宜設定すればよい。対象は、例えば、障害物である。障害物は、情報処理装置２０の搭載された移動体１０の、走行を阻害する物体である。障害物は、例えば、他の車両、建物、および、壁などの立体物である。
占有度は、マップＭに規定された、対象の占有度を示す。本実施形態では、占有度は、マップＭにおける区画領域Ｇごとに規定された、対象の占有度である。対象の占有度は、区画領域Ｇを対象が占有する度合である。対象の占有度は、区画領域Ｇ内に存在する対象の存在確率であってもよい。占有度は、例えば、０．０以上１．０以下の範囲の値で表される。
区画領域Ｇは、マップＭを複数の領域に分割した、各領域である。区画領域Ｇの形状は限定されない。例えば、区画領域Ｇの形状は、矩形状である。また、区画領域Ｇの形状は、正方形に限定されない。例えば、区画領域Ｇの形状は、長方形などであってもよいし、移動体１０を中心とした同心円と放射線によって分割された扇型であってもよい。
詳細には、マップ生成部２０Ｄは、移動体１０の自己位置情報と、区画領域Ｇのサイズおよび位置を示す区画領域情報と、位置取得部２０Ｃから取得した検知点Ｐの位置情報と、占有度算出部２０Ｇが算出した占有度分布Ｄ３を用いて、マップＭを生成する。これによって、マップ生成部２０Ｄは、マップＭを取得する。具体的には、マップ生成部２０Ｄは、移動体１０の現在位置から位置取得部２０Ｃで取得した検知点Ｐに向けて、放射状に区画領域Ｇに占有度を設定することにより、マップＭを生成する。占有度算出部２０Ｇの詳細は後述する。
図２に戻り、説明を続ける。存在確率導出部２０Ｅは、外界センサ１０Ｂの精度情報と、位置取得部２０Ｃで取得された位置情報とから、各位置における対象の存在確率分布Ｄ１を導出し、占有度算出部２０Ｇへ出力する。存在確率導出部２０Ｅは、計測精度に応じて変化する存在確率分布Ｄ１を導出する。例えば存在確率導出部２０Ｅは、外界センサ１０Ｂの計測精度が低いほど拡がりが大きく、計測精度が高いほど拡がりが狭い分布（急峻な分布）となるように、存在確率分布Ｄ１を導出する。
外界センサ１０Ｂの精度情報は、外界センサ１０Ｂの特定の出力が得られた際に、対象の各位置の存在確率を導出可能な情報である。図４に存在確率分布Ｄ１の例を示す。
例えば、外界センサ１０Ｂがステレオカメラであれば、距離が離れるほど計測精度が低下する。従って外界センサ１０Ｂからの距離から導出される情報を精度情報として用いることができる。例えば存在確率導出部２０Ｅは、位置取得部２０Ｃで取得された位置情報が示す位置で平均値となり、精度情報（距離）に比例する分散を有する正規分布で表される存在確率分布Ｄ１を導出する。
この正規分布は、例えば、外界センサ１０Ｂの位置から対象に向かう方向への距離に対する確率の分布を表す１次元の正規分布である。検知された対象ごとに存在確率分布Ｄ１が導出される。図４は、検知された３つの対象それぞれに対応する存在確率分布Ｄ１を含む３つのグラフ５０１、５０２、５０３の例を示している。図４では、グラフ５０１、５０２、５０３の順に距離が離れており、存在確率分布Ｄ１の分散が大きくなっている。
例えば、外界センサ１０Ｂがレーザセンサであれば、反射強度（受光した光の強度）が小さいほど計測精度が低下する。従って反射強度から導出される情報を精度情報として用いることができる。例えば存在確率導出部２０Ｅは、位置取得部２０Ｃで取得された位置情報が示す位置で平均値となり、精度情報（反射強度）に反比例する分散を有する正規分布で表される存在確率分布Ｄ１を導出する。
外界センサ１０Ｂの精度情報は、距離および反射強度から導出される情報に限られるものではなく、対象の位置を検知したときの外界センサ１０Ｂの精度を示す情報であればどのような情報であってもよい。
また、存在確率分布Ｄ１は正規分布に限定されない。例えば、機械学習を用いて、予め実験的に計測した多数のセンサ値と実際の対象の位置情報とから生成したノンパラメトリックな分布でもよい。また、外界センサ１０Ｂの精度に関連するパラメータ（例えば距離および反射強度）の各値における存在確率分布Ｄ１を予め計算してメモリに保存してある値を読み出す実装でもよい。上記に限らず、存在確率分布の計算には、公知の技術が使用できる。
図２に戻り、説明を続ける。未計測確率導出部２０Ｆは、未計測確率分布を導出する。未計測確率分布は、位置情報が表す位置と外界センサ１０Ｂの計測精度とに応じて変化する確率分布であって、外界センサ１０Ｂにより計測されない確率を表す分布である。例えば未計測確率導出部２０Ｆは、存在確率導出部２０Ｅで得られた存在確率分布Ｄ１から、各位置における未計測確率分布Ｄ２を算出し、占有度算出部２０Ｇへ出力する。
未計測確率分布Ｄ２は、外界センサ１０Ｂの位置（センサ位置）から対象の方向に存在確率分布Ｄ１を累積することで計算できる。未計測の状況は、ある位置に対象が存在する場合に、センサ位置からみて、対象の位置より後ろ側は遮蔽により計測できないことに起因して生じる。そのため、未計測確率は遮蔽確率と置き換えることができる。すなわち、センサ位置から、注目する位置までの存在確率分布Ｄ１の累積が、その位置での未計測確率に相当する。
例えば、存在確率分布Ｄ１が正規分布関数で定義されている場合は、未計測確率導出部２０Ｆは、存在確率分布Ｄ１を積分することで解析的に未計測確率分布Ｄ２を設定する。
図４は、未計測確率分布Ｄ２の例も示している。グラフ５０１、５０２、５０３の順に、未計測確率分布Ｄ２の変化がなだらかとなり、計測領域と未計測領域の境界が不明確になっている。
ノンパラメトリックに存在確率分布Ｄ１が定義されている場合には、解析的に積分することができない。このような場合、未計測確率導出部２０Ｆは、数値積分を用いることで近似的に未計測確率分布Ｄ２を導出してもよい。
図２に戻り、説明を続ける。占有度算出部２０Ｇは、複数の領域それぞれを対象が占有する度合いを示す占有度（占有度分布）を導出する。
図５−１および図５−２は、対象の有無がわからない場合に固定の中間値（０．５）を占有度として設定する場合の占有度分布の例を示す説明図である。図５−１は、対象の位置が高い精度（０．９）で検知された場合の占有度の例を示す。図５−２は、対象の位置が低い精度（０．４）で検知された場合の占有度の例を示す。対象の有無がわからない場合に固定の中間値を占有度として設定する構成の場合、図５−２に示すように、中間値が対象の位置での占有度より大きくなる可能性がある。すなわち、適切な占有度を設定することができない場合がある。
そこで本実施形態の占有度算出部２０Ｇは、位置情報と外界センサ１０Ｂの計測精度とに基づいて、占有度分布を算出する。占有度分布は、未計測確率分布に基づく分布として算出される。例えば占有度算出部２０Ｇは、存在確率導出部２０Ｅで取得した存在確率分布Ｄ１と、未計測確率導出部２０Ｆで取得した未計測確率分布Ｄ２とから、占有度分布Ｄ３を算出し、マップ生成部２０Ｄへ出力する。
占有度算出部２０Ｇは、例えば、存在確率分布Ｄ１と未計測確率分布Ｄ２の重み付き和により占有度分布Ｄ３を算出する。例として、図４に存在確率分布Ｄ１と未計測確率分布Ｄ２をそれぞれ０．５の重みで足し合わせて算出した占有度分布Ｄ３を示す。重みは０．５に限られるものではなく、どのような値であってもよい。グラフ５０１に対応する距離では、外界センサ１０Ｂの計測精度が高いため、図５−１とほぼ同一の占有度が得られている。
一方、グラフ５０２に対応する距離では、外界センサ１０Ｂの計測精度が低く、存在確率分布Ｄ１のピークが０．５を下回っているが、適切な占有度分布Ｄ３が得られている。占有度分布Ｄ３のピーク位置が存在確率分布Ｄ１のピークと比較して若干後ろにずれている。対象の手前は計測されており、対象が存在しないことが明らかだが、対象の後ろは未計測であり、対象が存在する可能性が残されているためである。すなわち、後ろ側の存在確率が高くなることは理論的に何ら問題ない。
グラフ５０３に対応する距離では、計測精度が著しく低いため、対象の位置はわからないが、少なくとも対象の後ろは未計測となることが正しく占有度分布Ｄ３に反映されている。
占有度算出部２０Ｇは、存在確率分布Ｄ１は使わずに、未計測確率分布Ｄ２のみから占有度分布Ｄ３を計算してもよい。移動体の制御では、走行可能な領域、すなわち、計測によって対象が存在しない領域を知ることが重要であり、未計測領域と物体が存在する領域を区別することは必須ではないためである。
ここまでは対象が存在することが外界センサ１０Ｂにより計測されることを前提として説明した。“対象が存在しない”ことが計測された場合にも占有度分布Ｄ３を適切に算出することが可能である。
ある場所に対象が存在しない場合、その手前にも対象が存在しないこと、および、その奥は未計測であることが同時にわかる。この場合、占有度算出部２０Ｇは、占有度分布Ｄ３の計算に存在確率分布Ｄ１を使用しない。例えば占有度算出部２０Ｇは、未計測確率分布Ｄ２を定数倍（例えば０．５倍）することにより占有度分布Ｄ３を算出する。
なお存在確率導出部２０Ｅは、“対象が存在しない”ことを計測した場合も、“対象が存在する”ことを計測した場合と同様に存在確率を算出できる。例えば存在確率導出部２０Ｅは、対象が存在することが計測された位置の代わりに対象が存在しないことが計測された位置を用いて、存在確率分布Ｄ１を導出する。存在確率導出部２０Ｅは、対象が存在しない状況で予め計測して得られたノンパラメトリックな分布を用いて存在確率分布Ｄ１を導出してもよい。
未計測確率導出部２０Ｆも、“対象が存在しない”ことを計測した場合に、“対象が存在する”ことを計測した場合と同様に、存在確率分布Ｄ１を積分することで未計測確率分布Ｄ２を導出することができる。
図６は、対象が存在しない場合の存在確率分布Ｄ１、未計測確率分布Ｄ２、および、占有度分布Ｄ３の例を示す図である。図６は、図４のグラフ５０２に対応する位置と同一の位置８０１に対象が存在しないことが計測された場合の例を示している。領域８０２は、対象が存在する否かが不明な領域を表す。図６に示すように、位置８０１に対象が存在しないことが計測できた場合に、未計測確率分布Ｄ２から占有度分布Ｄ３が適切に算出できている。
本実施形態では、説明の都合上、外界センサ１０Ｂの精度情報から存在確率分布Ｄ１を導出する機能（存在確率導出部２０Ｅ）、および、存在確率分布Ｄ１から未計測確率分布Ｄ２を導出する機能（未計測確率導出部２０Ｆ）を記載した。同等の機能を実現できれば、これらの機能は備える必要はない。
例えば未計測確率導出部２０Ｆは、外界センサ１０Ｂの精度情報から直接未計測確率分布Ｄ２を算出しても構わない。また、外界センサ１０Ｂの精度に関連するパラメータ（例えば距離や反射強度）の各値における未計測確率分布を予め計算してメモリに保存しておき、それを読み出す実装でも構わない。このような構成の場合、存在確率導出部２０Ｅは備えなくてもよい。
同様に、例えば未計測確率分布Ｄ２を定数倍した分布を占有度分布Ｄ３とする場合は、占有度算出部２０Ｇは、外界センサ１０Ｂの精度情報から直接占有度分布Ｄ３を算出してもよい。占有度算出部２０Ｇは、精度情報の各値における占有度分布を予め計算してメモリに保存しておき、計測時の精度情報に対応する占有度分布を読み出すように構成してもよい。このような構成の場合、存在確率導出部２０Ｅおよび未計測確率導出部２０Ｆは備えなくてもよい。
外界センサ１０Ｂで観測される各々の点の位置情報は、対象上の点だけでなく、それ以外の点を含んでもよい。対象上の点以外の点とは、車両が走行するうえで障害にならない道路面などである。
対象が存在するか否かは、例えば、以下の方法で判別できる。
（１）位置情報から水平面と垂直面を分離して判別する：垂直面を対象として判別する、など。
（２）位置情報や画像データに対してパターン認識技術を用いて判別する：位置情報や画像データが予め定められた対象のパターンに適合する場合に対象が存在すると判定し、対象のパターンに適合しない場合に対象が存在しないと判定する、など。
（３）照射光の反射強度から判別する：反射強度が予め定められた値またはパターンの場合に対象が存在すると判定する、など。
図２に戻り、説明を続ける。出力制御部２０Ｈは、マップ生成部２０Ｄで生成されたマップＭの出力を制御する。
出力制御部２０Ｈは、マップＭを移動体１０の動力部１０Ｈを制御する動力制御部１０Ｇへ出力する。
出力制御部２０Ｈは、マップＭを、ディスプレイ１０Ｅに表示する。本実施形態では、出力制御部２０Ｈは、マップＭを含む表示画面を、ディスプレイ１０Ｅに表示する。
図３−２は、表示画面の一例を示す模式図である。表示画面は、マップ生成部２０Ｄで生成されたマップＭを含む。このため、ユーザは、表示画面を確認することで、対象物の占有率を容易に認識することができる。
図２に戻り説明を続ける。また、出力制御部２０Ｈは、マップＭに示される区画領域Ｇごとの占有度を示す音や光を出力するように、ディスプレイ１０Ｅやスピーカ１０Ｆを制御してもよい。また、出力制御部２０Ｈは、マップＭを、通信部１０Ｄを介して外部装置へ送信してもよい。例えば、移動体１０の進行方向に高い占有度を示す区画領域Ｇが存在する場合に、ディスプレイ１０Ｅを点滅させたり、スピーカ１０Ｆからアラート音を鳴らしたりする。
また、出力制御部２０Ｈは、マップＭを、動力制御部１０Ｇへ出力してもよい。
この場合、動力制御部１０Ｇは、出力制御部２０Ｈから受付けたマップＭに応じて、動力部１０Ｈを制御する。例えば、動力制御部１０Ｇは、マップＭに応じて、動力部１０Ｈを制御するための動力制御信号を生成し、動力部１０Ｈを制御してもよい。動力制御信号は、動力部１０Ｈにおける、移動体１０の走行に関する駆動を行う駆動部を制御するための制御信号である。例えば、移動体１０が、マップＭに示される、走行可能領域であることを示す占有率を示す区画領域Ｇに対応する、実空間Ｓの領域を走行するように、動力制御部１０Ｇは、移動体１０の操舵、および、エンジンなどを制御する。
次に、本実施形態の情報処理装置２０で実行する、情報処理の手順の一例を説明する。図７は、本実施形態の情報処理装置２０で実行する、情報処理の手順の一例を示す、フローチャートである。
位置取得部２０Ｃは、位置関連情報を取得する（ステップＳ１０１）。上述のように、位置関連情報は検知点の位置情報を含む。位置情報を取得した検知点（対象）ごとに、以下の処理（ステップＳ１０２〜ステップＳ１０５）が実行される。
存在確率導出部２０Ｅは、未処理の検知点について、外界センサ１０Ｂの精度情報と、当該検知点の位置情報とから、存在確率分布Ｄ１を導出する（ステップＳ１０２）。未計測確率導出部２０Ｆは、存在確率分布Ｄ１を積分することにより、未計測確率分布Ｄ２を導出する（ステップＳ１０３）。占有度算出部２０Ｇは、存在確率分布Ｄ１と未計測確率分布Ｄ２とから、占有度分布Ｄ３を算出する（ステップＳ１０４）。マップ生成部２０Ｄは、算出された占有度分布Ｄ３をマップＭに反映する（ステップＳ１０５）。
処理部２０Ａは、すべての検知点を処理したか否かを判定する（ステップＳ１０６）。すべての検知点を処理していない場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０２に戻り、次の検知点に対して処理が繰り返される。すべての検知点を処理した場合（ステップＳ１０６：Ｙｅｓ）、出力制御部２０Ｈは、マップＭを出力し（ステップＳ１０７）、情報処理を終了する。
以上説明したように、本実施形態の情報処理装置２０は、存在確率導出部２０Ｅと、未計測確率導出部２０Ｆと、占有度算出部２０Ｇを備える。存在確率導出部２０Ｅは、外界センサ１０Ｂの精度情報と、位置取得部２０Ｃで取得された位置情報から、各位置における対象の存在確率分布Ｄ１を取得する。未計測確率導出部２０Ｆは、存在確率分布Ｄ１から、各位置における外界センサ１０Ｂで計測されていない確率を表す未計測確率分布Ｄ２を算出する。占有度算出部２０Ｇは、存在確率分布Ｄ１と、未計測確率分布Ｄ２とから、占有度分布Ｄ３を算出する。
このように、本実施形態の情報処理装置２０は、未計測確率分布Ｄ２によって、対象の奥の計測されない位置の占有度を算出する。このため、外界センサ１０Ｂの精度が低く、存在確率分布Ｄ１のピークが０．５よりも低い場合でも、適切な占有度分布Ｄ３を算出することができる。
一方で、前述したとおり、従来技術は、存在確率分布Ｄ１のピークが低い場合は適切な占有度分布を算出できない。従って、本実施形態の情報処理装置２０では、対象の占有度の信頼性向上を図ることができる。
また、本実施形態の情報処理装置２０は、対象が存在しない場合においても、未計測確率分布Ｄ２が算出できる。そのため、外界センサ１０Ｂが対象を計測した情報だけでなく、“対象が存在しない”ことを計測した情報から、占有度分布Ｄ３を算出することができる。
一方で、従来技術は、対象が存在することを前提としており、対象が存在しない情報から占有度を算出することができない。従って、本実施形態の情報処理装置２０では、対象の占有度の信頼性向上を図ることができる。
次に、上記実施形態の情報処理装置２０のハードウェア構成の一例を説明する。図８は、上記実施形態の情報処理装置２０のハードウェア構成図の一例である。
上記実施形態の情報処理装置２０は、ＣＰＵ８６などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８やＲＡＭ９０やＨＤＤ（ハードディスクドライブ）９２などの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部８２と、出力情報などの各種情報を出力する出力部８０と、ユーザによる操作を受付ける入力部９４と、各部を接続するバス９６とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
上記実施形態の情報処理装置２０では、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、上記各部がコンピュータ上で実現される。
なお、上記実施形態の情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９２に記憶されていてもよい。また、上記実施形態の情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。
また、上記実施形態の情報処理装置２０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 移動体
１０Ｅ ディスプレイ
１０Ｇ 動力制御部
１０Ｈ 動力部
２０ 情報処理装置
２０Ｃ 位置取得部
２０Ｄ マップ生成部
２０Ｅ 存在確率導出部
２０Ｆ 未計測確率導出部
２０Ｇ 占有度算出部
２０Ｈ 出力制御部
Ｍ マップ

Claims (9)

  1. センサにより計測された、対象が存在する位置または存在しない位置を表す位置情報を取得する位置取得部と、
    前記位置情報と前記センサの計測精度とに基づいて、前記計測精度に応じて変化する分布であって、前記対象の存在確率を表す存在確率分布を導出する存在確率導出部と、
    前記センサの位置から前記位置情報が表す位置に向かう方向に、前記存在確率を累積することにより、前記センサにより計測されない確率を表す未計測確率分布を導出する未計測確率導出部と、
    前記存在確率分布と前記未計測確率分布とに基づいて、前記センサの位置から前記位置情報が表す位置に向かう方向に存在する複数の領域それぞれに前記対象が存在する確率を示す占有度分布を算出する占有度算出部と、
    を備える情報処理装置。
  2. 前記占有度算出部は、前記存在確率分布と前記未計測確率分布との重み付き和に基づいて前記占有度分布を算出する、
    請求項１に記載の情報処理装置。
  3. 前記存在確率導出部は、前記計測精度が低いほど分散が大きい正規分布である前記存在確率分布を導出する、
    請求項１に記載の情報処理装置。
  4. 前記センサの計測範囲を含む領域を分割した複数の区画領域に、前記占有度分布に基づく前記確率を設定したマップを生成するマップ生成部をさらに備える、
    請求項１から請求項３のいずれか１項に記載の情報処理装置。
  5. 前記計測精度は、前記センサの位置から前記位置情報が表す位置までの距離から導出される、
    請求項１から請求項４のいずれか１項に記載の情報処理装置。
  6. 前記センサは、前記対象で反射した光を受光することにより前記対象を計測し、
    前記計測精度は、前記センサが受光した光の強度から導出される、
    請求項１から請求項４のいずれか１項に記載の情報処理装置。
  7. センサにより計測された、対象が存在する位置または存在しない位置を表す位置情報を取得する位置取得ステップと、
    前記位置情報と前記センサの計測精度とに基づいて、前記計測精度に応じて変化する分布であって、前記対象の存在確率を表す存在確率分布を導出する存在確率導出ステップと、
    前記センサの位置から前記位置情報が表す位置に向かう方向に、前記存在確率を累積することにより、前記センサにより計測されない確率を表す未計測確率分布を導出する未計測確率導出ステップと、
    前記存在確率分布と前記未計測確率分布とに基づいて、前記センサの位置から前記位置情報が表す位置に向かう方向に存在する複数の領域それぞれに前記対象が存在する確率を示す占有度分布を算出する占有度算出ステップと、
    を含む情報処理方法。
  8. コンピュータを、
    センサにより計測された、対象が存在する位置または存在しない位置を表す位置情報を取得する位置取得部と、
    前記位置情報と前記センサの計測精度とに基づいて、前記計測精度に応じて変化する分布であって、前記対象の存在確率を表す存在確率分布を導出する存在確率導出部と、
    前記センサの位置から前記位置情報が表す位置に向かう方向に、前記存在確率を累積することにより、前記センサにより計測されない確率を表す未計測確率分布を導出する未計測確率導出部と、
    前記存在確率分布と前記未計測確率分布とに基づいて、前記センサの位置から前記位置情報が表す位置に向かう方向に存在する複数の領域それぞれに前記対象が存在する確率を示す占有度分布を算出する占有度算出部と、
    として機能させるためのプログラム。
  9. 前記センサと、
    請求項１〜請求項６のいずれか１項に記載の情報処理装置と、
    前記占有度分布に基づいて移動体の動力を制御する動力制御部と、
    を備える移動体。
JP2017153254A 2017-08-08 2017-08-08 情報処理装置、情報処理方法、プログラムおよび移動体 Active JP6808590B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017153254A JP6808590B2 (ja) 2017-08-08 2017-08-08 情報処理装置、情報処理方法、プログラムおよび移動体
EP18159701.4A EP3441906A1 (en) 2017-08-08 2018-03-02 Information processing apparatus, moving object, information processing method, and computer-readble medium
US15/911,310 US10885353B2 (en) 2017-08-08 2018-03-05 Information processing apparatus, moving object, information processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017153254A JP6808590B2 (ja) 2017-08-08 2017-08-08 情報処理装置、情報処理方法、プログラムおよび移動体

Publications (2)

Publication Number Publication Date
JP2019032700A JP2019032700A (ja) 2019-02-28
JP6808590B2 true JP6808590B2 (ja) 2021-01-06

Family

ID=61557182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017153254A Active JP6808590B2 (ja) 2017-08-08 2017-08-08 情報処理装置、情報処理方法、プログラムおよび移動体

Country Status (3)

Country Link
US (1) US10885353B2 (ja)
EP (1) EP3441906A1 (ja)
JP (1) JP6808590B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7182895B2 (ja) 2018-04-13 2022-12-05 株式会社東芝 情報処理装置、プログラム、および情報処理方法
FR3097972B1 (fr) * 2019-06-28 2021-12-10 Aptiv Tech Ltd Procédé et système pour cartographier un environnement physique au moyen d’une grille d’occupation
CN110516702B (zh) * 2019-07-18 2022-07-05 电子科技大学 一种基于流数据的离散路径规划方法
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
CN111487629A (zh) * 2020-04-02 2020-08-04 新石器慧通（北京）科技有限公司 传感器安置机台及无人车
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
CN111856157A (zh) * 2020-08-27 2020-10-30 上海眼控科技股份有限公司 闪电位置测量方法、装置、计算机设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007333486A (ja) 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
JP2011123551A (ja) * 2009-12-08 2011-06-23 Toyota Central R&D Labs Inc 死角領域推定装置及びプログラム
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
JP5712900B2 (ja) * 2011-11-08 2015-05-07 トヨタ自動車株式会社 周辺物体検出装置
JP5494845B1 (ja) * 2013-01-17 2014-05-21 株式会社デンソーアイティーラボラトリ 情報提供システム
DE102016101643A1 (de) * 2015-01-29 2016-08-04 Affectomatics Ltd. Filterung von durch bias verzerrten messwerten der affektiven reaktion
CN108028023B (zh) * 2015-09-30 2021-10-26 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
US11132611B2 (en) 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US11222438B2 (en) 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
US11204610B2 (en) 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
EP3252658B1 (en) 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
JP6804991B2 (ja) 2017-01-05 2020-12-23 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
US20190050649A1 (en) 2019-02-14
JP2019032700A (ja) 2019-02-28
EP3441906A1 (en) 2019-02-13
US10885353B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
JP6808590B2 (ja) 情報処理装置、情報処理方法、プログラムおよび移動体
US20220236411A1 (en) Apparatus for acquiring 3-dimensional maps of a scene
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
KR102226350B1 (ko) 자율 시각 내비게이션
CN110377026B (zh) 信息处理装置、存储介质和信息处理方法
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
CN110959143B (zh) 信息处理装置、信息处理方法、程序和移动体
US20220215751A1 (en) Moving object and driving support system for moving object
US9129523B2 (en) Method and system for obstacle detection for vehicles using planar sensor data
JP2020107324A (ja) 車両隊列構成車両間で分配されたデータの収集と処理
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
US20210263533A1 (en) Mobile object and method for controlling mobile object
US10802122B1 (en) Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view
US20220058428A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
CN106240454B (zh) 提供车辆碰撞预警的***及车载设备
KR20180086794A (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
KR101700764B1 (ko) 자율 이동 방법 및 그 장치
JP6813436B2 (ja) 情報処理装置、移動体、情報処理方法、およびプログラム
EP3346235B1 (en) Information processing apparatus, information processing method, and computer-readable medium
EP3844670A1 (en) Object localization using machine learning
US20190279339A1 (en) Generating a super-resolution depth-map
JP2020064029A (ja) 移動体制御装置
JP2019132701A (ja) 地図情報作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201209

R151 Written notification of patent or utility model registration

Ref document number: 6808590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151