JP7289761B2 - Vehicle self-position estimation device and self-position estimation method - Google Patents

Vehicle self-position estimation device and self-position estimation method Download PDF

Info

Publication number
JP7289761B2
JP7289761B2 JP2019170154A JP2019170154A JP7289761B2 JP 7289761 B2 JP7289761 B2 JP 7289761B2 JP 2019170154 A JP2019170154 A JP 2019170154A JP 2019170154 A JP2019170154 A JP 2019170154A JP 7289761 B2 JP7289761 B2 JP 7289761B2
Authority
JP
Japan
Prior art keywords
self
unit
map
matching
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019170154A
Other languages
Japanese (ja)
Other versions
JP2021047099A (en
Inventor
將裕 清原
雅幸 竹村
茂 松尾
春樹 的野
宏明 田中
昭弘 川端
徹 加藤
利幸 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2019170154A priority Critical patent/JP7289761B2/en
Publication of JP2021047099A publication Critical patent/JP2021047099A/en
Application granted granted Critical
Publication of JP7289761B2 publication Critical patent/JP7289761B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、自車が走行する周囲環境構造と、地図情報に記録されている構造情報を照合し、自車が地図中のどこにいるのかを示す詳細位置を推定する、車両の自己位置推定装置および自己位置推定方法に関する。 The present invention is a vehicle self-position estimation device that compares the structure of the surrounding environment in which the vehicle travels with the structure information recorded in the map information, and estimates the detailed position indicating where the vehicle is on the map. and self-localization methods.

従来、測位装置により検出された車両の大凡の現在位置を補正する技術として、車両に搭載されたカメラを用いて車両から交差点までの距離を求め、地図情報における車両の位置を特定することにより、車両の大凡の現在位置を補正する技術が提案されている。 Conventionally, as a technology for correcting the approximate current position of a vehicle detected by a positioning device, the distance from the vehicle to the intersection is obtained using a camera mounted on the vehicle, and the position of the vehicle in the map information is specified. Techniques for correcting the approximate current position of a vehicle have been proposed.

例えば、特許文献1の車両位置判定方法では、晴天時や積雪時、高速走行時や左右走行車線などの走行条件に基づいて認識対象とする領域を変更することで、地物認識部の処理負荷を低減した自己位置推定技術について記載がある。 For example, in the vehicle position determination method of Patent Document 1, the processing load of the feature recognition unit is reduced by changing the area to be recognized based on the driving conditions such as fine weather, snow cover, high-speed driving, left and right driving lanes, etc. There is a description of a self-localization technique that reduces the

特開2017-9554号公報JP 2017-9554 A

特許文献1では、積雪によって走行環境の形状が変わる場合や、圧雪路で路面標示が見えない道路が続く場合には、同文献の段落0028や図2に示されるように、カメラが撮影した画像の上半分の領域に含まれる道路標識や案内標識を認識することで、車両の現在位置の推定精度を数m程度の誤差まで補正することができる。 In Patent Literature 1, when the shape of the driving environment changes due to snow accumulation, or when road markings are not visible due to compacted snow, an image captured by the camera is displayed as shown in paragraph 0028 and FIG. By recognizing the road signs and information signs included in the upper half of the area, the estimation accuracy of the current position of the vehicle can be corrected to an error of several meters.

しかしながら、特許文献1の技術では、自己位置推定誤差を、自動運転に必要とされる数cm以下に抑制することができず、自動運転には利用できないという問題があった。 However, the technique of Patent Literature 1 has a problem that the self-position estimation error cannot be suppressed to several centimeters or less required for automatic driving, and cannot be used for automatic driving.

そこで、本発明では、積雪によって走行環境に存在する環境構造物が遮蔽される状況や、環境構造物の形状が変わる状況が継続する場合、また、圧雪路で路面標示が見えない状況が継続する場合であっても、自動運転の実行時に求められる高精度な自己位置推定が可能な自己位置推定装置を提供することを目的とする。 Therefore, according to the present invention, when environmental structures existing in the driving environment are blocked by accumulated snow, when the shape of the environmental structures changes, or when road markings cannot be seen on compacted snow roads, the situation continues. It is an object of the present invention to provide a self-position estimation device capable of estimating the self-position with high accuracy required when executing automatic driving even in such a case.

上記課題を解決するために、本発明の自己位置推定装置は、地図情報を記憶する地図データベースと、周囲環境の三次元点群データを取得する周囲環境観測センサと、に接続され、車両の自己位置を推定する自己位置推定装置であって、大凡の自己位置を推定する粗位置推定部と、詳細な自己位置を推定する三次元照合部と、を有し、前記三次元照合部は、前記地図情報から積雪時に観測可能な外形情報を抽出した三次元地図データを生成する照合用マップ抽出部と、前記周囲環境観測センサから前記三次元点群データを得るセンシング結果抽出部と、前記三次元地図データと前記三次元点群データを三次元照合することで、前記粗位置推定部が推定した自己位置を補正する位置補正部と、を有し、前記照合用マップ抽出部は、前記地図情報に含まれる外形情報から、前記周囲環境観測センサで観測した積雪高さ以上の外形情報を抽出することで、前記三次元地図データを生成するものとした。 In order to solve the above problems, the self-position estimation device of the present invention is connected to a map database that stores map information and a surrounding environment observation sensor that acquires three-dimensional point cloud data of the surrounding environment. A self-position estimation device for estimating a position, comprising a coarse position estimation unit for estimating a rough self-position and a three-dimensional collation unit for estimating a detailed self-position, wherein the three-dimensional collation unit a matching map extraction unit for generating three-dimensional map data by extracting outline information observable during snowfall from map information; a sensing result extraction unit for obtaining the three-dimensional point cloud data from the surrounding environment observation sensor; a position correcting unit that corrects the self-position estimated by the rough position estimating unit by three-dimensionally matching the map data and the three-dimensional point cloud data, wherein the matching map extracting unit extracts the map information; The three-dimensional map data is generated by extracting, from the outline information contained in the above, outline information that is equal to or higher than the height of the snow cover observed by the surrounding environment observation sensor.

本発明の自己位置推定装置によれば、積雪によって走行環境に存在する環境構造物が遮蔽されたり、環境構造物の形状が変わる状況が継続したり、また、圧雪路で路面標示が見えない状況が継続したりする場合にでも、自動運転の実行時に求められる高精度な自己位置推定が可能にとなる。 According to the self-localization apparatus of the present invention, the environmental structures existing in the driving environment are blocked by the snow cover, the environmental structures continue to change their shape, and the road markings cannot be seen on the compacted snow road. Even in the case of continuous driving, it is possible to estimate the self-position with high accuracy, which is required when executing automatic driving.

実施例1に係る自己位置推定装置のブロック図Block diagram of the self-position estimation device according to the first embodiment 実施例1の粗位置推定部で実施される処理のフローチャートFlowchart of processing performed by the coarse position estimation unit of the first embodiment 道路リンクに対して評価値を算出する場合の一例を説明する説明図Explanatory diagram for explaining an example of calculating an evaluation value for a road link 積雪時三次元照合部の機能ブロック図Functional block diagram of the three-dimensional matching unit for snow cover 照合用マップ抽出部の機能ブロック図Functional block diagram of matching map extractor センシング結果抽出部の機能ブロック図Functional block diagram of sensing result extractor 実施例2の粗位置推定部で実施されるフローチャートFlowchart executed by the coarse position estimation unit of the second embodiment 実施例3の自己位置推定装置のブロック図。The block diagram of the self-position estimation apparatus of Example 3. FIG. 積雪のない環境と積雪のある環境の例Examples of environments without snow and with snow

以下、本発明に係る自己位置推定装置の実施例を、図面を用いて説明する。 An embodiment of a self-position estimation device according to the present invention will be described below with reference to the drawings.

図1は、本発明の実施例1に係る自己位置推定装置10の構成とそれに接続されるセンサ等を説明するブロック図である。ここに示すように、自己位置推定装置10は、車両挙動観測センサ1、絶対位置取得センサ2、地図データベース3、周囲環境観測センサ4、積雪判定部5、車両制御部6と接続されている。また、自己位置推定装置10は、粗位置推定部11、マップマッチング部12、三次元照合部13を備えており、三次元照合部13は、汎用照合部14と、積雪対応照合部15と、を有している。なお、自己位置推定装置10は、具体的には、CPU等の演算装置、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた計算機であり、主記憶装置にロードされたプログラムを演算装置が実行することで、粗位置推定部11等の各機能を実現するが、以下では、このような計算機分野での周知技術を適宜省略しながら、各部の詳細を説明する。 FIG. 1 is a block diagram illustrating the configuration of a self-localization device 10 and sensors connected thereto according to the first embodiment of the present invention. As shown here, the self-position estimation device 10 is connected to a vehicle behavior observation sensor 1 , an absolute position acquisition sensor 2 , a map database 3 , a surrounding environment observation sensor 4 , a snow cover determination section 5 and a vehicle control section 6 . The self-position estimation device 10 also includes a coarse position estimation unit 11, a map matching unit 12, and a three-dimensional matching unit 13. The three-dimensional matching unit 13 includes a general-purpose matching unit 14, a snow coverage matching unit 15, have. The self-position estimation device 10 is specifically a computer equipped with hardware such as an arithmetic unit such as a CPU, a main storage device such as a semiconductor memory, an auxiliary storage device, and a communication device. Each function of the coarse position estimating unit 11 and the like is realized by executing the program loaded in the computing device by the arithmetic device. explain.

車両挙動観測センサ1は、例えば加速度センサ、角速度センサ、角加速度センサ、車輪パルスセンサ、車速センサなどの自車の相対運動を観測するための1つ以上からなるセンサである。これらの車両挙動観測センサ1から得られたセンシング結果を時系列で累積することにより、自車の相対的な移動および姿勢変化を連続的に推定することが可能である。なお、センシング結果に混入する誤差やノイズも累積してしまうため、一般的に自車挙動観測センサ1による推定結果は徐々に精度が悪化する特性がある。 The vehicle behavior observation sensor 1 is, for example, an acceleration sensor, an angular velocity sensor, an angular acceleration sensor, a wheel pulse sensor, a vehicle speed sensor, or the like for observing the relative motion of the own vehicle. By accumulating the sensing results obtained from these vehicle behavior observation sensors 1 in time series, it is possible to continuously estimate the relative movement and attitude change of the own vehicle. It should be noted that errors and noise mixed in the sensing results are also accumulated, so generally the accuracy of the estimation results obtained by the own vehicle behavior observation sensor 1 gradually deteriorates.

絶対位置取得センサ2は、例えばGNSS(Global Navigation Satellite System:全球測位衛星システム)の受信装置、スードライド(擬似衛星)やビーコン(無線標識)などの電波の受信装置、環境側に設置したバーコードなどの可視マーカや磁気マーカの認識装置などの、自車の絶対位置を認識するための1つ以上からなるセンサである。これらの絶対位置取得センサ2から得られたセンシング結果から、その時点の自車位置および姿勢を推定することが可能である。なお、絶対位置取得センサ2による自車位置および姿勢の推定は、時間的または空間的な観点で離散的であり、例えばGNSSの測位間隔は1秒から5秒程度であることが多く、マーカ認識装置はマーカが設置されている地点近傍の場所に限定されている。 The absolute position acquisition sensor 2 is, for example, a GNSS (Global Navigation Satellite System) receiving device, a radio wave receiving device such as a pseudosatellite or a beacon (radio beacon), a barcode installed on the environment side, or the like. A sensor consisting of one or more sensors for recognizing the absolute position of the vehicle, such as a recognition device for visible markers or magnetic markers. From the sensing results obtained from these absolute position acquisition sensors 2, it is possible to estimate the position and attitude of the vehicle at that time. It should be noted that the estimation of the vehicle position and attitude by the absolute position acquisition sensor 2 is discrete in terms of time or space. The device is confined to a location near the point where the marker is placed.

粗位置推定部11では、車両挙動観測センサ1と絶対位置取得センサ2のセンシング結果を用いて、時々刻々と変化する大凡の自己位置(粗位置)を推定する。また、ここでの自己位置推定の初期値として、前時刻に三次元照合部13で算出された自己位置推定結果を用いることができる。なお、粗位置推定部11で推定する自己位置(粗位置)には、数m程度の誤差がある可能性があるため、目的地への経路を案内するカーナビゲーション等には利用できるが、自動運転には利用できない精度のものである。 The coarse position estimator 11 uses sensing results from the vehicle behavior observation sensor 1 and the absolute position acquisition sensor 2 to estimate a rough self-position (coarse position) that changes from moment to moment. Also, as the initial value for self-position estimation here, the self-position estimation result calculated by the three-dimensional matching unit 13 at the previous time can be used. The self-position (rough position) estimated by the rough position estimator 11 may have an error of about several meters. It is of a precision that cannot be used for driving.

マップマッチング部12では、地図データベース3からの地図情報と、粗位置推定部11からの自己位置推定結果を照合することで、自己位置推定結果の精度改善をおこなう。例えば、自車が交差点を通過する状況を想定すると、自車は地図データベース3に格納されている交差点の形状に沿って走行しているはずであるので、粗位置推定部11による自己位置推定結果が交差点形状に合わない場合には、自己位置推定結果に誤差があるものとし扱い、地図に合わせて自己位置を補正する。 The map matching unit 12 compares the map information from the map database 3 with the self-position estimation result from the coarse position estimation unit 11 to improve the accuracy of the self-position estimation result. For example, assuming that the vehicle is passing through an intersection, the vehicle should be traveling along the shape of the intersection stored in the map database 3. does not match the shape of the intersection, it is assumed that there is an error in the self-position estimation result, and the self-position is corrected according to the map.

周囲環境観測センサ4は、例えばステレオカメラ、単眼カメラ、LiDAR(Laser Imaging Detection and Ranging:レーザによる画像検出と測距)、ミリ波、超音波ソナー、TOFカメラ(Time of Flight)などの自車周囲を観測するための1つ以上からなるセンサである。これらを用いて自車周囲の障害物や環境構造物の形状、模様、色、大きさ、あるいは三次元点群の集合などの情報を取得するとともに、自車に対する相対的な位置、姿勢を取得する。 The surrounding environment observation sensor 4 is, for example, a stereo camera, a monocular camera, LiDAR (Laser Imaging Detection and Ranging: image detection and ranging by laser), millimeter wave, ultrasonic sonar, TOF camera (Time of Flight), etc. A sensor consisting of one or more sensors for observing the Using these, information such as the shape, pattern, color, and size of obstacles and environmental structures around the vehicle, as well as a set of 3D point clouds, is obtained, as well as the position and attitude relative to the vehicle. do.

積雪判定部5は、周囲環境観測センサ4からの情報を入力とし、観測している領域内に積雪があるか否かを判定する。この判定は公知の技術が複数提案されているため、それらを用いても良い。例えば、単眼カメラの場合、昼間は積雪表面で太陽光をよく反射するため、撮像時の明度が高くなり白色領域として観測できること、自動露光機能がある場合にはシャッタ時間が短くなること、といった特徴がある。そこで、これらを実験的に求めた閾値求めておき、所定の閾値よりも大きい輝度値をもつ画素数が撮像領域内に一定以上あり、かつ所定の閾値よりもシャッタ時間が短い場合に、積雪があると判定することができる。なお、この積雪判定部5は、専用のハードウェアを用意しても良いし、自己位置推定装置10を実現するとのと同じ計算機により実現されるものであっても良い。 The snow cover determination unit 5 receives information from the ambient environment observation sensor 4 and determines whether or not there is snow cover within the observed area. Since a plurality of known techniques have been proposed for this determination, they may be used. For example, in the case of a monocular camera, since sunlight is reflected well on the surface of snow during the daytime, the brightness of the image increases and can be observed as a white area. There is Therefore, threshold values are experimentally obtained for these values. It can be determined that there is The snow coverage determination unit 5 may be provided with dedicated hardware, or may be implemented by the same computer that implements the self-position estimation device 10 .

三次元照合部13は、時々刻々と変化する自己位置を数cm程度の精度で推定するものであり、汎用照合部14と、積雪対応照合部15を有し、積雪判定部5の判定結果に応じて、使用する照合部を切り替える。例えば、判定結果が積雪なしの場合は、汎用照合部14の使用が選択され、判定結果が積雪ありの場合は、積雪対応照合部15の使用が選択される。なお、積雪が少ないと判断されたときなどには、両照合部を併用しても良い。 The three-dimensional matching unit 13 estimates the ever-changing self-position with an accuracy of about several centimeters. The matching section to be used is switched accordingly. For example, if the determination result is that there is no snow cover, use of the general-purpose collation unit 14 is selected, and if the determination result is that there is snow cover, use of the snow cover matching unit 15 is selected. In addition, when it is determined that the amount of accumulated snow is small, both collation units may be used together.

汎用照合部14は、地図データベース3からの地図情報と、マップマッチング部12からの自己位置推定結果と、周囲環境観測センサ4からの障害物や環境構造物の形状、模様、色、大きさ、あるいは三次元点群などの情報を取得する。そして、地図情報から、自己位置推定結果付近の三次元構造物を含む周辺地図を抽出する。次に、抽出された三次元構造物の位置や姿勢と、周囲環境観測センサ4で得られた障害物や環境構造物の位置や姿勢を比較し、照合することで地図データベース3に対する周囲環境観測センサ4の視点を算出する。この照合技術は公知の技術が複数提案されているため、それらを用いても良い。 The general-purpose matching unit 14 receives map information from the map database 3, the self-position estimation result from the map matching unit 12, and the shape, pattern, color, size, Alternatively, obtain information such as a three-dimensional point group. Then, from the map information, a peripheral map including a three-dimensional structure near the self-position estimation result is extracted. Next, the positions and orientations of the extracted three-dimensional structures and the positions and orientations of the obstacles and environmental structures obtained by the surrounding environment observation sensor 4 are compared and collated. A viewpoint of the sensor 4 is calculated. Since a plurality of known techniques have been proposed for this collation technique, they may be used.

例えば、ICP(Iterative Closest Point)という技術がある。これは2つの三次元点群A,Bを照合するときに、まず仮視点を仮定して点群を重ね合わせ、点群Aのある点aに対し、点群B中で最も近い点bを算出し、点aと点bの二乗距離を算出する。この操作を点群A中のすべての点に対しておこない、ペアとなった点間の距離を合計する。次に、任意の方向に仮視点を移動させ、同様にペアとなった点間の距離を合計する。合計距離が小さくなる方向に仮視点を移動させていくことで、最終的に最も点群Aと点群Bが近くなる視点を求めることができる。このような技術を用いることにより、汎用照合部14では、自己位置を数cm程度の精度で推定できる。 For example, there is a technique called ICP (Iterative Closest Point). When matching two three-dimensional point groups A and B, first, assuming a virtual viewpoint, the point groups are superimposed, and for a certain point a in the point group A, the closest point b in the point group B is Then, the squared distance between points a and b is calculated. This operation is performed for all points in the point group A, and the distances between the paired points are totaled. Next, the virtual viewpoint is moved in an arbitrary direction, and similarly the distances between the paired points are totaled. By moving the virtual viewpoint in the direction in which the total distance becomes smaller, the viewpoint at which the point group A and the point group B are closest to each other can finally be obtained. By using such a technique, the general-purpose matching unit 14 can estimate the self-position with an accuracy of about several centimeters.

積雪対応照合部15では、基本的に、汎用照合部14と同等の処理が実施され、詳細な自己位置を推定する。ただし、積雪対応照合部15は、積雪判定部5で積雪があると判定された場合に利用されるものであるため、積雪状況に特化した処理も実施される。この処理の詳細は後述する。 The snow coverage matching unit 15 basically performs processing equivalent to that of the general-purpose matching unit 14 to estimate a detailed self-position. However, since the snow coverage comparison unit 15 is used when the snow coverage determination unit 5 determines that there is snow coverage, processing specialized for snow coverage conditions is also performed. The details of this processing will be described later.

三次元照合部13で算出され、更新された自己位置は、粗位置推定部11の入力にフィードバックされ、次の時刻の初期の自己位置として利用することができる。 The self-position calculated and updated by the three-dimensional matching unit 13 is fed back to the input of the coarse position estimation unit 11 and can be used as the initial self-position at the next time.

車両制御部6は、運転者の運転操作に対して、運転者の操作を要しない自動運転を含む運転支援を可能とするものであり、先行車両に対する追い越し、車線維持、高速道路自動合流等を含む適応走行制御、障害物への自動回避制御、一時停止などの運転支援制御を実施する。 The vehicle control unit 6 enables driving assistance including automatic driving that does not require the driver's operation in response to the driver's driving operation, such as overtaking the preceding vehicle, keeping the lane, and automatically merging onto the highway. Adaptive driving control including automatic avoidance control for obstacles, driving support control such as temporary stop is implemented.

以下、本実施例の、粗位置推定部11、マップマッチング部12、三次元照合部13の詳細を順次説明する。 The details of the coarse position estimation unit 11, the map matching unit 12, and the three-dimensional matching unit 13 of this embodiment will be sequentially described below.

<粗位置推定部11>
図2に粗位置推定部11で実施される処理のフローチャートを示す。
<Rough position estimation unit 11>
FIG. 2 shows a flow chart of the processing performed by the coarse position estimator 11 .

前述したように、粗位置推定部11では、車両挙動観測センサ1と絶対位置取得センサ2のセンシング結果から、時々刻々と変化する大凡の自己位置(粗位置)を推定する。車両挙動観測センサ1からは連続的に推定結果が得られるが、時間経過とともに誤差が累積する。一方、絶対位置取得センサ2は誤差が累積しないが、離散的にしか自己位置が得られない。このため、絶対位置取得センサ2の推定結果が得られ、かつ信頼できる状態である場合にのみ、絶対位置取得センサ2の出力に基づいて自己位置を更新し、そうでない場合には、車両挙動観測センサ1の出力に基づいて自己位置と方位を相対的に変化させるよう更新する。粗位置推定部11での処理は、具体的には、次のステップからなる。 As described above, the coarse position estimator 11 estimates a rough self-position (coarse position) that changes from moment to moment from the sensing results of the vehicle behavior observation sensor 1 and the absolute position acquisition sensor 2 . Although estimation results are continuously obtained from the vehicle behavior observation sensor 1, errors accumulate over time. On the other hand, the absolute position acquisition sensor 2 does not accumulate errors, but can obtain its own position only discretely. Therefore, only when the estimation result of the absolute position acquisition sensor 2 is obtained and the state is reliable, the self-position is updated based on the output of the absolute position acquisition sensor 2. Otherwise, the vehicle behavior observation is performed. Based on the output of the sensor 1, the self-position and orientation are updated so as to change relative to each other. Specifically, the processing in the coarse position estimator 11 consists of the following steps.

ステップS1:車両挙動観測センサ1、絶対位置取得センサ2からセンサ時刻を付加した上でセンサ出力値を受信する。センサ時刻は内部に実時間時計を持つセンサについてはその時刻を利用し、加速度センサや角速度センサのような内部に実時間時計を持たないセンサの場合は、センシング時刻とセンサ出力を受信した装置との間の伝送時間を加味したオフセット時間を考慮して、センサ出力を受信する装置で時刻を付与し、記憶または蓄積する。 Step S1: Receive the sensor output values from the vehicle behavior observation sensor 1 and the absolute position acquisition sensor 2 after adding the sensor time. For the sensor time, the time is used for sensors that have an internal real-time clock. For sensors that do not have an internal real-time clock, such as acceleration sensors and angular velocity sensors, the sensing time and the device that received the sensor output are used. Considering the offset time that takes into account the transmission time between , the time is assigned to the device that receives the sensor output and is stored or accumulated.

ステップS2:絶対位置取得センサ2の出力は時間または空間の観点で離散的であるため、常に出力が得られているとは限らない。そこで、前回値から更新されたか否かを判定する必要がある。出力が更新されていない場合には、ステップS5にすすむ。更新された場合にはステップS3にすすむ。 Step S2: Since the output of the absolute position acquisition sensor 2 is discrete in terms of time or space, the output is not always obtained. Therefore, it is necessary to determine whether or not the value has been updated from the previous value. If the output has not been updated, proceed to step S5. If updated, proceed to step S3.

ステップS3:絶対位置取得センサ2の出力は状況によって精度が悪化する場合がある。例えば、GNSS受信装置においては、測位衛星からの電波が届きにくいトンネル内や地下駐車場などでは精度良い位置情報が得られない場合がある。また、多くの高層ビルが建ち並ぶ市街地では、衛星電波が建物で反射および回折して受信されるマルチパス現象が起きることで誤った位置情報を得る場合がある。こうした状況を判断するために、測位ステータス、DOP値(Dilution Of Precision:精度劣化度)や、誤差楕円半径、使用衛星数、速度精度、方位精度などの指標がある。これらの指標が所定の閾値より良好であることをもって、精度が一定以上であると判定する。所定の閾値よりも良好であること、とは、当該業務従事者であれば自明ではあるが、例えば、測位ステータスであれば2D測位、3D測位、RTK-FLOAT測位、RTK-FIX測位の順に良好さが増す。また、DOP値と誤差楕円半径は値が小さいほど良好であり、使用衛星数は多いほど良好である。精度が一定以上でない場合には、ステップS5にすすむ。精度が一定以上の良好な状態であればステップS4にすすむ。なお、精度が一定以上であるか否かを判定する際、複数の指標値をAND条件とOR条件を適宜使用して結合してもよい。 Step S3: The accuracy of the output of the absolute position acquisition sensor 2 may deteriorate depending on the situation. For example, a GNSS receiver may not be able to obtain accurate position information in tunnels or underground parking lots where radio waves from positioning satellites are difficult to reach. In addition, in urban areas where many skyscrapers stand side by side, erroneous position information may be obtained due to multipath phenomena in which satellite radio waves are received after being reflected and diffracted by buildings. In order to judge such situations, there are indicators such as positioning status, DOP value (Dilution Of Precision), error ellipse radius, number of satellites used, velocity accuracy, and bearing accuracy. When these indexes are better than a predetermined threshold value, it is determined that the accuracy is above a certain level. Being better than a predetermined threshold is self-explanatory for the worker, but for example, the positioning status is better in the order of 2D positioning, 3D positioning, RTK-FLOAT positioning, and RTK-FIX positioning. It gets louder. Also, the smaller the DOP value and the radius of the error ellipse, the better, and the greater the number of satellites used, the better. If the accuracy is not equal to or higher than the fixed value, the process proceeds to step S5. If the accuracy is above a certain level, the process proceeds to step S4. When determining whether or not the accuracy is equal to or higher than a certain level, multiple index values may be combined using appropriate AND conditions and OR conditions.

ステップS4:絶対位置取得センサ2による最新の出力が良好な精度で得られている場合には、この出力結果を自己位置に反映させることで、車両挙動観測センサ1による累積誤差をリセットすることができる。自己位置への反映は、十分に信頼性が高い場合には、絶対位置取得センサ2の値をそのまま自己位置に設定してもよいが、カルマンフィルタやパーティクルフィルタを用いて安定化させた出力値を自己位置に設定してもよい。 Step S4: When the latest output from the absolute position acquisition sensor 2 is obtained with good accuracy, the accumulated error by the vehicle behavior observation sensor 1 can be reset by reflecting this output result in the self-position. can. If the reliability of the self-position is sufficiently high, the value of the absolute position acquisition sensor 2 may be set as the self-position as is, but the output value stabilized using a Kalman filter or particle filter is It may be set to self-position.

ステップS5:絶対位置取得センサ2の出力が古い場合、もしくは出力精度が劣化している場合には、車両挙動観測センサ1の出力を加算することで、短時間に変化した自己位置を更新する。その際、車両挙動観測センサ1の出力をそのまま自己位置に加算してもよいが、カルマンフィルタやパーティクルフィルタを用いて安定化させてもよい。 Step S5: When the output of the absolute position acquisition sensor 2 is old or when the output accuracy is degraded, the output of the vehicle behavior observation sensor 1 is added to update the self-position that has changed in a short period of time. At that time, the output of the vehicle behavior observation sensor 1 may be directly added to the self-position, but it may be stabilized using a Kalman filter or a particle filter.

ステップS6:絶対位置取得センサ2の出力が良好な精度で得られている場合には、自己位置推定の信頼度を高くなるように設定し、車両挙動観測センサ1の出力を累積するに従い、信頼度が徐々に低くなるように設定する。例えば、次の式1のように設定できる。 Step S6: When the output of the absolute position acquisition sensor 2 is obtained with good accuracy, the reliability of the self-position estimation is set to be high. Set the intensity to gradually decrease. For example, it can be set as shown in Equation 1 below.

(信頼度)=α÷(絶対位置取得センサの精度指標)
-β×(車両挙動観測センサによる自己位置更新回数) … (式1)
または、カルマンフィルタを用いる場合には共分散行列の項を、信頼度算出の式に加えてもよい。
(reliability) = α / (accuracy index of absolute position acquisition sensor)
−β×(number of self-location updates by vehicle behavior observation sensor) … (Equation 1)
Alternatively, when a Kalman filter is used, a covariance matrix term may be added to the reliability calculation formula.

具体的な数値例を挙げる。(絶対位置取得センサ2の精度指標)を出力周期1[Hz]のGNSS受信機の誤差楕円半径とし、その値域が1~50[m]とすると、小さい値であるほど精度が良好となる。(車両挙動観測センサ1による自己位置更新回数)を出力周期20[Hz]加速度センサと各加速度センサとする。また、α=1000、β=2とする。この場合、GNSS受信機の出力周期に合わせて、20~1000の信頼度が設定され、その後1秒かけて徐々に信頼度が低下していく挙動となる。 A specific numerical example will be given. Assuming that (accuracy index of the absolute position acquisition sensor 2) is the error ellipse radius of the GNSS receiver with an output period of 1 [Hz] and its value range is 1 to 50 [m], the smaller the value, the better the accuracy. (The number of self-position updates by the vehicle behavior observation sensor 1) is assumed to be the output cycle 20 [Hz] acceleration sensor and each acceleration sensor. Also, α=1000 and β=2. In this case, the reliability is set to 20 to 1000 in accordance with the output cycle of the GNSS receiver, and then the reliability gradually decreases over one second.

<マップマッチング部12>
次にマップマッチング部12の処理の流れを説明する。
<Map matching unit 12>
Next, the processing flow of the map matching unit 12 will be described.

マップマッチング部12では、粗位置推定部11で推定された自己位置が、地図上のどの道路を走行しているかを算出し、道路から逸脱していない場合には道路上に乗るように自己位置を補正する。このマップマッチング方法は公知の方法が複数提案されている。以下に具体例を1つ示す。 The map matching unit 12 calculates which road on the map the self-position estimated by the coarse position estimation unit 11 is traveling on, and if the self-position does not deviate from the road, the self-position is adjusted so as to ride on the road. correct. A plurality of known methods have been proposed for this map matching method. One specific example is shown below.

まず、道路情報を地図データベース3から取得する。この道路情報は、道路ノード番号、ノード位置、道路リンク番号、道路リンクの幅員などのうち1つ以上を含む。 First, road information is acquired from the map database 3 . This road information includes one or more of road node numbers, node positions, road link numbers, road link widths, and the like.

次に、粗位置推定部11が推定した自己位置の周囲に存在する各道路リンクに対して、自己位置からの垂線をおろし、各道路リンクとの交点を道路リンク候補点として求める。さらに、垂線の長さと、道路リンク方位と自車方位θとの差を考慮して評価量を算出する。 Next, for each road link existing around the self-position estimated by the rough position estimator 11, a perpendicular line from the self-position is drawn, and the intersection with each road link is obtained as a road link candidate point. Furthermore, the evaluation amount is calculated in consideration of the length of the perpendicular line and the difference between the road link direction and the vehicle direction θV .

図3は、道路リンクに対して評価値を算出する場合の一例を説明するための説明図である。例えば、自車の位置(自車位置P)および姿勢(自車方位θ)とし、自車位置から所定の距離内にある複数の道路リンクを、道路ノードNA1から道路ノードNA2への道路リンクL、道路ノードNB1から道路ノードNB2への道路リンクLとする。さらに、自車位置Pから道路リンクLに対して下ろした垂線の長さをD、道路リンクとの交点をPとする。同様に、自車位置Pから道路リンクLに対して下ろした垂線の長さをD、道路リンクとの交点をPとする。そして、各道路リンク候補点PおよびPに対して評価量を算出する。道路リンク方位θ、θと、自車方位θの差を方位角誤差と呼ぶ。また、道路リンクまで距離D、Dを位置誤差と呼ぶ。この方位角誤差と位置誤差に関して共分散誤差を計算し、これに基づいて各道路リンク候補点の評価量を計算する。この計算結果により、道路を走行している確率が最も高い評価量を持つ道路リンク候補点を第一道路リンク候補点とする。 FIG. 3 is an explanatory diagram for explaining an example of calculating an evaluation value for a road link. For example, given the position (vehicle position P V ) and orientation (vehicle direction θ V ) of the vehicle, a plurality of road links within a predetermined distance from the vehicle position are connected from the road node N A1 to the road node N A2 . and road link L B from road node N B1 to road node N B2 . Furthermore, let D A be the length of a perpendicular drawn from the vehicle position PV to the road link LA , and P A be the intersection with the road link. Similarly, let D B be the length of a perpendicular drawn from the vehicle position P V to the road link LB , and let P B be the intersection with the road link. Then, an evaluation amount is calculated for each of the road link candidate points P A and P B. A difference between the road link azimuths θ A and θ B and the vehicle azimuth θ V is called an azimuth angle error. Further, distances D A and D B to road links are called position errors. A covariance error is calculated with respect to the azimuth error and the position error, and based on this, the evaluation amount of each road link candidate point is calculated. Based on this calculation result, the road link candidate point having the highest evaluation value with the highest probability of traveling on the road is set as the first road link candidate point.

次に、道路リンクの位置、方位及びそれらの分散と、幅員情報と、推定位置及び推定方位及びそれらの共分散とに基づいて、自車が道路を逸脱しているかどうかを判定する。逸脱していないと判定された場合には、自車位置Pを第一道路リンク候補点に近づけるように補正する。その際、第一道路リンク候補点の位置をそのまま自車位置Pに設定してもよいが、カルマンフィルタやパーティクルフィルタを用いて安定化させた出力値を自車位置Pに設定してもよい。 Next, it is determined whether or not the vehicle deviates from the road based on the road link position, bearing and their variance, road width information, estimated position and bearing and their covariance. If it is determined that the vehicle has not deviated, the vehicle position PV is corrected so as to approach the first road link candidate point. At that time, the position of the first road link candidate point may be set as the vehicle position PV as it is, or an output value stabilized using a Kalman filter or a particle filter may be set as the vehicle position PV . good.

<三次元照合部13>
三次元照合部13は、前述したように、その内部に、汎用照合部14と積雪対応照合部15をもち、積雪判定部5からの結果に応じて、いずれか一方、もしくは両方を使用するかを切り替える。例えば、積雪判定部5の判定結果が所定の時間以上「積雪なし」の状態であれば、汎用照合部14の結果のみ使用し、所定の時間以上「積雪あり」の状態であれば、積雪対応照合部15の結果を使用する。積雪判定部5の結果が変動する場合は、部分的に積雪が残っており、除雪が不完全である道路状況であると予想されるため、その場合には汎用照合部14と積雪対応照合部15の両方を使用する。両方を使用する場合、照合結果として出力される、地図中の周囲環境観測センサ4の視点が複数出てくるため、重み付き平均を用いて統合する。なお、カルマンフィルタやパーティクルフィルタを用いて安定化させた出力値を用いてもよい。
<Three-dimensional matching unit 13>
As described above, the three-dimensional matching unit 13 has therein the general-purpose matching unit 14 and the snow coverage matching matching unit 15, and depending on the result from the snow coverage determination unit 5, either one or both of them are used. switch. For example, if the determination result of the snow determination unit 5 is "no snow cover" for a predetermined time or more, only the result of the general-purpose collation unit 14 is used, and if it is "snow cover" for a predetermined time or more, snow cover is handled. The result of collation part 15 is used. If the result of the snow determination unit 5 fluctuates, it is expected that the road condition is one in which snow remains partially and snow removal is incomplete. 15 are both used. If both are used, a plurality of viewpoints of the surrounding environment observation sensor 4 in the map, which is output as a collation result, will appear, so they are integrated using a weighted average. An output value stabilized using a Kalman filter or a particle filter may be used.

<積雪対応照合部15>
図4は、積雪対応照合部15の機能ブロック図である。ここに示すように、積雪対応照合部15は、外形情報抽出部16、照合用マップ抽出部17、センシング結果抽出部18、センシング結果照合部19、位置補正部20を有する。
<Snow Cover Verification Unit 15>
FIG. 4 is a functional block diagram of the snow cover comparison unit 15. As shown in FIG. As shown here, the snow coverage matching unit 15 has an outline information extracting unit 16 , a matching map extracting unit 17 , a sensing result extracting unit 18 , a sensing result matching unit 19 , and a position correcting unit 20 .

<外形情報抽出部16>
外形情報抽出部16は、マップマッチング部12から出力される自己位置(図3参照)に基づき、自己位置近傍の所定の範囲に該当する地図データベース3に格納されている地図情報を読み込み、立体形状に係る外形情報に変換する。例えば、地図データベース3に格納されている地図情報は、道路自体の形状である舗装路面の領域形状や、ガードレールや防音壁の道路に対する設置位置、ガードレールや防音壁の高さ、制限速度・走行規制・道路案内などを表す標識が設置される棒状・L字状・跨線状などの形状をとる支柱の道路に対する形状種別や設置位置、標識支柱の高さ、標識看板の取付高さと形状、電柱の道路に対する設置位置と高さ、カーブミラーの道路に対する設置位置・形状・鏡部の取付高さ、横断歩道や走行路区分線などの路面標示の位置と形状、信号機の形状や取付高さ、などの1つ以上を含む。また、道路だけでなく、路外にあるビルや塀、樹木などの建造物や構造物の形状を含んでいてもよい。さらに、走行車両に搭載した外界センサで得られた3D形状や点群情報、テクスチャ情報などを、サーバに収集し、通信手段や記録メディアにより配布された情報を含んでいてもよい。外形情報抽出部16は、これらの格納された地図情報を読み込み、含まれる物体の外形情報に変換する。
<External shape information extraction unit 16>
Based on the self-location output from the map matching unit 12 (see FIG. 3), the outline information extraction unit 16 reads the map information stored in the map database 3 corresponding to a predetermined range near the self-location, and extracts the three-dimensional shape. Convert to external shape information related to For example, the map information stored in the map database 3 includes the area shape of the paved road surface, which is the shape of the road itself, the installation positions of the guardrails and soundproof walls with respect to the road, the heights of the guardrails and soundproof walls, speed limits and travel restrictions.・Types of shapes and installation positions for roads, heights of signposts, installation heights and shapes of signboards, telephone poles, etc. Installation position and height relative to the road, installation position, shape, and mounting height of the mirror part relative to the road of the curved mirror, position and shape of road markings such as crosswalks and lane markings, shape and mounting height of traffic lights, including one or more of the like. In addition to roads, shapes of buildings and structures such as buildings, fences, and trees outside roads may also be included. Furthermore, 3D shape, point cloud information, texture information, and the like obtained by an external sensor mounted on a traveling vehicle may be collected in a server and distributed by communication means or recording media. The outline information extraction unit 16 reads the stored map information and converts it into outline information of the included objects.

例えば、地図情報から、高さ2mで制限速度50km/hの交通標識の所在情報を読み込んだ場合、その情報を、路外1mの地点に太さ0.1mで長さ2mの円柱が存在するという外形情報、路外1m高さ2mの同じ地点に半径0.6mの円盤状の板が存在するという外形情報、さらにその円盤には50という文字が掲示されているという外形情報、といった3つの外形情報に変換し出力する。 For example, when the location information of a traffic sign with a height of 2 m and a speed limit of 50 km/h is read from the map information, the information is assumed to be a cylinder with a thickness of 0.1 m and a length of 2 m at a point 1 m outside the road. , that there is a disk-shaped plate with a radius of 0.6m at the same point 1m high and 2m outside the road, and that the character 50 is posted on the disk. Convert to external shape information and output.

また、この外形情報は、3D点群の座標値で出力する方法のほか、円柱や円盤の中心軸とその半径といったベクトル形式での出力方法や、表現する空間を一定サイズの直方体に区切って物体有無の情報を付加するボクセル形式での出力方法など、多くの出力形式がある。本実施例中では3D点群の座標値として出力することと仮定するが、本発明としてはこの形式に限定されない。 In addition to outputting 3D point cloud coordinate values, this external shape information can be output in vector format, such as the central axis and radius of a cylinder or disk, or by dividing the space to be expressed into rectangular parallelepipeds of a fixed size. There are many output formats, such as a voxel format output method that adds presence/absence information. In this embodiment, it is assumed that the coordinate values of the 3D point group are output, but the present invention is not limited to this format.

<照合用マップ抽出部17>
図5に、照合用マップ抽出部17のブロック図を示す。ここに示すように、照合用マップ抽出部17は、支柱抽出部17a、低位外形情報削除部17b、鉛直面抽出部17cから構成される。
<Verification Map Extraction Unit 17>
FIG. 5 shows a block diagram of the matching map extractor 17. As shown in FIG. As shown here, the matching map extractor 17 is composed of a column extractor 17a, a low-level outline information deleter 17b, and a vertical plane extractor 17c.

支柱抽出部17aは、外形情報抽出部16から出力された外形情報から、速度制限標識や規制標識、注意標識などの標識が設置されている支柱に相当する外形情報や、自動車用や歩行者用、路面電車用などの信号機が設置されている支柱に相当する外形情報を抽出する。なお、標識や信号機は、道路交通上の重要度が高く、積雪時であっても最低限これらが見えるように除雪されていることが期待できる。このため、標識や信号機の支柱の外形情報を照合用マップとして抽出することで、センシング結果照合部19における成功率が向上することが期待できる。 From the outline information output from the outline information extraction unit 16, the column extracting unit 17a extracts outline information corresponding to columns on which signs such as speed limit signs, regulatory signs, and caution signs are installed, , extracts outline information corresponding to a pole on which a traffic signal for a tram is installed. It should be noted that signs and traffic signals are of high importance in road traffic, and it can be expected that snow is removed at least so that they can be seen even when it is snowing. Therefore, it can be expected that the success rate of the sensing result collating unit 19 will be improved by extracting the outline information of the posts of signs and traffic lights as a collation map.

さらに、低位外形情報削除部17bは、周囲環境観測センサ4で観測された積雪高さ、三次元照合部13から過去に出力された地図中の視点の高さと車両に搭載時の取付高さの差分として表される積雪高さ、または、一般的な積雪高さの何れかに基づき、路面から一定の高さを除外した残りの外形情報(すなわち、積雪の上に出ていると思われる外形情報)を抽出してもよい。これにより、積雪時に観測されることのない外形情報を除外した照合用マップを抽出することが可能となる。 Furthermore, the low-level outline information deletion unit 17b deletes the height of the snow cover observed by the surrounding environment observation sensor 4, the height of the viewpoint in the map output in the past from the three-dimensional matching unit 13, and the mounting height when mounted on the vehicle. Based on either the snow height expressed as a difference or the general snow height, the remaining contour information excluding a certain height from the road surface (i.e., the contour that appears to be above the snow cover) information) may be extracted. As a result, it is possible to extract a matching map that excludes contour information that is not observed during snow cover.

あるいは、低位外形情報削除部17bは、ガードレールや防音壁など、一定の高さで連続的に存在する遮蔽物の向こう側にある外形情報について、路面から一定の高さを除外した残りの外形情報を抽出してもよい。これにより、遮蔽により観測されることのない外形情報を除外した照合用マップを抽出することが可能となる。 Alternatively, the low-level external shape information deletion unit 17b removes the remaining external shape information after removing the constant height from the road surface, regarding the external shape information on the other side of the obstacle that continuously exists at a certain height, such as a guardrail or a soundproof wall. may be extracted. As a result, it is possible to extract a matching map from which outline information that cannot be observed due to shielding is excluded.

鉛直面抽出部17cは、外形情報抽出部16が出力した外形情報から、積雪時にも照合が可能な鉛直面に関する情報を抽出する。具体的には、水平に近い物体の面の上には雪が積もることが想定され、地図データベース3に格納されている形状情報と、積雪時の実際の環境での観測結果の形状とは異なる可能性がある。このため、外形情報抽出部16が出力する外形情報のうち、鉛直方向から所定の角度閾値以内の鉛直に近い面を抽出することで、雪が積もる可能性が少なく、積雪時に見かけの形状が変わりにくい物体を抽出することができる。 The vertical plane extraction unit 17c extracts information about a vertical plane that can be collated even when it is covered with snow from the outline information output by the outline information extraction unit 16 . Specifically, it is assumed that snow will pile up on the surface of an object that is nearly horizontal, and the shape information stored in the map database 3 may differ from the shape of the observation result in the actual environment when snow is accumulated. have a nature. Therefore, by extracting a near-vertical surface within a predetermined angle threshold from the vertical direction from the outline information output by the outline information extraction unit 16, there is little possibility that snow will pile up, and the apparent shape will not easily change when it snows. Objects can be extracted.

以上で説明した支柱抽出部17a等を用いることで、照合用マップ抽出部17では、積雪時であっても照合可能な、支柱や壁面等の外形情報群からなる照合用マップを抽出する。 By using the post extracting unit 17a and the like described above, the matching map extracting unit 17 extracts a matching map consisting of outline information groups of posts, walls, etc. that can be matched even when it is snowing.

<センシング結果抽出部18>
図6に、センシング結果抽出部18のブロック図を示す。センシング結果抽出部18は、周囲環境観測センサ4から得られた障害物や環境構造物の形状、模様、色、大きさなどの情報から、照合用マップ抽出部17で抽出された外形情報に対応する可能性の高い形状情報を抽出する。なお、周囲環境観測センサ4で取得された形状情報は、既に積雪や他構造物に遮蔽されて対象の全ての部分が観測できていない可能性があるため、観測結果の下方を除外する必要はない。
<Sensing result extraction unit 18>
FIG. 6 shows a block diagram of the sensing result extraction unit 18. As shown in FIG. The sensing result extracting unit 18 corresponds to the outline information extracted by the matching map extracting unit 17 from information such as the shape, pattern, color and size of obstacles and environmental structures obtained from the surrounding environment observation sensor 4. Extract shape information that is likely to be Note that the shape information acquired by the surrounding environment observation sensor 4 may not be able to observe all parts of the object because it is already blocked by snow or other structures, so it is not necessary to exclude the lower part of the observation result. do not have.

図6に示すように、センシング結果抽出部18は、支柱抽出部18a、低位外形情報削除部18b、鉛直面抽出部18c、積雪領域除去部18d、移動体除去部18eから構成される。 As shown in FIG. 6, the sensing result extraction unit 18 includes a post extraction unit 18a, a low-level outline information deletion unit 18b, a vertical surface extraction unit 18c, a snow area removal unit 18d, and a moving object removal unit 18e.

支柱抽出部18aは、周囲環境観測センサ4から出力されたセンシング結果から、速度制限標識や規制標識、注意標識などの標識が設置されている支柱や、自動車用や歩行者用、路面電車用などの信号機が設置されている支柱を抽出する。具体的には、周囲環境観測センサ4において、機械学習などを利用したパターン識別技術を用いることで、観測している対象がどの種別であるかを認識することが可能となる。また、ステレオカメラやLiDARなどの距離情報が認識できるセンサにおいては、距離情報を利用して観測対象物を背景物から抽出することができる。距離情報が取得できない単眼カメラであっても公知のSemantic Segmentation技術などを用いることで、信号機や標識の支柱の抽出は可能である。前述したように、標識と信号機は、道路交通上の重要度が高く、積雪時であっても最低限これらが見えるように除雪されていることが期待できる。このため、標識と信号機、およびそれらの支柱を抽出することで、センシング結果照合部19における成功率が向上することが期待できる。 The pillar extraction unit 18a extracts pillars on which signs such as speed limit signs, regulatory signs, caution signs, etc. are installed, for automobiles, pedestrians, trams, etc., based on the sensing results output from the surrounding environment observation sensor 4. Extract the posts where the traffic lights are installed. Specifically, in the surrounding environment observation sensor 4, by using a pattern identification technique using machine learning or the like, it becomes possible to recognize the type of the object being observed. Further, in a sensor capable of recognizing distance information, such as a stereo camera or LiDAR, it is possible to extract an observation object from a background object using the distance information. Even with a monocular camera that cannot acquire distance information, it is possible to extract poles of traffic lights and signs by using well-known semantic segmentation technology. As described above, signs and traffic lights are of high importance in terms of road traffic, and it can be expected that the snow is removed at least so that they can be seen even when it is snowing. Therefore, it can be expected that the success rate of the sensing result matching unit 19 will be improved by extracting signs, traffic lights, and their supports.

低位外形情報削除部18bは、ガードレールや防音壁など、一定の高さで連続的に存在する遮蔽物の向こう側にある外形情報について、支柱上端から一定の高さを除外した残りの外形情報を抽出してもよい。これにより、遮蔽により観測されることのない外形情報を除外した照合用マップを抽出することが可能となる。 The low-level external shape information deletion unit 18b deletes the remaining external shape information after excluding a certain height from the upper end of the column, regarding the external shape information on the other side of the obstacle that continuously exists at a certain height, such as a guardrail or a soundproof wall. may be extracted. As a result, it is possible to extract a matching map from which outline information that cannot be observed due to shielding is excluded.

鉛直面抽出部18cは、周囲環境観測センサ4から得られたセンシング結果から、積雪によって形状変化を受けにくい鉛直面を抽出する。具体的には、観測結果中の水平に近い面は積雪によって生成された面の可能性があるため、地図データベース3に格納されている形状情報と、観測結果の形状とは異なる可能性がある。このため、周囲環境観測センサ4から得られたセンシング結果のうち、鉛直方向から所定の角度閾値以内の鉛直に近い面を抽出することで、積雪によって生成された面である可能性が少ない物体を抽出することができる。これにより、積雪によって生成された照合対象の地図には含まれていないセンシング結果で誤って照合することを抑止し、センシング結果照合部19における成功率が向上する効果が期待できる。 The vertical plane extracting unit 18c extracts vertical planes that are less susceptible to shape change due to accumulated snow from the sensing results obtained from the surrounding environment observation sensor 4 . Specifically, since there is a possibility that the nearly horizontal surface in the observation result is a surface generated by snow cover, the shape information stored in the map database 3 may differ from the shape of the observation result. . For this reason, by extracting a near-vertical surface within a predetermined angle threshold from the vertical direction from the sensing results obtained from the surrounding environment observation sensor 4, an object that is unlikely to be a surface generated by snow cover can be detected. can be extracted. As a result, it is possible to suppress erroneous matching with sensing results that are not included in the matching target map generated by snow coverage, and the effect of improving the success rate of the sensing result matching unit 19 can be expected.

積雪領域除去部18dは、周囲環境観測センサ4から得られたセンシング結果から、積雪によって生成された面を除去する。具体的には、公知のSemantic Segmentation技術などを用いて積雪領域からなる観測結果を除去してもよいし、LiDARにおいてはレーザの反射率が所定の閾値よりも高い場合に積雪から得られた領域であると判定して除外してもよい。これにより、積雪によって生成された照合対象の地図には含まれていない面で誤って照合することを抑止し、センシング結果照合部19における成功率が向上する効果が期待できる。 The snow area removal unit 18 d removes surfaces generated by snow accumulation from the sensing results obtained from the surrounding environment observation sensor 4 . Specifically, the observation result consisting of the snow area may be removed using a known semantic segmentation technique or the like. It may be determined to be and excluded. As a result, it is possible to suppress erroneous matching of faces that are not included in the matching target map generated by snow coverage, and the effect of improving the success rate of the sensing result matching unit 19 can be expected.

移動体除去部18eは、周囲環境観測センサ4から得られたセンシング結果から、走行車両や歩行者などの移動体によって得られた観測情報を除去する。具体的には、複数回センシングをおこない、自車移動量を考慮したセンシング結果の差分を抽出することで、環境中の移動体を抽出して除去してもよいし、Deep Learningをはじめとした機械学習などを利用して車両や歩行者の領域を抽出し、対応する領域をセンシング結果から除去してもよい。これにより、照合対象の地図に含まれていない移動体からの観測結果で誤って照合することを抑止し、センシング結果照合部19における成功率が向上する効果が期待できる。 The moving object removing unit 18e removes observation information obtained by moving objects such as moving vehicles and pedestrians from the sensing results obtained from the surrounding environment observation sensor 4. FIG. Specifically, by performing sensing multiple times and extracting the difference in sensing results considering the amount of movement of the vehicle, it is possible to extract and remove moving objects in the environment. A vehicle or pedestrian area may be extracted using machine learning or the like, and the corresponding area may be removed from the sensing results. As a result, it is possible to suppress erroneous matching using observation results from moving objects that are not included in the map to be matched, and an effect of improving the success rate of the sensing result matching unit 19 can be expected.

なお、自車が水平な路面を走行していると記載したが、自車方位θは車両挙動観測センサ1として搭載されている加速度センサを用いて求めることも可能である。この場合、センシング結果抽出部18に車両挙動観測センサ1の出力値を入力し、自車方位θを推定した上で、鉛直方向から所定の角度閾値以内の鉛直に近い面を抽出する際の角度計算を補正することができ、抽出の正確性が増す。なお、この車両挙動観測センサ1との接続は図3には図示していない。 Although it is described that the vehicle is running on a horizontal road surface, the vehicle direction θV can also be obtained using an acceleration sensor mounted as the vehicle behavior observation sensor 1 . In this case, after inputting the output value of the vehicle behavior observation sensor 1 to the sensing result extraction unit 18 and estimating the own vehicle direction θV , when extracting a near-vertical plane within a predetermined angle threshold from the vertical direction, Angle calculations can be corrected, increasing extraction accuracy. The connection with the vehicle behavior observation sensor 1 is not shown in FIG.

<センシング結果照合部19>
センシング結果照合部19は、照合用マップ抽出部17の出力と、センシング結果抽出部18の出力を照合し、地図情報中の自車位置Pおよび自車方位θを算出する。この照合技術は公知の技術が複数提案されているため、それらを用いても良い。例えば、前述したICPという技術を用いてもよい。
<Sensing result matching unit 19>
The sensing result collating unit 19 collates the output of the matching map extracting unit 17 and the output of the sensing result extracting unit 18, and calculates the vehicle position PV and the vehicle bearing θV in the map information. Since a plurality of known techniques have been proposed for this collation technique, they may be used. For example, the ICP technique described above may be used.

センシング結果照合部19では、形状情報の下部は遮蔽などの影響で、照合用マップ抽出部17の出力とセンシング結果抽出部18からの出力の、一方のみで観測されることが起こりうる。このため、地上高の高い部分で重みづけが強くなるように改良したICPを用いても良い。例えば、具体的には以下のようにすればよい。 In the sensing result matching unit 19, the lower part of the shape information may be observed by only one of the output from the matching map extracting unit 17 and the output from the sensing result extracting unit 18 due to shielding or the like. For this reason, an improved ICP may be used in which the weighting is increased in areas with high ground clearance. For example, specifically, the following may be done.

2つの三次元点群A,Bを照合するときに、まず仮視点を仮定して点群を重ね合わせ、点群Aのある点aに対し、点群B中で最も近い点bを算出し、点aと点bの二乗距離D(a,b)を算出する。この操作を点群A中のすべての点に対しておこない、ペアとなった点間の距離を算出する。通常はこの距離をそのまま合計してマッチングの誤差評価値とするが、改良したICPでは路面からの点a,点bの高さをそれぞれHa,Hbとし、単調増加する変換関数T(x)とおいて、誤差評価値をΣ{D(a,b)×T(Ha×Hb)}として計算する。これにより、路面からの高さの高い点のずれが大きい場合には、路面からの高さが低い点のずれが大きい場合よりも、誤差評価値が大きくなる。 When matching two three-dimensional point groups A and B, first, assuming a virtual viewpoint, the point groups are superimposed, and a point b in the point group B that is closest to a certain point a in the point group A is calculated. , the squared distance D(a, b) between points a and b is calculated. This operation is performed for all points in the point group A, and the distance between the paired points is calculated. Normally, these distances are summed up as they are and used as a matching error evaluation value. , the error evaluation value is calculated as Σ{D(a,b)×T(Ha×Hb)}. As a result, the error evaluation value becomes larger when the deviation of the point which is high from the road surface is large than when the deviation of the point which is low from the road surface is large.

あとは通常のICPと同様に、任意の方向に仮視点を移動させ、同様にペアとなった点間の距離を算出し、誤差評価値を計算する。誤差評価値が小さくなる方向に仮視点を移動させていくことで、最終的に最も点群Aと点群Bが近くなる視点を求めることができる。この視点位置は周囲環境観測センサ4のセンサ原点に対応しているため、周囲環境観測センサ4の搭載位置と車両原点との相対関係を用いて自車位置Pに変換する。なお、この相対関係は車両構築時に既知の情報となっている。 After that, as in normal ICP, the virtual viewpoint is moved in an arbitrary direction, the distance between the paired points is similarly calculated, and the error evaluation value is calculated. By moving the virtual viewpoint in the direction in which the error evaluation value becomes smaller, the viewpoint at which the point group A and the point group B are closest to each other can finally be obtained. Since this viewpoint position corresponds to the sensor origin of the surrounding environment observation sensor 4, it is converted to the own vehicle position PV using the relative relationship between the mounting position of the surrounding environment observation sensor 4 and the vehicle origin. This relative relationship is known information at the time of vehicle construction.

センシング結果照合部19では、前述の方法で求めた自車位置Pと、誤差評価値、点群Aと点群Bの各点が所定の距離内で対応付けが得られた点の数を一致面積数として、出力する。 The sensing result matching unit 19 calculates the vehicle position PV obtained by the above-described method, the error evaluation value, and the number of points for which each point in the point group A and the point group B is associated within a predetermined distance. Output as the number of matching areas.

<位置補正部20>
位置補正部20では、センシング結果照合部19の出力から照合信頼度を計算し、自己位置を補正する。この照合信頼度は、誤差評価値が小さいほど良好であり、一致面積数が大きいほど良好になるよう設定する。例えば、照合信頼度は次の式2のように定義できる。
<Position corrector 20>
The position correction unit 20 calculates the verification reliability from the output of the sensing result verification unit 19 and corrects the self-position. The collation reliability is set so that the smaller the error evaluation value, the better, and the larger the matching area number, the better. For example, matching reliability can be defined as in Equation 2 below.

(照合信頼度)=γ÷(誤差評価値)+δ×(一致面積数) … 式2
照合信頼度に応じた重みをつけて、マップマッチング部12で出力された自己位置を、センシング結果照合部19で出力された自車位置Pに近づけるように補正して、車両制御部6に出力する自己位置を生成する。
(matching reliability) = γ/(error evaluation value) + δ x (number of matching areas) … Equation 2
The self-position output by the map matching unit 12 is corrected to be closer to the vehicle position PV output by the sensing result matching unit 19 by adding a weight according to the matching reliability, and the vehicle control unit 6 Generate the output self-position.

なお、照合信頼度が十分に大きい所定の閾値以上であれば、車両制御部6に出力する自己位置をセンシング結果照合部19で得られた自車位置Pで置き換えて出力してもよい。また、前述では重みづけで補正すると記載したが、カルマンフィルタやパーティクルフィルタを用いて安定化させてもよい。 It should be noted that if the verification reliability is equal to or higher than a sufficiently large predetermined threshold value, the vehicle position PV obtained by the sensing result verification unit 19 may be substituted for the vehicle position output to the vehicle control unit 6 and output. Further, although it is described above that correction is performed by weighting, a Kalman filter or a particle filter may be used for stabilization.

以上のように、本実施例の自己位置推定装置10によれば、地図とセンサから得られた情報から、それぞれ所定の時間および領域を抽出し、環境情報が記録された地図と、観測された周囲環境構造とで、照合可能な共通領域を抽出することで、積雪によって走行環境に存在する環境構造物が遮蔽されたり、あるいは環境構造物の形状が変わる状況が継続する場合や、圧雪路で路面標示が見えない状況が継続する場合でも、自己位置の詳細な推定が可能になる。 As described above, according to the self-position estimation device 10 of the present embodiment, a predetermined time and area are extracted from the information obtained from the map and the sensor, respectively, and the map in which the environmental information is recorded and the observed By extracting a common area that can be compared with the surrounding environment structure, it is possible to detect situations where environmental structures existing in the driving environment are blocked by snow accumulation, or where the shape of the environmental structure changes continuously, or on compacted snow roads. Detailed self-position estimation is possible even when road markings are not visible for a long time.

次に、図7のフローチャートを用いて、本発明の実施例2に係る自己位置推定装置10を説明する。なお、実施例1との共通点は重複説明を省略する。 Next, the self-position estimation device 10 according to Embodiment 2 of the present invention will be described using the flowchart of FIG. Duplicate descriptions of common points with the first embodiment will be omitted.

実施例1の粗位置推定部11では、図2のフローチャートのステップS2以降の処理から明らかなように、絶対位置取得センサ2の出力が更新されたときに、絶対位置取得センサ2の出力に基づいて自己位置を更新したが、本実施例の粗位置推定部11では、絶対位置取得センサ2の出力更新のタイミングに依存せずに自己位置を更新することで、処理負荷により処理周期が変動しても精度良く自己位置推定をおこなうことが可能になる。以下、実施例1から変更のあるステップのみを図7を用いて説明する。 As is clear from the processing after step S2 in the flowchart of FIG. 2, the coarse position estimation unit 11 of the first embodiment performs the However, in the coarse position estimating unit 11 of this embodiment, by updating the self-position independently of the output update timing of the absolute position acquisition sensor 2, the processing cycle fluctuates due to the processing load. However, it is possible to estimate the self-position with high accuracy. Only steps that are different from the first embodiment will be described below with reference to FIG.

例えば、GNSSの受信装置が測位衛星電波を用いて測位を行う周期が処理負荷によって変動する場合や、センシング周期と自己位置推定を行う周期が異なる場合においては、各センサが出力した最終出力値をそのまま使うと、センサ間の時刻整合性がとれず、自己位置推定の位置精度が悪化する。そこで、本実施例では、センサ出力を蓄積しておき、自己位置推定をおこなうタイミングで、蓄積されたセンシング結果を利用する。 For example, when the cycle in which the GNSS receiver performs positioning using positioning satellite radio waves varies depending on the processing load, or when the sensing cycle and self-position estimation cycle differ, the final output value output by each sensor is If it is used as it is, the time consistency between sensors cannot be obtained, and the position accuracy of self-position estimation deteriorates. Therefore, in this embodiment, the sensor output is accumulated, and the accumulated sensing result is used at the timing of self-position estimation.

その場合、ステップS1のあとに、以下に述べるステップS11、S12を追加することで、自己位置推定をおこなうことが可能になる。 In that case, by adding steps S11 and S12 described below after step S1, self-position estimation can be performed.

ステップS11:自己位置推定の起動タイミングであるか否かを判定し、起動タイミングでなければ、ステップS1に進む。起動タイミングであればステップS12に進む。 Step S11: Determine whether or not it is time to start self-position estimation, and if not, proceed to step S1. If it is the activation timing, the process proceeds to step S12.

ステップS12:ステップS1にて時刻を付与されたセンサ出力は過去のタイミングにおける出力値であるため、自己位置推定の計算時の出力値を補間、または過去値から予測して複数センサ間の時刻同期を取る必要がある。例えば、センサ毎にカルマンフィルタを用いたり、線形モデルや多項式モデルを用いたりして当該時刻のセンサ値を予測する。 Step S12: Since the sensor output given the time in step S1 is the output value at the past timing, interpolate the output value at the time of calculation of self-position estimation or predict from the past value to synchronize the time between multiple sensors need to take For example, a Kalman filter is used for each sensor, or a linear model or polynomial model is used to predict the sensor value at that time.

このように、センサ出力時刻と非同期で自己位置推定を行う場合には、上記ステップを追加することで、精度よく自己位置推定をおこなうことが可能になる。また、処理負荷により処理周期が変動しても精度良く自己位置推定をおこなうことが可能になる。 In this way, when the self-position estimation is performed asynchronously with the sensor output time, it is possible to perform the self-position estimation with high accuracy by adding the above steps. Also, even if the processing cycle varies due to the processing load, it is possible to accurately estimate the self-position.

次に、図8のブロック図を用いて、本発明の実施例3に係る自己位置推定装置10を説明する。なお、上記の実施例との共通点は重複説明を省略する。 Next, the self-position estimation device 10 according to Embodiment 3 of the present invention will be described using the block diagram of FIG. Duplicate descriptions of the points in common with the above embodiment will be omitted.

実施例1の積雪対応照合部15では、積雪判定部5の出力に基づいて、照合用マップ抽出部17やセンシング結果抽出部18が所定の情報を抽出したが、本実施例の積雪対応照合部15では、地図データベース3と周囲環境観測センサ4の照合残差、すなわち過去の地図情報と現在観測された環境情報との差異をフィードバックして活用することで、照合精度を向上し、自己位置推定精度を向上させるものである。 In the snow coverage matching unit 15 of the first embodiment, the matching map extraction unit 17 and the sensing result extraction unit 18 extract predetermined information based on the output of the snow coverage determination unit 5, but the snow coverage matching unit of the present embodiment In 15, the difference between the map database 3 and the surrounding environment observation sensor 4, that is, the difference between the past map information and the currently observed environment information is fed back and utilized to improve the matching accuracy and self-position estimation. It improves accuracy.

このため、本実施例では積雪判定部5の出力に加えて、周囲環境認識センサ4の出力を用いて、照合用マップ抽出部17およびセンシング結果抽出部18の出力を制御する。これにより、積雪状況により適合した照合用マップ抽出およびセンシング結果抽出ができるようになる。 Therefore, in this embodiment, the output of the surrounding environment recognition sensor 4 is used in addition to the output of the snow coverage determination unit 5 to control the output of the matching map extraction unit 17 and the sensing result extraction unit 18 . This makes it possible to extract a matching map and extract sensing results that are more suitable for snow cover conditions.

図8において、センシング結果照合部19は、前述した照合用マップ抽出部17の出力と、センシング結果抽出部18からの出力を照合し、地図情報中の自車位置Pおよび自車方位θを算出機能のほかに、照合されずに残った点群の情報から積雪状態を積雪状態記録部7へ出力する。 In FIG. 8, the sensing result collating unit 19 collates the output of the matching map extracting unit 17 and the output from the sensing result extracting unit 18, and determines the vehicle position PV and the vehicle bearing θV in the map information. In addition to the function of calculating , the snow cover state is output to the snow cover state recording unit 7 from the information of the point group that remains without being collated.

例えば、センシング結果照合部19では、2つの三次元点群A,Bを照合するときに、まず仮視点を仮定して点群を重ね合わせ、点群Aのある点aに対し、点群B中で最も近い点bを算出し、点aと点bの二乗距離D(a,b)を算出する。この操作を点群A中のすべての点に対しておこない、ペアとなった点間の距離を算出する。通常はこの距離をそのまま合計してマッチングの誤差評価値とするが、改良したICPでは路面からの点a,点bの高さをそれぞれHa,Hbとし、単調増加する変換関数T(x)とおいて、誤差評価値をΣ{D(a,b)×T(Ha×Hb)}として計算する。これにより、路面からの高さの高い点のずれが大きい場合には、路面からの高さが低い点のずれが大きい場合よりも、誤差評価値が大きくなる。 For example, when the sensing result collating unit 19 collates the two three-dimensional point groups A and B, the point groups are first superimposed assuming a virtual viewpoint, and for a point a in the point group A, the point group B The nearest point b is calculated, and the squared distance D(a, b) between the points a and b is calculated. This operation is performed for all points in the point group A, and the distance between the paired points is calculated. Normally, these distances are summed up as they are and used as a matching error evaluation value. , the error evaluation value is calculated as Σ{D(a,b)×T(Ha×Hb)}. As a result, the error evaluation value becomes larger when the deviation of the point which is high from the road surface is large than when the deviation of the point which is low from the road surface is large.

通常のICPと同様に、任意の方向に仮視点を移動させ、同様にペアとなった点間の距離を算出し、誤差評価値を計算する。誤差評価値が小さくなる方向に仮視点を移動させていくことで、最終的に最も点群Aと点群Bが近くなる視点を求めることができる。 Similar to normal ICP, the virtual viewpoint is moved in an arbitrary direction, the distance between the paired points is similarly calculated, and the error evaluation value is calculated. By moving the virtual viewpoint in the direction in which the error evaluation value becomes smaller, the viewpoint at which the point group A and the point group B are closest to each other can finally be obtained.

この際、点aと点bとの二乗距離D(a,b)が所定の距離以内である場合には、点aと点bとが対応付いているものとしてフラグをつけ、二乗距離D(a,b)が所定の距離よりも大きい場合には、点aと点bが対応づかなかったとしてフラグをつけない。こうすることで、最終的にどの点とも対応付けられない点を、フラグがつけられていない点として抽出できる。このどの点とも対応づけられていない点は、前述の変換関数T(x)により、路面からの高さが低い点に多く抽出されることが期待できる。照合用マップ抽出部17から出力された点群のうちで、どの点とも対応づけられていない点であり、かつ高さが低い点は、積雪などによりセンシングできない点であると見なせるため、これらの点の高さ情報をもとに積雪高さを推定することができる。 At this time, if the squared distance D(a, b) between the point a and the point b is within a predetermined distance, a flag is added as the point a and the point b are associated, and the squared distance D( If a, b) is greater than a predetermined distance, no flag is added as point a and point b do not correspond. By doing so, points that are not finally associated with any point can be extracted as unflagged points. It can be expected that many of the points that are not associated with any point will be extracted as points whose height from the road surface is low by the conversion function T(x) described above. In the point group output from the matching map extracting unit 17, points that are not associated with any point and whose height is low can be regarded as points that cannot be sensed due to accumulated snow or the like. The snow height can be estimated based on the height information of the points.

例えば、高さ2.0mのポールがあり、照合用マップ抽出部17により上部から1.8m分が点群として抽出されているとする。また、センシング結果抽出部17から、当該領域に対応する高さ1.0m分のポール状の点群が出力されているとすると、前述の変換関数T(x)により、センシング結果の点群はマップから抽出された点群の上部にマッチングすることになる。仮に前述の二乗距離の閾値を0.1mとすると、下部の0.7m分の点群がどの点とも対応づけられない点として抽出されることになる。このことから積雪高さが現在のシステムの想定よりも0.7m分高いことが分かる。これを積雪状態記録部7に記録する。 For example, it is assumed that there is a pole with a height of 2.0 m, and the matching map extraction unit 17 extracts a point cloud of 1.8 m from the top. Also, assuming that a pole-shaped point cloud with a height of 1.0 m corresponding to the region is output from the sensing result extraction unit 17, the point cloud of the sensing result is obtained by the transformation function T(x) described above. It will match on top of the point cloud extracted from the map. Assuming that the aforementioned threshold value of the squared distance is 0.1 m, the lower point group of 0.7 m will be extracted as points that are not associated with any point. From this, it can be seen that the snow cover height is 0.7 m higher than assumed by the current system. This is recorded in the snow cover state recording section 7 .

また、センシング結果照合部19では、積雪状態記録部7に記録されている積雪高さの差異を読み出し、所定の値よりも大きい場合には、照合用マップの点群の高さが低い点を削除することにより、抽出された照合用マップとセンシング結果との誤マッチングを抑制し、安定した自己位置推定をできるようにする。 Further, the sensing result collating unit 19 reads out the difference in the snow cover height recorded in the snow condition recording unit 7, and if it is larger than a predetermined value, the points with the low height of the point cloud in the collation map are detected. This deletion suppresses erroneous matching between the extracted matching map and the sensing result, enabling stable self-position estimation.

なお、積雪高さという観点で、積雪状態記録部7への出力を述べたが、これに限定される必要はない。 Although the output to the snow cover state recording unit 7 has been described from the viewpoint of the snow cover height, it is not necessary to be limited to this.

図9に、積雪のない環境E1と、積雪後の環境E2の例を示す。この図を用いて、積雪状態記録部7へ出力する内容の別の例を説明する。 FIG. 9 shows an example of an environment E1 without snow and an environment E2 after snow. Another example of contents to be output to the snow cover condition recording unit 7 will be described using this figure.

例えば、積雪のない環境E1において、路側帯と車道との区切りを示す路側帯白線L1と、車線区分線L2があるものとする。一般に、積雪時には除雪されるが、積雪量が多い場合には路肩に雪が残り、路側帯白線L1は雪に隠され、車線区分線2のみが可視状態となる場合がある。 For example, in an environment E1 where there is no snow cover, it is assumed that there are a roadside strip white line L1 indicating a demarcation between the roadside strip and the roadway, and a lane marking L2. In general, the snow is removed when it is snowing, but when there is a large amount of snow remaining on the road shoulder, the roadside white line L1 may be hidden by the snow and only the lane marking 2 may be visible.

センシング結果照合部19では、一定時間走行中に、特定の種別の対象が、所定の照合回数以下でしか照合されない場合、その種別の対象がセンシングできない状態の道路であることを積雪状態記録部7に出力する。また、センシング結果照合部19では、積雪状態記録部7から、照合できない種別の対象については、センシング結果抽出部18からの出力から削除することで、抽出された照合用マップとセンシング結果との誤マッチングを抑制し、安定した自己位置推定をできるようにする。 In the sensing result collation unit 19, when an object of a specific type is collated only a predetermined number of times or less while driving for a certain period of time, the snow condition recording unit 7 detects that the object of that type is a road that cannot be sensed. output to In addition, the sensing result collating unit 19 deletes objects of types that cannot be collated from the snow state recording unit 7 from the output from the sensing result extracting unit 18, thereby preventing errors between the extracted collation map and the sensing results. Suppress matching and enable stable self-localization.

なお、積雪状態記録部7に記録された情報は、一定時間後に削除して、当該種別の対象に関して再度照合を試行してもよい。 Note that the information recorded in the snow cover state recording unit 7 may be deleted after a certain period of time, and collation may be attempted again with respect to the object of that type.

1 車両挙動観測センサ
2 絶対位置取得センサ
3 地図データベース
4 周囲環境観測センサ
5 積雪判定部
6 車両制御部
7 積雪状態記録部
10 自己位置推定装置
11 粗位置推定部
12 マップマッチング部
13 三次元照合部
14 汎用照合部
15 積雪対応照合部
16 外形情報抽出部
17 照合用マップ抽出部
17a 支柱抽出部
17b 低位外形情報削除部
17c 鉛直面抽出部
18 センシング結果抽出部
18a 支柱抽出部
18b 低位外形情報削除部
18c 鉛直面抽出部
18d 積雪領域除去部
18e 移動体除去部
19 センシング結果照合部
20 位置補正部
1 Vehicle behavior observation sensor 2 Absolute position acquisition sensor 3 Map database 4 Surrounding environment observation sensor 5 Snow determination unit 6 Vehicle control unit 7 Snow condition recording unit 10 Self-position estimation device 11 Rough position estimation unit 12 Map matching unit 13 Three-dimensional matching unit 14 general-purpose matching unit 15 matching matching unit for snow coverage 16 external shape information extracting unit 17 matching map extracting unit 17a prop extracting unit 17b low-level external shape information deleting unit 17c vertical plane extracting unit 18 sensing result extracting unit 18a pillar extracting unit 18b low-level external shape information deleting unit 18c Vertical plane extraction unit 18d Snow area removal unit 18e Moving object removal unit 19 Sensing result collation unit 20 Position correction unit

Claims (4)

地図情報を記憶する地図データベースと、
周囲環境の三次元点群データを取得する周囲環境観測センサと、に接続され、
車両の自己位置を推定する自己位置推定装置であって、
大凡の自己位置を推定する粗位置推定部と、
詳細な自己位置を推定する三次元照合部と、を有し、
前記三次元照合部は、
前記地図情報から積雪時に観測可能な外形情報を抽出した三次元地図データを生成する照合用マップ抽出部と、
前記周囲環境観測センサから前記三次元点群データを得るセンシング結果抽出部と、
前記三次元地図データと前記三次元点群データを三次元照合することで、前記粗位置推定部が推定した自己位置を補正する位置補正部と、
を有し、
前記照合用マップ抽出部は、前記地図情報に含まれる外形情報から、前記周囲環境観測センサで観測した積雪高さ以上の外形情報を抽出することで、前記三次元地図データを生成することを特徴とする自己位置推定装置。
a map database that stores map information;
Connected to an ambient environment observation sensor that acquires 3D point cloud data of the ambient environment,
A self-position estimation device for estimating the self-position of a vehicle,
a coarse position estimation unit that estimates a rough self-position;
a three-dimensional matching unit that estimates a detailed self-position,
The three-dimensional matching unit
a matching map extracting unit for generating three-dimensional map data by extracting outline information observable during snowfall from the map information;
a sensing result extraction unit that obtains the three-dimensional point cloud data from the surrounding environment observation sensor;
a position correcting unit that corrects the self-position estimated by the rough position estimating unit by three-dimensionally collating the 3D map data and the 3D point cloud data;
has
The matching map extracting unit generates the three-dimensional map data by extracting, from the outline information included in the map information, outline information having a height of snow cover observed by the surrounding environment observation sensor or higher. , the self-position estimation device.
請求項1に記載の自己位置推定装置において、
さらに前記三次元照合の結果を記録する積雪状態記録部を有することを特徴とする自己位置推定装置。
In the self-position estimation device according to claim 1 ,
The self-position estimation device further comprises a snow cover state recording unit for recording the result of the three-dimensional collation.
計算機が車両の自己位置を推定する自己位置推定方法であって、
大凡の自己位置を推定する第一ステップと、
地図情報から積雪時に観測可能な外形情報を抽出した三次元地図データを生成する第二ステップと、
周囲環境観測センサから三次元点群データを得る第三ステップと、
前記三次元地図データと前記三次元点群データを三次元照合することで、推定した大凡の自己位置を補正する第四ステップと、
を有し、
前記第二ステップでは、前記地図情報に含まれる外形情報から、前記周囲環境観測センサで観測した積雪高さ以上の外形情報を抽出することで、前記三次元地図データを生成することを特徴とする自己位置推定方法。
A self-position estimation method in which a computer estimates the self-position of a vehicle,
a first step of estimating an approximate self-position;
a second step of generating three-dimensional map data by extracting outline information observable during snowfall from map information;
a third step of obtaining three-dimensional point cloud data from the ambient environment observation sensor;
a fourth step of correcting the estimated approximate self-position by three-dimensionally collating the three-dimensional map data and the three-dimensional point cloud data;
has
In the second step, the three-dimensional map data is generated by extracting outline information of a height of snow cover observed by the surrounding environment observation sensor or higher from the outline information included in the map information. Self localization method.
請求項に記載の自己位置推定方法において、
さらに前記三次元照合の結果を記録する第五ステップを有することを特徴とする自己位置推定方法。
In the self-localization method according to claim 3 ,
A self-localization method, further comprising a fifth step of recording the result of the three-dimensional matching.
JP2019170154A 2019-09-19 2019-09-19 Vehicle self-position estimation device and self-position estimation method Active JP7289761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019170154A JP7289761B2 (en) 2019-09-19 2019-09-19 Vehicle self-position estimation device and self-position estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019170154A JP7289761B2 (en) 2019-09-19 2019-09-19 Vehicle self-position estimation device and self-position estimation method

Publications (2)

Publication Number Publication Date
JP2021047099A JP2021047099A (en) 2021-03-25
JP7289761B2 true JP7289761B2 (en) 2023-06-12

Family

ID=74876257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019170154A Active JP7289761B2 (en) 2019-09-19 2019-09-19 Vehicle self-position estimation device and self-position estimation method

Country Status (1)

Country Link
JP (1) JP7289761B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7448304B2 (en) 2021-11-15 2024-03-12 飛島建設株式会社 Structure shape confirmation system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116014A (en) 2017-01-20 2018-07-26 パイオニア株式会社 Own vehicle position estimation device, control method, program and storage medium
JP2019144066A (en) 2018-02-20 2019-08-29 日産自動車株式会社 Method and device for estimating road structure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116014A (en) 2017-01-20 2018-07-26 パイオニア株式会社 Own vehicle position estimation device, control method, program and storage medium
JP2019144066A (en) 2018-02-20 2019-08-29 日産自動車株式会社 Method and device for estimating road structure

Also Published As

Publication number Publication date
JP2021047099A (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11781870B2 (en) Crowd sourcing data for autonomous vehicle navigation
US11953340B2 (en) Updating road navigation model using non-semantic road feature points
JP6714688B2 (en) System and method for matching road data objects to generate and update an accurate road database
CN102208035B (en) Image processing system and position measuring system
JP2022535351A (en) System and method for vehicle navigation
JP6171612B2 (en) Virtual lane generation apparatus and program
JP6492469B2 (en) Own vehicle travel lane estimation device and program
EP4016115A1 (en) Vehicle localization based on radar detections
CN102208012A (en) Scene matching reference data generation system and position measurement system
JP2007303842A (en) Vehicle position estimation device, and map information preparation device
WO2021240884A1 (en) Vehicle control device and host vehicle position estimation method
JP7289761B2 (en) Vehicle self-position estimation device and self-position estimation method
KR102137043B1 (en) Positioning accuracy improvement system
JP7298882B2 (en) Vehicle self-localization device and vehicle
KR102603534B1 (en) A method and apparatus for improving positioning of vehicles using LDM information and environmental sensor
CN115773765A (en) Semantic positioning method combining dynamic and static characteristics, electronic device and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230531

R150 Certificate of patent or registration of utility model

Ref document number: 7289761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150