JP2018508418A - リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析 - Google Patents

リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析 Download PDF

Info

Publication number
JP2018508418A
JP2018508418A JP2017556798A JP2017556798A JP2018508418A JP 2018508418 A JP2018508418 A JP 2018508418A JP 2017556798 A JP2017556798 A JP 2017556798A JP 2017556798 A JP2017556798 A JP 2017556798A JP 2018508418 A JP2018508418 A JP 2018508418A
Authority
JP
Japan
Prior art keywords
vehicle
data
asset
map
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017556798A
Other languages
English (en)
Inventor
クレイム、ファビアン
プッタグンタ、シャンムカー
グプタ、アニュイ
ハーヴェイ、スコット
クレアドール、ジェイソン
ミルズ、グレアム
Original Assignee
ソルフィス リサーチ、インコーポレイテッド
ソルフィス リサーチ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソルフィス リサーチ、インコーポレイテッド, ソルフィス リサーチ、インコーポレイテッド filed Critical ソルフィス リサーチ、インコーポレイテッド
Publication of JP2018508418A publication Critical patent/JP2018508418A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/34Control, warning or like safety means along the route or between vehicles or trains for indicating the distance between vehicles or trains by the transmission of signals therebetween
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or trains
    • B61L25/025Absolute localisation, e.g. providing geodetic coordinates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or trains
    • B61L25/026Relative localisation, e.g. using odometer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04Automatic systems, e.g. controlled by train; Change-over to manual control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L3/00Devices along the route for controlling devices on the vehicle or train, e.g. to release brake or to operate a warning signal
    • B61L3/02Devices along the route for controlling devices on the vehicle or train, e.g. to release brake or to operate a warning signal at selected places along the route, e.g. intermittent control simultaneous mechanical and electrical control
    • B61L3/08Devices along the route for controlling devices on the vehicle or train, e.g. to release brake or to operate a warning signal at selected places along the route, e.g. intermittent control simultaneous mechanical and electrical control controlling electrically
    • B61L3/12Devices along the route for controlling devices on the vehicle or train, e.g. to release brake or to operate a warning signal at selected places along the route, e.g. intermittent control simultaneous mechanical and electrical control controlling electrically using magnetic or electrostatic induction; using radio waves
    • B61L3/127Devices along the route for controlling devices on the vehicle or train, e.g. to release brake or to operate a warning signal at selected places along the route, e.g. intermittent control simultaneous mechanical and electrical control controlling electrically using magnetic or electrostatic induction; using radio waves for remote control of locomotives
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L2205/00Communication or navigation systems for railway traffic
    • B61L2205/04Satellite based navigation systems, e.g. global positioning system [GPS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

実時間マシンビジョン及び点群データ分析のための方法並びに装置が、リモートセンシング及び車両制御のために提供される。点群データは、資産情報の抽出及び意味マップの生成のために、スケーラブルな集中型クラウドコンピューティングシステム経由で分析することができる。データ記憶/プレプロセッサ(1220)は、分散型処理ユニット(1240)へのストリーミング及びデータ分析機構(1250)経由の動作のために、データセットを細分化する。処理ユニット(1240)の出力は、マップ生成器(1230)によって集約される。マシン学習構成要素は、データ分析機構を最適化して、センサデータから資産及び特徴抽出を改善する。最適化データ分析機構は、車両センサデータを分析する搭載されたシステムにおける使用のために車両にダウンロードされ得る。意味マップデータは、搭載されたセンサと共に、車両内でローカルに使用され得、精密な車両位置確認に導き、車両への入力を提供してシステムを制御する。

Description

関連出願の相互参照
本願は、2015年1月20日に出願され、A Scalable Approach To Point−Cloud Data Processing for Railroad Asset Location and Health Monitoringと題された米国仮特許出願第62/105,696号の利益と、その出願に対する優先権を主張し、その全体が参照によって組み込まれる。
動いている車両の自動位置確認及び車両ローカル環境のマシンに基づくリモートセンシングは、いくつかの異なる分野においてますます重要になってきている。1つのかかる分野は、自動車輸送である。近年、多くの車及びトラックは、運転手の誘導のために、搭載型の全地球測位システム(GPS)受信器、及びGPSデータを利用するナビゲーションシステムを実装している。しかしながら、自動車製造業者は、より高度な自動運転、例えば、自律運転特徴などを実装することを追求するので、GPSに基づく場所特定システムは、十分に正確な車両位置確認を提供することができない可能性があり、それらは、車両のローカル環境の実時間センシングも可能にしない。したがって、補助的なセンシングシステム、並びに3次元意味マップを潜在的に含む、極めて詳細なインフラストラクチャ及びランドマークマップが望ましいであろう。
車両位置確認、ローカル環境のセンシング、及び3次元意味マップが望まれる可能性がある別の用途は、列車の動作におけるものである。米国連邦議会は、2008年にU.S.Rail Safety Improvement Actを通過させ、全ての列車が実時間に監視されることを確保し、「ポジティブトレインコントロール(Positive Train Control)」(PTC)を可能にしている。この法は、全ての列車の動きが実時間に追跡されるように、全ての列車が、それらの場所情報を報告することを要求する。PTCは、有信号テリトリー及び暗テリトリーの両方において機能することを要求される。
このマイルストーンを達成するために、非常に多くの企業が、種々のPTCシステムを実装することを試した。再発する問題は、現在のPTCシステムが、列車が線路に沿って路傍中継器又は信号局のそばを通るときに、列車のみを追跡することができ、オペレータを路傍信号間における列車の現状に気付かない状態にさせることにある。したがって、連続的な物理路傍信号方式インフラストラクチャ間の距離は、列車(運転間隔)間に要求される最低限の安全な距離を決定する。現在の信号方式インフラストラクチャはまた、線路ネットワークの長さに沿ってPTCインフラストラクチャを構築及び維持する費用並びに複雑度に起因して、路傍信号方式機器を配備する範囲を制限する。最後に路傍検出器の近くを通過した列車を検出するための現在の方法論は、中継器の中間の位置情報の欠如に悩まされている。
いくつかの企業は、更に一歩先を行っており、オペレータの追跡ネットワークの長さに沿う無線塔を利用して、列車間に仮想信号を作り出し、路傍信号方式機器の必要性を回避している。無線塔は、依然として、無線通信が行われるために配備される信号方式機器を必要とする。しかしながら、信頼できる場所情報のために、追加的な中継器が、列車の位置及び現在占拠している軌道を確実に判断するために列車用の軌道に沿って配備される必要がある。
使用されているPTCシステムの一例は、European Train Control System(ETCS)であり、それは、信号方式に関する情報に反応する、線路わきの機器及び列車に取り付けられた制御装置に頼る。そのシステムは、米国において又は途上国において配備されていないインフラストラクチャを大いに頼る。
路傍信号方式機器の最小限の配備を要求する解決策が、米国全体を通して及び途上国においてポジティブトレインコントロールを確立するために有益であろう。軌道に沿って1〜15km毎に列車及びそれらの場所の存在を検出及び通信するために使用される百万の地上子、中継器を配備することは、効果的ではない。なぜなら、地上子は、環境状況、盗難による悪影響を受け、定期的な保守を要求し、収集されたデータは、実時間に使用されない可能性があるからである。線路わきの機器のみを通して位置データを取得することは、線路ネットワークPTC全体を通して地上子を利用する費用を考慮するスケーラブルな解決策ではない。その上、列車制御及び安全性システムは、全地球測位システム(GPS)を単独で頼ることができない。なぜなら、それは、軌道間を区別するのに十分に正確ではないからであり、それによって、位置較正のための路傍信号方式を要求する。
自律運転、列車制御、及び他の車両オペレーティングシステムが進化する際、これらの及び他の難題は、本明細書において以下に説明されるシステム及び方法によって対処され得る。
本明細書に開示される一態様によれば、例えば、列車若しくは自動車などの車両の位置確認及び/又は制御のためのシステム並びに方法が説明される。例えば、LiDARなどのマシンビジョンシステムを含み得るローカル環境センサが車両上に取り付けられ得る。GPS受信器がまた、車両の第1の地理的位置を提供するために含まれてもよい。遠隔データベース及びプロセッサは、複数のソースから収集されたデータを記憶及び処理し、搭載された車両プロセッサは、動いている車両の動作、安全性、及び/又は制御に関連するデータをダウンロードする。ローカル環境センサは、周囲環境を説明するデータ、例えば、LIDARセンサによって生成された点群データなどを生成する。収集されたデータは、車両内でローカルに処理され得るか、又は記憶、処理、及び分析のために遠隔データシステムにアップロードされ得る。(搭載された及び/又は遠隔データシステム内に実装された)分析機構は、収集されたデータを操作して、例えば、ローカル環境における物体の識別物及び位置などの情報をセンサデータから抽出することができる。
本明細書に説明されるシステムの例示的な実施形態は、鉄道又は他の車両上に取り付けられたハードウェア構成要素、遠隔データベース、及び分析構成要素であって、動いている及び静止している車両、インフラストラクチャ、並びに通行経路(例えば、レール又は道)状況を含む、輸送システムについての情報に関する収集されたデータを処理する分析構成要素を含む。システムは、例えば、物体の既知の場所に対して、車両搭載センサにおいて検出された物体の場所を比較することなどによって、通行経路を進む車両の精密な位置を正確に見積もることができる。例示的な構成要素についての追加的な属性は、本明細書に詳述され、以下を含む。
ハードウェア:安全性のために車両の動きを通知し、鉄道用途では、いくつかある特徴の中でも特に、それらが走行する軌道、障害物、軌道及びレールシステムの健全性、自動車用途では、いくつかある特徴の中でも特に、車両が走行するレーン、道の質感及び健全性、近傍における資産の識別物を識別することを含む。
遠隔データベース:資産についての情報を含有し、それは、追加的な資産情報を取得するために遠隔から照会され得る。
資産情報のデータベース投入:方法は、走行する車両自体によって、又は別の車両(例えば、軌陸車両、軌道点検車両、航空用車両、移動式マッピングプラットホーム等)によって収集されたマシンビジョンデータを含む。このデータは、次いで、資産情報(いくつかある情報の中でも特に、場所、特徴、道/軌道健全性)を生成するように処理される。
データ分析機構:(例えば、センサ、データベース、路傍ユニット、車両の情報バス等から)いくつかのデータ及び情報ストリームを融合し、レーン、軌道ID、又は位置確認用の他の目印の正確な見積りを結果としてもたらす。
本開示のこれらの及び他の態様は、本明細書に提供される本文及び図面を考慮して明らかになる。
例示的な実施形態が、次に、図面を参照して更に説明され、図面中、同じ呼称は、同じ要素を表わす。
列車制御システムの代表的なフロー図である。 搭載型エコシステムの代表的なフロー図である。 位置情報を取得するための代表的なフロー図である。 信号状態を外挿する列車の例示的な描写である。 フィードバックとして車掌に利用可能な種々のインターフェースの例示的な描写である。 列車によって占拠された軌道IDを取得するための代表的なフロー図である。 軌道IDアルゴリズムを説明する代表的なフロー図である。 信号状態アルゴリズムを説明する代表的なフロー図である。 センシング及びフィードバックを説明する代表的なフロー図である。 相対的な軌道測位のための画像貼り合わせ技法の代表的なフロー図である。 点群分析プロセスのフロー図である。 点群分析プロセスのフロー図である。 点群分析のための装置の概略ブロック図である。 点群データを分析するためのプロセスのフロー図である。 点群データを分析するためのプロセスの更なるフロー図である。 例示的な点群測量における点群タイルサイズ及び密度分布を例解する図である。 点群処理クラスターの概略ブロック図である。 点群データで使用できる圧縮機構のための特性のプロットである。 点群データで使用できる圧縮機構のための特性のプロットである。 点群データで使用できる圧縮機構のための特性のプロットである。 軌道検出のためのプロセスのフロー図である。 抽出されたレール情報を伴う点群区分の視覚化である。 例示的な点群区分における点群強度レベルのヒストグラムである。 軌道検出機構出力の視覚化である。 教師ありマシン学習を利用するマップ生成システムの概略ブロック図である。 自動車位置確認、自動車制御、及びマップ監査のための実行時システムの概略ブロック図である。
一実施形態によれば、正確な位置データのために動作環境全体にわたって分布された地上子/中継器に依存せずに、1つ以上の動いている車両、例えば、列車又は自律運転車両の位置を判断するための方法及び装置が提供される。かかる実施形態の列車に基づく一部の実現形態は、本明細書において、BVRVB−PTC、PTCビジョンシステム、又はマシンビジョンシステムとして呼ばれることがある。
その位置データを使用して、車両制御及び動作、例えば、レールシステム内の列車の動作などを最適化するための解決策もまた開示される。線路実施形態は、一連のセンサ融合及びデータ融合技法を使用して、改善された精密さ及び信頼性でもって軌道位置を取得することができる。かかる実施形態はまた、軌道上の赤信号違反を処理するための列車の自動ブレーキのために、地形に基づいて燃料を最適化するために、列車速度を同期させて赤信号を回避するために、衝突防止システムのために、並びに列車のみならず、また軌道、レール、及び軌道の下にある砂利基材の予防保守のために、使用され得る。一部の実施形態は、(動いている車両によって又は報告を通して鉄道オペレータによってアクセスできる)資産場所及び健全性情報の追跡を保持するためにバックエンド処理及び記憶構成要素を使用してもよい。
位置確認に加えて、自律運転実施形態が極めて詳細なインフラストラクチャ及びランドマークマップを上手く利用することが望ましいであろう。これらのマップは、実世界における交通の流れを指揮するために、及び車両がソースから目的地へと走行するルートを計画するために利用され得る。マップの3次元性質は、物質世界を表わす際のそれらの正確さに加えて、それらのセンシング範囲を超える事象を予想する際、それらのセンサを任意の資産へ陥凹させる際、及びランドマークに対して車両の場所を推定する際に車両を援助する。擬似静的資産のために極めて詳細な3次元(意味)マップを利用することによって、車両のリソースが、その周りの動的物体を観測するために解放される。
PTCビジョンシステムは、列車信号バス及び(搭載された及び位置センサを含む)慣性センサとインターフェースを取る、通信、画像捕捉、画像処理、計算デバイス、データ集約プラットホームを取扱うモジュールを含んでもよい。
図1は、列車制御システムの例示的な流れ動作を例解する。工程S100では、列車が通常動作を経る。工程S105では、列車状態が(以下に説明される)データ集約プラットホームから取り出される。工程S110では、列車位置が精緻化(refine)される。工程S115では、腕木信号状態がローカル環境センサ情報から識別される。工程S120では、フィードバックが適用される。列車速度が調節され得(工程S125)、警報及び/又は通知が発せられ得る(工程S130)。これらの工程のそれぞれに関する更なる詳細は、本明細書において以下に説明される。
図2を参照すると、PTCビジョンシステムは、以下のうちの1つ以上を含んでもよい。典型的には、LAN又はWAN通信ネットワーク240経由で通信する、データ集約プラットホーム(DAP)215、視覚装置(VA)230、ポジティブトレインコントロールコンピュータ(PTCC)210、ヒューマンマシンインターフェース(HMI)205、GPS受信器225、及び車両用通信デバイス(VCD)220。
構成要素(例えば、VCD、HMI、PTCC、VA、DAP、GPS)は、単一構成要素に統合されてもよいし、又は本質的にモジュール式であってもよいし、仮想ソフトウェア若しくは物理ハードウェアデバイスであってもよい。PTCビジョンシステム内の各構成要素は、それ自体の電源を有してもよいし、又はPTCCと1つの電源を共有してもよい。PTCビジョンシステム内の構成要素のために使用される電源は、停電のために妨害不可能な構成要素を含んでもよい。
PTCCモジュールは、PTCビジョンシステムのモジュールの間で渡す情報の状態を維持する。PTCCは、HMI、VA、VCD、GPS、及びDAPと通信する。通信は、情報(例えば、データ)の提供及び/又は情報の受信を含んでもよい。エコシステムの任意のモジュール間のインターフェース(例えば、バス、接続)は、任意の従来のインターフェースを含んでもよい。エコシステムのモジュールは、任意の従来の通信プロトコルを使用して、互い、人間のオペレータ、及び/又は第三者(例えば、別の列車、車掌、列車オペレータ)と通信してもよい。通信は、有線及び/又は無線通信リンク(例えば、チャンネル)経由で達成されてもよい。
PTCCは、マイクロプロセッサ、コンピュータ、信号プロセッサ、メモリ、及び/又はバスを含む任意の従来の処理回路を使用して実装されてもよい。PTCCは、PTCビジョンシステムの機能を果たすのに適した任意の計算を行ってもよい。
HMIモジュールは、PTCCモジュールから情報を受信してもよい。HMIモジュールによって受信された情報は、ジオロケーション(例えば、GPS緯度及び経度座標)、時間、推奨速度、方向性進路(例えば、方位角)、軌道ID、同じ軌道上の近隣列車間の距離/運転間隔、隣接軌道上の近隣列車間の距離/運転間隔、次の駅、前の駅、又は起点と目的地間の駅を含む興味対象の駅、列車によって利用される現在の軌道区分のための仮想又は物理腕木信号機の状態、列車のルートにおいて次に来る及び前の軌道区分のための仮想又は物理腕木信号機の状態、並びに現在の軌道との軌道連動装置を共有する軌道区分のための仮想又は物理腕木信号機の状態を含んでもよい。
HMIモジュールは、情報をPTCCモジュールに提供してもよい。PTCCに提供された情報は、オペレータからの情報及び/又は要求を含み得る。HMIは、情報をオペレータ又はPTCCモジュールに提供する前に情報を処理し(例えば、フォーマットし、削減し、調節し、相関付け)てもよい。HMIによってPTCCモジュールに提供される情報は、列車を減速させるための車掌指令、一定のパラメータ(例えば、速度制限)を迂回するための車掌要求、メッセージ(例えば、故障、状態情報)の車掌確認応答、追加的な情報(例えば、診断手順、線路軌道に沿った出来事、又は線路軌道に沿った興味対象の他の点)のための車掌要求、及び車掌の列車動作に関連する興味対象の任意の他の情報を含んでもよい。
HMIは、ユーザインターフェース(例えば、GUI)を人間のユーザ(例えば、車掌、オペレータ)に提供する。人間のユーザは、HMIモジュールの制御部(例えば、ボタン、レバー、ノブ、タッチスクリーン、キーボード)を操作して、情報をHMIモジュールに提供してもよいし、又はビジョンシステムから情報を要求してもよい。オペレータは、HMIモジュールへのユーザインターフェースを装着してもよい。ユーザインターフェースは、触角動作、有線通信、及び/又は無線通信によって、HMIモジュールと通信してもよい。HMIモジュールによってユーザに提供される情報は、推奨速度、現在の速度、効率スコア又は指標、運転手プロファイル、路傍信号状態、興味対象の駅、慣性計量のマップビュー、故障メッセージ、警報、機関車制御の作動のための車掌インターフェース、及びメッセージ又は通知の確認応答のための車掌インターフェースを含んでもよい。
VCDモジュールは、通信(例えば、有線、無線)を行う。VCDモジュールは、PTCビジョンシステムが他のデバイスと通信して列車をオン及びオフにすることを可能にする。VCDモジュールは、ワイドエリアネットワーク(「WAN」)及び/又はローカルエリアネットワーク(「LAN」)通信を提供してもよい。WAN通信は、任意の従来の通信技術及び/又はプロトコル(例えば、セル方式、衛星、専用チャンネル)を使用して行ってもよい。LAN通信は、任意の従来の通信技術及び/又はプロトコル(例えば、Ethernet、WiFi、Bluetooth(登録商標)、WirelessHART、ローパワーWiFi、Bluetooth Low Energy、ファイバ光学、IEEE802.15.4e)を使用して行ってもよい。無線通信は、周波数に適した1つ以上のアンテナ及び/又は使用されるプロトコルを使用して行ってもよい。
VCDモジュールは、PTCCモジュールから情報を受信してもよい。VCDは、PTCCモジュールから受信された情報を伝送してもよい。情報は、本部(例えば、中心の場所)、路傍機器、個々、及び/又は他の列車に伝送されてもよい。PTCCモジュールからの情報は、他の列車にアドレス指定されるパケット、共通バックエンドサーバにアドレス指定され、オペレータに列車の場所を通知するパケット、路傍機器にアドレス指定されるパケット、路傍要員にアドレス指定され、列車の場所を通信するパケット、任意のノードからノードへの任意のペイロード、及びPTCビジョンシステムの第三者聴取者にアドレス指定されるパケットを含んでもよい。
VCDモジュールはまた、情報をPTCCモジュールに提供してもよい。VCDは、任意のソースから情報を受信してもよく、そのソースに対して、VCDが情報を伝送してもよい。VCDによってPTCCに提供される情報は、他の列車からアドレス指定されるパケット、共通バックエンドサーバからアドレス指定され、フィードバックを車掌又は列車に渡すパケット、路傍機器からアドレス指定されるパケット、路傍要員からアドレス指定され、要員の場所を通信するパケット、任意のノードからノードへの任意のペイロード、及びPTCビジョンシステムの第三者聴取者からアドレス指定されるパケットを含んでもよい。
GPSモジュールは、従来の全地球測位システム(「GPS」)受信器を含んでもよい。GPSモジュールは、GPS衛星から信号を受信して、信号によって提供された情報を使用して受信器の地理的位置及び時間(例えば、UTC時間)を判断する。GPSモジュールは、衛星から信号を受信するために1つ以上のアンテナを含んでもよい。アンテナは、多重経路信号及び/又はエラーを削減及び/又は検出するように配設されてもよい。GPSモジュールは、地理的位置及び/又は時間の履歴記録を維持してもよい。GPSモジュールは、列車の走行速度及び方向を判断してもよい。GPSモジュールは、補正情報(例えば、WAAS、差)を受信して、GPS受信器によって判断された地理座標の正確さを改善してもよい。GPSモジュールは、情報をPTCCモジュールに提供してもよい。GPSモジュールによって提供される情報は、時間(例えば、UTC、ローカル)、地理座標(例えば、緯度及び経度、偏北距離及び偏東距離)、補正情報(例えば、WAAS、差)、速度、及び走行方向を含んでもよい。
DAPは、列車、列車のシステム(例えば、ハードウェア、ソフトウェア)、及び/又は列車の動作状態(例えば、列車状態)に関する情報を受信(例えば、判断、検出、要求)してもよい。例えば、DAPは、列車の速度、列車の加速、列車の減速、ブレーキ力(例えば、加えられる力)、ブレーキ圧力、ブレーキ回路の現状、列車車輪トラクション、慣性計量、流体(例えば、油、液)圧力、及びエネルギー消費に関する情報を列車のシステムから受信してもよい。列車からの情報は、列車のシステムの状態及び動作に関する情報を輸送するために列車によって使用される信号バス経由で提供されてもよい。信号バスは、1つ以上の従来の信号バス、例えば、フィールドバス(例えば、IEC61158)、多機能車両バス(「MVB」)、ワイヤ列車バス(「WTB」)、コントローラエリアネットワークバス(「CanBus」)、列車通信ネットワーク(「TCN」)(例えば、IEC61375)、及びプロセスフィールドバス(「Profibus」)などを含む。信号バスは、任意の従来及び/又は独自のプロトコルを使用して有線及び/又は無線(例えば、TTEthernet)通信を行うデバイスを含んでもよい。
DAPは、列車のシステムによって提供されない情報を検出するための任意の従来のセンサを更に含んでもよい。センサは、列車上の任意の場所に配備されてもよい(例えば、取設、取り付けられてもよい)。センサは、情報をDAPに直接的に、及び/又は別のデバイス又はバス(例えば、信号バス、車両制御ユニット、広域列車バス、多機能車両バス)経由で提供してもよい。センサは、任意の物理特性(例えば、密度、弾性、電気特性、流れ、磁気特性、運動量、圧力、温度、張力、速さ、粘度)を検出してもよい。DAPは、列車に関する情報をPTCCモジュール経由でPTCエコシステムの他のモジュールに提供してもよい。
DAPは、PTCCモジュール経由でPTCエコシステムの任意のモジュールから情報を受信してもよい。DAPは、任意のソースから受信された情報をPTCCモジュール経由でPTCエコシステムの他のモジュールに提供してもよい。他のモジュールは、DAPによって又はDAPを通して提供された情報を使用して、それらのそれぞれの機能を果たしてもよい。
DAPは、受信されたデータを記憶してもよい。DAPは、記憶されたデータにアクセスしてもよい。DAPは、受信されたデータの履歴記録を作り出してもよい。DAPは、1つのソースからのデータを別のソースに関係付けてもよい。DAPは、1つの種類のデータを別の種類のデータに関係付けてもよい。DAPは、データを処理(例えば、フォーマット化、操作、外挿)してもよい。DAPは、列車が走行する軌道の信号状態、列車の地理位置、及びポジティブトレインコントロールのために使用される他の情報を導出するために、少なくとも部分的に使用され得るデータを記憶してもよい。
DAPは、PTCCモジュールから情報を受信してもよい。PTCCモジュールからDAPによって受信された情報は、以下を含んでもよい。列車状態データについての要求、制動インターフェース状態についての要求、列車挙動(速度、制動、牽引力)を駆り立てるための指令、故障メッセージについての要求、故障メッセージの確認応答、列車内に警報を発するための要求、列車内に発せられた警報の通知のための要求、及び路傍機器状態のための要求。
DAPは、PTCCモジュールに情報を提供してもよい。DAPによってPTCCモジュールに提供された情報は、列車状態に関する列車の信号バスからのデータ、要求の確認応答、列車バス上の故障メッセージ、及び路傍機器状態を含んでもよい。
VAモジュールは、列車の周りの環境を検出する。VAモジュールは、列車が走行する環境を検出する。VAモジュールは、列車が走行する軌道、列車によって走行される軌道に隣接する軌道、(例えば、軌道に沿った)路傍信号(腕木信号、機械式、光、位置)の態様(例えば、出現)、インフラストラクチャ(例えば、橋、高架交差路、トンネル)、及び/又は物体(例えば、人間、動物、車両)を検出してもよい。追加的な例として、PTC資産、ETCS資産、軌道、信号、信号灯、整定速度制限、カテナリ構造、カテナリ架線、速度制限標識、路側安全構造、交差点、交差点における舗道、主及び側軌道上に設置された転轍機用の間隙点場所、間隙/構造ゲージ/運動学的許容範囲、無信号テリトリーにおける軌道検出回路の開始及び終端限、小屋、駅、トンネル、橋、待避所、斜面、カーブ、転轍機、枕木、バラスト、カルバート、排水構造、植生入口、フロッグ(2つのレールの交差点)、踏切、整数マイル標、インターチェンジ、連動装置/制御点場所、保守施設、マイル標識、並びに他の標識及び信号が挙げられる。
VAモジュールは、物理特性及び/又は物理特徴を検出する任意の種類の従来のセンサを使用して環境を検出してもよい。VAモジュールのセンサは、カメラ(例えば、スチール、ビデオ)、遠隔センサ(例えば、光検出及び測距)、レーダー、赤外線、動き、及び距離センサを含んでもよい。VAモジュールの動作は、列車の地理場所、軌道状況、環境状況(例えば、天候)、列車の速度に従い得る。VAの動作は、センサの情報及びサンプリングレートを収集するセンサの選択を含んでもよい。
VAモジュールは、PTCCモジュールから情報を受信してもよい。PTCCモジュールによって提供された情報は、VAモジュールの動作を制御するためのパラメータ及び/又は設定を提供してもよい。例えば、PTCCは、VAの1つ以上のセンサのサンプリング頻度を制御するための情報を提供してもよい。PTCCモジュールからVAによって受信された情報は、サンプリングの頻度、センサデータのための閾値、並びにタイミング及び処理のためのセンサ構成を含んでもよい。
VAモジュールは、情報をPTCCモジュールに提供してもよい。VAモジュールによってPTCCモジュールに提供された情報は、現在のセンサ構成パラメータ、センサ動作の現状、センサ能力(例えば、範囲、解像度、最大動作パラメータ)、生の又は処理されたセンサデータ、処理能力、及びデータ形式を含んでもよい。
生の又は処理されたセンサデータは、点群(例えば、2次元、3次元)、画像(例えば、jpg)、一連の画像、ビデオシーケンス(例えば、ライブ、記録再生)、スキャンされたマップ(例えば、2次元、3次元)、光検出及び測距によって検出された画像(例えば、LiDAR)、赤外線画像、並びに/又は低輝度画像(例えば、暗視)を含んでもよい。VAモジュールは、センサデータの一部の処理を行ってもよい。処理は、データ整理、データ拡大、データ外挿、及び物体識別を含んでもよい。
センサデータは、VAモジュール及び/又はPTCCモジュールによって、以下を検出及び/又は識別するために、処理されてもよい。列車によって使用される軌道、軌道、物体、及び/又はインフラストラクチャへの距離、路傍信号指示(例えば、意味、メッセージ、命令、状態、現状)、軌道状況(例えば、通過可能、標準以下)、軌道曲率、次に来る区分の方向(例えば、曲がる、真っ直ぐ)、水平からの軌道偏差(例えば、下り傾斜、上り傾斜)、合流点、交差点、連動装置交換、環境情報から導出された列車の位置、及び軌道識別物(例えば、軌道ID)。
VAモジュールは、列車に連結(例えば、取り付け)されてもよい。VAモジュールは、列車上の任意の位置(例えば、上部、内側、下部)において連結されてもよい。連結は、固定されてもよいし、及び/又は調節可能であってもよい。調節可能な連結は、列車及び/又は環境に対してVAモジュールのセンサの視点が動かされることを可能にする。VAの位置の調節は、手動又は自動で行ってもよい。調節は、列車の地理位置、軌道状況、列車の周りの環境状況、及びセンサ動作の現状に応答して行ってもよい。
PTCCは、PTCシステムの全てのサブシステム(例えば、モジュール)へのそのアクセスを利用して、VAモジュールから取得されたセンサデータから軌道ID及び信号状態を導出(例えば、判断、計算、外挿)する。加えて、PTCCモジュールは、上述した列車動作状態情報、及びGPS受信器からのデータを利用して、地理位置データを精緻化してもよい。PTCCモジュールはまた、PTCビジョンシステムを含む、PTC環境の任意のモジュールからの情報を使用して、VAモジュールによって提供されたセンサ情報を検証及び/又は解釈してもよい。例えば、PTCCは、GPSモジュールからの地理位置情報を使用して、VAによって検出されたインフラストラクチャ又は信号方式データが、特定の場所に対応するかを判断してもよい。VAモジュールによって提供されたビデオ情報から導出された速度及び進路(例えば、方位角)情報が、GPSモジュールによって提供された速度及び進路情報と比較されて、正確さを検証するか又は正しさの可能性を判断してもよい。PTCCは、GPSモジュールからの位置情報と共にVAモジュールによって提供された画像を使用して、HMIモジュールのユーザインターフェース経由でオペレータに提供されたマップ情報を準備してもよい。PTCCは、DAPからの現在の及び履歴データを使用して、デッドレコニングを使用して列車の位置を検出してもよい。位置決定は、VAモジュール及び/又はGPSモジュールによって提供された場所情報に相関付けてもよい。PTCCは、VAモジュール及び/若しくはGPSモジュールからの位置情報、又はDAPからのデッドレコニング位置情報でさえも使用して、相関付けられ及び/又は補正(例えば、精緻化)され得る位置決定のために、VCDモジュール経由で他の列車又は路傍無線中継器(例えば、地上子)からの通信を受信してもよい。更に、軌道ID、信号状態、又は列車位置が、更なる相関性及び/又は検証のためにHMIユーザインターフェース経由でオペレータによって入力されることを要求されてもよい。
PTCCモジュールはまた、HMIユーザインターフェース経由で活動(例えば、メッセージ、警告、提案された活動、指令)に対する情報及び呼出しを車掌に提供してもよい。制御アルゴリズムを使用して、PTCCは、車掌を無視して、制動インターフェース又は牽引インターフェースとの統合を利用して列車挙動(例えば、機能、動作)における変更を作動させて、列車の速度を調節してもよい。PTCCは、任意の受信者(複数可)、データストリームのペイロード、周波数、ルート、及び継続期間を説明することによって情報の経路指定を取扱い、列車状態を第三者聴取者及びデバイスと共有する。
PTCCはまた、制御室内の共通バックエンドサーバから、又は線路オペレータから、又は制御室端末から、又は車掌から、或いはPTCビジョンシステム若しくは列車のデータを契約した他の第三者聴取者における路傍信号方式又はモジュールから、自動的に又は活動への呼出しを通して情報のパケットをディスパッチ/受信してもよい。
PTCCはまた、動いている車両の場所の近くの資産に関する情報を受信してもよい。PTCCは、VAを使用して、PTC及び他の資産に関するデータを収集してもよい。PTCCはまた、新たに収集されたデータを処理して(又は、それを転送して)、バックエンドデータベース内の情報を監査及び強化してもよい。
アルゴリズム:図6〜7に描写される軌道識別アルゴリズム(TIA)は、どの軌道を全車両が現在利用しているかを判断する。TIAは、搭載型カメラフレームバッファの上に3D LIDARスキャナ及びFLIRカメラからの特徴を重ね合わせることによって重畳特徴データセットを生成する。特徴(大域的特徴ベクトル)のスーパーセットは、軌道の3つの直交測定及び予想を可能にする。
FLIRカメラからの熱特徴が、線路軌道の熱特性を識別する(例えば、分離する、位置特定する、切り離す)ために使用され、大域的特徴ベクトルにおいて任意の領域(空間的及び時間的フィルタ)を生成してもよい。
3D LIDARスキャナの3D点群データセットからの範囲情報が、線路軌道の高度を識別するために利用され、また、大域的特徴ベクトルにおける任意の領域(空間的及び時間的フィルタ)を生成してもよい。
線検出アルゴリズムが、搭載型カメラ、FLIRカメラ、及び3D LIDARスキャナの3D点群データセット上で利用され、軌道の識別における信用を更に増大してもよい。
搭載型カメラ及びFLIRカメラからの色情報が、大域的特徴ベクトルにおける任意の領域(空間的及び時間的フィルタ)を同様に生成するために使用されてもよい。
TIAは、大域的特徴ベクトル上の複数の直交測定から任意の領域における重複を探して、軌道識別データにおける冗長性及び信用を高めてもよい。
TIAは、任意の領域データを利用して、任意の領域が大域的特徴ベクトルにおいて重複しないときに、誤陽性をフィルタリング除去してもよい。
TIAは、任意の領域において特徴ベクトルを処理して、軌道の幅、距離、及び曲率を識別してもよい。
TIAは、線路軌道がある点に向かって集中する率を検査して、軌道識別プロセスを更に検証してもよい。その上、線路軌道の傾きがまた、大域的特徴ベクトルデータセットにおける雑音をフィルタリング除去するために使用されてもよい。
TIAは、複数の線路軌道の中での列車の相対的なオフセット位置を識別する前に特徴ベクトルの空間的及び時間的整合性を考慮してもよい。
方向性進路は、GPS受信器を複数回サンプリングして、地理座標における動きの時間的プロファイルを生成することによって取得されてもよい。
潜在的な絶対的な軌道IDのリストが、ローカルにキャッシュされたGISデータセット又は遠隔にホストされたバックエンドサーバへの照会を通して取得されてもよい。
GPS受信器がGPS衛星との同期を外す状況では、走行距離計及び方向性進路が使用され、デッドレコニングオフセットを計算してもよい。
TIAは、複数の線路軌道及び基準間の列車の相対的なオフセットの位置を、潜在的な絶対的な軌道IDのリストと比較して、列車が利用している絶対的な軌道IDを識別する。
TIAが、絶対的な軌道IDを取得した後、大域的特徴ベクトルサンプルが、ジオロケーション(例えば、地理座標)情報及び軌道IDを用いて注釈付けられてもよい。これは、TIAが、大域的特徴ベクトルデータセットを利用して、将来、軌道位置を直接的に判断することを可能にする。このマシン学習アプローチは、絶対的な軌道IDを検索する計算費用を削減する。
TIAは、ローカル又はバックエンドデータベースからの大域的特徴ベクトルサンプルを空間変換と更に突き合わせてもよい。空間変換のパラメータが、照合から生成された基準位置からのオフセット位置を計算するために利用されてもよい。
その上、TIAは、大域的特徴ベクトルを利用して空間内の複数の点から、又は種々の画像処理技法(例えば、画像スティッチング、幾何学的登録、画像較正、画像融合)を使用して空間内の単一点から特徴を貼り合わせてもよい。これは、空間内の複数の点又は単一点からの照合された大域的特徴ベクトルを有する特徴データのスーパーセットを結果としてもたらす。
スーパーセットのデータを利用して、TIAは、絶対的な軌道IDを判断する前に相対的な軌道IDについてオフセット位置を正規化することができる。これは、視覚装置(VA)の範囲の外側に軌道が存在するときに有用である。この機能は、図10に描写される。
TIAは、位置データを取得するために無線中継器、信号灯、又は地上子の必要性を無くすPTCビジョンシステムにおけるコアな構成要素である。TIAはまた、線路オペレータが、路傍機器及びインフラストラクチャ資産のマッピングに権威のあるそれらのネットワークワイドGISデータセットのために、新たに構築された線路軌道に注釈付けることを可能にする。
図8に説明された信号状態アルゴリズム(SSA)は、列車が現在利用している軌道の信号状態を判断する。この構成要素の目的は、列車の動作が、線路オペレータ又はモード制御室又は中央制御室の予期された動作パラメータに従うことを確保することである。線路軌道に沿う列車の慣性計量のコンプライアンスは、多数のバックエンドサーバの分散型環境において、又は共通バックエンドサーバを有する集中型環境において監査することができる。列車が絶対的な軌道IDを取得する能力は、腕木信号状態を列車によって利用される軌道IDに相関付けるために重要である。監査信号コンプライアンスは、腕木信号状態及び絶対的な軌道ID間の相関付けが一旦確立されると可能になる。センサの配置は、腕木信号状態を効率的に判断するのに重要である。図4は、3D LIDARスキャナが前方に向いており、列車の屋根の上部上に取り付けられた一例を描写する。
SSAは、列車の信号コンプライアンスを監査するために、列車によって利用される絶対的な軌道IDを考慮する。一旦、腕木信号への軌道の相関付けが完了すると、その腕木信号からの信号状態が、列車又は車掌へのフィードバックとして活動への呼出しを作動させてもよい。
腕木信号状態への線路軌道の相関付けは、線路オペレータからの路傍信号方式についての規制仕様書を分析することによって可能である。規制文書を利用して、腕木信号の時空間整合性が、線路軌道の時空間整合性と比較されてもよい。採点機構が、列車によって利用される現在の線路軌道のための最良候補腕木信号を選ぶために使用されてもよい。
ローカル又は遠隔GISデータセットが、腕木信号のジオロケーションを確認するために照会されてもよい。
ローカル又は遠隔信号方式サーバは、腕木信号における信号状態が、PTCビジョンシステムが外挿しているものに一致することを確認するために照会されてもよい。
信号状態が無線通信経由で列車に利用可能であるエリアを利用して、PTCビジョンシステムの正確さを確認し、PTCビジョンシステムの調整に役立つマシン学習装置に提供されるフィードバックを更に強化してもよい。
PTCビジョンシステムから取得された3D点群データセットを利用して、腕木信号の構造を分析してもよい。任意の物体の構造が、そのレール通路における腕木信号について規制機関によって定義されるような予期された仕様書に一致する場合、任意の物体が、上記で参照した採点機構の候補として注釈付けられ、加えられてもよい。
FLIRカメラを通して捕捉された赤外線画像を利用して、路傍腕木信号から発せられた光を識別してもよい。赤信号が、列車が現在乗っている軌道に相関付けられた候補腕木信号から発せられる状況では、活動への呼出しが、信号コンプライアンスのために列車に搭載されたHMIにディスパッチされる。列車が現在乗っている軌道に相関付けられた腕木信号に従う列車の故障後、活動への呼出しが、信号コンプライアンスのために制動インターフェース搭載された列車に直接的にディスパッチされる。
PTCビジョンシステムを通して捕捉された画像における色のスペクトルを区分して、緑色、赤色、黄色、又は二重黄色光の信号に似た小塊を識別するために利用される重心を計算してもよい。その小塊の重心の空間的座標及びサイズを利用して、規制機関からの仕様書を用いて腕木信号の時空間整合性を検証してもよい。
軌道の時空間整合性プロファイルが、軌道の曲率、軌道上のレールの間隔、及び地平線上のある点に向かう軌道間隔の集中率を分析することによって生成されてもよい。腕木信号の時空間整合性プロファイルが、以下の構成要素、すなわち、腕木信号の高度、空間における点間の相対的な空間的距離、並びに列車が現在利用している軌道に関する配向及び距離を分析することによって生成されてもよい。
バックエンドサーバは、列車が現在利用している線路軌道区分に沿う予期された腕木信号状態を列車に通知するために照会されてもよい。
バックエンドサーバは、絶対的な軌道ID及びジオロケーション座標によって識別された線路軌道区分に沿う予期された腕木信号状態を列車に通知するために照会されてもよい。
図3に描写されるように、位置精緻化アルゴリズムは、列車に搭載された信用度の高いジオロケーションサービスを提供する。このアルゴリズムの目的は、単一センサが故障するときにジオロケーションサービスの損失が発生しないことの確保である。PRAは、冗長なジオロケーションサービスに頼って、軌道位置を取得する。
GPS又はディファレンシャルGPSを利用して、かなり正確なジオロケーション座標を取得してもよい。
方向性進路情報と共にタコメータデータを利用して、オフセット位置を計算することができる。
WiFiアンテナは、GPSが動いている間に各SSIDの信号強度と共にSSIDをスキャンしてもよく、媒体アクセス制御(MAC)アドレス(又は、SSIDと関連付けられた任意の固有識別子)を後で使用して、ジオロケーション座標を迅速に判断してもよい。WiFiアンテナによるスキャンの間のSSIDの信号強度を利用して、測定の元の点に対する位置を計算してもよい。PTCビジョンシステムは、現在の列車のジオロケーションにおける信用に基づいて、基準点としてSSIDプロファイル(SSID名、MACアドレス、ジオロケーション座標、信号強度)をデータベースに挿入することを選んでもよい。
PTCビジョンシステムによって生成された大域的特徴ベクトルを利用して、ジオロケーション座標を探索し、ジオロケーション座標の正確さを更に確保してもよい。
上記で説明された全ての構成要素からサンプルを取る採点機構が、ジオロケーション情報を取得する列車の能力を妨げ得る不整合サンプルについてフィルタ除去する。その上、サンプルは、PRAにおける各サブ構成要素の性能及び正確さに基づいて、異なる重み付けをもっていてもよい。
PTCビジョンシステムの高レベルプロセスの説明
この欄では、図9に示されるフローチャートを参照する。PTCビジョンシステムは、上記で説明された種々のサブシステムから列車状態をサンプルする。列車状態は、軌道、信号、及び搭載された情報の包括的な概要として定義される。特に、その状態は、軌道ID、関連する信号の信号状態、関連する搭載された情報、場所情報(事前及び以後の精緻化、基準PRA、TIA、並びに説明されたSSAアルゴリズム)、及びバックエンドサーバから取得された情報から成る。これらのバックエンドサーバは、鉄道インフラストラクチャに関する情報を保持する。資産のバックエンドデータベースは、動いている車両のみならず鉄道オペレータ及び職員によって遠隔にアクセスされる。例えば、動いている列車及びその車掌は、この情報を使用して、ルートに沿う信号を予想する。オペレータ及び保守職員は、例えば、軌道情報にアクセスできる。これらの報告及び通知は、信号及び標識、構造、軌道特徴及び資産、安全性情報に関連する。
この状態を収集した後、PTCビジョンシステムは、通知(ローカル又は遠隔)を発行し、列車に搭載された警報を場合によって発生させ、種々の搭載型サブシステム(例えば、牽引インターフェース、制動インターフェース、牽引滑りシステム)とインターフェースを取ることによって列車の慣性計量を自動的に制御することができる。
センサステージ
搭載データ:搭載データ構成要素は、種々の列車システムから抽出されたデータの全てが収集され、利用可能になるユニットを表わす。このデータとして、通常、時間情報、種々の搭載デバイスからの診断情報、エネルギー監視情報、制動インターフェース情報、場所情報、路傍機器への列車インターフェースから取得される信号状態、搭載された又は他の列車上のVAデバイスを通して取得される環境状態、及びポジティブトレインコントロールにおいて役立つ構成要素からの任意の他のデータが挙げられるが、これらに限定されない。
このデータは、他の構成要素のためのPTCビジョンシステム内で利用可能になり、遠隔サーバ、他の列車、又は路傍機器に伝送することができる。
場所データは、列車が、連邦鉄道管理局のPTC基準に合う安全性許容範囲内で動作することを確保するために戦略上重要である。これに関して、路傍機器が、車両位置を正確に判断するために、産業によって現在利用されている。上記で説明された場所サービスの出力は、(例えば、TIA&SSA)は、コンピュータビジョンアルゴリズムに基づいて相対的な軌道位置を提供する。
相対的な位置は、単一センサ又は複数のセンサを使用することによって取得され得る。我々が取得する位置は、通常、相対的軌道番号として指示されるオフセット位置として戻される。方向性進路はまた、フィードバックから列車への絶対的な位置を取得するための照会の構築における1つの因子であり得る。
絶対的な位置は、キャッシュされたローカルデータベース、又はキャッシュされたローカルデータセット、遠隔データベース、遠隔データセット、搭載慣性計量データを使用する相対的なオフセット位置、GPSサンプル、Wi−Fi SSID、及びそれらのそれぞれの信号強度のいずれかから、或いは既存の路傍信号方式機器との同期を通して、取得され得る。
我々が使用する種々の種類のデータセットとして、搭載されたカメラからの3D点群データセット、FLIR画像化、ビデオバッファデータが挙げられるが、これらに限定されない。
場所が一旦知られると、この情報は、路傍信号方式からの信号状態を対応する軌道に相関付けるために利用することができる。場所サービスはまた、第三者聴取者に公表することができる。PTCビジョンシステムにおいて定義された搭載型構成要素は、場所サービスへの聴取者として機能し得る。加えて、列車は、周囲のエリアにおけるネットワーク化デバイスのMAC IDをスキャンすること、及びこれらのネットワーク化デバイスが利用している任意のアプリケーションのためのMAC IDフィルタリングを利用することができる。これは、列車のジオロケーション情報との第三者デバイス(例えば、携帯電話、ラップトップ、タブレット、ステーションサーバ、及び他の計算デバイス)のMAC IDのペアリングに従うコンテキスト認識アプリケーションを生成するのに有用である。
軌道信号状態は、列車が、常にPTC安全性許容範囲に従うことを確保するのに重要である。PTCビジョンシステムの機能的な範囲は、路傍信号方式(腕木信号状態)から信号値を外挿することを含む。これに関して、通信モジュール又は視覚装置は、路傍機器の信号値を識別してもよい。信号が認識できないエリアにおいて、中央バックエンドサーバが、フィードバックとして情報を列車に中継することができる。路傍機器が無線通信を装備するとき、この情報はまた、視覚に基づく信号外挿アルゴリズム(例えば、TIA&SSA)を強化することができる。データセットが、PTCビジョンシステムの裁量において使用される。
PTCビジョンシステムによって収集されたデータセットを利用して、装置内のデータの残りから軌道の特徴を識別し、相対的な軌道位置を特定することができる。方向性進路情報と共に相対的な軌道位置をバックエンドサーバに送信することができ、絶対的な軌道IDを取得する。絶対的な軌道IDは、オペレータによってリスト化されるような軌道識別を指示する。このペイロードは、列車に対して任意であり、列車上にオペレータ特有のソフトウェアスタックを有さずに、複数のオペレータ間のスムーズな動作を可能にする。オペレータ不可知論的ソフトウェアは、列車が異なるレールオペレータからのインフラストラクチャを通して走行している場合でさえも、列車が優れた相互運用性でもって動作することを可能にする。ペイロードは任意であるので、列車は、レールとオペレータ間のスイッチングのときでさえも、本質的に相互運用可能である。全車両が軌道に沿って走行する際、資産情報の更新に必要なデータが、視覚装置によって生成される。このデータを、次いで、一定の資産情報の完全性を検証するためのみならず他の資産情報を更新するために処理させる。紛失資産、ダメージを受けた資産、又は不正変更されたものが、次いで、検出及び報告され得る。視覚装置を有する車両が軌道を進むたびに、インフラストラクチャの現状がまた、検証され得、動作安全性が、査定され得る。例えば、間隙測定が行われ、列車の経路を阻止する障害物がないことを確実にする。軌道を支えるバラストの量は、経時的に見積もられ、監視される。
バックエンド:
バックエンド構成要素は、多くの目的を有する。その1つとして、それは、列車及びアルゴリズムから種々のローカル又は遠隔加入者へと、データを受信し、注釈付け、記憶し、及び転送する。バックエンドはまた、(実時間に又はオフラインで)データを分析するために多くのプロセスをホストし、次いで、補正出力を生成する。この出力は、次いで、フィードバックとして列車に直接的に送信され、又は指令及びディスパッチセンター又は列車駅に中継される。
前述のプロセスの一部として、列車の運転間隔を減らして、一定の通路上の流れを最適化するためのアルゴリズム、個々の列車又は通路を考慮することによってネットワークの流れ全体を最適化するアルゴリズム、並びに列車の場所及び挙動を常に監視する衝突回避アルゴリズムが挙げられる。
バックエンドはまた、動いている列車によって照会された資産データベースをホストして、全車両の動作規制によって要求されるように、資産及びインフラストラクチャ情報を取得する。このデータベースは、関連する情報及び特徴と共に以下の資産を保持する。PTC資産、ETCS資産、軌道、信号、信号灯、整定速度制限、カテナリ構造、カテナリ架線、速度制限標識、路側安全構造、交差点、交差点における舗道、主及び側軌道上に設置された転轍機用の間隙点場所、間隙/構造ゲージ/運動学的許容範囲、無信号テリトリーにおける軌道検出回路の開始及び終端限、小屋、駅、トンネル、橋、待避所、斜面、カーブ、転轍機、枕木、バラスト、カルバート、排水構造、植生入口、フロッグ(2つのレールの交差点)、踏切、整数マイル標、インターチェンジ、連動装置/制御点場所、保守施設、マイル標識、並びに他の標識及び信号が挙げられる。
全車両は、データベースから照会された情報を利用して、軌道識別アルゴリズム、位置精緻化アルゴリズム、及び信号状態検出アルゴリズムを精緻化する。軌道に沿って/軌道の近隣において動いている列車(又は、マシンビジョン装置を利用する任意の他の車両)は、データベース内において情報を格納、検証、及び更新するために必要なデータを収集する。バックエンドインフラストラクチャはまた、種々の鉄道職員のために資産の状態に関する警告及び報告を生成する。
フィードバックステージ
自動制御:
列車がPTCビジョンシステム(例えば、図5における適用)を使用して制御され得るいくつかの手法が存在する。センサステージの出力は、任意の他のシステムとは独立して、一定の活動をトリガし得る。例えば、赤信号違反の検出後、制動インターフェースが、自動的にトリガされ、列車を停止させることを試みてもよい。
一定の制御指令はまた、そのVCDを通して列車に到達することができる。そのようなものとして、バックエンドシステムは、例えば、その速度を上げることを列車に命令することができ、それによって、列車間の運転間隔を減らす。他の列車サブシステムはまた、それらが機関車自体にアクセスできる限り、PTCビジョンシステムを通して作動されてもよい。
搭載型警報:
フィードバックはまた、警報を通して機関車及び車掌に届けることができる。例えば、赤信号違反の場合では、警報をHMI上に表示することができる。警報は、任意の自動制御を付随することができ、又はそれ自体に存在することができる。警報は、確認応答されることによって停止すること又は独立して止まることができる。
通知(ローカル/遠隔):
フィードバックは、HMIモジュールのユーザインターフェースを通した車掌への通知の形態にあり得る。これらの通知は、PTCビジョンシステムを通してローカルに検知及び収集されたデータ、又はVCDを通してバックエンドシステムから取得されたデータを説明してもよい。これらの通知は、聴取者を要求し得るか、又は常時使用可能にされ得る。通知の一例は、車掌が従うための速度推奨に関し得る。
バックエンドアーキテクチャ及びデータ処理。
バックエンドは、2つのモジュール、すなわち、データ集約及びデータ処理を有してもよい。データ集約は、列車及び中央バックエンド間の情報を集約し、その経路を定める役割を有する1つのモジュールである。データ処理構成要素を利用して、列車への推奨を行う。通信は、双方向的であり、このバックエンドサーバは、PTCビジョンシステムから種々の可能な適用の全てを供給することができる。
PTCビジョンシステムのための可能な適用は、以下、すなわち、信号検出、軌道検出、速度同期、軌道の連動状態の外挿及びそれをネットワーク内の他の列車に中継し戻すこと、燃料最適化、衝突防止システム、レール検出アルゴリズム、軌道故障検出又は予防脱線検出、軌道性能計量、複数の実行からのサンプルを使用して包括的な基準データセットを生成するための画像貼り合わせアルゴリズム、例えば、予防保守、故障検出、及び/又は通過列車の振動特性のためのすれ違った列車の画像化、画像化に基づくジオロケーション又はジオフィルタリングサービス、SSIDに基づくジオロケーション又はジオフィルタリング、及びGPS+慣性計量+コンピュータビジョンに基づくアルゴリズムのセンサ融合を含む。
他の実施形態によれば、リモートセンシング及び位置確認特徴が、自動車両、例えば、自律運転車などにおいて実行時システムを実現するために利用することができる。図25は、車両位置確認及び/又は制御のための例示的な車両内システムの概略ブロック図である。車両内実行時エンジン(「IVRE」)2500及び車両決断エンジン2510は、計算及び制御モジュールであり、典型的には、車両上にローカルに搭載されて実装される、マイクロプロセッサに基づくものである。ローカル3Dマップキャッシュ2530は、GPS及びIMUセンサ2520によって判断されるような、車両の粗い位置を取り囲むエリアと関連付けられたマップデータを記憶し、(例えば、セル方式データ送受信機を含み得る)通信モジュール2540経由で遠隔マップ記憶装置から定期的又は連続的に更新され得る。マシンビジョンセンサ2550は、車両の最も近くのローカル環境を検知するための1つ以上の機構、例えば、LiDAR、ビデオカメラ、及び/又はレーダーなどを含んでもよい。
動作中、IVRE2500は、搭載型GPS及びIMUセンサ2520から粗い車両位置を取得することによって車両位置確認を実現する。マシンビジョンセンサ2550は、車両の周囲のローカル環境を示す環境特性を生成し、それは、IVRE2500に渡される。IVRE2500は、マシンビジョンセンサ2550から受信された環境特性を使用してローカル3Dマップキャッシュ2530を照会し、車両のローカル環境において観測された特徴又は物体を、キャッシュ2530内に記憶された3D意味マップ内の既知の位置を有する既知の特徴又は物体に突き合わせる。ローカル特徴又は物体に対する車両の観測された位置を、マップ上のそれらの特徴及び物体の位置と比較することによって、車両の位置は、エラーの余地が潜在的にセンチメートルで測定されるGPSを使用して典型的に可能なものよりも、著しく超えるほどの正確さでもって精緻化され得る。
詳細な車両位置及び他の観測又は計算された情報を利用して、他の機能、例えば、車両制御及び/又はマップ監査などを実現することができる。例えば、マシンビジョンセンサ2550からのデータは、IVRE2500が、車両が走行しているレーンについての中心線を判断するために、本明細書の他の箇所に説明されるように、グラフ及び他のデータ分析機構を使用して分析することができる。IVRE2500はまた、車両のルートに沿う意味(例えば、事象及びトリガなど)を取得するように動作することができる。利用可能な計算リソースを使用して、集中型マップから取得され前に観測された(及び、例えば、ローカル3Dマップキャッシュ2530内に記憶された)資産情報を、マシンビジョンセンサ2550によって捕捉された実時間データから導出された資産情報と比較することによって、集中型マップデータソースを監査することができる。それによって、IVRE2500は、漏れのエラー(すなわち、集中型マップデータから漏れた観測された資産)並びに漏れのエラー(すなわち、マシンビジョンセンサ2550によって観測されない集中型マップデータにおける資産)を識別することができる。かかるエラーは、キャッシュ2530内に記憶され得、その後、通信モジュール2540経由で中央マップリポジトリに通信され得る。
一部の実施形態では、ローカル車両によるマップデータの監査は、集中型制御サーバが、通信モジュール2540経由で車両と通信することによって開始されてもよい。例えば、時間が経過した場合、マップ区分の最後の監査は閾値を超えるので、集中型制御サーバは、目標領域を通って走行しているローカル車両から監査を要求することができる。別の例では、1つの車両が、集中型マップデータとローカルに観測された状況間の不一致を報告する場合、集中型制御サーバは、不一致のエリア内を動いている1つ以上の他の車両による確認監査を要求してもよい。監査要求は、地理領域及び/又はマッピング層の種々の組み合わせに関連してもよい。
一部の実施形態では、車両決断エンジン2510への入力として、情報、例えば、精密な車両位置、資産及び意味、並びにナビゲーション情報などを利用することが望ましいであろう。車両決断エンジン2510は、車両の種々の他のシステム及び機能を制御するように動作することができる。例えば、自律運転実現形態では、車両決断エンジン2510が、車両を操縦して中央レーン位置を維持するために、レーン中心線情報及び精密な車両位置情報を利用してもよい。これらの及び他の車両制御動作は、本明細書に説明されるシステム及びプロセスを使用して有益に実現され得る。
地理空間データを使用する意味マップ生成
マップは、物体、それらの場所、及びそれらの特性の集合物である。マップは、各層が同じ種類の物体のグループである複数の層に分割することができる。各物体の場所は、幾何学的属性と共に定義される(例:極の場所は、3次元空間におけるある点とすることができるのに対して、信号は、多角形をその周りに描くことによって位置指定され得る)。マップは、異なる物体及び層間の意味的関連付けも記録されるときに「意味的」になる。例えば、道路上の種々のレーンの中心線から構成されるマップ並びにインフラストラクチャの周りに位置する標識は、種々の標識及び中心線間の関連付けが記録されるときに、意味的にラベル付与される。これは、標識の固有識別子及びその標識が関連するレーンの固有識別子間でマッピングを生成することによって実現することができる。マップの意味付けは、マップを消費する車両又はユーザのためにより多くのコンテキストを生成する。意味マップはまた、種々の輸送当局からの規制情報を用いてパッケージ化され得る。
任意の資産の物理幾何学的形態が、マップにおいて説明され得る。形状を説明するために使用される幾何学的特徴は、点、線、多角形、及び孤形を含む。特徴は、典型的には3次元であるが、それらは、深さ/高度がなくされた2次元空間に投影することができる。一般に、意味マップは、異なる座標及び基準フレームで記録及び供給することができる。また、マップを1つの座標基準フレームから次へと投影することを可能にする変換が存在する。これらのマップは、異なる形式でパッケージ化及び供給することができる。共通形式として、GeoJSON、KML、シェープファイル、及び同様のものが挙げられる。
一部の実施形態では、意味マップ生成のために使用される地理空間データが、LiDAR、可視スペクトルカメラ、赤外線カメラ、及び他の光学機器に由来する。マップ生成のためのマシンビジョンデータを取得する行為は測量と呼ばれ、このデータは、地球上のある特定の場所にジオリファレンスされる。出力は、可視スペクトル及び他の周波数における画像及びビデオ供給物と共に、3次元の1組のデータ点である。データ収集のための多くの異なるハードウェアプラットホームが存在し得る。収集車両はまた、不定(航空用、移動用、地上用)である。地理空間データは、基準フレームの起源である収集車両を用いて最初に収集される。(例えば、慣性測定ユニット(IMU)及び全地球測位システム(GPS)を使用して)測量全体を通して車両の位置特定をすることによって、画像、レーザスキャン、及びビデオ供給物が、次いで、固定基準フレームに登録され、それは、ジオリファレンスされる。測量において生成されたデータは、後の消費のためにローカルにストリーミング又は保存することができる。
本明細書に説明された車両位置確認及びローカル環境センシングシステムの一部の実施形態は、点群測量データの使用の恩恵を受ける。点群測量データから導出された意味マップは、車両の現在の又は予想されたローカル環境に関する高レベルの詳細及び情報を車両に提供してもよく、それは、例えば、相対的な車両位置確認を援助するために、又は自律型制御意思決定システム(例えば自動制動、操縦、速度制御等)への入力データとして機能するために使用されてもよい。それに加えて又は代えて、車両によって測定される点群データは、前に測定された点群データと比較され、ローカル環境における状況又は変化、例えば、倒木、成長し過ぎた植物、変化した標識、レーン閉鎖、軌道若しくは道路障害物、又は同様のものなどを検出してもよい。環境における検出された変化は、意味マップを更に更新するために使用することができる。
しかしながら、点群測量データ詳細のレベルの増加は、かなり大きなデータセットを結果としてもたらすことができ、それは、サービスプロバイダが処理する又は車両が記憶若しくは処理する費用が高くなり得るか、その時間を無駄にし得る。例えば、レール軌道に沿って直線的に走行するLiDARに基づく3D鉄道測量システムは、キロメートル毎のスキャンについて20GB超の地理空間データを生成してもよい。LiDARスキャンによって生成された生の点群データは、典型的には、次いで、追加的な処理を要求して、有用な資産情報を抽出する。
3次元意味マップが、3D視覚化ソフトウェアの使用を通して点群データ及び他の地理空間データから伝統的に生成される。図11Aは、点群データから資産情報を抽出するための典型的な先行技術プロセスを例解する。工程S1100では、測量手順が、例えば、LiDAR測量装置などを使用して、点群データセットを生成する。工程S1105では、生の点群データが、視覚化される。典型的に、地理情報システム(GIS)アナリストは、ポイント・アンド・クリック(point and click)法を使用して、データ内の重要な資産を自動的に識別し、注釈付け、及び分類する。GISアナリストのプロセスにおける第1の工程は、テラバイトの点群データをより小さな管理可能な区分に分離することである。これは、現在のパーソナルコンピュータ(メモリ/計算能力)が限られ、テラバイトのLiDARデータを直ちに管理することができないという事実に起因する。
その後、GISアナリストは、3D視覚化ソフトウェアを使用して、点群のより小さな区分のそれぞれを横断する。それらが、それらの各区分を通して進む際、GISアナリストは、重要な資産を線引きし、注釈付ける。最終的に、各GISアナリストの注釈付けられた資産を合わせて1つのマップする(工程S1110)。様々なファイル形式及びソフトウェアシステムは、別個のデータセットの併合において更なる困難を生じ得る。
点群データからの値の抽出は、先行技術プロセス及びインフラストラクチャの両方によって制限される。ポイント・アンド・クリック注釈付けは、手動であり、遅く、及びエラーとなる傾向がある。更に、従来のファイルに基づくシステムは、GIS開発業者及び管理者が、増大する点群データセットを効果的に管理することを妨げる。
図11Bは、生の点群データから資産情報を抽出するための代替のアプローチを例解する。工程S1150では、測量が、生の点群データを生成するために行われる。工程S1155では、資産マップが、大量の複雑なデータセットの視覚化、又はそのデータの手動注釈付けを要求せずに、生の点群データから直接的に生成される。
図12は、大量の点群データセットから資産情報を迅速かつ効果的に抽出するための計算装置を例解する。図13は、図12の装置を使用するためのプロセスを例解する。好ましくは、図12の装置内の構成要素が、1つ以上のサーバを含み得るインターネットに接続されたクラウドコンピューティングリソースを使用して実装される。フロントエンド構成要素1200は、データアップロードツール1205、構成ツール1210、及びマップ取り出しツール1215を含む。フロントエンド構成要素1200は、エンドユーザが計算装置と相互作用して制御するための機構を提供する。
データアップロードツール1205を使用して、ユーザは、LiDAR及び他の測量データをローカルデータ記憶デバイスからデータ記憶構成要素1220にアップロードすることができる(工程(S1300)。データ記憶構成要素1220は、分散ファイルシステム(例えば、Hadoop分散ファイルシステムなど)又はデータを記憶するための他の機構を実装してもよい。構成ツール1210は、ユーザのネットワークに接続された計算デバイス(図示せず)経由でアクセスすることができ、ユーザが、アップロードされたデータの形式のみならず他の測量詳細を定義すること、並びに資産を指定して検索及び注釈突けることを可能にする(工程S1305)。ユーザが構成ツール1210と相互作用して所望の資産を選択した後、ユーザは、出力マップ形式を構成するための種々の選択肢を提供される。好ましくは、構成ツール1210は、次いで、構成しているユーザから所望のターンアラウンドタイムを要請し、ユーザに分析のための見積り費用を提示する(工程S1310)。費用見積りは、例えば、分析されるべきアップロードされたデータセットのサイズ、選択された資産の数(及び複雑度)、出力形式、及び選択されたターンアラウンドタイムに基づいて判断される。最終的に、構成が完了すると、ユーザは、構成ツール1210と相互作用して、分析ジョブを開始する(工程S1315)。
フロントエンド1200を通してアップロードされた地理空間データは、データベース収集において追跡される。このデータは、カテゴリ、地理エリア、及び他の特性によって編成される。データが、実行の種々のステージを通して進化する際、関連するデータベース入力が更新される。
フロントエンドツールを通してアップロードされた点群データが、安全な及び複製される手法で記憶される。取り出しを単純化するために、データが、デカルト座標系における異なるサイズのタイルにタイル表示される。タイル自体は、2次元に限定され、それに応じて名前空間を付与される。好ましくは、タイルが、高度の限定がない(すなわち、利用可能な地理空間データの範囲のみに限定される)及び長方形断面を有するカラム状エリアを定義するように、タイルは、X及びY次元に限定され、地球の重力の方向に垂直又は平行であるZ次元に限定されない。例示的な実現形態では、(水平面における)辺が1000mであるタイルを利用することができる。タイルを表わすファイルが、次いで、タイルによって区切られた特定の地理エリアに属する点の全てを保持し、他を保持しない。一定の実施形態では、木構造(例えば、4分木及び8分木など)が、データについての横断様式に従って実装される。
地理空間データから意味マップを自動的に抽出するためのデータの処理は、計算クラスター上で行われ、処理ユニット1240(以下に図16を更に参照して説明される実施形態)内で実現される。これらは、ネットワークアクセス可能な記憶ユニット1220を通して点群及び他のデータにアクセスすることができる。中間結果のみならず最終結果も同様に記憶される。
図14は、分析ジョブの開始後に、図12の装置によって行われ得るプロセスを例解する。データ処理を単純化するために、及びMapReduceデータ分析フレームワークの実装を可能にするために、点群データは、データ記憶/事前処理構成要素1220によってチャンクに細分化される(工程S1400)。これらのチャンクは、例えば、所望の処理方法、利用可能なメモリ、及び他の実行時間の考慮すべき事柄について最適化するために潜在的に選択される、タイルのサブセット又はそれらの組み合わせとすることができる。計算クラスターにおける(すなわち、処理ユニット1240内の)個別のノードが、次いで、所与のデータチャンク、すなわち、選択されたサブセット又はタイルの組み合わせと関連付けられた地理空間及び他のデータを処理することができる。
点群の密度は、同じ計算ノード内で処理するためのタイルの数(又は、タイルサブセットのサイズ)を判断するのに重要な因子であり得る。例示的な実施形態では、図15は、(対角線によって表わされた)内側の点の数に対するタイルのサイズ、並びに2km区分の線路に沿って測定されたLiDAR点群データを含む例示的なデータセットについてのタイルサイズの分布を例解する(各タイルは対角線を横切るハッチによって表わされる)。データ記憶及び事前処理構成要素1220は、分析性能を最適化するために、処理ユニット1240へのデータ供給の前に、タイル集約、及び/又は細分化を行う。
タイル集約の利益を考えると、上記に説明されたように、点群密度が低減したことは、処理時間の削減を結果としてもたらし得る。しかしながら、低密度は、一般に、特徴検出プロセスをより困難にさせ、より高い率の誤陽性を結果としてもたらし得る。点群データが豊富になるほど、検出プロセスがより正確になる。
一旦、処理が開始されると、ジョブスケジューラ1225が、工程S1305及びS1310において構成されるような、ジョブに関するタスクを含むキューを生成する。ジョブスケジューラ1225は、(典型的には、種々の異なるデータ分析アルゴリズムを実装する)分析機構1250のうちの1つ以上をタスクと関連付け(工程S1405)、処理ユニット1240内にマシンのクラスターを生成してデータを処理する(工程S1410)。単一ノードが既知の平均サイズ(例えば250MB)のタイル集約に必要なデータ分析機構(複数可)1250を実装するための前に測定された平均時間を考えると、クラスターのサイズ(すなわち、計算ノードの数)は、工程S1310において要求されたターンアラウンドタイムを満たすように決定してもよい。例えば、処理のために提示されるサンプルデータセットを考えると、コアが8個のデスクトップコンピュータ上で約240時間の計算時間がかかることが見積もられる。データ分析機構1250は、好ましくは、同時に実行するように設計されるので、ジョブスケジューラ1225は、それぞれ4個のコアを有する20個のマシンのクラスターを開始することができ、代わりに約24時間、同じデータセットを処理することができる。
処理ユニット1240は、計算クラスターの集合物から成る。クラスターのサイズは、ジョブの数に依存する。図16は、例示的な計算クラスターを例解する。各クラスターは、クラスターを管理する責任を負うマスターインスタンス1605、データ記憶システム1220内にもデータを記憶する一定数の主計算ノード1610、及び可変数の「スポット」インスタンス1620を含む。一部の実施形態では、データの全体を処理すること及びターンアラウンドタイム要求を満たすことができるように主インスタンス1610をサイズ変更することが望ましい可能性があり、スポットインスタンス1620は、例えば、それらの費用及び/又はジョブ時間制約に基づいて作動される。他の実施形態では、完全にスポットインスタンスから成る又は完全に主ノードから成る計算クラスターが利用されてもよい。
一旦、適切に構成された計算クラスターが生成されると、データ記憶及びプレプロセッサ構成要素1220は、データチャンクのストリーム(例えば、所望のデータサブセットサイズを満足するタイルの集約)を処理ユニット1240へと導く(工程S1415)。処理ユニット1240内の主ノード及びスポットインスタンスは、適切なデータ分析機構1250を実行して、例えば、3D点群タイルから資産又は特徴情報を抽出する。
一旦、データセットが処理ユニット1240によって処理され、所望の情報が抽出されると、マップ生成器1230がトリガされる。マップ生成器1230は、処理ユニット1240内のノードの出力を合わせて意味マップにする(工程S1420)。報告分析は、照会を実行することによって意味マップから導出して、特定の資産及びそれらの組み合わせを分析することができる。
マップ生成器1230はまた、経時的に注釈付けられたデータセットの完全性を検証するように動作する注釈完全性検証器を含んでもよい。一部の適用では、場所が、異なる時間に繰り返し測量されてもよい。例えば、線路適用では、LiDAR又は他の線路測量車両を装備した列車が、線路の同じ長さを定期的に測量して、例えば、軌道に沿う資産の健全性又は現状を監視してもよい。一部の道路適用では、LiDARを装備した測量車両が、異なる時間において道の所与の部分に沿って走行してもよい。他の道路適用では、LiDARを装備した自動車、例えば、自律運転車などによって捕捉されるデータが、規則的に分析されてもよく、所与の場所におけるローカル環境の潜在的に頻繁な分析を提供する。新たなマップが所与のエリアに関してマップ生成器1230によって生成されるたびに、資産又はローカル特徴情報が、古いマップ内に含まれるそのような情報と比較され得る。警報、通知、又は事象は、不一致が検出されるときにトリガすることができる。
マップ生成器1230の出力は、フロントエンド1200及びマップ取り出しツール1215経由で、最終的にユーザに利用可能になる(工程S1425)。一旦、ジョブが完了し、マップが生成されると、(タスク及びジョブの現状を監視する)スケジューラ1225は、エンドユーザのための通知を生成する。
(種々の資産の場所、幾何学的形態、及び特徴のみを含む)特徴マップ、並びに意味マップはまた、遠隔からアクセス可能なジオデータベース内に記憶することができる。マップデータは、直接的に又はサーバを通して取り出され、結果の照会及び収集を容易にすることができる。マップは、それらの全体において又は任意の特定のエリアを選択することによって取り出すことができる。
セキュリティ、圧縮、及び完全性
データ及びマップのセキュリティが、多くの実施形態の重要な態様であり得る。好ましくは、データアップロード工程S1300は、ユーザデータソースからクラウドコンピューティングプラットホームへのエンドツーエンド暗号化(例えば、AES暗号化など)を採用する。かかる暗号化はまた、ユーザのシステム及びフロントエンド1200間の通信のために利用されてもよい。
一部の実施形態では、生の点群データをデータ記憶構成要素1220内に圧縮形式で記憶することが望ましい可能性がある。例えば、4個の中央処理ユニット(CPU)コア毎につき1テラバイトの記憶装置を有する例示的な分散型計算クラスターは、3D点群データをその生の形態で記憶し、より遅い処理時間に導く可能性がある。なぜなら、記憶インフラストラクチャは、入出力を制約する一方で、CPUコアは、アイドル状態に置かれることが多いからである。これは、CPUが、データを処理する前に、データが記憶装置から読み取られることを実質的に待つことを意味する。生の点群データを記憶する前に圧縮することは、システムが、データの読み取り及びディスクへの書き込みに費やす時間を減らすことを可能にする。したがって、データ記憶構成要素1220は、記憶の前に点群データを圧縮するための圧縮機構を含んでもよい。
しかしながら、圧縮された生の点群データを記憶することによって、処理時間が増える。なぜなら、データは、データ分析機構1250を適用する前に展開機構によって展開される必要があるからである。典型的には、圧縮されたデータの圧縮比と、データを圧縮及び展開するのに必要な処理時間との間に明確な関係が存在する。したがって、一部の実施形態では、CPU時間を絶えず測定してデータ圧縮比を調整し、データが記憶構成要素1220から読み取られ得る率と、そのデータが処理ユニット1240によって展開及び処理され得る率とのバランスをできる限り近くに取ることが望ましい可能性がある。
多くの無損失データ圧縮機構が、本明細書に説明されるように、大量の点群データセットを取扱うために利用されてもよい。例として、LempelZivOberhumer(LZO)、(同様にLempelZiv法に基づく)GZIP、及び(Rapidlasso GmbHによってリリースされ、LAZとして以後呼ばれる)LASzipが挙げられる。図17、18、及び19は、これらの3個の圧縮機構の比較分析を示す。圧縮の観点では、LAZ法は、全ての圧縮レベルにわたってある程度のCPU時間を生じる(圧縮レベルが高くなるにつれて、圧縮される出力ファイルが小さくなる)。この方法は、LZO及びGZIPと比較すると、より小さなファイルサイズを結果としてもたらすので、非常に魅力的である。しかしながら、LZO及びGZIPは、展開のために最適化され、したがって、展開に要求されるCPU時間の観点では、LAZに優る代替物を与える。一部の実施形態では、データ処理の速度を上げることと同時に、データセットの性質及び利用可能な計算インフラストラクチャの(例えば、費用及び利用可能性など)の特性に基づいて、異なる特性を有する複数の機構の中から圧縮機構を選択することによって記憶要件を最小限にすることが望ましい可能性がある。
マシンビジョン分析機構
データ分析機構1250は、典型的には、点群データから抽出されることを望まれる情報の性質に基づいて選択される。非常に低い誤陽性率で機構1250を設計することと同時に、許容可能な検出率を維持することが望ましいであろう。生成されたマップに信用を加えるために、一部の適用では、結果のサブセットが、元の点群及び生の画像化データを点検することによって手動で検証されてもよい。
軌道検出及び横断
線路点群測量データを処理する実施形態では、軌道検出が、重要な最初の工程であり得る。軌道検出は、重要であり得る。なぜなら、規則は、軌道に対して各資産について特定の場所を割り当てることが多いので、軌道位置の知識は、資産の識別を容易にするからである。
図20は、例えば、図14の工程S1415において、処理ユニット1240によって実現され得る軌道検出及び横断のためのプロセスを例解する。工程S2000では、100m×100m区分の点群データが、分析のために識別される。工程S2010では、10,000m点群区分の幾何学的形態が分析されて、軌道と関連付けられる点のサブセットを抽出する。多くの技法を採用して、所望の結果を実現することができる。一部の実施形態では、同様のデータセットから前に分類された軌道を研究して、それらの軌道の近くにおけるデータの特性を識別することができ、それらの特性は、新たに分析されたデータにおける軌道場所の目印として機能する。他の技法は、(例えば、高度又はパルス強度に基づく)2次元空間における点の投影と、軌道に属する領域を切り離すための縁端検出機構及び変換の利用と、を含む。例示的な使用の場合において、工程S2000における10,000mの点群区分は、約1GBのデータから成ってもよく、一方で、工程S2010において抽出される軌道サブセット出力は、約1MBのデータから成ってもよい。
図21は、工程S2000の10,000m2の点群区分入力及び工程S2010において抽出されたレールデータ出力の視覚化である。線2100は、点群において認識できる軌道を表わす。線2110は、LiDARデータ収集プロセスの間に不明瞭にされた軌道であって、位置が見積もられた軌道を表わす。これは、典型的には、任意の物体が測定機器の直接見通し線から隠されるときに生じるプロセスである、シャドーイングの結果である。ドット2120は、LiDAR三脚システムの問題のある位置決めに対応し、それは、一部の軌道区分が妨害されることを結果としてもたらす。認識できない軌道の場所は、インフラストラクチャの既知の空間的連続特性(例えば、他の観測された要素に対する間隔など)を利用することによって推論することができる(工程S2020)。
地理空間データは、資産抽出の間に活用され得る多くの次元を提示する。画像、赤外線、ビデオ供給物、及び/又は多重スペクトルセンサを組み合わせて、検出の信用及び正確さを高めることができる。大部分のLiDARシステムは、各点についての強度測定を含む。軌道検出率の向上のために、軌道内及び軌道外の両方の点の強度を分析することによって、分類機構及びフィルタをシステムに追加することができる。図22は、例示的な軌道検出実現形態における点群強度レベルのヒストグラムである。図22aは、全体として、点群データの分析群における、それぞれの測定された強度レベルの量を例解する。図22bは、軌道に対応するとして識別された点群内の点についての、同じヒストグラムを例解する。単純な帯域通過フィルタが、一部の場合において、レールに属する点のための検索空間を更に狭めるために効果的であり得る。他の分類方法もまた、利用することができる。
図23は、軌道検出機構及び他の資産検出機構を含む実現形態の出力の一部の視覚化である。軌道検出機構の動作を通して、軌道区分2300が最初に識別され、次いで、各軌道について中心線マーカ2310が確立される。一旦、軌道及び軌道中心線が識別されると、後続の分析構成要素が、点群データ内で軌道を横断することができ、一方で、中心線における各点の周りの高解像度点群データの360度のビューを享受する。
他の分析機構は、意味マップ内の包含のために他の資産又は特徴を識別して位置特定する。例えば、架空ワイヤ検出機構が、架空ワイヤを識別して位置特定し、架空ワイヤ中心線目印2320でそれらを区切る。極検出機構は、線路わきの極を識別して位置特定し、目印2330を用いてそれらを位置付ける。これらの及び他の特徴が、本明細書に説明されたシステム及び方法を通して生成された意味マップ出力に含まれてもよい。
一部の実施形態では、分析機構を連続的に適用してもよく、1つの機構の出力が、別の機構への入力として機能する。例えば、線路適用では、ローカル環境の資産及び要素が、規則的に、交換され、追加され、除去され、又は移される。軌道上及び周りの間隙を規則的に検査して、安全な動作を確保することと、列車が任意の障害物と接触しないこととが望ましい可能性がある。かかる適用では、軌道検出機構、例えば、上記で説明されたものなどが、一連の分析機構の一部として実装されてもよい。軌道中心線を含む軌道検出機構の出力は、その後、軌道間隙検査機構への入力として使用してもよい。境界枠が、軌道中心線に関して定義され、その境界内に侵入する任意の物体が報告される。境界枠の寸法は、種々の標準に適合するように修正することができる。
標識、信号、転轍機、路傍ユニット、及び同様のものの場所の判断はまた、検出フレームワークを使用して可能になる。一旦、位置確認されると、これらの資産の分類は、製造業者の仕様書又は他の物体定義に従って、各資産の幾何学的特徴を考えて可能になる。
線路適用において有益に採用され得る別の分析機構は、架空線点検である。架空ワイヤは、点群データ内で識別することができる。軌道と比較してワイヤの高度が査定される。曲がった線を有するエリアが報告される。極場所情報を使用することによって、ワイヤのカテナリ形状もまた、査定することができる。
一定の分析構成要素は、線路軌道検出の状況において説明されるが、同様の分析機構及び方法を利用して、他の適用において潜在的に他の種類の資産を識別してもよいことが考えられ、理解される。例えば、本明細書に説明される軌道検出機構に似た機構が、レーンマーキング及び/又は縁石を識別するために道路状況において有用であり得る。
コンピューティングパラダイム
マップの自動化抽出は、計算ブロックを(「グラフ」として以後呼ばれる)合わせて有向非循環グラフにすることによって実現され得る。これらのグラフに含まれるブロックは、単純な平均化及び閾値処理から変換、フィルタ、分解等に及ぶ、可変複雑度を有する。グラフの1つのステージの出力は、任意の他の後続のステージに供給することができる。ステージは、順々に動く必要はないが、ステージ毎の十分な情報を想定して、並列化することができる。特徴マップを生成するとき、グラフは、一般的に、同じカテゴリに属する点群内の点を分類するために、又はベクトル化するために使用される。ベクトル化は、それらの中心、境界、場所等の範囲を定める1組の点を通過する(多くの場合、仮想)線又は多角形の生成のことを言う。そのように、計算グラフは、分類子、クラスター化方法、経路指定フィッティング、ニューラルネットワーク、及び同様のものを実装するために使用することができる。回転及び投影がまた、多くの場合、マシンビジョン処理技法と関連して使用される。
分散型コンピューティングを最大限活用するために、地理空間データからの意味マップの生成を並列化してもよい。実装され得る多くのレベルの並列化が存在する。最高レベルにおいて、測量データを規則的な形状の任意の領域に分割することができ、それらは、異なるマシン及びCPUプロセスにストリーミングされる。図14のプロセスと同様に、一旦、全てのプロセスが終了すると、各エリアに由来する結果は、次いで、「削減」工程に併合される必要がある。境界条件が生じるので、プロセスの終了において切り捨てられる余分なデータを用いて任意の領域を埋め込むことは、通常、縁端の近くの奇形を取り除く。任意の領域のサイズ、並びに埋め込み厚さは、資産又は特徴のグラフ抽出によって判断される。
別のレベルにおいて、処理が事前に抽出されたベクトルに沿って行われるときに並列操作を行うことができる。例えば、鉄道軌道の近傍における標識を検索するとき、データは、前に抽出された軌道中心線に沿ってウェイポイントの周りの領域の抽出によって横断され得る。次いで、複数のプロセスを軌道の異なるウェイポイントに沿って並列に処理することができる。
最終的に、特定の領域を分析するとき、各点を個別に考慮することができる。この横断方法では、その点を取り囲むボクセルが、通常、抽出されて、分析される。このプロセスはまた、ある点の動作の結果が任意の他の点の動作に影響を及ぼさない場合において、並列にさせることができる。
マップ生成プロセスに採用されるいくつかの横断方法論、及びデータ処理が並列にされ得るいくつかの手法が存在する。加えて、従来のCPUと共に、GPU(グラフィックス処理ユニット)を使用することはまた、大きな速度改善を導き、ターンアラウンドタイムの削減において更に援助することができる。
地理空間データは、点群に限定されず、画像、ビデオ供給物、多重スペクトルデータ、レーダー等に拡張される。マッピングの正確さ及び正しさの向上のために、一部の実施形態は、利用可能な任意の追加的なデータソースを利用してもよい。いくつかの技法が、異なるソースからデータを使用するために利用することができる。一部の実施形態では、データセットを、計算グラフに供給する前に、事前処理ステージ(例えば工程S1400)に組み合わせることができる。このアプローチは、処理のための複数のソースからのデータを計算グラフに提供する。他の実施形態では、1組のデータが、資産及びその特性に関する仮説を生むために使用されてもよい。他のソースからのデータは、次いで、他の分析機構によって仮説を検証及び/又は強化するために使用することができる。
マシン学習:
多くのマシン学習技法を実装して、意味マップ生成プロセスを援助することができる。既存の注釈付マップが使用され得、グラフを訓練してそれらを最適化し、地理空間データから正確な意味マップを自動的に生成する。マシン学習システムへの入力データは、測量データ並びに対応する注釈付出力マップから成る。マシン学習システムの出力は、精緻化されたグラフであり、それは、次いで、大規模にマップを抽出するために、より広範な測量データに適用することができる。一部の事例では、分類された点群(この場合、カテゴリが、どの資産に属するかに基づいて、各点に割り当てられる)が使用され、訓練プロセスに供給される。他には、ベクトル化マップが使用され、マップ生成プロセスを学習し、処理グラフを調整する。これらの方法は、教師あり学習カテゴリに入り、(エラー測定を通した)評価性能及び望ましい性能の増強に依存する。
図24は、訓練構成要素2400及びマップ生成構成要素2410を含む、教師ありマシン学習を実装するシステムの実施形態を例解する。訓練構成要素2400は、入力として、生の点群データ2420及びサンプル出力2422を受信する。一部の状況では、サンプル出力2422が、総データセットの約1%と関連付けられた検証済の出力データであってもよい。サンプル出力2422は、(ある特定の資産カテゴリに属する点がグループ化される)分類された点群データ、並びに/又は(点、線、及び多角形が任意の資産上に描かれた)ベクトル化マップを含んでもよい。訓練構成要素出力2424は、最適化されたカテゴリ化機構、例えば、図12のマップ生成システムにおいて機構1250と比較できる分析機構のためのアルゴリズム係数などを定義する。訓練構成要素出力2424はまた、最も効果的であるべきアルゴリズムのために任意の領域を定義してもよいし、利用されるべき計算グラフ内に機能ブロックを定義してもよいし、及び/又は考慮中のある特定の資産のための任意の特徴を定義してもよい。訓練構成要素出力2424が、生の点群データ2420の全コーパスと共に、マップ生成構成要素2410に供給される。マップ生成構成要素2410は、次いで、マップ出力2426を生成するように動作する。
また、教師なし方法が、マップ生成のために実装され得る。かかるプロセスは、個々のマップ点についてコンテキスト情報を説明するためにスケールに依存した特徴に頼り得る。それらはまた、深層学習に頼り得、マップ点特徴を用いる使用のための特徴変換を設計する。深層学習によって生成される特徴変換の集合は、マップ点コンテキスト情報を符号化するために使用される。点についての資産構成員が、次いで、特徴に基づいて深層学習アルゴリズムによって変換され得る。別の方法は、資産がカリキュラムにおいて説明されるカリキュラムに基づく学習を中心に展開し、次いで、計算グラフにおいて学習される。この方法は、任意の資産の形状及び特性が規則的であり、沢山の空間複雑度を示さないときに、効果的であり得る。
これらの学習体系を用いて、ニューラルネットワークが、最初の工程において訓練されることが多く、次いで、マップの抽出のために地理空間データの残りに適用される。
したがって、マシン学習技法は、計算グラフの最適化及び精緻化を援助することができる。これらのグラフは、手動で操作され得、又は上記方法を使用して学習され得る。パラメータ検索構成要素は、正確さの改善並びに誤陽性及び陰性の低減に有用である。この工程において、(任意の領域から、各機能のパラメータへの、分類子に使用される特徴の数及び性質への)計算グラフの種々のパラメータは全て調整され得、出力は監視され得る。検索方法論を使用することによって、パラメータの最良の性能の組み合わせが、見付けられ得、データの残りに適用され得る。この工程は、前に注釈付けられた意味マップの利用可能性を想定する。
計算グラフが許容可能な性能レベルへと精緻化されると、それらを車両において直接的に使用することができる。これは、ローカル環境からクラウドシステムへのより多くの従来のデータのストリーミングとは対照的に、クラウドから車両への知力のストリーミングに対応する。地理空間データに関して、大規模なサイズのセンサデータは、禁止され得る。したがって、一部の実施形態では、ローカルに取得されたセンサデータ(例えば、車両に取り付けられたセンサによって取得されたデータ)が、ローカル計算リソース経由で要約され、収集された情報及び/又は抽出された内容のサブセットのみが、遠隔データシステムに送信し戻される。例えば、データ記憶/プレプロセッサ構成要素1220、処理ユニット1240、及びデータ分析機構1250に相当するリソースが、車両内に実装され得、搭載型センサシステムから意味マップデータを抽出する。クラウドに基づく処理構造における実現形態のために上記に説明されたものに類似した計算グラフが、マシン学習フレームワークにおいて最適化及び試験され得、一方で、ローカルな車両内実装の機会を提供する。かかる実施形態は、分散型コンピューティングプラットホームとして車両を利用することができ、常に、中央に維持されたマップの内容を更新し、一方で、その全てを中央のクラウドをベースとしたシステムにストリーミングする代わりに、適所において遠隔に検知されたデータのほとんどを消費する。
本明細書に説明されるマシン学習実現形態は、新たなグラフの開発を大いに加速して、新たな特徴及び資産をマッピングすることができるが、学習作業は、訓練データの不足、及び正確さに関する問題に悩まされることがあり得る。これらの問題の結果は、過剰適合及び性能限度を含み得る。訓練データの量が制限されると、学習ルーチンは、グラフの性能を、利用可能なわずかなデータの方へ強く歪め得、訓練されていない新たな事例が導入されるときに、不良を起こしやすくさせる。性能に関して、訓練データのためのマップの生成は、典型的には、手動プロセスであり、それはエラーを起こしやすい。そのように、訓練データ自体が完全に正確ではないとき、結果として生じるグラフも正確ではなくなる。例えば、GISアナリストが、それらの手動生成マップにおいて80%の資産の正確さのみを達成した場合には、そのデータ上の訓練された任意のグラフが、80%の正確さの閾値を超えるのは非常に困難となる。
これらの問題に対処するために、シミュレーション環境を利用することができる。シミュレーション環境では、マップが、パラメータの多数の置換においてプログラムで生成され、地球の表面上の地形及びランドマークの変動を複製する。次いで、3次元モデルが、実データ収集にできる限り類似した手法で、マップから生成され、点群を生成するようにレイレーシングされる。あらゆる資産の場所は、先験的に既知であるので、点群から抽出された完全なマップが、次いで、利用可能である。データの変動性、及び完全なグラウンドトルースが各点群について存在するという事実は、計算グラフ及びそれらの正確さの範囲をかなり増大させる。それはまた、現在のコンピューティングパラダイムの限界を理解するための機構を提供する。
しかしながら、どれほどグラフが訓練されても、及びそれが受ける試験事例がどれほど多くても、自動化マップ抽出は、完璧になり得ない。この理由のために、手動品質管理(QC)工程を、任意の問題の発見に役立つように導入することができる。マップ全体にわたってQCを行わざるを得ないことを避けるために、信用のレベルをマップ作製プロセスの間に生成することができる。このレベルは、グラフが、マップからの所望の特徴の抽出においてどのくらい信用できたかを表わす。次いで、QCは、信用の最低百分順位における領域について行うことができる。
品質管理は、複数の手法で行うことができる。意味マップの生成と同様に、GISアナリストは、従来の視覚化ツールを使用することができ、生の測量データを自動的に抽出されたマップと重ね合わせることができる。次いで、任意の不一致を識別及び補正することができる。QCのための別の方法は、オンラインの複数のエージェント間で労力をクラウドソースすることであろう。それらのエージェントの各々は、意味マップ生成に完全に精通していない可能性があるので、QC作業は、複製される必要がある。次いで、仮説が、各QC結果によって承認又は否認され得、十分な試行でもって最終結論に到達する。
QC結果を蓄積して、計算グラフを補強することが重要である。不一致が検出されると、問題のある試験事例を含む新たにシミュレーションされた地域が利用され得る。次いで、グラフの更なる再訓練を、将来の作業における使用事例に考慮してもよい。
一定の実施形態が、明瞭さ及び理解の目的のために本明細書に詳細に説明されたが、前述の説明及び図面は、単に、本発明を説明及び例解するものであり、本発明は、それに限定されない。本開示を前にした当業者は、あらゆる特許請求の範囲から逸脱することなく、これらの及び他の修正並びに変形を本明細書に開示されたものに行うことができることが認識されるであろう。

Claims (25)

  1. 点群測量データ内の資産を識別するための装置であって、
    点群データセットを受信するためにデジタル通信ネットワーク経由でアクセスできるフロントエンド構成要素と、
    前記点群データセットを記憶し、前記点群データセットを複数のデータチャンクに細分化するデータ記憶構成要素と、
    計算クラスターを備える処理ユニットであって、前記データ記憶構成要素から流されたデータチャンクを受信し、1つ以上の分析機構を各データチャンクに適用して資産情報を抽出する、処理ユニットと、
    前記データ分析機構から抽出された資産情報を合わせて出力マップにするマップ生成器と、を備える、装置。
  2. 各データチャンクが、点群データのうちの1つ以上のタイルを含む、請求項1に記載の装置。
  3. 各タイルが、地球の重力ベクトルに沿って長手方向に延びる長方形カラム内に点群データのサブセットを含む、請求項2に記載の装置。
  4. 各データチャンクが、目標データチャンクサイズを実現するように最適化されたいくつかの隣接タイルを含有する、請求項3に記載の装置。
  5. 前記マップ生成器が、不一致が検出されたときに通知を生成するために、出力マップ内の資産情報を、共通ローカル環境に対応する1つ以上の前の出力マップにおける資産情報と比較する注釈完全性検証器を更に含む、請求項1に記載の装置。
  6. 前記データ記憶構成要素内に記憶する前に、前記点群データを圧縮するように動作する圧縮機構と、
    前記処理ユニットによる前記分析機構の適用の前に、前記点群データを展開するように動作する展開機構と、を更に備え、
    それによって、前記圧縮機構が、前記処理ユニットによって実現可能なデータ処理速度と、前記データ記憶構成要素からのデータ検索速度との均衡を保つようにその圧縮比を調整する、請求項1に記載の装置。
  7. 車両に取り付けられたGPS受信器であって、前記車両の第1の地理的位置を提供する、GPS受信器と、
    前記車両内にあるローカルマップキャッシュであって、各資産について、場所、前記資産と関連付けられた特性、及び他の資産に対する1つ以上の関係を含む、資産のローカルマップを記憶する、ローカルマップキャッシュと、
    前記車両の近傍におけるローカル環境と関連付けられたデータの収集を可能にするために前記車両上に取り付けられた1つ以上のローカル環境センサと、
    1つ以上の車両コンピュータであって、前記GPS受信器から前記第1の地理的位置を受信して、前記ローカルマップキャッシュから、前記第1の地理的位置の近傍における前にマップされた資産と関連付けられた記録を取り出す、車両コンピュータと、
    前記車両コンピュータに実装される特徴抽出構成要素であって、前記ローカル環境センサデータを受信して、現在、前記車両の近傍内にある観測された資産を識別して位置を特定する、特徴抽出構成要素と、
    前記車両コンピュータに実装される位置精緻化構成要素であって、前記特徴抽出構成要素からの前記観測された資産の識別及び場所と、前記ローカルマップキャッシュから取り出された資産情報とを比較して、前記車両の現在の状態を判断する、位置精緻化構成要素と、を備える、車両位置確認装置。
  8. 前記車両の前記現在の状態が、車両の場所を含む、請求項7に記載の車両位置確認装置。
  9. 前記車両の前記現在の状態が、車両の速さ及び走行方向を更に含む、請求項8に記載の車両位置確認装置。
  10. 無線車両用通信デバイスを更に備え、前記ローカルマップキャッシュは、その無線車両用通信デバイスによって、車両動作の間に遠隔データベースからローカルマップデータをダウンロードすることができる、請求項7に記載の車両位置確認装置。
  11. 前記1つ以上のローカル環境センサが、LIDARセンサ、デジタルカメラ、及びレーダーセンサのうちの1つ以上を含む、請求項7に記載の車両位置確認装置。
  12. 前記ローカル環境属性が、標識、路側安全構造、及び腕木信号機のうちの1つ以上を含む、請求項7に記載の車両位置確認装置。
  13. 前記車両の前記近傍におけるローカル環境と関連付けられた前記ローカル環境センサデータが、3次元点群データを含む、請求項7に記載の車両位置確認装置。
  14. 前記車両が列車である、請求項7に記載の車両位置確認装置。
  15. 前記車両の前記現在の状態が、軌道識別を含む、請求項14に記載の車両位置確認装置。
  16. インターフェース構成要素を更に備え、そのインターフェース構成要素を通して、前記車両の前記現在の状態が、1つ以上の車両制御システムに通信され得る、請求項7に記載の車両位置確認装置。
  17. 前記資産のローカルマップと前記観測された資産の差異を識別し、かつ前記遠隔データベースへの伝送のために前記差異を前記車両用通信デバイスに出力する、マップ監査構成要素を更に備える、請求項10に記載の車両位置確認装置。
  18. 前記マップ監査構成要素が、前記観測された資産内に存在する及び前記資産のローカルマップ内に存在しない資産、又は前記観測された資産内に存在しない及び前記資産のローカルマップ内に存在する資産を識別する、紛失資産検出器を備える、請求項17に記載の車両位置確認装置。
  19. 前記マップ監査構成要素が、ダメージを示す特性又は前記資産のローカルマップ内の前記資産と関連付けられた特性とは異なる不正変更を有する前記観測された資産内の資産を識別する、資産変質検出器を備える、請求項17に記載の車両位置確認装置。
  20. 前記車両が、線路軌道上の走行に適合され、前記装置が、
    第1の資産の場所を示す前記特徴抽出構成要素から情報を受信する軌道間隙評価構成要素であって、障害物として前記第1の資産を識別し、前記車両用通信デバイス経由で前記障害物の場所をバックエンドサーバに報告する軌道間隙評価構成要素を更に備える、請求項10に記載の車両位置確認装置。
  21. データベース内にマップを維持する1つ以上のネットワークに接続されたサーバによってマップデータを監査するための方法であって、
    車両からマップデータの要求を受信する工程であって、前記車両が、ローカル環境センサ及びローカルマップキャッシュを有する、受信する工程と、
    前記要求に応答してマップデータを前記車両に伝送する工程であって、前記マップデータが、資産情報を含み、前記資産情報が、1つ以上の資産の識別、特徴、及び場所を含む、伝送する工程と、
    前記車両から、前記マップデータと前記車両ローカル環境センサによって検出された情報との間の1つ以上の差異を示す報告を受信する工程と、
    前記報告内の情報に基づいて前記データベースを更新する工程と、を含む、方法。
  22. 前記報告が、前記車両ローカル環境センサによって検出された資産であって、前記データベース内に存在しない資産の識別物及び場所を含む、請求項21に記載の方法。
  23. 前記報告が、前記データベース内に存在する資産であって、ただし、前記車両ローカル環境センサによって検出されない資産の識別を含む、請求項21に記載の方法。
  24. 前記資産情報が、1つ以上の資産特性を含み、前記報告が、前記データベースを用いる資産特性と前記車両ローカル環境センサによって検出された資産特性の間の差異を含む、請求項21に記載の方法。
  25. 前記車両が列車であり、前記車両から、前記マップデータと前記車両ローカル環境センサによって検出された情報の間の1つ以上の差異を示す報告を受信する前記工程が、
    前記列車の経路に対する障害物間隙を示す報告を受信することを含む、請求項21に記載の方法。
JP2017556798A 2015-01-20 2016-01-20 リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析 Pending JP2018508418A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562105696P 2015-01-20 2015-01-20
US62/105,696 2015-01-20
PCT/US2016/014196 WO2016118672A2 (en) 2015-01-20 2016-01-20 Real time machine vision and point-cloud analysis for remote sensing and vehicle control

Publications (1)

Publication Number Publication Date
JP2018508418A true JP2018508418A (ja) 2018-03-29

Family

ID=56417920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017556798A Pending JP2018508418A (ja) 2015-01-20 2016-01-20 リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析

Country Status (4)

Country Link
EP (1) EP3248140A4 (ja)
JP (1) JP2018508418A (ja)
CN (1) CN107533630A (ja)
WO (1) WO2016118672A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043405B1 (ko) * 2019-06-20 2019-11-12 주식회사 첨단공간정보 지아이에스를 기반으로 하는 지형지물 변형 편집용 영상처리 편집시스템
CN111091700A (zh) * 2020-03-23 2020-05-01 北京全路通信信号研究设计院集团有限公司 用于轨道电路室外监测设备的综合配置智能终端
JP2021024521A (ja) * 2019-08-08 2021-02-22 独立行政法人自動車技術総合機構 列車位置検出装置
JP2022051524A (ja) * 2020-09-18 2022-03-31 株式会社デンソー Lidarの出力を強化するためのシステム及び方法
JP2022552172A (ja) * 2019-10-16 2022-12-15 ビーエヌエスエフ レイルウェイ カンパニー 資産を監査するためのシステム及び方法
JP2023515912A (ja) * 2020-06-05 2023-04-14 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 通信ベースの輸送システムにおいて干渉源をジオロケートする方法

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3062103B1 (fr) * 2017-01-20 2019-04-05 Pierre Messulam Systeme d'aide a la conduite de vehicules ferroviaires
EP3589527A4 (en) * 2017-02-28 2020-02-19 Thales Canada Inc. GUIDANCE-MOUNTED VEHICLE LOCATION SYSTEM
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
EP4095012A3 (en) * 2017-04-14 2023-05-03 Bayer CropScience LP Vegetation detection and alert method and system for a railway vehicle
US10599138B2 (en) 2017-09-08 2020-03-24 Aurora Flight Sciences Corporation Autonomous package delivery system
US10426393B2 (en) 2017-09-22 2019-10-01 Aurora Flight Sciences Corporation Systems and methods for monitoring pilot health
US20190095725A1 (en) * 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation Detection System for a Vehicle
US10699135B2 (en) 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects
CN108416808B (zh) * 2018-02-24 2022-03-08 斑马网络技术有限公司 车辆重定位的方法及装置
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
FR3080823B1 (fr) * 2018-05-03 2022-04-29 Thales Sa Systeme de localisation integre et autonome d'un train dans un referentiel de reseau ferroviaire
CN108648150A (zh) * 2018-05-10 2018-10-12 句容康泰膨润土有限公司 一种图像拼接方法
US11010608B2 (en) 2018-05-25 2021-05-18 Bayer Cropscience Lp System and method for vegetation management risk assessment and resolution
DE102018215697A1 (de) 2018-09-14 2020-03-19 Siemens Mobility GmbH Automatisiertes fahrzeugseitiges Steuerungssystem für ein Schienenfahrzeug
US20200103233A1 (en) * 2018-10-01 2020-04-02 GM Global Technology Operations LLC Decentralized distributed map using blockchain
US11136120B2 (en) 2018-10-05 2021-10-05 Aurora Flight Sciences Corporation Ground operations for autonomous object pickup
DK180774B1 (en) * 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US20190061771A1 (en) * 2018-10-29 2019-02-28 GM Global Technology Operations LLC Systems and methods for predicting sensor information
CN109286946B (zh) * 2018-11-13 2021-03-09 山东建筑大学 基于无依托定位的移动通信室内无线网络优化方法和***
CN111198904A (zh) * 2018-11-16 2020-05-26 千寻位置网络有限公司 数据处理方法及装置、处理***
US11346950B2 (en) * 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
US11536844B2 (en) * 2018-12-14 2022-12-27 Beijing Voyager Technology Co., Ltd. Dynamic sensor range detection for vehicle navigation
CN109948661B (zh) * 2019-02-27 2023-04-07 江苏大学 一种基于多传感器融合的3d车辆检测方法
EP3722182A1 (en) 2019-04-12 2020-10-14 Thales Management & Services Deutschland GmbH A method for safely and autonomously determining a position information of a train on a track
CN111935642B (zh) * 2019-05-13 2022-10-21 北京地平线机器人技术研发有限公司 一种可移动设备的定位方法及装置
US11581022B2 (en) * 2019-05-29 2023-02-14 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
CN112241129A (zh) * 2019-07-17 2021-01-19 中车长春轨道客车股份有限公司 控制***、方法、装置、计算机设备和存储介质
DE102019212010A1 (de) * 2019-08-09 2021-02-11 Siemens Mobility GmbH Schienenerkennung mit Lidar
CN112441075A (zh) * 2019-08-30 2021-03-05 比亚迪股份有限公司 轨道交通外部环境感知***、方法和轨道交通设备
CN110481601B (zh) * 2019-09-04 2022-03-08 深圳市镭神智能***有限公司 一种轨道检测***
US11657291B2 (en) 2019-10-04 2023-05-23 Waymo Llc Spatio-temporal embeddings
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
CN111046765B (zh) * 2019-12-02 2023-07-14 北京深测科技有限公司 一种用于高铁的危险预警方法和***
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作***及方法
CN111145166B (zh) * 2019-12-31 2023-09-01 北京深测科技有限公司 安全监控的方法及***
US20210223363A1 (en) * 2020-01-16 2021-07-22 Outsight SA Object detection on a path of travel and obstacle detection on railway tracks using free space information
CN113677583B (zh) * 2020-01-21 2023-08-15 深圳元戎启行科技有限公司 基于图计算的车辆驾驶数据处理方法、装置和计算机设备
CN111427985B (zh) * 2020-03-25 2023-04-11 北京小马慧行科技有限公司 地图更新的方法及装置、存储介质、处理器
US20230078191A1 (en) * 2020-03-30 2023-03-16 Mitsubishi Electric Corporation Data extraction apparatus, data extraction method, and storage medium
WO2021226786A1 (en) * 2020-05-11 2021-11-18 Mtr Corporation Limited On-board systems for trains and methods of determining safe speeds and locations of trains
WO2021232160A1 (en) * 2020-05-22 2021-11-25 Profound Positioning Inc. Vehicle localization system and method
US11048717B1 (en) 2020-06-16 2021-06-29 Geotab Inc. Dataset simplification of N-dimensional signals captured for asset tracking
CN111832548B (zh) * 2020-06-29 2022-11-15 西南交通大学 一种列车定位方法
US11593329B2 (en) 2020-07-31 2023-02-28 Geotab Inc. Methods and devices for fixed extrapolation error data simplification processes for telematics
US11609888B2 (en) 2020-07-31 2023-03-21 Geotab Inc. Methods and systems for fixed interpolation error data simplification processes for telematics
US11556509B1 (en) 2020-07-31 2023-01-17 Geotab Inc. Methods and devices for fixed interpolation error data simplification processes for telematic
CN112132896B (zh) * 2020-09-16 2024-05-10 北京埃福瑞科技有限公司 一种轨旁设备状态检测方法及***
CN112147635B (zh) * 2020-09-25 2024-05-31 北京亮道智能汽车技术有限公司 一种检测***、方法及装置
CN112184869A (zh) * 2020-10-09 2021-01-05 北京理工大学 基于绝对高斯曲率估计的保持几何特征的点云简化方法
CN112363837A (zh) * 2020-11-19 2021-02-12 北京航天泰坦科技股份有限公司 基于集群环境的点云数据并行处理方法和装置、设备及存储介质
US11546395B2 (en) 2020-11-24 2023-01-03 Geotab Inc. Extrema-retentive data buffering and simplification
US11838364B2 (en) * 2020-11-24 2023-12-05 Geotab Inc. Extrema-retentive data buffering and simplification
IT202000030677A1 (it) * 2020-12-15 2022-06-15 Ecosud S R L Dispositivo dinamico e relativo metodo per la ispezione cartografica e per il trasferimento di know-how
DE102020216014A1 (de) * 2020-12-16 2022-06-23 Siemens Mobility GmbH Verfahren zum Steuern einer Vorrichtung
CN112669461B (zh) * 2021-01-07 2024-01-26 中煤航测遥感集团有限公司 机场净空安全检测方法、装置、电子设备及存储介质
CN113536883B (zh) * 2021-03-23 2023-05-02 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN113514030B (zh) * 2021-07-12 2022-08-23 石家庄铁道大学 一种道床断面检测方法及***
CN113870123B (zh) * 2021-08-19 2023-01-03 中国铁路设计集团有限公司 基于车载移动激光点云的接触网导高与拉出值自动检测方法
FR3140506A1 (fr) * 2022-09-29 2024-04-05 Thales Procédé de gestion des reconfigurations réseau d'un système de communication bord/sol hybride d'un véhicule roulant ferroviaire durant un trajet
CN117311283B (zh) * 2023-10-24 2024-03-19 风凯换热器制造(常州)有限公司 换热器内部预装体的车间行车控制智能化监测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232645A (ja) * 1999-02-08 2000-08-22 Denso Corp 画像データ供給装置及び画像圧縮装置
JP2006321277A (ja) * 2005-05-17 2006-11-30 Hitachi Ltd 鉄道設備情報提供システム、鉄道設備情報提供方法、および鉄道設備情報提供プログラム
JP2010202017A (ja) * 2009-03-03 2010-09-16 Mitsubishi Electric Corp データ解析装置及びデータ解析方法及びプログラム
JP2014185947A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元復元のための画像撮影方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
CN101697229B (zh) * 2009-10-30 2012-06-13 宁波大学 一种医学图像的感兴趣区域提取方法
US8525835B1 (en) * 2010-02-24 2013-09-03 The Boeing Company Spatial data compression using implicit geometry
US20110216063A1 (en) * 2010-03-08 2011-09-08 Celartem, Inc. Lidar triangular network compression
US20130096886A1 (en) * 2010-03-31 2013-04-18 Borys Vorobyov System and Method for Extracting Features from Data Having Spatial Coordinates
US9102341B2 (en) * 2012-06-15 2015-08-11 Transportation Technology Center, Inc. Method for detecting the extent of clear, intact track near a railway vehicle
CN102799898A (zh) * 2012-06-28 2012-11-28 浙江大学 大背景下高分辨率遥感影像目标识别高效处理方法
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9846025B2 (en) * 2012-12-21 2017-12-19 Wabtec Holding Corp. Track data determination system and method
DE102013104088A1 (de) * 2013-04-23 2014-10-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur automatischen Detektion von charakteristischen Elementen, insbesondere eines Bahnübergangs, und Einrichtung dafür

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232645A (ja) * 1999-02-08 2000-08-22 Denso Corp 画像データ供給装置及び画像圧縮装置
JP2006321277A (ja) * 2005-05-17 2006-11-30 Hitachi Ltd 鉄道設備情報提供システム、鉄道設備情報提供方法、および鉄道設備情報提供プログラム
JP2010202017A (ja) * 2009-03-03 2010-09-16 Mitsubishi Electric Corp データ解析装置及びデータ解析方法及びプログラム
JP2014185947A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元復元のための画像撮影方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043405B1 (ko) * 2019-06-20 2019-11-12 주식회사 첨단공간정보 지아이에스를 기반으로 하는 지형지물 변형 편집용 영상처리 편집시스템
JP2021024521A (ja) * 2019-08-08 2021-02-22 独立行政法人自動車技術総合機構 列車位置検出装置
JP7343153B2 (ja) 2019-08-08 2023-09-12 独立行政法人自動車技術総合機構 列車位置検出装置
JP2022552172A (ja) * 2019-10-16 2022-12-15 ビーエヌエスエフ レイルウェイ カンパニー 資産を監査するためのシステム及び方法
US11932290B2 (en) 2019-10-16 2024-03-19 Bnsf Railway Company Systems and methods for auditing assets
CN111091700A (zh) * 2020-03-23 2020-05-01 北京全路通信信号研究设计院集团有限公司 用于轨道电路室外监测设备的综合配置智能终端
JP2023515912A (ja) * 2020-06-05 2023-04-14 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 通信ベースの輸送システムにおいて干渉源をジオロケートする方法
JP7395031B2 (ja) 2020-06-05 2023-12-08 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 通信ベースの輸送システムにおいて干渉源をジオロケートする方法
JP2022051524A (ja) * 2020-09-18 2022-03-31 株式会社デンソー Lidarの出力を強化するためのシステム及び方法
JP7192935B2 (ja) 2020-09-18 2022-12-20 株式会社デンソー Lidarの出力を強化するためのシステム及び方法

Also Published As

Publication number Publication date
EP3248140A2 (en) 2017-11-29
CN107533630A (zh) 2018-01-02
EP3248140A4 (en) 2018-12-05
WO2016118672A3 (en) 2016-10-20
WO2016118672A2 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
US10549768B2 (en) Real time machine vision and point-cloud analysis for remote sensing and vehicle control
JP2018508418A (ja) リモートセンシング及び車両制御のための実時間マシンビジョン並びに点群分析
US11990034B2 (en) Autonomous vehicle control system with traffic control center/traffic control unit (TCC/TCU) and RoadSide Unit (RSU) network
US11988518B2 (en) Updating high definition maps based on lane closure and lane opening
US20210004363A1 (en) Updating high definition maps based on age of maps
CN110832474B (zh) 更新高清地图的方法
JP7339635B2 (ja) インテリジェント道路インフラストラクチャシステム(iris):システム及び方法
US20180370552A1 (en) Real time machine vision system for vehicle control and protection
US10489976B2 (en) Incident site investigation and management support system based on unmanned aerial vehicles
US20210271263A1 (en) Positioning system based on geofencing framework
US11235777B2 (en) Vehicle path prediction and target classification for autonomous vehicle operation
Lv et al. LiDAR-enhanced connected infrastructures sensing and broadcasting high-resolution traffic information serving smart cities
US20210061306A1 (en) Systems and methods for identifying potential communication impediments
CN104851295B (zh) 获取路况信息的方法和***
WO2018132378A2 (en) Connected automated vehicle highway systems and methods
KR102386960B1 (ko) 커넥티드 자동화 차량 도로 시스템 및 방법
JP2023531806A (ja) インタラクティブな車両輸送ネットワークのためのシステムおよび方法
CN114631040A (zh) 用于在铁路轨道上自主定位移动车辆的设备和方法
CN116912436A (zh) 生成图像地图的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200701