JP7261527B2 - 物理オブジェクトの欠陥を判定するためのシステム及び方法 - Google Patents

物理オブジェクトの欠陥を判定するためのシステム及び方法 Download PDF

Info

Publication number
JP7261527B2
JP7261527B2 JP2021514017A JP2021514017A JP7261527B2 JP 7261527 B2 JP7261527 B2 JP 7261527B2 JP 2021514017 A JP2021514017 A JP 2021514017A JP 2021514017 A JP2021514017 A JP 2021514017A JP 7261527 B2 JP7261527 B2 JP 7261527B2
Authority
JP
Japan
Prior art keywords
image
defect
features
physical object
detector module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021514017A
Other languages
English (en)
Other versions
JP2022511313A (ja
Inventor
レイチェル コーラー、
ダレル アール． クルーガー、
ケビン ローホン、
ギャレット スミトレイ、
Original Assignee
ビーエヌエスエフ レイルウェイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビーエヌエスエフ レイルウェイ カンパニー filed Critical ビーエヌエスエフ レイルウェイ カンパニー
Publication of JP2022511313A publication Critical patent/JP2022511313A/ja
Priority to JP2023061685A priority Critical patent/JP2023093546A/ja
Application granted granted Critical
Publication of JP7261527B2 publication Critical patent/JP7261527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Description

本開示は、一般に欠陥の判定、より具体的には、物理オブジェクトの欠陥の判定に関する。
物理オブジェクトは、ビジネスの目的を実行するために様々な産業で使用される。例えば、鉄道車両は、線路上で貨物を移動する。鉄道車両と線路は、いくつかの物理オブジェクトの組み合わせを含む。時間の経過とともに、物理オブジェクトは、摩耗、破損、又はその他の欠陥を有する可能性があり、鉄道車両と線路を継続して安全に運用するためには、欠陥の修理が必要になる場合がある。通常、鉄道の構成要素などの物理オブジェクトは、欠陥を特定するために技術者が手動で検査を行う。
一実施形態によれば、方法は、欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、欠陥検出器モジュールによって、物理オブジェクトの画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップとを含む。方法はさらに、欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップと、欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップに基づいて、物理オブジェクトが欠陥を含むことを判定するステップとを含む。
別の実施形態によれば、システムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに欠陥検出器モジュールによって物理オブジェクトの画像を受信するステップ、及び欠陥検出器モジュールによって、物理オブジェクトの画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップを含む動作を実行させる命令を格納するメモリと、を含む。動作はさらに、欠陥検出器モジュールによって１つ以上の第１の分類を分析するステップ、及び欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップに基づいて、物理オブジェクトが欠陥を含むことを判定するステップをさらに含む。
さらに別の実施形態によれば、１つ以上のコンピュータ可読記憶媒体は、プロセッサによって実行されるとき、プロセッサが欠陥検出器モジュールによって物理オブジェクトの画像を受信するステップ、及び欠陥検出器モジュールによって物理オブジェクトの画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップを含む動作を実行させる命令を内蔵する。動作はさらに、欠陥検出器モジュールによって１つ以上の第１の分類を分析するステップ、及び欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップに基づいて、物理オブジェクトが欠陥を含むことを判定するステップを含む。
本開示内容の特定の実施形態の技術的利点には、以下のうちの１つ以上を含み得る。開示された画像撮影システムは、物理オブジェクトの画像を自動で撮影して、手動のデータ収集及び人的労力が排除又は削減され、時間及び費用が節約される。画像撮影システムは、手動検査では識別できない角度から鉄道の構成要素などの物理オブジェクトの画像を撮影することができ、これにより、物理オブジェクトの欠陥を検出する精度が向上し得る。開示された欠陥検出器モジュールは、機械学習アルゴリズムを使用して物理オブジェクトの欠陥を自動で検出することができ、これは、潜在的な欠陥の画像をスキャンしてラベル付けする手作業を排除することができる。本開示で説明されるシステム及び方法は、鉄道、道路、及び水路を含む異なる輸送インフラで一般化され得る。
他の技術的利点は、以下の図、説明、及び特許請求の範囲から当業者には容易に明らかになるであろう。さらに、特定の利点が上に列挙されたが、様々な実施形態は、列挙された利点の全てか一部を含む、又は全く含まない場合がある。
本開示内容の理解を助けるために、添付の図面と併せて以下の説明を参照する。
物理オブジェクトの欠陥を判定するための例示的なシステムを示す。 物理オブジェクトの欠陥を判定するための例示的な方法を示す。 物理オブジェクトの欠陥を判定するための別の例示的な方法を示す。 例示的な画像撮影システムを示す。 図４の画像撮影システムによって使用され得る例示的なモジュールを示す。 特徴をラベルでタグ付けするための例示的な方法を示す。 本明細書で説明するシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。
鉄道の構成要素などの物理オブジェクトは、ビジネスの目的を実行するために様々な産業で使用される。時間の経過とともに、物理オブジェクトが破損したり、欠陥が生じたりする可能性があり、欠陥は、鉄道車両を継続して安全に運用するために、修理が必要な場合がある。一般に、鉄道の構成要素などの物理オブジェクトは、欠陥を特定するために技術者が手動で検査を行う。
状態及び欠陥分析アルゴリズムは、１つ以上の従来のコンピュータビジョン技術（例えば、関心領域分析、フィルタリング、閾値、ブロブ技術、エッジ分析、輪郭抽出、ヒストグラム分析など）、及び様々な条件の検出を自動化するための共通の資産及び／又は欠陥ヒューリスティック（ｄｅｆｅｃｔ ｈｅｕｒｉｓｔｉｃｓ）を活用してもよい。このような技術は、非常に具体的で一貫性のある場合に効果的であるが、実際の条件下では脆弱なことが多く、保守、修正、及び強化に多くの時間を必要とし得る。
画像の分類及びセグメンテーションタスクのための機械学習アルゴリズムを使用することには、従来の算出方法とは根本的に異なる画像分析手法の方式が含まれる。ピクセルマトリックスでアルゴリズムによるフィルタリング、歪み、グループ化、セグメント化、及び算出を行う代わりに、機械学習アルゴリズム（例えば、ニューラルネットワーク）は、画像又は画像の一部が通過する一連のトレーニングされたネットワークレイヤを利用して画像の内容に対する予測を行う。
本開示の実施形態は、視覚的画像を撮影（ｃａｐｔｕｒｅ）及び分析するために深層機械学習を使用する。開示されたシステム及び方法は、移動中の車両（例えば、レール上を移動する車両、レールに沿って移動する車両など）の特定のハードウェア構成からみた物理オブジェクト（例えば、鉄道の構成要素）を認識し、及び継続的に撮影、プール、及び重み付けされた、ラベル付けされたトレーニングデータの量、多様性、及び精度に基づいて視覚的データを解釈する。開示されたシステム及び方法は、撮影された様々な物理オブジェクトのより高い精度及びより高いレベルの分析を得るために、物理オブジェクトの撮影された画像データに対してトレーニングされたモデルを使用することによって解釈を行う。機械学習アルゴリズムは、ハードウェア構成ごとにカスタムトレーニングされおり、様々な物理オブジェクトごとに最適な連続撮影及び分析を実現する。アルゴリズムは、物理オブジェクトの画像から特定の特徴を分類するために使用される。次に、分類を使用して、物理オブジェクトの欠陥を判定する。
図１～図７は、物理オブジェクトの欠陥を判定するための例示的なシステム及び方法を示す。図１は、物理オブジェクトの欠陥を判定するための例示的なシステムを示す。図２及び図３は、物理オブジェクトの欠陥を判定する例示的な方法を示す。図４は、例示的な画像撮影システム（ｉｍａｇｅ ｃａｐｔｕｒｉｎｇ ｓｙｓｔｅｍ）を示す。図５は、図４の画像撮影システムによって使用され得る例示的なモジュールを示す。図６は、特徴をラベルでタグ付けするための例示的な方法を示す。図７は、本明細書で説明するシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。
図１は、物理オブジェクトの欠陥を判定するための例示的なシステム１００を示す。図１のシステム１００は、ネットワーク１１０、欠陥検出器モジュール（ｄｅｆｅｃｔ ｄｅｔｅｃｔｏｒ ｍｏｄｕｌｅ）１２０、及び画像撮影システム１７０を含む。システム１００又はその一部は、企業、会社（例えば、鉄道会社、運輸会社など）のような任意のエンティティ、又は物理オブジェクトの欠陥を判定できる政府機関（例えば、交通部、公共***など）を含んでもよく、エンティティに関連付けられてもよい。システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合せを使用して実装され得る。
ネットワーク１１０は、システム１００の構成要素間の通信を容易にする任意のタイプのネットワークであり得る。ネットワーク１１０は、欠陥検出器モジュール１２０とシステム１００の画像撮影システム１７０とを接続してもよい。本開示は、ネットワーク１１０が特定の種類のネットワークであることを示しているが、本開示は、任意の適切なネットワークを企図する。ネットワーク１１０の１つ以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想私設通信網（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、携帯電話網、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）セルラ通信網、これらの２つ以上の組み合わせ、又はその他の適切なタイプのネットワークを含み得る。ネットワーク１１０の１つ以上の部分は、１つ以上のアクセス（例えば、モバイルアクセス）、コア、及び／又はエッジネットワークを含み得る。ネットワーク１１０は、プライベートネットワーク、パブリックネットワーク、インターネットを介した接続、モバイルネットワーク、ＷＩ－ＦＩネットワーク、ブルートゥース（登録商標）ネットワークなどの任意の通信ネットワークであってもよい。ネットワーク１１０は、１つ以上のネットワークノードを含み得る。ネットワークノードは、ネットワーク１１０を介してデータを受信、生成、格納、及び／又は送信することができる接続ポイントである。ネットワーク１１０は、クラウドコンピューティング機能を含み得る。システム１００の１つ以上の構成要素は、ネットワーク１１０を介して通信してもよい。例えば、欠陥検出器モジュール１２０は、画像撮影システム１７０からの情報の受信を含んでネットワーク１１０を介して通信してもよい。
システム１００の欠陥検出器モジュール１２０は、物理オブジェクトの欠陥１５６を判定するのに使用され得る任意の適切なコンピューティング構成要素を示す。欠陥１５６は、物理オブジェクトの有用性を潜在的に破損させる欠点である。物理オブジェクトは、識別可能な物質の集りである。物理オブジェクトには、道路、鉄道、航空路、水路、運河、パイプライン、及びターミナルの構成要素など輸送インフラの構成要素が含まれてもよい。鉄道の構成要素の例には、ジョイント、転轍機、フロッグ（ｆｒｏｇ）、レール頭部、アンカー、締結装置、ゲージプレート、バラスト、枕木（例えば、コンクリートの枕木及び木の枕木）などが含まれる。
欠陥検出器モジュール１２０は、インタフェース１２２、メモリ１２４、及びプロセッサ１２６を含む。欠陥検出器モジュール１２０のインタフェース１２２は、ネットワーク１１０から情報を受信、ネットワーク１１０を介して情報を送信、情報の適切な処理を実行、図１のシステム１００の他の構成要素（例えば、画像撮影システム１７０の構成要素）と通信、又はこれらの任意の組み合せであり得る任意の適切なコンピュータ要素を示す。インタフェース１２２は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合せを含んで実際の又は仮想の任意のポート又は接続を示し、ＬＡＮ、ＷＡＮ、又は図１のシステム１００がシステム１００の構成要素の間で情報を交換するための他の通信システムを介して通信するためのプロトコル変換及びデータ処理能力を含む。
欠陥検出器モジュール１２０のメモリ１２４は、永久的及び／又は一時的に受信及び送信された情報だけでなく、システムソフトウェア、制御ソフトウェア、欠陥検出器モジュール１２０のための他のソフトウェア、及びその他の様々な情報を格納する。メモリ１２４は、プロセッサ１２６による実行のための情報を格納し得る。メモリ１２４は、情報を格納するのに適した揮発性又は不揮発性のローカル又は遠隔装置のいずれか１つ又は組み合せを含む。メモリ１２４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気記憶装置、光学記憶装置、又は任意の他の適切な情報記憶装置、又はこれら装置の組み合わせを含み得る。メモリ１２４は、欠陥検出器モジュール１２０の動作で使用するための任意の適切な情報を含み得る。さらに、メモリ１２４は、欠陥検出器モジュール１２０の外部（又は部分的に外部）の構成要素であり得る。メモリ１２４は、メモリ１２４が欠陥検出器モジュール１２０と通信するのに適した任意の場所に配置され得る。欠陥検出器モジュール１２０のメモリ１２４は、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、及びトレーニングエンジン１４０を格納し得る。別の例として、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、及びトレーニングエンジン１４０は、メモリ１２４及び／又は欠陥検出器モジュール１２０の外部にあってもよい。
欠陥検出器モジュール１２０の画像収集エンジン１３０は、物理オブジェクトの画像１５２を収集するアプリケーションである。画像収集エンジン１３０は、ネットワーク１１０を介して画像撮影システム１７０から１つ以上の物理オブジェクトの１つ以上の画像１５２を受信し得る。画像収集エンジン１３０は、物理オブジェクトが画像撮影システム１７０によって撮影されるときに、リアルタイム又は略リアルタイムで物理オブジェクトの画像１５２を受信し得る。画像収集エンジン１３０は、スケジュール（例えば、毎分、時間、毎週など）に従って、物理オブジェクトの画像１５２を受信し得る。画像収集エンジン１３０は、１つ以上の画像１５２を結合して（例えば、つなぎ合わせて）結合した画像１５２を生成し得る。画像収集エンジン１３０は、物理オブジェクトなどの任意の適切な組み合せによって画像１５２をグループ化することができ、画像撮影システム１７０によって画像１５２が撮影され、画像収集エンジン１３０によって画像１５２が受信された時間、及び／又は画像１５２が撮影された位置１５８（例えば、地理的位置１５８）によって撮影される。
欠陥検出器モジュール１２０の分類エンジン１３２は、１つ以上の物理オブジェクトの１つ以上の画像１５２から特徴１５４を１つ以上の分類１５５に分類するアプリケーションである。各特徴１５４は、画像１５２の特徴であり得る。例えば、特徴１５４は、ボルト頭部などの鉄道の構成要素を含んでもよい。特徴１５４は、物理オブジェクト自体又は物理オブジェクトの１つ以上の構成要素を示し得る。例えば、第１の特徴１５４は、物理オブジェクト（例えば、レールジョイント）を示してもよく、１つ以上の第２の特徴１５４は、レールジョイントの構成要素（例えば、ボルト頭部、四角ナット、六角ナット、丸ナット、孔など）を示してもよい。
分類エンジン１３２は、１つ以上の機械学習アルゴリズムを適用することによって、画像１５２からのデータを分析する。機械学習アルゴリズムは、１つ以上のニューラルネットワーク（例えば、ディープニューラルネットワーク）、１つ以上のディープラーニングアルゴリズム、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）、人工知能（ＡＩ）、その他の適切なアプリケーション、又は上記の任意の適切な組み合せと関連し得る。各機械学習アルゴリズムは、１つ以上の画像１５２から１つ以上の特徴１５４を認識するために、ラベル付けされた画像データに対してトレーニングされてもよい。分類エンジン１３２によって使用される１つ以上の機械学習アルゴリズムは、画像撮影システム１７０の１つ以上の構成要素（例えば、１つ以上のカメラ）によって見られる特定の物理オブジェクト（例えば、鉄道の構成要素）を認識するようにトレーニングされる。例えば、１つ以上のＣＮＮ１６６は、画像１５２の内容についての予測を判定するために、画像１５２又は画像１５２の一部が通過する、一連の畳み込み、プーリング、縮小、及び完全に接続された層を使用することができる。１つ以上の機械学習アルゴリズムは、確実性のレベル内の１つ以上の画像１５２の１つ以上の特徴１５４を説明する１つ以上の分類１５５を出力する。確実性のレベルは、分類１５５の数、所望の精度、各分類１５５のサンプルトレーニングデータの可用性などによって変わり得る。確実性のレベルは確率として示すことができる。
１つ以上の特徴１５４を識別するために、１つ以上の分類１５５が使用される。例えば、第１の分類１５５は、レールジョイントの第１の特徴１５４を示すことができ、１つ以上の第２の分類１５５は、ボルト頭部、四角ナット、六角ナット、丸ナット、孔などのレールジョイントに関する１つ以上の第２の特徴１５４を示すことができる。分類１５５は、画像１５２内の特徴１５４の位置を含み得る。例えば、「ボルト頭部」の分類１５５は、物理オブジェクト（例えば、レールジョイント）の一部であってもよく、画像１５２内のボルト頭部の位置を含み得る。
１つ以上の分類１５５は、１つ以上の欠陥１５６を含み得る。欠陥１５６は、欠点又は欠乏である物理オブジェクトの任意の属性を含む。欠陥１５５は、亀裂、破損、孔、不一致、欠け、摩耗などのような欠点を含み得る。例えば、レールジョイントの欠陥１５５は、ボルトの欠落、破損、亀裂、枕木の状態（例えば、枕木の劣化）、レールの不一致、レール端部の割れ目、レール端部のつぶれ、バラストの状態（例えば、バラストの劣化）、適格サイズのジョイントバーなどを含み得る。別の例として、鉄道の転轍機の欠陥１５６は、つぶれたポイント、破損したポイント、欠落した締結装置（例えば、基本レール）、曲がった転轍ロッド、転轍機のポイントでのレール動作（ｒａｉｌ ｒｕｎ）、不適切な枕木間隔、不適切なロッド間隔、不適切なフランジウェー幅などを含み得る。鉄道のフロッグの欠陥１５６は、つぶれたポイント、破損したポイント、トレッド摩耗、破損したゲージプレート、曲がったゲージプレート、欠落した締結装置（例えば、欠落したフロッグボルト）、欠落したプレート、破損したガードレールなどを含み得る。
レール頭部の欠陥１５６は、レール波状摩滅、レール剥離、レールシェリング、破損したレールなどを含み得る。鉄道アンカー及び／又は締結装置の欠陥１５６は、アンカー及び／又は締結装置の欠落、不適切なアンカーパターン、クリップの欠落、スパイクの欠落などを含み得る。鉄道ゲージプレートの欠陥１５６は、曲がったゲージプレート、破損したゲージプレートなどを含み得る。鉄道バラストの欠陥１５６は、不十分なバラスト、汚れたバラスト、腐ったバラストなどを含み得る。鉄道のコンクリートの枕木の欠陥１５６は、破損した枕木、ひびが入った枕木、劣化した枕木、枕木間の不十分な距離などを含み得る。鉄道の木の枕木の欠陥１５６は、プレートカット（ｐｌａｔｅ ｃｕｔ）、ホイールカット（ｗｈｅｅｌ ｃｕｔ）、枕木間の不十分な距離、腐った枕木、中空の枕木などを含み得る。他の欠陥１５６は、撮影される物理オブジェクトに基づいて識別又は定義され得る。
欠陥検出器モジュール１２０の欠陥検出器エンジン１３４は、１つ以上の機械学習アルゴリズム（例えば、ＣＮＮ１６６）の出力分析に基づいて物理オブジェクトが１つ以上の欠陥１５６を含むか否かを判定するアプリケーションである。例えば、欠陥検出器エンジン１３４は、１つ以上の機械学習アルゴリズムによって出力された１つ以上の分類１５５を分析し得る。欠陥検出器エンジン１３４は、１つ以上のアルゴリズムを検出結果（例えば、分類１５５）に適用して、１つ以上の欠陥１５６を判定（例えば、光学的に識別）し得る。
欠陥検出器エンジン１３４は、１つ以上の欠陥１５６を識別するために１つ以上の分類１５５を分析し得る。例えば、欠陥検出器エンジン１３４は、物理オブジェクトに関連する分類１５５が欠陥１５６（例えば、破損）である場合、物理オブジェクト（例えば、レールジョイント）が欠陥１５６を含むと判定し得る。欠陥検出器エンジン１３４は、欠陥１５６に対する追加情報を生成するために、物理オブジェクトの他の特徴１５４に関する物理オブジェクト上の欠陥１５６の位置１５８を判定し得る。例えば、欠陥検出器エンジン１３４は、「破損」及び「ジョイントバー」の分類１５５を含む１つ以上の機械学習アルゴリズムの結果に基づいて、ジョイントバーの破損を識別し得る。欠陥検出器エンジン１３４は、ジョイントバーが「ボルト」の分類１５５に基づくボルトを含むと判定し得る。欠陥検出器エンジン１３４は、ボルトに対する破損の位置１５８を判定し得る。欠陥検出器エンジン１３４は、その相対位置１５８に基づいて、破損に対する追加情報を生成し得る。例えば、欠陥検出器エンジン１３４は、破損が２つの中間ボルトの間にある場合、破損を「中央破損欠陥」として分類してもよい。別の例として、欠陥検出器エンジン１３４は、破損が２つの中間ボルトの外部にある場合、破損を「１／４破損欠陥」として分類してもよい。
欠陥検出器エンジン１３４は、物理オブジェクトの欠陥１５６の地理的位置１５８を判定し得る。欠陥検出器エンジン１３４は、画像収集エンジン１３０から受信した情報を使用して地理的位置１５８を判定し得る。画像収集エンジン１３０は、１つ以上の画像１５２と関連付けられた１つ以上の地理的位置１５８を示す情報（例えば、緯度及び経度）を保存（ｃａｐｔｕｒｅ）してこの情報を欠陥検出器エンジン１３４に送信してもよい。欠陥検出器エンジン１３４は、画像収集エンジン１３０から受信した情報を任意の適切なフォーマットに変換してもよい。例えば、欠陥検出器エンジン１３４は、画像収集エンジン１３０から受信した緯度及び経度を線路タイプ、番線、ラインセグメント、マイルポストの情報などに変換してもよい。欠陥検出器エンジン１３４は、１つ以上のアルゴリズム（例えば、最も近い点のアルゴリズム）を使用して、地図（例えば、鉄道線路の既存地図）上の地理的位置１５８を特定し得る。
特定の実施形態では、欠陥検出器エンジン１３４は、レールの画像１５２内の溶接（例えば、テルミット溶接）を検出し、溶接位置を使用してマイルポストを識別し得る。それぞれの画像１５２は、幅が「ｎ」フィート（例えば、５フィート）である「ｎ」フィート（例えば、５フィート）のレールを意味してもよく、ここでｎは、任意の適切な数を示す。欠陥検出器エンジン１３４は、マイルポストに関連する物理オブジェクトの画像１５２から映像を判定することによって、物理オブジェクトの地理的位置１５８を判定してもよい。欠陥検出器エンジン１３４は、マイルポストの上昇方向及び／又は下降方向における物理オブジェクトからの映像によって、物理オブジェクトの地理的位置１５８を判定し得る。例えば、欠陥検出器エンジン１３４は、物理オブジェクトがマイルポスト１００を過ぎた特定のフィート数（例えば、１０００フィート）であると判定することができ、これは「ＭＰ １００．０＋１０００フィート」で表せ得る（例えば、出力）。別の例として、欠陥検出器エンジン１３４は、物理オブジェクトがマイルポスト１３７の前に特定のフィート数（例えば、１０００フィート）であると判定することができ、これは「ＭＰ １００．０－１０００フィート」で表され得る（例えば、出力）。特定の実施形態では、欠陥検出器エンジン１３４は、地理的位置１５８を全地球測位システム（ＧＰＳ）座標として表すことができる。
欠陥検出器エンジン１３４は、物理オブジェクトに対する欠陥１５６の位置１５８に少なくとも部分的に基づいて地理的位置１５８を判定し得る。例えば、欠陥検出器エンジン１３４は、レールジョイントに対する破損の位置１５８に部分的に基づいてレールジョイントの破損の地理的位置１５８を判定してもよい。欠陥検出器エンジン１３４は、システム１００（例えば、画像撮影システム１７０）内に位置する１つ以上のセンサ（例えば、位置センサ）に少なくとも部分的に基づいて地理的位置１５８を判定してもよい。地理的位置１５８は、座標（例えば、経度及び緯度）によって定義され得る。
欠陥検出器エンジン１３４はまた、物理オブジェクトの識別マークを判定し得る。物理オブジェクトの識別マークは、物理オブジェクトを識別するのに適した任意の文字（例えば、数字、文字など）を含んでもよい。物理オブジェクトの識別マークは、物理オブジェクトの所有者及び／又は製造業者（例えば、鉄道製造業者）を識別し得る。物理オブジェクトの識別マークは、物理オブジェクトの出所を追跡するのに使用されてもよい。例えば、識別マークには、物理オブジェクトを特定の製造バッチまで追跡できるバッチコードが含まれてもよい。欠陥検出器エンジン１３４は、物理オブジェクトの地理的位置１５８に基づいて及び／又は物理オブジェクトの１つ以上の画像１５２を分析することによって物理オブジェクトの識別マークを判定してもよい。
欠陥検出器モジュール１２０の報告エンジン１３６は、１つ以上の報告書１６０を生成するアプリケーションである。報告エンジン１３６は、欠陥検出器エンジン１３４が物理オブジェクトに欠陥１５６が含まれないと判定した場合、物理オブジェクトに欠陥がないことを示す報告書１６０を生成し得る。報告エンジン１３６は、欠陥検出器エンジン１３４が物理オブジェクトに欠陥１５６が含まれていると判断した場合、物理オブジェクトに欠陥があることを示す報告書１６０を生成し得る。報告書１６０は、欠陥１５６を伝達するための任意の適切な形態（例えば、書面及び／又は口頭）であってもよい。報告書１６０は、物理オブジェクト、特徴１５４、分類１５５、位置１５８、ラベル１６２などに関連する情報を含み得る。例えば、報告書１６０は、図６に示されるラベル１６２、位置１５８（例えば、地理的位置１５８）及び／又は識別マークを含んでもよい。報告書１６０は、１つ以上の図、表、リスト、グラフ、及び／又は情報を伝達するための他の任意の適切なフォーマットを含んでもよい。報告エンジン１３６は、報告書１６０をシステム１００の１つ以上の構成要素（例えば、画像撮影システム１７０）及び／又はシステム１００のユーザ（例えば、管理者、技術者など）に伝達してもよい。
欠陥検出器モジュール１２０のラベリングエンジン１３８は、１つ以上のラベル１６２を生成するアプリケーションである。ラベル１６２は、特徴１５４、分類１５５、欠陥１５６、及び／又は位置１５８に関連する視覚情報を提供する。ラベリングエンジン１３８は、ラベル１６２を有する１つ以上の物理オブジェクトの特徴１５４をタグ付けする。それぞれのラベル１６２は、物理オブジェクトに関連する情報を含み得る。それぞれのラベル１６２は、特徴１５４、分類１５５、位置１５８などに関する特徴１５４、確率、サイズ（例えば、直径、面積など）を含み得る。例えば、ラベル１６２は、「ボルト頭部」の分類１５５、及び特徴１５４がボルト頭部として正確に識別される確率０．７７（即ち、７７％）を説明するために、特徴１５４を「ボルト頭部（０．７７）」として示してもよい。
ラベリングエンジン１３８は、物理オブジェクト（例えば、レールジョイント）の特徴１５４を示すラベル１６２の１つ以上の部分を物理オブジェクトの図に挿入し得る。ラベリングエンジン１３８は、関連する特徴１５４が物理オブジェクトで発生する位置１５８の図上のラベル１６２の１つ以上の部分を挿入し得る。例えば、ボルト頭部の特徴１５４の場合、ラベリングエンジン１３８は、ボルト頭部が物理オブジェクト上に配置される位置１５８で物理オブジェクトの図上にラベル１６２の１つ以上の部分を挿入してもよい。ラベル１６２は、任意の適切な形状又は文字で特徴１５４を示してもよい。例えば、ボルト頭部の特徴１５４を示すラベル１６２は、正方形又は長方形の形状を有する境界ボックスであってもよい。欠陥検出器エンジン１３４は、以下の図６に説明されるように、欠陥１５６をさらに分類するためにラベル１６２を使用してもよい。
欠陥検出器モジュール１２０のトレーニングエンジン１４０は、１つ以上の機械学習アルゴリズム（例えば、ＣＮＮ１６６）をトレーニングするアプリケーションである。トレーニングエンジン１４０は、トレーニングデータ（例えば、トレーニング画像１６４）を使用して機械学習アルゴリズムをトレーニングし、それによって、物理オブジェクトを正確に認識するように重みを調整し得る。機械学習アルゴリズムは、各分類１５５に最高の精度を提供するために、画像撮影システム１７０の特定のカメラアングルのそれぞれに対してトレーニングされ得る。トレーニングエンジン１４０は、各分類１５５を示すサンプルデータ（例えば、トレーニング画像１６４）を収集することによって、１つ以上の機械学習アルゴリズムをトレーニングし得る。トレーニングエンジン１４０は、１つ以上の機械学習アルゴリズムをトレーニングして各分類１５５を認識するように、サンプルデータにラベル１６２でラベル付け、及びラベル付けされたデータを使用してもよい。トレーニングエンジン１４０は、各機械学習アルゴリズムの精度を検査するために、ラベル付けされた画像のサブセットを使用してもよい。
トレーニングエンジン１４０は、システム１００の管理者から初期トレーニングデータを受信し得る。１つ以上の機械学習アルゴリズムによって使用されるトレーニングデータ（例えば、トレーニング画像１６４）の量及び多様性は、分類１５５の数、所望の精度、及び各分類１５５のサンプルデータの可用性によって異なる。
メモリ１２４は、データベース１５０を格納し得る。データベース１５０は、欠陥検出器モジュール１２０に関する特定のタイプの情報を格納し得る。例えば、データベース１５０は、画像１５２、特徴１５４、分類１５５、欠陥１５６、位置１５８、報告書１６０、ラベル１６２、トレーニング画像１６４、及び機械学習アルゴリズム（例えば、ＣＮＮ１６６）を格納してもよい。データベース１５０は、情報を格納するのに適した揮発性又は不揮発性ローカル又は遠隔装置のうちのいずれか１つ又は組み合せであってもよい。データベース１５０は、ＲＡＭ、ＲＯＭ、磁気記憶装置、光学記憶装置、又は他の任意の適切な情報記憶装置、又はこれらの装置の組み合わせを含んでもよい。データベース１５０は、欠陥検出器モジュール１２０の外部の構成要素であってもよい。データベース１５０は、欠陥検出器モジュール１２０の情報を格納するためにデータベース１５０に適した任意の位置に配置してもよい。例えば、データベース１５０は、クラウド環境に配置されてもよい。
欠陥検出器モジュール１２０のプロセッサ１２６は、インタフェース１２２及びメモリ１２４から受信する、又はプロセッサ１２６によってアクセスされる情報を処理することによって、欠陥検出器モジュール１２０の特定の動作を制御する。プロセッサ１２６は、インタフェース１２２及びメモリ１２４に通信的に結合される。プロセッサ１２６は、情報を制御及び処理するように動作する任意のハードウェア及び／又はソフトウェアを含み得る。プロセッサ１２６は、プログラミング可能なロジックデバイス、マイクロコントローラ、マイクロプロセッサ、任意の適切な処理装置、又はこれらの任意の適切な組み合せであってもよい。さらに、プロセッサ１２６は、欠陥検出器モジュール１２０の外部の構成要素であってもよい。プロセッサ１２６は、プロセッサ１２６が欠陥検出器モジュール１２０と通信するのに適した任意の位置に配置されてもよい。欠陥検出器モジュール１２０のプロセッサ１２６は、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、及びトレーニングエンジン１４０の動作を制御する。
欠陥検出器モジュール１２０の１つ以上の構成要素は、クラウドで動作し得る。クラウドは、ネットワーク１１０を介して欠陥検出器モジュール１２０に異なるサービス（例えば、アプリケーション、サーバ、及びストレージ）を提供し得る。クラウドは、ハードウェア、ファームウェア、及びソフトウェアの適切な組み合せを使用して実装され得る。例えば、クラウドは、図７のコンピュータシステムの１つ以上の構成要素を使用して実装されてもよい。
システム１００の画像撮影システム１７０は、物理オブジェクトの画像１５２を撮影するためのシステムを示す。画像撮影システムは、サブフレーム１７２、ビーム１７４、１つ以上のモジュール１７６、照明システム１７８、暖房、換気、及び空調（ＨＶＡＣ）システム１８０、データシステム１８２、及び１つ以上のコントローラ１８４を含む。画像撮影システム１８０の構成要素は、車両（例えば、機関車）に取り付け（例えば、物理的に取り付け）られる。画像撮影システム１７０は、車両が物理オブジェクトに対して移動する間に、物理オブジェクトの１つ以上の画像１５２を撮影し得る。例えば、画像撮影システム１７０は、機関車に取り付けられ、画像撮影システム１７０は、機関車が鉄道線路に沿って移動する間にレールジョイントの画像１５２を撮影してもよい。画像撮影システム１７０は、停止した物理オブジェクトの画像１５２を撮影する間、画像撮影システム１７０が動いていることを除いて、フラットベッドドキュメントスキャナ（ｆｌａｔｂｅｄ ｄｏｃｕｍｅｎｔ ｓｃａｎｎｅｒ）と同様に動作し得る。画像撮影システム１７０は、以下の図４でより詳細に説明される。
図１は、ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０の特定の配置を示しているが、本開示は、ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０の任意の適切な配置を企図する。ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０は、物理的又は論理的に互いに全体的又は部分的に同じ場所に配置され得る。
図１は、特定の数のネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０を示しているが、本開示は、ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０の任意の適切な配置を企図する。欠陥検出器モジュール１２０及び／又は画像撮影システム１７０の１つ以上の構成要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実装され得る。
図１は、物理オブジェクトで欠陥１５６を判定するためのシステム１００を説明しているが、システム１００の１つ以上の構成要素は、他の実装に適用されてもよい。例えば、欠陥検出器モジュール１２０及び／又は画像撮影システム１７０の１つ以上の構成要素は、資産の識別（ｓｅｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及び／又は目録（ｉｎｖｅｎｔｏｒｙ）のために使用されてもよい。例えば、欠陥検出器モジュール１２０の分類エンジン１３２は、物理オブジェクト（例えば、レールジョイントバー、転轍機、クロッシング、フロッグなど）を識別して、識別された物理オブジェクトの目録を記録するのに使用されてもよい。
作動時、欠陥検出器モジュール１２０の画像収集エンジン１３０は、画像撮影システム１７０から物理オブジェクト（例えば、レールジョイント）の画像１５２を受信する。欠陥検出器モジュール１２０の分類エンジン１３２は、１つ以上の機械学習アルゴリズム（例えば、ＣＮＮ１６６）を使用して、物理オブジェクトの画像１５２からの特徴１５４（例えば、ボルト、破損、不連続部、及び孔）を分類（例えば、ボルト、破損、不連続部、及び孔）に分類する。欠陥検出器モジュール１２０の欠陥検出器エンジン１３４は、分類１５５を分析し、分析に基づいて物理オブジェクトが欠陥１５６（例えば、破損）を含むと判定する。欠陥検出器エンジン１３４は、画像１５２を使用して物理オブジェクトの他の特徴１５４に対する欠陥１５６の位置１５８を判定する。欠陥検出器エンジン１３４は、物理オブジェクトの他の特徴１５４に対する欠陥１５６の位置１５８に少なくとも部分的に基づいて、物理オブジェクトの欠陥１５６の地理的位置１５８を判定する。報告エンジン１３６は、物理オブジェクトが欠陥１５６を含むことを示す報告書１６０を生成する。報告書１６０には、欠陥１５６の地理的位置１５８が含まれる。ラベリングエンジン１３８は、１つ以上のラベル１６２で画像１５２の１つ以上の第１の特徴１５４にラベル付けする。ラベル１６２は、物理オブジェクトの欠陥１５６（例えば、破損）を示すラベル１６２を含む。
このように、図１の手動検査の必要性を削減又は排除するシステム１００は、物理オブジェクトの画像１５２を撮影し、画像１５２を分析し、１つ以上の機械学習アルゴリズムを使用して画像１５２から特徴１５４を分類し、及び分類１５５に基づいて欠陥１５６を判定することによって物理オブジェクトの欠陥１５６を判定する。
図２は、物理オブジェクトの欠陥を判定するための例示的な方法２００を示す。方法２００は、ステップ２１０で開始される。ステップ２２０で、欠陥検出器モジュール（例えば、図１の欠陥検出器モジュール１２０）は、画像撮影システム（例えば、図１の画像撮影システム１７０）から物理オブジェクトの画像（例えば、図１の画像１５２）を受信する。例えば、欠陥検出器モジュールの画像収集エンジン（例えば、図１の画像収集エンジン１３０）は、画像撮影システムからレールジョイントの画像を受信してもよい。画像撮影システムは、構成要素（例えば、機関車）に取り付けられてもよく、画像撮影システムは、構成要素が物理オブジェクトに対して動く間に画像を撮影してもよい。
ステップ２３０で、欠陥検出器モジュールは、１つ以上の機械学習アルゴリズム（例えば、図１のＣＮＮ１６６）を使用して、画像から１つ以上の特徴（例えば、図１の特徴１５４）を１つ以上の分類（例えば、図１の分類１５５）に分類する。例えば、欠陥検出器モジュールの分類エンジン（例えば、分類エンジン１３２）は、四角ナット、ボルト頭部、破損、孔、不連続部、及びバー（ｂａｒ）などの特徴を、四角ナット、ボルト頭部、破損、孔、不連続部、及びバーのそれぞれを含む分類に分類するために１つ以上のＣＮＮを使用してもよい。四角ナットとボルト頭部との間の視覚的区分は、ボルトの物理的表現に等しいため、１つ以上のアルゴリズムで四角ナットとボルト頭部の分類を単一のボルト分類に論理的に減らしてもよい。
ステップ２４０で、欠陥検出器モジュールは、１つ以上の分類を分析する。欠陥検出器モジュールの欠陥検出器エンジン（例えば、図１の欠陥検出器エンジン１３４）は、物理オブジェクトにおける欠陥（例えば、図１の欠陥１５６）の存在を識別するために、１つ以上の分類を分析してもよい。ステップ２５０にて、欠陥検出器モジュールは、分類に基づいて物理オブジェクトが欠陥であるか否かを判定する。欠陥検出器エンジンは、１つ以上の分類が欠陥（例えば、破損）を含む場合、物理オブジェクトに欠陥があるか否かを判定してもよい。
欠陥検出器モジュールが分類に基づいて物理オブジェクトに欠陥がないと判定した場合、方法２００は、ステップ２５０からステップ２６０に進み、ここで報告エンジン（例えば、図１の報告エンジン１３６）は、物理オブジェクトに欠陥がないことを示す報告書を生成する。次に、方法２００はステップ２８０に移動し、そこで方法２００は終了する。欠陥検出器モジュールが分類に基づいて物理オブジェクトに欠陥があると判定した場合、方法２００は、ステップ２５０からステップ２７０に進み、そこで報告エンジンは、物理オブジェクトに欠陥があることを示す報告書を生成する。次に、方法２００はステップ２８０に移動し、そこで方法２００は終了する。
図２に示される方法２００に対して、修正、追加、又は省略を行うことができる。方法２００は、より多くの、より少ない、又は他のステップを含み得る。例えば、方法２００は、画像内の特徴を正確に認識して分類するための欠陥検出器モジュールのトレーニングエンジン（例えば、図１のトレーニングエンジン１４０）、１つ以上のニューラルネットワーク、及び／又はアルゴリズム（例えば、ＣＮＮ）によるトレーニングを含んでもよい。別の例として、方法２００は、欠陥検出器モジュールのラベリングエンジン（例えば、図１のラベリングエンジン１３８）によって、１つ以上の特徴を示す１つ以上のラベル（例えば、図１のラベル１６２）を生成するステップを含んでもよい。ステップは、並行して、又は任意の適切な順序で実行されてもよい。方法２００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法２００の任意のステップを実行してもよい。
図３は、物理オブジェクトの欠陥を判定するための例示的な方法３００を示す。方法３００は、ステップ３０５で開始される。ステップ３１０において、欠陥検出器モジュール（例えば、図１の欠陥検出器モジュール１２０）の画像収集エンジン（例えば、図１の画像収集エンジン１３０）は、画像撮影システム（例えば、図１の画像撮影システム１７０）からの物理オブジェクトの画像（例えば、図１の画像１５２）を受信する。欠陥検出器モジュールの画像収集エンジンは、画像内のレールジョイントの存在を検出し得る。
ステップ３１５で、欠陥検出器モジュールは、画像からの第１の特徴（例えば、図１の特徴１５４）を第１の分類（例えば、図１の分類１５５）に分類する。例えば、１つ以上のＣＮＮは、「バー」、「不連続部」、及び「端柱（ｅｎｄ ｐｏｓｔ）」などの分類を検出するようにトレーニングされてもよく、欠陥検出器モジュールの分類エンジン（例えば、図１の分類エンジン１３２）は、１つ以上のＣＮＮを使用してバーの第１の特徴を「バー」の分類に分類してもよい。ステップ３２０にて、欠陥検出器モジュールは、画像を第１の特徴を囲んだ領域でトリミングする。例えば、分類エンジンは、レールジョイントのバーを囲む領域で画像をトリミングしてもよい。
ステップ３２５にて、欠陥検出器モジュールは、１つ以上のＣＮＮを使用して、画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類する。例えば、１つ以上のＣＮＮが、「ボルト頭部」、「四角ナット」、「六角ナット」、「丸ナット」、「孔」、及び「破損」などの第２の分類を検出するようにトレーニングしてもよく、欠陥検出器モジュールの分類エンジンは、１つ以上のＣＮＮを使用して、破損の第２の特徴を「破損」の分類に分類してもよい。
ステップ３３０にて、欠陥検出器モジュールは、１つ以上の第２の分類を分析する。ステップ３３５にて、欠陥検出器モジュールは、１つ以上の第２の分類を分析することに基づいて、画像が欠陥（例えば、図１の欠陥１５６）を含むか否かを判定する。例えば、欠陥検出器モジュールの欠陥検出器エンジン（例えば、図１の欠陥検出器エンジン１３４）は、１つ以上の第２の分類が欠陥である場合、物理オブジェクトの画像に欠陥（例えば、図１の欠陥１５６）が含まれると判定してもよい。
欠陥検出器モジュールが１つ以上の第２の分類に基づいて画像に欠陥が含まれていないと判定した場合、方法３００は、ステップ３３５からステップ３４５に進み、ここで報告エンジン（例えば、図１の報告エンジン１３６）は、物理オブジェクトに欠陥がないことを示す報告書を生成する。次に、方法３００は、ステップ３４５からステップ３６５に移動し、ここで方法３００は終了する。
欠陥検出器モジュールが１つ以上の第２の分類に基づいて画像に欠陥が含まれていると判定した場合、方法３００は、ステップ３３５からステップ３４０に進む。ステップ３４０で、欠陥検出器モジュールは、欠陥が物理オブジェクトの一部であるか否かを判定する。例えば、欠陥検出器エンジンは、欠陥の位置が画像の物理オブジェクトの一部である場合、物理オブジェクトが欠陥を含むと判定し得る。別の例として、欠陥検出器エンジンは、欠陥の位置が画像の物理オブジェクトの外側にある場合（例えば、同じ画像の異なる物理オブジェクトの一部）、物理オブジェクトが欠陥を含まないと判定し得る。欠陥検出器モジュールが、欠陥が物理オブジェクトの一部ではないと判定した場合、方法３００は、ステップ３４０からステップ３４５に進み、そこで、報告エンジンは、物理オブジェクトに欠陥がないことを示す報告書を生成する。次に、方法３００は、ステップ３４５からステップ３６５に移動し、ここで方法３００は終了する。
欠陥検出器モジュールが、欠陥が物理オブジェクトの一部であると判定した場合、方法３００は、ステップ３４０からステップ３５０に進み、ここで、欠陥検出器モジュールは、トリミングされた画像内の欠陥の位置を判定する。ステップ３５５で、欠陥検出器モジュールは、画像内の欠陥の位置及び画像撮影システム（例えば、図１の画像撮影システム１７０）から取得されたセンサ情報を使用して、物理オブジェクト欠陥の地理的位置（例えば、ＧＰＳ位置）を判定する。次に、方法３００はステップ３６０に進み、報告エンジンが物理オブジェクトに欠陥があることを示す報告書を生成する。報告書は、物理オブジェクトの欠陥の地理的位置を示す場合もある。次に、方法３００は、ステップ３６０からステップ３６５に移動し、ここで方法３００は終了する。
図３に示される方法３００に対して、修正、追加、又は省略を行うことができる。方法３００は、より多くの、より少ない、又は他のステップを含み得る。例えば、方法３００は、物理オブジェクト（例えば、レールジョイントバー）の欠陥（例えば、破損）を、物理オブジェクトの他の特徴（例えば、ボルト、孔、及び不連続部）に関する欠陥の位置に基づくより具体的な欠陥（例えば、中央破損ジョイントバー又は１／４破損ジョイントバー）に分類するステップをさらに含んでもよい。ステップは、並行して、又は任意の適切な順序で実行することができる。方法３００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法３００の任意のステップを実行してもよい。
図４は、例示的な画像撮影システム１７０を示す。画像撮影システム１７０は、物理オブジェクトの画像（例えば、図１の画像１５２）を撮影し、画像を欠陥検出器モジュール（例えば、図１の欠陥検出器モジュール１２０）に伝達する。画像撮影システム１７０又はその一部は、企業、会社（例えば、鉄道会社、運輸会社など）のような任意のエンティティ、又は画像を撮影する政府機関（例えば、交通部、公共***など）を含んでもよく、エンティティと関連付けられてもよい。システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合せを使用して実装され得る。
図４の画像撮影システム１７０は、車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、及びビーム１７４を含む。車両４１０は、ビーム１７４が接続され得る任意の機械である。車両４１０は、エンジン及び／又は車輪を有し得る。車両４１０は、自動車、機関車、トラック、バス、航空機、又は移動に適した他の任意の機械であり得る。車両４１０は、ビーム１７４の１つ以上の構成要素（例えば、センサ、カメラなど）が画像の撮影を許容する任意の速度で作動してもよい。例えば、車両４１０は、時速７０マイルを走行する鉄道車両であってもよい。
画像撮影システム１７０の回転位置エンコーダ４２０は、車軸回転を測定するために使用されるホイールエンコーダ又は他のタイミング装置である。回転位置エンコーダ４２０は、車軸が回転する回数を測定し得る。回転位置エンコーダ４２０は、車両４１０の軸に取り付けられ得る。回転位置エンコーダ４２０は、画像撮影システム１７０の１つ以上の構成要素に物理的に及び／又は論理的に接続され得る。例えば、回転位置エンコーダ４２０は、モジュール１７６の１つ以上のカメラ及び／又はセンサに物理的に及び／又は論理的に接続されてもよい。別の例として、回転位置エンコーダ４２０は、コントローラ１８４に物理的に及び／又は論理的に接続されてもよい。
回転位置エンコーダ４２０は、車両４１０の移動速度に関係なく、カメラが同じ遠近及び比率の画像を確実に撮影するようにモジュール１７６のカメラと通信してもよい。例えば、回転位置エンコーダ４２０は、ビーム１７４の複数のカメラと同期して、全てのカメラが同時に画像を確実に撮影するようにしてもよい。別の例として、回転位置エンコーダ４２０は、第１の速度（例えば、時速７マイル）で車両４１０と共に移動するカメラが、第２の速度（例えば、時速７０マイル）で車両４１０と共に移動するカメラと同じ遠近及び比率である画像を確実に撮影するようにビーム１７４のカメラと同期してもよい。
画像撮影システム１７０のサブフレーム１７２は、車両４１０をビーム１７４に接続する中間構造である。サブフレーム１７２は、複数の位置で車両４１０と係合する。サブフレーム１７２は、１つ以上のボルト４３０、溶接部、及び／又は任意の他の適切な結合を用いて車両４１０及び／又はビーム１７４に接続し得る。サブフレーム１７２のスロット４４０は、ビーム１７４のレベル及び／又は高さの調整を提供する。スロット４４０は、垂直及び／又は水平であり得る。サブフレーム１７２の垂直に配向したスロット４４０は、ビーム１７４の高さ調整を提供する。サブフレーム１７４は、車両４１０の前方端部、車両４１０の後方端部、車両４１０の側面、又は、車両４１０をビーム１７４に接続するための他の任意の適切な場所に接続され得る。サブフレーム１７２は、金属（例えば、鋼鉄又はアルミニウム）、プラスチック、又は車両４１０とビーム１７４を接続するのに適した他の任意の材料で製造されてもよい。特定の実施形態では、サブフレーム１７２は、ビーム１７４が車両４１０に直接取り付けられるように省略されてもよい。
画像撮影システム１７０のビーム１７４は、画像を撮影するために使用される構成要素（例えば、カメラ及びセンサ）を含んで方向付ける構造である。特定の実施形態では、ビーム１７４は、固定された物理オブジェクトの画像１５２を撮影している間、ビーム１７４が動いている点を除いて、フラットベッドドキュメントスキャナと同様に作動する。ビーム１７４は、サブフレーム１７２と係合する。例えば、ビーム１７４は、ボルト４３０でサブフレーム１７２にボルトで固定されてもよい。図４に示した実施形態では、ビーム１７４は、２つの端部セクション及び中央セクションを含む３つのセクションを有する。ビーム１７４は、中央セクションがビーム１７４の中央に向かって内側に曲がるようなガルウィング構成（ｇｕｌｌｗｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を有する。ガルウィング構成は、ビーム１７４内のモジュール１７６の画像撮影構成要素（例えば、センサ、カメラなど）が撮影される物理オブジェクトに対して適切に配向されるようにする。特定の実施形態では、ビーム１７４の中央セクションは省略されてもよく、各端部セクションは、サブフレーム１７２に接続される。ビーム１７４は、金属（例えば、鋼鉄又はアルミニウム）、プラスチック、又はビーム１７４の構成要素を収容し、ビーム１７４をサブフレーム１７２に取り付けるのに適した他の任意の材料で製造されてもよい。
ビーム１７４は、１つ以上の開口部４５０を含み得る。開口部４５０は、ビーム１７４内にモジュール１７６の配置を提供し得る。開口部は、モジュール１７６の設置、調整、及びメンテナンスを可能にし得る。ビーム１７４が特定のサイズ及び形状を有するものとして図４に示されているが、ビーム１７４は、その構成要素（例えば、モジュール１７６）を収容及び配向するのに適した任意のサイズ及び形状を有し得る。ビーム１７４の設計に寄与できる他の要素には、耐衝撃性、耐振動性、耐候性の考慮事項、耐久性、メンテナンスの容易さ、校正の考慮事項、及び設置の容易さが含まれる。
ビーム１７４は、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４を含む。モジュール１７６は、画像を撮影するための構成要素を収容する。各モジュール１７６は、１つ以上のセンサ、カメラなどを含み得る。モジュール１７６は、ビーム１７４内に配置され、ビーム１７４内の画像撮影構成要素の位置決め及び支持をサポートする。モジュール１７６は、保守性と調整を可能にするように設計されている。
特定の実施形態では、ビーム１７４の各端部セクションは、１つ以上のカメラモジュール１７６を収容する。例えば、ビーム１７４の第１端部セクションは、レールの枕木及びバラスト領域の画像を撮影する２つの下向きカメラを含むモジュール１７６を収容し得る。ビーム１７４の第１端部セクションは、レールに対して実質的に水平である第１端部セクションの部分に２つの下向きのカメラを収容し得る。第１端部セクションに対向するビーム１７４の第２端部セクションは、各モジュールがレール及びレール固定システムの両側の画像を撮影する２つの角度付きカメラを含む２つのモジュール１７６を収容し得る。ビーム１７４の第２端部セクションは、レールに対してある角度（例えば、４５度の角度）にある第２端部セクションの部分に４つの角度付きカメラを収容し得る。
画像撮影システム１７０のモジュール１７６は、検出及び／又は測定の要件に応じて、様々なタイプのセンサを収容し得る。モジュール１７６によって収容されるセンサは、光学センサ（例えば、可視光線（単色及びカラー）、赤外線、紫外線、及び／又は熱用のカメラ）、モーションセンサ（例えば、ジャイロスコープ、及び加速度計）、光検出及び距離測定（ＬＩＤＡＲ）センサ、超分光センサ、ＧＰＳセンサなどを含み得る。偏向又はプロファイルを測定するためのレーザ三角測量を行うために、光学センサとレーザを共に使用してもよい。ＬＩＤＡＲセンサは、３次元（３Ｄ）点群データを生成するのに使用してもよい。ハイパースペクトルセンサは、特定の波長応答に使用してもよい。例示的なモジュール１７６は、以下の図５で説明される。
画像撮影システム１７０の照明システム１７８は、画像を撮影するための外部照明を提供する。照明システム１７８は、日中及び暗闇で画像を撮影するための照明を提供する。照明システム１７８は、照明システム１７８が所定の速度（例えば、時速７０マイル）で移動する間に、固定された物理オブジェクトの画像を撮影するのに十分な照明強度を提供し、照明を適切に配向するためのメカニズムを含み得る。照明システム１７８は、画像撮影のための適切な照明を提供するのに適した任意のタイプの照明を含み得る。照明システム１７８は、発光ダイオード（ＬＥＤ）照明（例えば、白色ＬＥＤ照明、オフロード競走ＬＥＤ照明など）、ライトバー（例えば、オフロード競走ＬＥＤライトバー）、補助照明（例えば、ＬＥＤ補助照明）、赤外線照明、これらの組み合せ、又はその他の適切なタイプの照明を含んでもよい。照明システム１７８は、レーザ照明、赤外線照明、紫外線照明、又はモジュール１７６の１つ以上の構成要素（例えば、センサ、カメラなど）によって必要とされる任意の他の適切なタイプの照明を提供する１つ以上の構成要素を含んでもよい。
画像撮影システム１７０のＨＹＡＣシステム１８０は、画像撮影システム１７０のビーム１７４に暖房、換気、及び／又は空調を提供する。ＨＹＡＣシステム１８０は、ビーム１７４の環境条件（例えば、内部温度、湿度など）を調節し得る。ＨＹＡＣシステム１８０は、ビーム１７４のモジュール１７６の動作要件が満たされていることを保障するために、ビーム１７４の環境条件を監視し得る。例えば、ＨＹＡＣシステム１８０は、モジュール１７６（例えば、カメラ及びセンサ）が厚い時期に動作するための強化された環境を保障するために、ビーム１７４に冷却を提供してもよい。ＨＹＡＣシステム１８０は、凝縮器、蒸発器、圧縮機、膨張弁、ベルト、ホース、冷媒などのうちの１つ以上を含む従来のＨＹＡＣシステムであってもよい。
ＨＹＡＣシステム１８０は、空気動力渦発生装置（ａｉｒ－ｐｏｗｅｒｅｄ ｖｏｒｔｅｘ ｇｅｎｅｒａｔｏｒ）を介してビーム１７４に冷却を提供し得る。車両４１０（例えば、機関車）の主リザーバシステムから乾燥、濾過、及び調節された空気が渦発生装置に適用され得る。渦発生装置（ｖｏｒｔｅｘ ｇｅｎｅｒａｔｏｒ）は、冷却された圧縮空気をビーム１７４に適用し得る。冷却された空気は、直接適用するために、各モジュール１７６（例えば、１つ以上のセンサ）に送られてもよい。渦発生装置は、湿度調節器としても機能し得る。例えば、渦発生装置は、湿度を約５０％に調節してもよい。圧縮空気は、ビーム１７４にわずかな正圧を提供することができ、これは、外部のほこり及び／又は破片が小さい孔を通ってビーム１７４に入るのを防ぐことができる。
画像撮影システム１７０のデータシステム１８２は、画像撮影システム１７０の１つ以上の構成要素から受信した全てのデータ（例えば、センサデータ）を１つ以上のコンピュータ、１つ以上のコントローラ（例えば、コントローラ１８４）、及び／又は１つ以上の記憶装置に接続して指示する。データシステム１８２は、データをコントローラ及び／又は記憶装置に通信するための１つ以上のデータケーブルを含み得る。データシステム１８２のデータケーブルは、ビーム１７４の内部に存在する内部ケーブルを含み得る。データシステム１８２のデータケーブルは、ビーム１７４の外部に存在する外部ケーブルを含み得る。内部ケーブル及び外部ケーブルは、ビーム１７４の壁に位置する耐候性コネクタによって結合され得る。１つ以上の外部ケーブルは、１つ以上のコンピュータ、１つ以上のコントローラ、及び／又は１つ以上の記憶装置に送られ得る。データシステム１８２のデータケーブルは、データの流入及び／又は流出のための経路を提供する。例えば、データシステム１８２のデータケーブルは、コントローラ１８４からの信号流入をトリガーしてもよい。別の例として、データシステム１８２は、任意の適切な無線又はセルラ通信プロトコルを使用して、データをコントローラ１８４及び／又は記憶装置に無線で通信してもよい。
画像撮影システム１７０のコントローラ１８４は、画像撮影システム１７０のための情報を処理するのに使用され得る任意の適切なコンピューティング構成要素を示す。コントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素を調整し得る。コントローラ１８４は、モジュール１７６、照明システム１７９、ＨＶＡＣシステム１８０、データシステム１８２、車両４１０、及び／又は回転位置エンコーダ４２０からデータを受信し得る。コントローラ１８４は、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、及び回転位置エンコーダ４２０の入力及び／又は出力を監視し得る。コントローラ１８４は、ユーザ（例えば、技術者）が画像撮影システム１７０に直接結合することを可能にする通信機能を含み得る。例えば、コントローラ１８４は、コンピュータ（例えば、ラップトップ）の一部であってもよく、ユーザは、コンピュータのインタフェース（例えば、スクリーン、グラフィクユーザインタフェース（ＧＵＩ）、又はパネル）を介してコントローラ１８４にアクセスしてもよい。コントローラ１８４は、ネットワーク（例えば、図１のネットワーク１１０）を介して画像撮影システム１７０の１つ以上の構成要素と通信してもよい。例えば、コントローラ１８４は、ＬＡＮを介して、及び／又はセルラ又は無線ネットワークなどのＷＡＮ上のリモート端末から、画像撮影システム１７０の１つ以上の構成要素と通信してもよい。コントローラ１８４は、車両４１０内部に配置されてもよい。
コントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素への調整を開始し得る。調整は、１つ以上の条件に応答して、コントローラ１８４によって自動的に開始され得る。例えば、コントローラ１８４は、ビーム１７４内の温度が所定の値を超えたときに、ビーム１７４に冷却を提供するようにＨＶＡＣシステム１８０に指示してもよい。調整は、コントローラ１８４のユーザ（例えば、コントローラ１８４を含むコンピュータを使用する技術者）によって局所的に（例えば、車両４１０内で）開始されてもよい。調整は、コントローラ１８４によって遠隔的に（例えば、セルラ又は無線リンクを介して））開始されてもよい。調整は、照明システム１７８（例えば、照明方向、照明強度など）の調整、ＨＶＡＣシステム１８０（例えば、温度、湿度など）の調整、カメラの向きの調整などを含んでもよい。
画像撮影システム１７０のコントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素の電力状態を監視し得る。コントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素（例えば、モジュール１７６のセンサ）に電力を提供し得る。コントローラ１８４は、リモートリセットなどの非データ機能を使用し得る。コントローラ１８４は、回転位置エンコーダ４２０からトリガー信号を受信し、その信号をモジュール１７６のコントローラ（例えば、センサコントローラ）に分配し得る。モジュール１７６のコントローラは、制御システム信号を用いてリアルタイムでモジュール１７６（例えば、センサ）の１つ以上の構成要素を作動させ得る。画像撮影システム１７０は、外部の特徴（例えば、でこぼこの線路）によって引き起こされる車両の動きを説明するためのトリガー信号補償係数を提供するジャイロスコープ及び加速度計などの１つ以上のモーション検出センサを含み得る。
特定の実施形態では、画像撮影システム１７０は、車両４１０の速度を受信し得る。コントローラ１８４は、ＧＰＳ受信機、レーダー速度測定システム、レーザ速度測定システム、又は、車両４１０の速度を測定するように動作可能な任意の他の適切な構成要素からの速度（例えば、ＧＰＳの速度信号）を受信し得る。
図４は、車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４の特定の配置を示しているが、本開示は、車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４の任意の適切な配置を企図する。例えば、照明システム１７０は、ビーム１７４の外部に配置されてもよい。車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４は、物理的又は論理的に互いに全体的又は部分的に同じ場所に配置されてもよい。
図４は、特定数の車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４を示しているが、本開示は、任意の適切な数の車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８０を企図する。例えば、画像撮影システム１７０は、車両４１０の前方端部にある第１ビーム１７４、及び車両４１０の後方端部にある第２ビーム１７４を含んでもよい。別の例として、画像撮影システム１７８は、複数のコントローラ１８４（例えば、コントローラ及びサブコントローラ）を含んでもよい。画像撮影システム１７０の１つ以上の構成要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実装されてもよい。
図５は、図４の画像撮影システム１７０によって使用され得る例示的なモジュール１７６を示す。モジュール１７６は、カメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５を含む。カメラ５１０は、物理オブジェクトの画像（例えば、図１の画像１５２）を撮影する任意の装置である。例えば、カメラ５１０は、レールの構成要素（例えば、レールジョイント、転轍機、フロッグ、締結装置、バラスト、レール頭部、及び／又はレールの枕木）の画像を撮影してもよい。特定の実施形態では、カメラ５１０は、センサである。
１つ以上のカメラ５１０は、異なる角度から１つ以上の物理オブジェクトの画像を撮影し得る。例えば、１つ以上のカメラ５１０は、任意の与えられた位置で鉄道システムの両側のレールの画像を撮影してもよい。各ビーム（例えば、図４のビーム１７４）は、複数のカメラ５１０を含み得る。ビームは、物理オブジェクトの俯瞰画像を撮影するために、真下に向けられた第１カメラ５１０を含んでもよい。ビームは、物理オブジェクトの角度のある画像を撮影するために下向き及び外向きに向けられた第２カメラ５１０を含んでもよい。
カメラ５１０は、ラインスキャンカメラであり得る。ラインスキャンカメラには、１列のピクセルが含まれる。カメラ５１０は、デュアルラインスキャンカメラであってもよい。デュアルラインスキャンカメラは、同時に撮影及び／又は処理できる２列のピクセルを含む。カメラ５１０が物理オブジェクト上を移動すると、カメラ５１０は、物理オブジェクトの完全な画像をソフトウェアで１行ずつ再構成できるように画像を撮影してもよい。カメラ５１０は、最大１４０キロヘルツの撮影速度を有し得る。カメラ５１０は、少なくとも１／１６インチのサイズの物理オブジェクトを検出するための解像度及び光学系を有し得る。代替の実施形態では、カメラ５１０は、エリアスキャンカメラであってもよい。
カメラ５１０は、入射光をカメラ５１０のセンサに集束及び向けるレンズ５２０を含む。レンズ５２０は、一片のガラス又は他の透明な物質であってもよい。レンズ５２０は、任意の適切な材料（例えば、スチール、アルミニウム、ガラス、プラスチック、又はこれらの組み合せ）で製造され得る。
上部プレート５３０及びベースプレート５４０は、モジュール１７６の１つ以上の構成要素（例えば、カメラ５１０又はセンサ）を配置、支持、及び／又は安定化するために使用される構造要素である。上部プレート５３０及び下部プレート５４０は、任意の適切な材料（例えば、スチール、アルミニウム、プラスチック、ガラスなど）で製造され得る。上部プレート５３０は、１つ以上のボルト５７０でベースプレート５４０に接続され得る。ボルト５７０（例えば、ジャッキボルト）は、カメラ５１０のピッチ及び／又はロールの方向を変更するために使用され得る。例えば、ボルト５７０は、上部プレート５３０とベースプレート５４０との間の有効高さを変更するために使用されてもよい。上部プレート５３０及び／又はベースプレート５４０は、モジュール１７６の振動及び／又は衝撃を低減するように調整されてもよい。上部プレート５３０及び／又はベースプレート５４０は、より冷たい天候の期間に作動するようにカメラ５１０及びレンズ５２０に暖かい環境を提供するための抵抗性加熱要素を含んでもよい。
カバープレート５５０は、ベースプレート５４０を覆うプレートである。カバープレート５５０は、任意の適切な材料（例えば、ガラス、スチール、アルミニウムなど）で製造され得る。カバープレート５５０は、開口部５８０を含む。開口部５８０は、カメラ５１０のレンズが物理オブジェクトを見る開口の役割をし得る。開口部５８０は、環境から検出された信号の送信が、カメラ５１０のセンサに到達できるようにする。開口部５８０は、カメラ５１０のビューを収容するのに適した任意のサイズ（例えば、楕円形、長方形など）であり得る。カメラ５１０及び／又は空気圧縮機５８５のレンズ５２０は、開口部５８０の真上に配置し得る。空気圧縮機５８５は、上記の図４で説明されたように、空気動力の渦発生装置を介してビーム１７４に冷却を提供し得る。
クリーニング装置（Ｃｌｅａｎｉｎｇ ｄｅｖｉｃｅ）５６０は、レンズ５２０及び／又はカメラ５１０のセンサを環境から保護する任意の装置である。クリーニング装置５６０は、開口部５８０を介する視界を遮る可能性のある、ほこり、小さな破片、水、及び／又はその他の項目を取り除く。クリーニング装置５６０は、モジュール１７６の構成要素（例えば、カメラ又はセンサ）によって送信される信号の妨害を最小限に抑えるか、又は障害を無くす。クリーニング装置５６０は、カバープレート５５０とベースプレート５４０との間に設けられ得る。特定の実施形態では、クリーニング装置５６０は、カバープレート５５０及び／又はベースプレート５４０に物理的に接続される。クリーニング装置５６０は、任意の適切な材料（例えば、ガラス、スチール、アルミニウムなど）で製造され得る。クリーニング装置５６０は、モジュール１７６の外面（例えば、モジュール１７６の底面）に配置されてもよい。
クリーニング装置５６０は、カメラ５１０のレンズ５２０をクリーニングするために任意の適切な方法を使用し得る。例えば、クリーニング装置５６０は、圧縮空気、圧縮ガス、又はクリーニング液を放出するクリーニング剤を含み得る。クリーニング装置５６０は、ワイパブレード、ブラシ、又はレンズ５２０をクリーニングするための任意の他の適切な方法を含み得る。特定の実施形態では、クリーニング剤は、圧縮空気又は圧縮ガスを放出する圧縮機（例えば、空気圧縮機５８５）である。圧縮空気又は圧縮ガスは、コアンダ効果を活用するように設計されたオリフィスを介して排出され、これは、周囲の大気を１次流に流入させて、レンズ５２０を横切って変位する空気の量（空気流については表記法５９０参照）を増幅させる。特定の実施形態では、クリーニング装置５６０は、ＨＶＡＣシステムの一部であってもよい（例えば、図４のＨＶＡＣシステム１８０）。
図５は、カメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５の特定の配置を示しているが、本開示は、カメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５の任意の適切な配置を企図する。図５は、特定数のカメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５を示しているが、本開示は、任意の適切な数のカメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５を企図する。例えば、モジュール１７６は、複数のカメラ５１０を含んでもよい。モジュール１７６の１つ以上の構成要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実装され得る。
図６は、ラベル１６２で特徴１５４をタグ付けするための例示的な方法６００を示す。図６は、レール６３０及びレールジョイントバー６３２の図を含む。方法６００は、ステップ６１０で始まり、ここで、分類エンジン（例えば、図１の分類エンジン１３２）は、レールジョイント１３２の特徴１５４を識別する。特徴１５４は、第１四角ナット６３４、第１ボルト頭部６３６、第１孔６３８、第２孔６４０、第２四角ナット６４２、第２ボルト頭部６３６、破損６４６、及び不連続部６４８を含む。破損６４６は、レールジョイントバー６３２の欠陥（例えば、図１の欠陥１５６）を示す。不連続部６４８は、レール６３０の間の分離を示す。分類エンジンは、１つ以上のＣＮＮを使用してレールジョイント１３２の特徴１５４を識別（例えば、分類）し得る。
方法６００のステップ６２０で、ラベリングエンジン（例えば、図１のラベリングエンジン１３８）は、ラベル１６２でレールジョイント１３２の特徴１５４をタグ付けする。図示するように、ラベリングエンジンは、特徴６３４を「四角ナット（０．８４）」としてタグ付けし、特徴６３６を「ボルト頭部（０．７７）」としてタグ付けし、特徴６３８を「孔（０．８９）」としてタグ付けし、特徴６４０を「孔（０．８９）」としてタグ付けし、特徴６４２を「四角ナット（０．８４）」としてタグ付けし、特徴６４４を「ボルト頭部（０．７７）」としてタグ付けし、特徴６４６を「破損（０．８３）」としてタグ付けし、及び特徴６４８を「不連続部（０．８７）」としてタグ付けする。各ラベルは、各特徴１５４の分類（例えば、図１の分類１５５）及び各分類が各特徴を正確に識別する確率を含む。例えば、「ボルト頭部（０．７７）」としてタグ付けされた特徴６３６は、「ボルト頭部」の分類と、「ボルト頭部」が特徴６３６を正確に識別する確率０．７７（例えば、７７％）を示す。別の例として、「孔（０．８９）」としてタグ付けされた特徴６３８は、「孔」の分類と、「孔」が特徴６３８を正確に識別する確率０．８９（例えば、８９％）を示す。別の例として、「破損（０．８３）」としてタグ付けされた特徴６４６は、「破損」の分類と、「破損」が特徴６４６を正確に識別する確率０．８３（例えば、８３％）を示す。別の例として、「不連続部（０．８７）」としてタグ付けされた特徴６４８は、「不連続部」の分類と、「不連続部」が特徴６４８を正確に識別する確率０．８７（例えば、８７％）を示す。
分類及び／又は確率は、１つ以上の機械学習ネットワーク（例えば、ＣＮＮ）及び／又はアルゴリズムを使用する分類エンジンによって判定され得る。図示した実施形態では、各境界ボックスの位置は、他の特徴１５４に対する、及びレールジョイントバー６３２に対する各特徴１５４の位置を示す。各境界ボックスは、任意の適切な四角形形（即ち、正方形、長方形など）であり得る。物体検出モデルは、検出された分類の境界ボックス、及びラベル１６２を出力するために使用されてもよい。図６に示した実施形態は、境界ボックスを備える特徴１５４を表しているが、特徴１５４は、任意の適切な形状及び／又は文字によって表現されてもよい。
方法６００は、欠陥をさらに分類するために使用され得る。図６では、欠陥は「破損」として示されている。１つ以上の機械学習アルゴリズム（例えば、図１のＣＮＮ１６６）は、四角ナット、ボルト頭部、破損、ホール、不連続部、及びバーの図示された分類を認識するようにトレーニングされ得る。１つ以上のＣＮＮは、四角ナットとボルト頭部とを視覚的に区別するようにトレーニングされているが、２つの分類の視覚的表現は、ボルトの存在の物理的表現と同等である。欠陥検出器エンジン（例えば、図１の欠陥検出器エンジン１３４）は、１つ以上のアルゴリズムを使用して四角ナット及びボルト頭部の分類を単一のボルトの分類に論理的に減らすことができる。欠陥検出器エンジンは、検出されたオブジェクト（即ち、ボルト、破損、孔、及び不連続部）のそれぞれの相対位置（例えば、図１の位置１５８）を確認するために、１つ以上のアルゴリズムを使用してもよい。
欠陥検出器エンジンは、ジョイントバーで検出された破損が相対位置を使用して、中央破損又は１／４破損欠陥であるか否かを判定するために、１つ以上のアルゴリズムを使用し得る。図示した実施形態では、破損に対して検出された境界ボックスは、２つの中間ボルトの間に位置する（例えば、「ボルト頭部（０．７７）「及び」四角ナット（０．８４）」）。欠陥検出器エンジンは、２つの中間ボルトの間の破損の位置によって、破損が中央の破損したジョイントバーの欠陥であると判定することができ、これは、破損が不連続部に非常に近接していることを示す。代替の実施形態では、破損は、２つの中間ボルトの外部に位置することがあり、欠陥検出器エンジンは、２つの中間ボルトの外部の破損位置に起因する１／４が破損したジョイントバーであると判定し得る。
図６に示された方法６００に対して、修正、追加、又は省略を行うことができる。方法６００は、より多くの、より少ない、又は他のステップを含み得る。例えば、上述したように、方法６００は、物理オブジェクトの他の特徴（例えば、ボルト、孔、及び不連続部）に関する欠陥の位置に基づいて物理オブジェクト（例えば、レールジョイントバー）の欠陥（例えば、破損）をより具体的な欠陥（例えば、中央破損ジョイントバー又は１／４破損ジョイントバー）に分類するステップをさらに含んでもよい。ステップは、並行して、又は任意の適切な順序で実行されてもよい。方法６００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法６００の任意のステップを実行してもよい。
図７は、本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。例えば、図１のネットワーク１１０、欠陥検出器モジュール１２０、及び画像撮影システム１７０は、１つ以上のインタフェース７１０、処理回路７２０、メモリ７３０、及び／又は他の適切な要素を含み得る。インタフェース７１０（例えば、図１のインタフェース１２２）は、入力を受信し、出力を送信し、入力及び／又は出力を処理し、及び／又は他の適切な動作を行う。インタフェース７１０は、ハードウェア及び／又はソフトウェアを含み得る。
処理回路７２０（例えば、図１のプロセッサ１２６）は、構成要素の動作を実行又は管理する。処理回路７２０は、ハードウェア及び／又はソフトウェアを含み得る。処理回路の例には、１つ以上のコンピュータ、１つ以上のマイクロプロセッサ、１つ以上のアプリケーションなどが含まれる。特定の実施形態では、処理回路７２０は、入力から出力を生成するようなアクション（例えば、動作）を行うためにロジック（例えば、命令）を実行する。処理回路７２０によって実行されるロジックは、１つ以上の有形の非一時的なコンピュータ可読媒体（例えば、メモリ７３０）に符号化され得る。例えば、ロジックは、コンピュータプログラム、ソフトウェア、コンピュータ実行可能命令、及び／又はコンピュータによって実行され得る命令を含んでもよい。特定の実施形態では、実施形態の動作は、コンピュータプログラムを格納、具現化、及び／又は符号化し、及び／又は格納及び／又は符号化されたコンピュータプログラムを有する１つ以上のコンピュータ可読媒体によって実行されてもよい。
メモリ７３０（又はメモリユニット）は、情報を格納する。メモリ７３０（例えば、図１のメモリ１２４）は、１つ以上の非一時的、有形、コンピュータ可読、及び／又はコンピュータ実行可能な記憶媒体を含み得る。メモリ７３０の例には、コンピュータメモリ（例えば、ＲＡＭ又はＲＯＭ）、大容量記憶媒体（例えば、ハードディスク）、リムーバブル記憶媒体（例えば、コンパクトディスク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ））、データベース、及び／又はネットワークストレージ（例えば、サーバ）、及び／又はその他のコンピュータ可読媒体が含まれる。
本明細書では、コンピュータ可読非一時的記憶媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ ｏｒ ｍｅｄｉａ）は、１つ以上の半導体ベース又は他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向けＩＣ（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、安全なデジタルカード又はドライブ、その他の適切なコンピュータ可読の非一時的記憶媒体、又は必要に応じて、これらの２つ以上の適切な組み合せを含んでもよい。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不揮発性との組み合せであってもよい。
本明細書において、「又は」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、包括的であり排他的でない。従って、本明細書では、「Ａ又はＢ」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、「Ａ、Ｂ又はその両方」を意味する。さらに、「及び」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、共同及び別々のものである。従って、本明細書で「Ａ及びＢ」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、「Ａ及びＢ、共同又は個別」を意味する。
本開示の範囲は、当業者が理解できる本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換、変形、変更、及び修正を含む。本開示の範囲は、本明細書に記載又は図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び例示するが、これらの実施形態のいずれも、当業者が理解できる本明細書に記載又は図示された任意の構成要素、要素、特徴、機能、動作、又はステップのいずれかの任意の組み合せ又は順列を含み得る。さらに、特定の機能を実行するように適切に構成して配置され、作動又は作動可能な装置、又はシステム、又はその構成要素に関する添付の特許請求の範囲への言及は、その装置、システム、又は構成要素が適切に構成して配置され、作動又は作動可能、又は特定の機能が活性化又は解除されたかに関わらず、その装置のシステム又は構成要素を含む。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を説明又は例示しているが、特定の実施形態では、これらの利点を提供しないか、一部又は全てを提供してもよい。

Claims (41)

  1. 方法であって、
    欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含むステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとを含み、
    前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
    方法。
  2. 前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて、前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
    を含む、請求項１に記載の方法。
  3. 前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項１に記載の方法。
  4. 前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項１に記載の方法。
  5. 前記物理オブジェクトは、レールジョイントであり、
    前記欠陥は、破損したレールジョイントであり、
    前記１つ以上の第１の分類は、
    ボルト、破損、孔、及び不連続部のうちの１つ以上を含む、請求項１に記載の方法。
  6. 前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップを含む、請求項１に記載の方法。
  7. 前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項１に記載の方法。
  8. １つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに動作を実行させる命令を格納するメモリと、を含むシステムであって、
    前記動作は、
    欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとを含み、
    前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
    システム。
  9. 前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて、前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
    を含む、請求項８に記載のシステム。
  10. 前記動作は、前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項８に記載のシステム。
  11. 前記動作は、前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項８に記載のシステム。
  12. 前記物理オブジェクトは、レールジョイントであり、
    前記欠陥は、破損したレールジョイントであり、
    前記１つ以上の第１の分類は、
    ボルト、破損、孔、及び不連続部のうちの１つ以上を含む、請求項８に記載のシステム。
  13. 前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含む、請求項８に記載のシステム。
  14. 前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項８に記載のシステム。
  15. プロセッサによって実行されるとき、プロセッサに、動作を実行させる命令を含むコンピュータプログラムであって、
    前記動作は、
    欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
    欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとを含み、
    前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
    コンピュータプログラム。
  16. 前記動作は、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
    をさらに含む、請求項１５に記載のコンピュータプログラム。
  17. 前記動作は、
    前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項１５に記載のコンピュータプログラム。
  18. 前記動作は、
    前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項１５に記載のコンピュータプログラム。
  19. 前記物理オブジェクトは、レールジョイントであり、
    前記欠陥は、破損したレールジョイントであり、
    前記１つ以上の第１の分類は、
    ボルト、破損、孔、不連続部のうちの１つ以上を含む、
    請求項１５に記載のコンピュータプログラム。
  20. 前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップを含む、請求項１５に記載のコンピュータプログラム。
  21. 方法であって、
    欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて、前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
    を含む、
    方法。
  22. 前記物理オブジェクトの欠陥の地理的位置を判定するステップは、前記画像に関連する緯度及び経度を判定するステップを含む、請求項２１に記載の方法。
  23. 前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項２１に記載の方法。
  24. 前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項２１に記載の方法。
  25. 前記物理オブジェクトは、レールジョイントであり、
    前記欠陥は、破損したレールジョイントであり、
    前記１つ以上の第１の分類は、
    ボルト、破損、孔、及び不連続部のうちの１つ以上を含む、請求項２１に記載の方法。
  26. 前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとをさらに含み、
    記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
    請求項２１に記載の方法。
  27. 前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項２１に記載の方法。
  28. １つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに動作を実行させる命令を格納するメモリと、を含むシステムであって、
    前記動作は、
    欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
    を含む、
    システム。
  29. 前記物理オブジェクトの欠陥の地理的位置を判定するステップは、前記画像に関連する緯度及び経度を判定するステップを含む、請求項２８に記載のシステム。
  30. 前記動作は、前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項２８に記載のシステム。
  31. 前記動作は、前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項２８に記載のシステム。
  32. 前記物理オブジェクトは、レールジョイントであり、
    前記欠陥は、破損したレールジョイントであり、
    前記１つ以上の第１の分類は、ボルト、破損、孔、不連続部のうちの１つ以上を含む、
    請求項２８に記載のシステム。
  33. 前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとをさらに含み、
    前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
    請求項２８に記載のシステム。
  34. 前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項２８に記載のシステム。
  35. プロセッサによって実行されるとき、プロセッサに、動作を実行させる命令を含むコンピュータプログラムであって、
    前記動作は、
    欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
    欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
    前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
    記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
    前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
    を含む、
    コンピュータプログラム。
  36. 前記物理オブジェクトの欠陥の地理的位置を判定するステップは、前記画像に関連する緯度及び経度を判定するステップを含む、請求項３５に記載のコンピュータプログラム。
  37. 前記動作は、前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項３５に記載のコンピュータプログラム。
  38. 前記動作は、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項３５に記載のコンピュータプログラム。
  39. 前記物理オブジェクトは、レールジョイントであり、
    前記欠陥は、破損したレールジョイントであり、
    前記１つ以上の第１の分類は、
    ボルト、破損、孔、不連続部のうちの１つ以上を含む、
    請求項３５に記載のコンピュータプログラム。
  40. 前記動作は、
    前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
    前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとをさらに含み、
    前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
    請求項３５に記載のコンピュータプログラム。
  41. 請求項１５～２０、３５～４０のいずれか一項に記載のコンピュータプログラムを記録した、１つ以上のコンピュータ可読記憶媒体。
JP2021514017A 2018-11-20 2019-11-19 物理オブジェクトの欠陥を判定するためのシステム及び方法 Active JP7261527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023061685A JP2023093546A (ja) 2018-11-20 2023-04-05 物理オブジェクトの欠陥を判定するためのシステム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/196,990 2018-11-20
US16/196,990 US10984521B2 (en) 2018-11-20 2018-11-20 Systems and methods for determining defects in physical objects
PCT/US2019/062145 WO2020106682A1 (en) 2018-11-20 2019-11-19 Systems and methods for determining defects in physical objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023061685A Division JP2023093546A (ja) 2018-11-20 2023-04-05 物理オブジェクトの欠陥を判定するためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2022511313A JP2022511313A (ja) 2022-01-31
JP7261527B2 true JP7261527B2 (ja) 2023-04-20

Family

ID=69056119

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021514017A Active JP7261527B2 (ja) 2018-11-20 2019-11-19 物理オブジェクトの欠陥を判定するためのシステム及び方法
JP2023061685A Pending JP2023093546A (ja) 2018-11-20 2023-04-05 物理オブジェクトの欠陥を判定するためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023061685A Pending JP2023093546A (ja) 2018-11-20 2023-04-05 物理オブジェクトの欠陥を判定するためのシステム及び方法

Country Status (10)

Country Link
US (2) US10984521B2 (ja)
EP (1) EP3884430A1 (ja)
JP (2) JP7261527B2 (ja)
KR (1) KR102480613B1 (ja)
CN (1) CN112997196A (ja)
AU (1) AU2019384123B2 (ja)
BR (1) BR112021009670A2 (ja)
CA (2) CA3110938A1 (ja)
MX (1) MX2021005882A (ja)
WO (1) WO2020106682A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423527B2 (en) 2018-11-20 2022-08-23 Bnsf Railway Company System and method for minimizing lost vehicle axel motion and filtering erroneous electrical signals
US11755965B2 (en) 2019-04-30 2023-09-12 Transportation Ip Holdings, Llc Asset identification and tracking system
TWI787630B (zh) * 2020-07-03 2022-12-21 兆米智慧檢測股份有限公司 基於人工智能的瑕疵檢測方法及其光學檢測系統
CN112037178A (zh) * 2020-08-10 2020-12-04 泉州市澳莱格电子有限责任公司 一种基于多目相机的柱体二维图像生成方法
WO2022115100A1 (en) * 2020-11-25 2022-06-02 Hewlett-Packard Development Company, L.P. Identifying anomaly location
KR102505484B1 (ko) * 2020-12-18 2023-03-03 한국공학대학교산학협력단 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
TWI806004B (zh) * 2021-02-09 2023-06-21 麗臺科技股份有限公司 自動化視覺檢測的ai流程管理系統及方法
CN113506293B (zh) * 2021-09-08 2021-12-07 成都数联云算科技有限公司 一种图像处理方法、装置、设备及存储介质
KR102427205B1 (ko) * 2021-11-22 2022-08-01 한국건설기술연구원 인공지능 모델을 위한 학습 데이터 생성 장치 및 방법
WO2023200598A1 (en) * 2022-04-13 2023-10-19 Bnsf Railway Company System and method for minimizing lost vehicle axel motion and filtering erroneous electrical signals in a rotary encoder
KR102569597B1 (ko) * 2023-01-13 2023-08-25 주식회사 아이브 인공지능 모델 학습을 위한 데이터 파이프 라인 관리 방법 및 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008502538A (ja) 2004-06-11 2008-01-31 ストラテック　システムズ　リミテッド 鉄道軌道スキャニングシステムおよび方法
JP2008505260A (ja) 2004-06-30 2008-02-21 ジヨージタウン・レール・エクイツプメント・カンパニー 鉄道線路を検査するためのシステムおよび方法
JP2010139317A (ja) 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
JP2012026982A (ja) 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2016109495A (ja) 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2017187487A (ja) 2016-03-31 2017-10-12 東日本旅客鉄道株式会社 軌道パッド飛び出し量測定装置
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US122569A (en) 1872-01-09 Improvement in embossing
US17911A (en) 1857-07-28 Lewis white
US140509A (en) 1873-07-01 Improvement in rotary blowers
US196456A (en) 1877-10-23 Improvement in nail-assorters
US304083A (en) 1884-08-26 Thomas a
US171704A (en) 1876-01-04 Improvement in rotary engines
US70283A (en) 1867-10-29 A l b e r t
US88891A (en) 1869-04-13 mcmahen
ATE27496T1 (de) 1983-06-24 1987-06-15 Siemens Ag Stoerungserkennungs- und -aufzeichnungssystem.
IL131092A (en) * 1999-07-25 2006-08-01 Orbotech Ltd Optical inspection system
JP2001174413A (ja) 1999-12-16 2001-06-29 Keisoku Kensa Kk モノレールにおけるレール表面のひび割れ検出方法及びその表示方法
JP2001230289A (ja) * 2000-02-15 2001-08-24 Hitachi Ltd 欠陥解析方法および欠陥解析システム
ITVE20000023A1 (it) 2000-05-12 2001-11-12 Tecnogamma S A S Di Zanin E & Apparecchiatura laser per il controllo delle rotaie di una linea ferrotramviaria.
JP2002022766A (ja) 2000-07-07 2002-01-23 Hino Motors Ltd センサの故障判定装置
JP3659489B2 (ja) 2000-12-20 2005-06-15 日本ビクター株式会社 デジタル音声処理装置及びコンピュータプログラム記録媒体
US6862413B2 (en) 2001-03-30 2005-03-01 Agere Systems Inc. Compensation for polarization mode dispersion in single mode fiber
US7755660B2 (en) 2003-05-02 2010-07-13 Ensco, Inc. Video inspection system for inspection of rail components and method thereof
DE10323915A1 (de) 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
US8405837B2 (en) 2004-06-30 2013-03-26 Georgetown Rail Equipment Company System and method for inspecting surfaces using optical wavelength filtering
US8958079B2 (en) 2004-06-30 2015-02-17 Georgetown Rail Equipment Company System and method for inspecting railroad ties
US7403296B2 (en) 2004-11-05 2008-07-22 Board Of Regents Of University Of Nebraska Method and apparatus for noncontact relative rail displacement, track modulus and stiffness measurement by a moving rail vehicle
US7037485B1 (en) 2004-11-18 2006-05-02 Praxair Technology, Inc. Steam methane reforming method
US7689347B2 (en) 2005-03-08 2010-03-30 Wall Iii Henry H Traffic signal light control system and method
US7860640B1 (en) 2006-02-24 2010-12-28 Wall Iii Henry H Marker means for determining direction and zoom of a means for viewing
KR101321790B1 (ko) 2009-08-29 2013-11-04 국제비파괴검사(주) 철도레일의 탐상차량
US9697596B2 (en) * 2011-05-17 2017-07-04 Gii Acquisition, Llc Method and system for optically inspecting parts
BR112013030118A2 (pt) 2011-05-24 2016-09-20 Univ Nebraska sistema de visão para produção de imagens de variações geométricas ao longo de um trecho de um trilho de ferrovia e de uma estrutura sujeita a uma carga e método para analisar a forma geométrica de um trilho de via férrea
US8935057B2 (en) 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
CN202533046U (zh) 2012-04-01 2012-11-14 长安大学 一种道路路面构造深度的激光路面检测装置
US9287864B2 (en) 2012-04-11 2016-03-15 Ford Global Technologies, Llc Proximity switch assembly and calibration method therefor
CN102854191B (zh) 2012-07-18 2014-09-10 湖南大学 高速铁轨表面缺陷的实时视觉检测与识别方法
JP6009894B2 (ja) 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
EP3751818A1 (en) * 2012-10-17 2020-12-16 Tower-Sec Ltd. A device for detection and prevention of an attack on a vehicle
CN105026917A (zh) 2012-11-04 2015-11-04 内布拉斯加大学董事会 对铁轨偏移进行成像和测量的***
JP6270271B2 (ja) 2014-03-19 2018-01-31 三和テッキ株式会社 トロリ線の高さ，偏位測定装置
DE102014209137B4 (de) 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US9533698B2 (en) * 2014-09-24 2017-01-03 Bartlett & West, Inc. Railway monitoring system
JPWO2017014288A1 (ja) 2015-07-21 2017-07-20 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
US10337676B2 (en) 2015-12-09 2019-07-02 Jiaxing Super Lighting Electric Appliance Co., Ltd. LED tube lamp
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
KR101706271B1 (ko) * 2016-08-10 2017-02-22 주식회사 에이베스트 고속철의 도상 균열 검사장치
CN106290378B (zh) * 2016-08-23 2019-03-19 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查***
US10009197B1 (en) 2016-10-10 2018-06-26 Xilinx, Inc. Method and apparatus for intersymbol interference compensation
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN107292870B (zh) * 2017-06-07 2020-11-20 复旦大学 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与***
US10878388B2 (en) * 2018-07-12 2020-12-29 Visionx, Llc Systems and methods for artificial-intelligence-based automated surface inspection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008502538A (ja) 2004-06-11 2008-01-31 ストラテック　システムズ　リミテッド 鉄道軌道スキャニングシステムおよび方法
JP2008505260A (ja) 2004-06-30 2008-02-21 ジヨージタウン・レール・エクイツプメント・カンパニー 鉄道線路を検査するためのシステムおよび方法
JP2010139317A (ja) 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
JP2012026982A (ja) 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2016109495A (ja) 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2017187487A (ja) 2016-03-31 2017-10-12 東日本旅客鉄道株式会社 軌道パッド飛び出し量測定装置
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FAGHIH-ROOHI,S. et al.，Deep convolutional neural networks for detection of rail surface defects，2016 International Joint Conference on Neural Networks (IJCNN)，2016年，pp.2584-2589，DOI: 10.1109/IJCNN.2016.7727522

Also Published As

Publication number Publication date
JP2023093546A (ja) 2023-07-04
US20200160505A1 (en) 2020-05-21
BR112021009670A2 (pt) 2021-08-31
KR20210058875A (ko) 2021-05-24
JP2022511313A (ja) 2022-01-31
CA3190996A1 (en) 2020-05-28
US11620743B2 (en) 2023-04-04
MX2021005882A (es) 2021-06-23
US20210192716A1 (en) 2021-06-24
US20230326007A1 (en) 2023-10-12
EP3884430A1 (en) 2021-09-29
KR102480613B1 (ko) 2022-12-23
AU2019384123A1 (en) 2021-03-18
WO2020106682A1 (en) 2020-05-28
CN112997196A (zh) 2021-06-18
CA3110938A1 (en) 2020-05-28
AU2019384123B2 (en) 2024-06-13
US10984521B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
JP7261527B2 (ja) 物理オブジェクトの欠陥を判定するためのシステム及び方法
US11142230B2 (en) Broken wheel detection system
US10518791B2 (en) Integrated rail and track condition monitoring system with imaging and inertial sensors
CN108491758B (zh) 一种轨道检测方法及机器人
US8655540B2 (en) Rail vehicle identification and processing
EP3138753A1 (en) Railroad track survey system
JP6652915B2 (ja) 移動式くぼみ検出システム及び方法
KR102017870B1 (ko) 실시간 선로 결함 검측 시스템
CN109448365A (zh) 一种跨尺度空基平台区域道路交通***综合监视方法
CN102759347A (zh) 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测***
AU2017232219B2 (en) Railroadtrack survey system
AU2017232220B2 (en) Railroadtrack asset survey system
AU2023266301A1 (en) Systems and methods for locating objects
US12033312B2 (en) Systems and methods for determining defects in physical objects
Gibert-Serra et al. A machine vision system for automated joint bar inspection from a moving rail vehicle
KR20230104333A (ko) 라이다 및 영상 분석을 통한 도로정보변화 감지 시스템 및 방법
Nielsen et al. Track inspections using drones and machine vision

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R150 Certificate of patent or registration of utility model

Ref document number: 7261527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02