JP7375944B2 - 処理装置、異常検知システム、異常検知方法、及びプログラム - Google Patents

処理装置、異常検知システム、異常検知方法、及びプログラム Download PDF

Info

Publication number
JP7375944B2
JP7375944B2 JP2022545198A JP2022545198A JP7375944B2 JP 7375944 B2 JP7375944 B2 JP 7375944B2 JP 2022545198 A JP2022545198 A JP 2022545198A JP 2022545198 A JP2022545198 A JP 2022545198A JP 7375944 B2 JP7375944 B2 JP 7375944B2
Authority
JP
Japan
Prior art keywords
point group
difference
group
point
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022545198A
Other languages
English (en)
Other versions
JPWO2022044255A1 (ja
JPWO2022044255A5 (ja
Inventor
善将 小野
聡 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022044255A1 publication Critical patent/JPWO2022044255A1/ja
Publication of JPWO2022044255A5 publication Critical patent/JPWO2022044255A5/ja
Application granted granted Critical
Publication of JP7375944B2 publication Critical patent/JP7375944B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本開示は、処理装置、異常検知システム、異常検知方法、及びコンピュータ可読媒体に関する。
測定対象物の3次元位置情報を取得する装置の一つに、レーザ測距(LiDAR:Light Detection and Ranging)装置がある。LiDAR装置は、LiDAR装置から測定対象物までの距離、反射の強度、及びLiDAR装置の現在位置を用いて、測定対象物の3次元位置情報を取得する装置である。
特許文献1には、監視領域に存在する対象物を認識する監視装置に関する技術が開示されている。特許文献1に開示されている技術では、監視領域を測定した3次元レーザスキャナの測定結果と、過去に測定した測定結果とを用いて、変化領域を抽出する技術が開示されている。
特許文献2には、テンプレートマッチングを用いて対象の検出を行う場合において、テンプレートの形状の最適化を行なって対象の変形に対する対応性を向上し得る画像検出装置に関する技術が開示されている。
特開2019-046295号公報 国際公開第2017/170087号
LiDAR装置を用いて測定対象物に存在する異常箇所を検知する際は、測定対象物の3次元位置情報を予め測定して測定対象物の基準点群を取得する。その後、検査時に測定対象物の3次元位置情報を測定して測定対象物の検査点群を取得する。そして、測定対象物の検査点群と基準点群との差分を算出し、算出された差分が所定の閾値以上の箇所を異常箇所と特定する。
しかしながら、このような手法を用いて異常箇所を特定する場合は、測定中に変位する物体や経時的に変位する物体も異常箇所と特定される場合がある。このため、本来、異常箇所ではない箇所を異常箇所であると誤検出する場合があり、正確に異常箇所を特定できない場合がある。
本開示の目的は、上述した課題のいずれかを解決する処理装置、異常検知システム、異常検知方法、及びコンピュータ可読媒体を提供することである。
本開示にかかる処理装置は、測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出する第1の差分算出部と、前記第1の差分算出部における算出結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出する動体点群抽出部と、前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成する第2の差分算出部と、前記第2の差分算出部で生成された差分点群から前記動体点群に対応する点群を除去する点群除去部と、前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する異常箇所特定部と、を備える。
本開示にかかる異常検知システムは、測定対象物の3次元位置情報を取得する位置情報取得装置と、前記位置情報取得装置で取得した3次元位置情報を用いて、前記測定対象物の異常箇所を特定する処理装置と、を備える。前記処理装置は、前記測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出する第1の差分算出部と、前記第1の差分算出部における算出結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出する動体点群抽出部と、前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成する第2の差分算出部と、前記第2の差分算出部で生成された差分点群から前記動体点群に対応する点群を除去する点群除去部と、前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する異常箇所特定部と、を備える。
本開示にかかる異常検知方法は、測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出し、前記算出した結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出し、前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成し、前記生成した差分点群から前記動体点群に対応する点群を除去し、前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する。
本開示にかかるコンピュータ可読媒体は、測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出し、前記算出した結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出し、前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成し、前記生成した差分点群から前記動体点群に対応する点群を除去し、前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する、異常検知処理をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体である。
本開示により、異常箇所を正確に特定することが可能な処理装置、異常検知システム、異常検知方法、及びコンピュータ可読媒体を提供することができる。
実施の形態1にかかる異常検知システムの構成を示すブロック図である。 実施の形態1にかかる処理装置の構成を示すブロック図である。 実施の形態1にかかる処理装置の動作を説明するためのフローチャートである。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態1にかかる処理装置の動作を説明するための図である。 実施の形態2にかかる処理装置の構成を示すブロック図である。 実施の形態2にかかる処理装置の動作を説明するためのフローチャートである。 実施の形態2にかかる処理装置の動作を説明するための図である。 実施の形態2にかかる処理装置の動作を説明するための図である。 実施の形態3にかかる処理装置を説明するための図である。 実施の形態3にかかる処理装置を説明するための図である。 実施の形態3にかかる処理装置の動作を説明するためのフローチャートである。
<実施の形態1>
以下、図面を参照して本発明の実施の形態について説明する。
図1は、実施の形態1にかかる異常検知システムの構成を示すブロック図である。図2は、実施の形態1にかかる処理装置の構成を示すブロック図である。図1に示すように、本実施の形態にかかる異常検知システム100は、位置情報取得装置10と処理装置1とを備える。位置情報取得装置10は、測定対象物の3次元位置情報を取得する装置である。例えば、位置情報取得装置10は、レーザ測距(LiDAR)装置である。処理装置1は、位置情報取得装置10で取得した3次元位置情報を用いて、測定対象物の異常箇所を特定する。
図2に示すように、本実施の形態にかかる処理装置1は、第1の差分算出部11、第2の差分算出部12、動体点群抽出部15、点群除去部16、及び異常箇所特定部17を備える。本実施の形態にかかる処理装置1は、測定対象物の3次元位置情報に対応する基準点群A、B、及び検査点群を入力し、これらの基準点群A、B、及び検査点群を用いて、測定対象物の異常箇所を特定する装置である。
基準点群A、Bは、測定対象物の3次元位置情報に対応する点群であり、測定対象物の変化を伴う点群(動体点群)を求めるために予め取得された点群である。検査点群は、測定対象物の3次元位置情報に対応する点群であり、測定対象物の異常箇所を検査する際に取得された(つまり、基準点群よりも後に取得された)点群である。ここで点群は、測定対象物の3次元位置情報に対応しており、位置情報取得装置(LiDAR装置)10から測定対象物までの距離、反射の強度、3次元座標等の情報を含む。
本実施の形態にかかる処理装置1では、測定対象物の検査点群と基準点群との差分を算出し、算出された差分を用いて異常箇所を特定する。このとき本実施の形態にかかる処理装置1では、基準点群A、Bを用いて基準点群の中から変化を伴う点群(動体点群)を抽出している。そして、検査点群と基準点群との差分を算出して差分点群を生成し、この生成した差分点群から動体点群に対応する点群を除去し、動体点群に対応する点群が除去された後の差分点群に基づいて、測定対象物の異常箇所を特定している。以下、本実施の形態にかかる処理装置1について詳細に説明する。
図2に示す第1の差分算出部11は、測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出する。図2に示す例では、第1の差分算出部11は、基準点群Aと基準点群Bとの差分を算出している。基準点群Aと基準点群Bは3次元点群であり、第1の差分算出部11は、基準点群Aと基準点群Bの各々の座標毎の差分を算出する。
動体点群抽出部15は、第1の差分算出部11における算出結果に基づいて、基準点群の中から変化を伴う点群(動体点群)を抽出する。具体的には、動体点群抽出部15は、基準点群Aと基準点群Bの各々の座標毎の差分の算出結果に基づいて、基準点群A、B間における変位箇所(動体点群)を抽出する。例えば本実施の形態では、2つの基準点群A、Bのボクセル内の点群の有無に基づいて変位箇所を抽出することができる。
第2の差分算出部12は、測定対象物の3次元位置情報に対応する検査点群と基準点群との差分を算出して差分点群を生成する。ここで検査点群は、基準点群よりも後に取得された点群であり、例えば、測定対象物の異常箇所を検査する際に取得された点群である。また、このとき使用する基準点群は、基準点群Aおよび基準点群Bのどちらを使用してもよい。本明細書では一例として、第2の差分算出部12が検査点群と基準点群Aとの差分を算出する例を示している。検査点群と基準点群Aは3次元点群であり、第2の差分算出部12は、検査点群と基準点群Aの各々の座標毎の差分を算出する。
点群除去部16は、第2の差分算出部12で生成された差分点群から、動体点群抽出部15で抽出された動体点群に対応する点群を除去する。例えば、点群除去部16は、差分点群と動体点群との距離が所定の閾値以下の場合に、差分点群から動体点群に対応する点群を除去する。なお、点群除去部16の詳細については後述する。
異常箇所特定部17は、点群除去部16で動体点群に対応する点群が除去された後の差分点群に基づいて、測定対象物の異常箇所を特定する。例えば、異常箇所特定部17は、測定対象物の検査点群と基準点群Aとの差分(点群除去部16で除去された点群を除く)が所定の閾値以上の箇所を異常箇所と特定することができる。すなわち、測定対象物の検査点群と基準点群Aとの差分は、基準点群Aを測定したタイミングから検査点群を測定したタイミングまでに変化した位置に対応している。よって、異常箇所特定部17は、このような変化(差分)が所定の閾値以上の箇所を異常箇所として特定することができる。
次に、本実施の形態にかかる処理装置の動作(異常検知方法)について説明する。
図3は、本実施の形態にかかる処理装置の動作を説明するためのフローチャートである。図4~図7は、本実施の形態にかかる処理装置の動作を説明するための図である。
本実施の形態では、図4に示す測定対象物20を測定した場合を例として説明する。測定対象物20の周囲には植物(草)21、22が生えているものとする。また、測定対象物20には、検査時に異常箇所23が存在するものとする。なお、異常箇所23は、基準点群取得時には存在しないものとする。
本実施の形態では、位置情報取得装置10(図1参照)を用いて測定対象物の3次元位置情報に対応する点群である基準点群A、Bを予め取得しておく(ステップS1、S2)。具体的には、図4に示す測定対象物20を位置情報取得装置10を用いて測定し、図5に示す基準点群A(111)と基準点群B(112)を取得する。ここで、基準点群A、Bを取得するタイミングは、基準点群Aが先であってもよく、また基準点群Bが先であってもよい。
その後、処理装置1の第1の差分算出部11を用いて、基準点群Aと基準点群Bとの差分を算出する(ステップS4)。ここで、基準点群Aと基準点群Bは3次元点群であり、第1の差分算出部11は、基準点群Aと基準点群Bの各々の座標毎の差分を算出する。具体的には図5に示すように、基準点群A(111)と基準点群B(112)との差分を算出して、差分点群114を生成する。
次に、動体点群抽出部15は、第1の差分算出部11における算出結果(差分点群114)に基づいて、基準点群の中から変化を伴う点群である動体点群を抽出する(ステップS5)。つまり、動体点群抽出部15は、基準点群Aと基準点群Bの各々の座標毎の差分の算出結果(差分点群114)に基づいて、基準点群A、B間における変位箇所を抽出する。具体的には、図5の差分点群114に示すように、植物21、22のうち風で変位している箇所の点群を、動体点群26、27として抽出する。
以上のステップS1、S2、S4、S5の処理を予め実施することで、図4に示す測定対象物20のうち、測定中に変位する箇所の点群(動体点群)を抽出することができる。
その後、本実施の形態では、位置情報取得装置10(図1参照)を用いて、測定対象物20を検査する。具体的には、図6に示すように、位置情報取得装置10を用いて、測定対象物20の3次元位置情報に対応する検査点群113を取得する(ステップS10)。このとき、検査点群113には異常箇所23が含まれている。
そして、処理装置1の第2の差分算出部12は、測定対象物の3次元位置情報に対応する検査点群と基準点群との差分を算出して差分点群を生成する(ステップS11)。ここで、検査点群と基準点群は3次元点群であり、第2の差分算出部12は、検査点群と基準点群の各々の座標毎の差分を算出する。具体的には図6に示すように、検査点群113と基準点群A(111)との差分を算出して、差分点群115を生成する。差分点群115には、異常箇所23に対応する点群33、及び植物21、22のうち風で変位している箇所に対応する点群31、32が含まれている。
その後、点群除去部16は、第2の差分算出部12で生成された差分点群から、動体点群抽出部15で抽出された動体点群に対応する点群を除去する(ステップS12)。例えば、点群除去部16は、差分点群と動体点群との距離が所定の閾値以下の場合に、差分点群から動体点群に対応する点群を除去する。具体的には、図7に示すように、点群除去部16は、差分点群115のうち、差分点群114に含まれる動体点群26、27に対応する点群31、32を除去して、差分点群116を生成する。すなわち、差分点群116では、差分点群115の中から、植物21、22の変位箇所に対応する点群31、32が除去されている。
その後、異常箇所特定部17は、点群除去部16で動体点群に対応する点群が除去された後の差分点群に基づいて、測定対象物の異常箇所を特定する(ステップS12)。具体的には、図7に示すように、異常箇所特定部17は、動体点群に対応する点群が除去された後の差分点群116に基づいて、測定対象物20の異常箇所33を特定する。
上述のように本実施の形態では、基準点群A、Bを用いて基準点群の中から動体点群26、27を抽出している(差分点群114参照)。そして、検査点群と基準点群Aとの差分を算出して差分点群115を生成し、この生成した差分点群115から、差分点群114に含まれる動体点群26、27に対応する点群31、32を除去している。その後、変化を伴う点群31、32が除去された後の差分点群116に基づいて、測定対象物20の異常箇所33を特定している。
このように本実施の形態では、検査点群と基準点群Aとの差分点群115から、変化を伴う点群31、32を除去している。よって、変化を伴う点群31、32を異常箇所であると誤検出することを抑制することができる。したがって、異常箇所を正確に特定することが可能な処理装置、異常検知システム、異常検知方法、及びコンピュータ可読媒体を提供することができる。
ここで、変化を伴う点群(動体点群)とは、測定中に変位する物体や経時的に変位する物体であり、例えば、植物の葉、木の枝、機材本体の緩みなどである。
本実施の形態において点群除去部16は、測定点(位置情報取得装置10の位置。以下、測定点10とも記載する)から測定対象物20までの距離が長くなる程、所定の閾値が大きくなるように設定してもよい。
図8を用いて具体的に説明すると、測定対象物41の点群の間隔dと測定対象物42の点群の間隔dは、測定点10から測定対象物41、42までの距離が長くなる程、大きくなる。図8に示す例では、測定点10から測定対象物42までの距離は、測定点10から測定対象物41までの距離よりも長いので、測定対象物42の点群の間隔dは、測定対象物41の点群の間隔dよりも大きくなる(d<d)。
すなわち、位置情報取得装置10のレーザ光は、位置情報取得装置10から放射状に照射されるので、測定点10から測定対象物41、42の距離に比例して、点群同士の間隔が大きくなる。この場合は、所定の閾値dthを一定の値に設定すると、測定点10から遠い側の測定対象物42の変化を伴う点群が除去されにくくなる。
例えば、測定対象物42は測定点10から遠いので点群の間隔dは大きくなる傾向がある。この場合は、点群の間隔dが所定の閾値dthよりも大きくなる(dth<d)傾向があり、測定対象物42の変化を伴う点群が除去されにくくなる。また、測定点10から近い側の測定対象物41の場合は、所定の閾値dthが隣接する点群との間隔dよりも小さくなる(dth<d)。この場合は、測定対象物41の点群が変化を伴う点群として誤判定される場合がある。
この点を考慮して本実施の形態では、図9に示すように、測定点10から測定対象物41、42までの距離が長くなる程、所定の閾値dthが大きくなるように設定してもよい。具体的には、測定点10から測定対象物41までの距離がrの場合は、点群の間隔d、所定の閾値dth、及び隣接する点群との間隔dが、d<dth<dを満たすように所定の閾値dthを設定する。また、測定点10から測定対象物42までの距離がrの場合は、点群の間隔dと所定の閾値dthとがdth<dを満たすように所定の閾値dthを設定する。例えば、所定の閾値dthが、測定点10から測定対象物41、42までの距離に比例するように、所定の閾値dthを設定してもよい。
また、本実施の形態において点群除去部16は、基準点群の密度が小さくなる程、所定の閾値が大きくなるように設定してもよい。
図10を用いて具体的に説明すると、測定対象物46の密度ρが測定対象物45の密度ρよりも小さい場合(ρ<ρ)は、測定対象物46の点群の間隔dが測定対象物45の点群の間隔dよりも大きくなる。例えば、草木などの場合は、レーザ光が当たらずに通りぬけて奥の構造物で反射する場合があり、点群の密度が低くなりやすい(つまり点群の間隔が大きくなりやすい)。一方、壁や地面などの面を持つ構造物の場合は、レーザ光が面で反射するため、点群の密度が高くなりやすい(つまり点群の間隔が小さくなりやすい)。
このため、所定の閾値dthを一定の値に設定すると、密度の低くなった点群が変化を伴う点群として除去されにくくなる。例えば、所定の閾値dthを測定対象物46の点群の間隔dよりも小さくした場合(dth<d)は、密度の低い草木等が変化を伴う点群として除去されなくなる。また、所定の閾値dthが隣接する点群との間隔dよりも小さい場合(dth<d)は、別の構造物が変化を伴う点群として誤判定される場合がある。
この点を考慮して本実施の形態では、図10に示すように、測定対象物45、46の密度に応じて所定の閾値dthを設定してもよい。具体的には、測定対象物の密度(基準点群の密度)が小さくなる程、所定の閾値が大きくなるように設定してもよい。例えば、基準点群の密度は、基準点群の点同士の距離から計算することができる。
測定対象物45の密度がρの場合は、点群の間隔d、所定の閾値dth、及び隣接する点群との間隔dが、d<dth<dを満たすように所定の閾値dthを設定する。また、測定対象物45の密度がρの場合は、点群の間隔dと所定の閾値dthとがdth<dを満たすように所定の閾値dthを設定する。例えば、所定の閾値dthが測定対象物の密度ρと比例するように、所定の閾値dthを設定してもよい。
上述した方法を用いて所定の閾値dthを設定することで、差分点群115(図7参照)から動体点群に対応する点群を正確に除去することができる。
<実施の形態2>
次に、実施の形態2について説明する。図11は、実施の形態2にかかる処理装置の構成を示すブロック図である。実施の形態2にかかる処理装置2は、実施の形態1にかかる処理装置1と比べてグルーピング部13を備える点が異なる。これ以外の構成については実施の形態1にかかる処理装置1と同様であるので、同一の構成要素には同一の符号を付し重複した説明は省略する。
図11に示すように、本実施の形態にかかる処理装置2は、実施の形態1にかかる処理装置1の構成に加えてグルーピング部13を備える。グルーピング部13は、基準点群を構成する各々の点群要素を、同類の点群要素同士が含まれるようにグルーピングする。具体的には、グルーピング部13は基準点群Aを入力し、基準点群Aを構成する各々の点群要素を同類の点群要素同士が含まれるようにグルーピングし、グルーピングした後の基準点群Aを動体点群抽出部15に出力する。
例えば、グルーピング部13は、同種類の物、同色の物、点群の密度(図10参照)が同じ物(近い物でもよい)などを、同類の点群要素としてグルーピングする。また、グルーピング部13は、各々近い点群同士をつないでグルーピングしてもよい。また、グルーピング部13は、各々の点群要素の面の向きが近似する点群要素同士をグルーピングしてもよい。つまり、各々の点群要素にはレーザ光の反射強度に関する情報が含まれているので、この反射強度が近似する点群要素同士を、面の向きが近似する点群要素同士としてグルーピングしてもよい。例えば道路や壁などは同一の面を有するので、面の向きが近似する点群要素としてグルーピングすることができる。
グルーピング部13でグルーピングされた後の基準点群Aは、動体点群抽出部15に供給される。動体点群抽出部15は、グルーピング部13でグルーピングされた後の基準点群Aと、第1の差分算出部11における算出結果とに基づいて、基準点群の中から変化を伴う点群である動体点群を抽出する。処理装置2のこれら以外の構成要素については実施の形態1にかかる処理装置1と同様であるので、重複した説明は省略する。
次に、本実施の形態にかかる処理装置の動作(異常検知方法)について説明する。
図12は、本実施の形態にかかる処理装置の動作を説明するためのフローチャートである。図13、図14は、本実施の形態にかかる処理装置の動作を説明するための図である。
図12のフローチャートに示す本実施の形態にかかる処理装置2の動作は、実施の形態1にかかる処理装置1の動作(図3)と比べてステップS3を備える点が異なる。これ以外の動作については実施の形態1にかかる処理装置1の動作と同様であるので、重複した説明は省略する。
本実施の形態においても、位置情報取得装置10(図1参照)を用いて測定対象物の3次元位置情報に対応する点群である基準点群A、Bを予め取得しておく(ステップS1、S2)。
その後、グルーピング部13は、基準点群Aを構成する各々の点群要素を、同類の点群要素同士が含まれるようにグルーピングする(ステップS3)。具体的には、図13に示すように、基準点群A(111)に含まれる測定対象物(構造物)20、植物21、及び植物22をそれぞれグルーピングして、グルーピング後の基準点群A(121)を生成する。
その後、動体点群抽出部15は、グルーピング後の基準点群A(121)と、第1の差分算出部11における算出結果(差分点群114)とに基づいて、基準点群の中から変化を伴う点群である動体点群を抽出する(ステップS5)。具体的には図14に示すように、動体点群抽出部15は、グルーピング後の基準点群A(121)を参照し、差分点群114の動体点群26、27を拡張して、動体点群(拡張)28、29(差分点群122)を生成する。
図14に示す例では、差分点群114の動体点群26が、グルーピング後の植物21に含まれているので、動体点群26を植物21が含まれるように拡張して動体点群(拡張)28を生成する。同様に、差分点群114の動体点群27が、グルーピング後の植物22に含まれているので、動体点群27を植物22が含まれるように拡張して動体点群(拡張)28を生成する。
その後、ステップS12において、点群除去部16は、差分点群115(図7参照)から、差分点群122(図14参照)に含まれる動体点群(拡張)28、29に対応する点群31、32を除去して、差分点群116を生成する。すなわち、差分点群116では、植物21、22に対応する点群が除去されている。
その後、異常箇所特定部17は、点群除去部16で動体点群に対応する点群が除去された後の差分点群に基づいて、測定対象物の異常箇所を特定する(図12のステップS13)。具体的には、図7に示すように、異常箇所特定部17は、動体点群に対応する点群が除去された後の差分点群116に基づいて、測定対象物20の異常箇所33を特定する。
以上で説明したように、本実施の形態では、グルーピング部13において、基準点群を構成する各々の点群要素を、同類の点群要素同士が含まれるようにグルーピングしている。そして、動体点群抽出部15は、グルーピング後の基準点群A(121)と、第1の差分算出部11における算出結果(差分点群114)とに基づいて、基準点群の中から動体点群を抽出している。このように本実施の形態では、グルーピング後の基準点群A(121)を参照して、動体点群を抽出しているので、動体点群を同類の点群要素まで拡張することができる。したがって、差分点群115(図7参照)から動体点群に対応する点群を確実に除去することができる。よって、異常箇所を更に正確に特定することが可能な処理装置、異常検知システム、異常検知方法、及びコンピュータ可読媒体を提供することができる。
<実施の形態3>
次に、実施の形態3について説明する。図15、図16は、実施の形態3にかかる処理装置を説明するための図である。上述のように、本発明では、基準点群を予め取得しておき、その後、測定対象物の異常箇所を検査する際に別途、検査点群を取得する。本発明ではこのように、基準点群を取得するタイミングと、検査点群を取得するタイミングとが異なる。このため、例えば、図15に示すように、位置情報取得装置10を用いて測定対象物61、62の3次元位置情報を取得した場合、基準点群63の取得範囲と検査点群64の取得範囲とがずれる場合がある。
つまり、基準点群を取得した後、検査点群を取得するまでの間に所定の時間が経過するので、その間に位置情報取得装置10の位置がずれる場合がある。また、基準点群を取得した後、位置情報取得装置10を撤去し、その後、検査点群を取得する際に再度、位置情報取得装置10を設置する場合もある。このような場合は、基準点群取得時と検査点群取得時とで位置情報取得装置10の設置位置がずれてしまい、基準点群63の取得範囲と検査点群64の取得範囲がずれる場合がある。なお、図15では、位置情報取得装置10の水平方向におけるスキャン範囲を示している。
本実施の形態では、このように検査点群64の取得範囲と基準点群63の取得範囲とが一致しない場合、検査点群64の取得範囲から基準点群63の取得範囲を差し引いた範囲65を、検査点群64の取得範囲から除去している。
例えば本実施の形態では、図16に示すように、位置情報取得装置10の位置情報と基準点群63の位置情報とに基づいて、基準点群63の取得範囲(X~Y度)を決定する。そして、検査点群64の取得範囲から、基準点群63の取得範囲(X~Y度)外の点群65(図15参照)を除去する処理を行う。
また、検査点群64を取得する際に、基準点群63取得時の設定情報を、位置情報取得装置10に設定することで、基準点群63の取得範囲(X~Y度)外の点群を除去してもよい。ここで、基準点群63取得時の設定情報は、例えば、位置情報取得装置10の位置情報と基準点群63の取得範囲(X~Y度)である。
図17は、本実施の形態にかかる処理装置の動作を説明するためのフローチャートである。図17のフローチャートに示す本実施の形態にかかる処理装置の動作は、実施の形態1にかかる処理装置1の動作(図3)と比べてステップS6を備える点が異なる。これ以外の動作については実施の形態1にかかる処理装置1の動作と同様であるので、重複した説明は省略する。なお、本実施の形態は、実施の形態2に係る処理装置と組み合わせることもできる。
本実施の形態においても、位置情報取得装置10(図1参照)を用いて測定対象物の3次元位置情報に対応する点群である基準点群A、Bを予め取得しておく(ステップS1、S2)。なお、基準点群Aと基準点群Bを取得するタイミングはほぼ同時刻であるので、基準点群Aの取得範囲と基準点群Bの取得範囲は同一であるものとする。
その後、図16に示すように、位置情報取得装置10の位置情報と基準点群A(63)の位置情報とに基づいて、基準点群A(63)の取得範囲(X~Y度)を決定する(ステップS6)。
なお、ステップS4、S5、及びステップS10、S11の動作については、実施の形態1にかかる処理装置1の動作(図3)と同様である。
その後、ステップS12において、点群除去部16は、第2の差分算出部12で生成された差分点群から、動体点群抽出部15で抽出された動体点群に対応する点群を除去する。このとき点群除去部16は、検査点群64の取得範囲から、基準点群63の取得範囲(X~Y度)外の点群65(図15参照)を除去する処理を行う。
その後、異常箇所特定部17は、動体点群に対応する点群と、基準点群63の取得範囲外の点群65(図15参照)と、が除去された後の差分点群に基づいて、測定対象物の異常箇所を特定する(図17のステップS13)。
以上で説明したように、本実施の形態では、検査点群64の取得範囲から、基準点群63の取得範囲(X~Y度)外の点群65(図15参照)を除去している。したがって、検査点群64の取得範囲から基準点群63の取得範囲を差し引いた範囲65が異常箇所であると誤判定されることを抑制することができる。
なお、以上で説明した実施の形態1~3では、2つの基準点群A、Bの差分点群を用いて、動体点群を抽出する場合について説明した。しかし本実施の形態では、3つ以上の基準点群の差分点群を用いて、動体点群を抽出してもよい。この場合は、3つ以上の基準点群を用いて差分点群を生成し(図3のステップS4)、生成した差分点群を用いて動体点群を抽出する(図3のステップS5)。
例えば、3つの基準点群A、B、Cの差分点群を生成する場合は、基準点群Aと基準点群Bの差分、基準点群Bと基準点群Cの差分、及び基準点群Cと基準点群Aの差分を各々求め、これらの差分を用いて差分点群を生成する。
なお、上記実施の形態では、本発明をハードウェアの構成として説明したが、本発明はこれに限定されるものではない。本発明は、各構成要素の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
上記の実施の形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実態のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(具体的にはフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(具体的には光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(具体的には、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM))、フラッシュROM、RAM(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1、2 処理装置
10 位置情報取得装置
11 第1の差分算出部
12 第2の差分算出部
13 グルーピング部
15 動体点群抽出部
16 点群除去部
17 異常箇所特定部
20 測定対象物
21、22 植物
23 異常箇所
26、27 動体点群
31、32 変位している箇所に対応する点群
33 異常箇所に対応する点群
41、42、45、46 測定対象物
61、62 測定対象物
63 基準点群
64 検査点群
100 異常検知システム

Claims (10)

  1. 測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出する第1の差分算出部と、
    前記第1の差分算出部における算出結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出する動体点群抽出部と、
    前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成する第2の差分算出部と、
    前記第2の差分算出部で生成された差分点群から前記動体点群に対応する点群を除去する点群除去部と、
    前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する異常箇所特定部と、を備える、
    処理装置。
  2. 前記点群除去部は、前記差分点群と前記動体点群との距離が所定の閾値以下の場合に、前記差分点群から前記動体点群に対応する点群を除去する、請求項1に記載の処理装置。
  3. 前記点群除去部は、測定点から前記測定対象物までの距離が長くなる程、前記所定の閾値が大きくなるように設定する、請求項2に記載の処理装置。
  4. 前記点群除去部は、前記基準点群の密度が小さくなる程、前記所定の閾値が大きくなるように設定する、請求項2または3に記載の処理装置。
  5. 前記基準点群を構成する各々の点群要素を、同類の点群要素同士が含まれるようにグルーピングするグルーピング部を更に備える、請求項1~4のいずれか一項に記載の処理装置。
  6. 前記グルーピング部は、前記各々の点群要素の面の向きが近似する点群要素同士をグルーピングする、請求項5に記載の処理装置。
  7. 前記検査点群の取得範囲と前記基準点群の取得範囲とが一致しない場合、前記検査点群の取得範囲から前記基準点群の取得範囲を差し引いた範囲を、前記検査点群の取得範囲から除去する、請求項1~6のいずれか一項に記載の処理装置。
  8. 測定対象物の3次元位置情報を取得する位置情報取得装置と、
    前記位置情報取得装置で取得した3次元位置情報を用いて、前記測定対象物の異常箇所を特定する処理装置と、を備え、
    前記処理装置は、
    前記測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出する第1の差分算出部と、
    前記第1の差分算出部における算出結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出する動体点群抽出部と、
    前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成する第2の差分算出部と、
    前記第2の差分算出部で生成された差分点群から前記動体点群に対応する点群を除去する点群除去部と、
    前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する異常箇所特定部と、を備える、
    異常検知システム。
  9. 測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出し、
    前記算出した結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出し、
    前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成し、
    前記生成した差分点群から前記動体点群に対応する点群を除去し、
    前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する、
    異常検知方法。
  10. 測定対象物の3次元位置情報に対応する複数の基準点群間における差分を算出し、
    前記算出した結果に基づいて、前記基準点群の中から変化を伴う点群である動体点群を抽出し、
    前記基準点群よりも後に取得された、前記測定対象物の3次元位置情報に対応する検査点群と前記基準点群との差分を算出して差分点群を生成し、
    前記生成した差分点群から前記動体点群に対応する点群を除去し、
    前記動体点群に対応する点群が除去された後の差分点群に基づいて、前記測定対象物の異常箇所を特定する、異常検知処理をコンピュータに実行させるためのプログラム。
JP2022545198A 2020-08-28 2020-08-28 処理装置、異常検知システム、異常検知方法、及びプログラム Active JP7375944B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/032595 WO2022044255A1 (ja) 2020-08-28 2020-08-28 処理装置、異常検知システム、異常検知方法、及びコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2022044255A1 JPWO2022044255A1 (ja) 2022-03-03
JPWO2022044255A5 JPWO2022044255A5 (ja) 2023-05-01
JP7375944B2 true JP7375944B2 (ja) 2023-11-08

Family

ID=80352964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022545198A Active JP7375944B2 (ja) 2020-08-28 2020-08-28 処理装置、異常検知システム、異常検知方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240054626A1 (ja)
JP (1) JP7375944B2 (ja)
WO (1) WO2022044255A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017133838A (ja) 2016-01-25 2017-08-03 三菱電機株式会社 設備管理データ抽出装置および設備管理データ抽出方法
JP2018090099A (ja) 2016-12-02 2018-06-14 東日本旅客鉄道株式会社 設備巡視システム及び設備巡視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017133838A (ja) 2016-01-25 2017-08-03 三菱電機株式会社 設備管理データ抽出装置および設備管理データ抽出方法
JP2018090099A (ja) 2016-12-02 2018-06-14 東日本旅客鉄道株式会社 設備巡視システム及び設備巡視方法

Also Published As

Publication number Publication date
WO2022044255A1 (ja) 2022-03-03
JPWO2022044255A1 (ja) 2022-03-03
US20240054626A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
TWI614721B (zh) 在半導體製造中用於檢測之雜訊中所內嵌之缺陷之偵測
JP6220061B2 (ja) 自由形態の保護領域を使用するウエハ検査
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
US20220170739A1 (en) Surface abnormality detection device and system
EP2894600B1 (en) Method of processing 3D sensor data to provide terrain segmentation
KR20180128509A (ko) 타겟 다이와 기준 다이의 비교로부터 생성된 차분 이미지를 보정하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품
JP7375944B2 (ja) 処理装置、異常検知システム、異常検知方法、及びプログラム
US20180321168A1 (en) Metrology Guided Inspection Sample Shaping of Optical Inspection Results
KR101255022B1 (ko) 점군자료를 활용한 구조물 균열 검출방법
WO2021038767A1 (ja) 処理装置、処理方法及びコンピュータ可読媒体
WO2022054158A1 (ja) 異常検出システム、異常検出方法、及びコンピュータ可読媒体
US20230375709A1 (en) Detection device, determination method, and non-transitory computer-readable medium
JP6815793B2 (ja) 矩形領域検出方法、矩形領域検出装置及びプログラム
JP2020173584A (ja) 物体検出装置
KR101419334B1 (ko) 3차원 데이터로부터 검출 대상체를 추출하는 장치 및 방법
KR102561093B1 (ko) 반도체 장치의 결함 검출을 위한 필터 추출 장치 및 방법과, 이를 이용한 결함 검출 시스템
US20230136554A1 (en) Detection device, label assignment method, and non-transitory computer-readablemedium
JP7156522B2 (ja) 部材判別装置、部材判別方法及びプログラム
WO2020049682A1 (ja) 検知装置、判定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022054163A1 (ja) 異常検出システム、異常検出方法、及びコンピュータ可読媒体
JP7452682B2 (ja) 検査システム、抽出装置、検査方法及びプログラム
JP7358137B2 (ja) データ処理装置、移動体装置、データ処理方法、及びデータ処理プログラム
US20220276181A1 (en) Surface anomaly detecting device, system, method, and non-transitory computer-readable medium
EP3903988A1 (en) Method for assessing dependence of laser machining on laser light intensity, and laser machining device
CN115937273A (zh) 图像对位方法、***、记录媒体、以及计算机程序产品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R151 Written notification of patent or utility model registration

Ref document number: 7375944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151