JP6543729B2 - 類似損傷検索装置及び類似損傷検索方法 - Google Patents

類似損傷検索装置及び類似損傷検索方法 Download PDF

Info

Publication number
JP6543729B2
JP6543729B2 JP2017557779A JP2017557779A JP6543729B2 JP 6543729 B2 JP6543729 B2 JP 6543729B2 JP 2017557779 A JP2017557779 A JP 2017557779A JP 2017557779 A JP2017557779 A JP 2017557779A JP 6543729 B2 JP6543729 B2 JP 6543729B2
Authority
JP
Japan
Prior art keywords
damage
information
search
vector
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017557779A
Other languages
English (en)
Other versions
JPWO2017110280A1 (ja
Inventor
樹彦 苅部
樹彦 苅部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017110280A1 publication Critical patent/JPWO2017110280A1/ja
Application granted granted Critical
Publication of JP6543729B2 publication Critical patent/JP6543729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、類似損傷検索装置及び類似損傷検索方法に関し、特に構造物の損傷が撮影された画像から得られる情報に基づいて検索を行う類似損傷検索装置及び類似損傷検索方法に関する。
従来より、構造物に発生したひびや割れや遊離石灰等の損傷をカメラで撮像し、撮影した画像を利用して構造物の検査を行う技術が知られている。
例えば特許文献1では、コンクリート等の表面に存在するひび割れをカメラで撮像して、ひび割れの座標及び幅の情報を生成する技術が記載されている。
また例えば特許文献2では、建築物等の撮影画像をデータベースに蓄積し、そのデータベースを使用して類似画像の検索を行う技術が記載されている。
特開平06−148089号公報 特開2005−250562号公報
しかしながら、損傷が撮影された画像を蓄積したデータベースを利用して、類似する損傷例を検索する場合において、単に損傷の長さ又は幅のみに基づいて検索を行うだけでは妥当な検索結果を得ることが難しい場合がある。すなわち、損傷の長さ又は幅のみに基づいて類似する損傷例の検索を行うだけでは、損傷の長さ又は幅のみに一致又は類似する損傷例が検索されるだけであり、損傷の特徴を含めた適切な検索結果を得ることが困難な場合がある。したがって、類似の損傷例を検索する場合には、損傷の構造に関する情報も含めて類似する損傷例を検索しなければ、損傷の特徴を捉えた精度のよい類似の損傷の検索を行うことができない場合がある。
上述した特許文献1及び2には、損傷の構造に関する情報も含めて、類似する損傷例を検索することに関しては言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、損傷の特徴を捉えた精度のよい類似の損傷例の検索を行うことが可能な類似損傷検索装置及び類似損傷検索方法を提供することである。
上記目的を達成するために、本発明の一の態様である類似損傷検索装置は、構造物の損傷画像に基づいて生成された第1の損傷情報であって、構造物の損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報とを有する第1の損傷情報を記憶するデータベースと、検索対象の損傷画像に基づいて、第1の損傷情報に対応する第2の損傷情報を取得する情報取得部と、情報取得部で取得された第2の損傷情報に基づいて、データベースに記憶されている第1の損傷情報のうちから第2の損傷情報に類似する単数又は複数の第1の損傷情報を検索する検索部と、を備える。
本態様によれば、損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報とに基づいて、データベースに記載されている情報が検索される。これにより、本態様は、損傷の特徴を捉えた精度のよい検索を行うことができる。
さらに、本態様によれば、損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報とを有するデータベースを有する。これにより、本態様は、損傷の特徴を捉えた精度のよい検索を行うことができる。
好ましくは、損傷ベクトル、損傷ベクトルの階層構造に関する情報、及び損傷ベクトルの方向に関する情報の各々は、単数又は複数の特徴量から構成され、類似損傷検索装置は、少なくとも損傷ベクトルの特徴量を含む検索に使用する特徴量を決定する特徴量決定部を備え、検索部は、特徴量決定部で決定された特徴量に基づいて、単数又は複数の第1の損傷情報をデータベースより検索する。
本態様によれば、損傷ベクトル、損傷ベクトルの階層構造に関する情報、及び損傷ベクトルの方向に関する情報の各々が、単数又は複数の特徴量から構成されている。また、本態様によれば、特徴量決定部により損傷ベクトルの特徴量を含む検索に使用する特徴量が決定されて検索が行われる。これにより、本態様は、複数の損傷の特徴量に基づいて類似する損傷の検索が行われるので、損傷の特徴を捉えた精度のよい検索を行うことができる。
好ましくは、類似損傷検索装置は、情報取得部で取得された第2の損傷情報とデータベースで記憶された第1の損傷情報との類似度を算出する類似度算出部を備え、検索部は、類似度算出部で算出された類似度に基づいて、単数又は複数の第1の損傷情報をデータベースより検索する。
本態様によれば、類似度算出部により情報取得部で取得された第2の損傷情報とデータベースで記憶された第1の損傷情報との類似度が算出され、その算出された類似度に基づいて検索が行われる。これにより、本態様は、類似度に応じた損傷の検索を行うことができる。
好ましくは、類似損傷検索装置は、特徴量決定部で決定された第2の損傷情報の特徴量とデータベースで記憶された第1の損傷情報の特徴量との類似度を算出する類似度算出部を備え、検索部は、類似度算出部で算出された類似度に基づいて、単数又は複数の第1の損傷情報をデータベースより検索する。
本態様によれば、類似度算出部により特徴量決定部で決定された第2の損傷情報の特徴量とデータベースで記憶された第1の損傷情報の特徴量との類似度が算出され、その算出された類似度に基づいて検索が行われる。これにより、本態様は、類似度に応じた類似する損傷の検索を行うことができる。
好ましくは、類似損傷検索装置は、検索対象の損傷画像において、複数の検索対象の損傷がある場合には、複数の検索対象の損傷の各々に対して個別類似度を算出する類似度算出部と、類似度算出部で算出された個別類似度のうちで代表値を決定する代表値決定部を備え、検索部は、代表値決定部で決定された代表値に基づいて、単数又は複数の第1の損傷情報をデータベースより検索する。
本態様によれば、類似度算出部により複数の検索対象の損傷の各々に対して個別類似度が算出され、代表値決定部により個別類似度のうちで代表値が決定され、決定された代表値に基づいて検索が行われる。これにより、本態様は、損傷画像において複数の損傷がある場合においても、精度のよい検索を行うことができる。
好ましくは、損傷ベクトルの階層構造に関する情報は、少なくとも分岐により幹とされる損傷ベクトルに関する情報及び分岐により枝とされる損傷ベクトルに関する情報を含む。
本態様によれば、損傷ベクトルの階層構造に関する情報は、少なくとも分岐により幹とされる損傷ベクトルに関する情報及び分岐により枝とされる損傷ベクトルに関する情報を含む。これにより、本態様は、分岐を起点に枝分かれしている構造を有する損傷に関して、精度のよい検索を行うことができる。
好ましくは、類似損傷検索装置は、検索部が検索した結果を類似度に応じて整列させたリストデータを生成するリストデータ生成部を備える。
本態様によれば、検索した結果が類似度に応じて整列したリストを得ることができる。
好ましくは、データベースは、第1の損傷情報に関連させて損傷を有する構造物に関しての情報を記憶し、検索部は、第2の損傷情報に類似する単数又は複数の第1の損傷情報の検索結果に基づいて、データベースに記憶されている構造物に関しての情報を検索する。
本態様によれば、データベースには損傷を有する構造物に関しての情報が記憶されているので、類似する損傷を有する構造物に関して情報を取得することができる。
好ましくは、データベースは、第1の損傷情報に関連させて損傷の補修記録を記憶し、検索部は、第2の損傷情報に類似する単数又は複数の第1の損傷情報の検索結果に基づいて、データベースに記憶されている補修記録を検索する。
本態様によれば、データベースには損傷の補修記録が記憶されているので、類似する損傷の補修記録に関する情報を取得することができる。
本発明の他の態様である類似損傷検索方法は、構造物の損傷画像に基づいて生成された第1の損傷情報であって、構造物の損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報とを有する第1の損傷情報をデータベースに記憶するステップと、検索対象の損傷画像に基づいて、第1の損傷情報に対応する第2の損傷情報を取得するステップと、第2の損傷情報に基づいて、データベースに記憶されている第1の損傷情報のうちから第2の損傷情報に類似する単数又は複数の第1の損傷情報を検索するステップと、を含む。
本発明によれば、構造物の損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報とに基づいて、類似する損傷の検索が行われるので、損傷の特徴を捉えた精度のよい類似の損傷の検索を行うことができる。
図1は、橋梁の構造を示す斜視図である。 図2は、コンピュータの外観構成を示す斜視図である。 図3は、コンピュータの外観構成を示す斜視図である。 図4は、コンピュータのシステム構成を示すブロック図である。 図5は、類似損傷検索装置のブロック図である。 図6は、曲線状の損傷を分割して複数の損傷ベクトルを生成する様子を示す図である。 図7は、損傷ベクトルの始点を決める様子を説明するための図である。 図8は、損傷ベクトルの始点を決める様子を説明するための他の図である。 図9は、分離した損傷ベクトルの連結を示す図である。 図10は、分離した損傷ベクトルの連結を示す他の図である。 図11は、階層構造情報に含まれる損傷ベクトルの情報の例(階層決定手法の例1に対応)を示す図である。 図12は、損傷ベクトルの階層決定手法の例1を説明するための図である。 図13は、損傷ベクトルの階層決定手法の例2を説明するための他の図である。 図14は、階層決定手法の例2に対応した階層構造情報の例を示す表である。 図15は、損傷ベクトルの階層決定手法の例3を説明するための図である。 図16は、損傷ベクトルの階層決定手法の例3を説明するための他の図である。 図17は、損傷ベクトルの階層決定手法の例3を説明するための他の図である。 図18は、階層決定手法の例3に対応した階層構造情報の例を示す表である。 図19は、損傷ベクトルの階層決定手法の例4を説明するための図である。 図20は、階層決定手法の例4に対応した階層構造情報の例を示す表である。 図21は、損傷ベクトルの方向に関する情報に関して説明する図である。 図22は、損傷ベクトルの方向に関する情報の例について示す表である。 図23は、階層構造情報に含まれる画像情報を示す表である。 図24は、特徴量の例に関して説明する図である。 図25は、類似損傷検索装置の動作を説明するフロー図である。 図26は、類似損傷検索装置のブロック図である。 図27は、類似損傷検索装置のブロック図である。 図28は、類似損傷検索装置のブロック図である。
以下、添付図面に沿って本発明の好ましい実施の形態について説明する。
図1は、構造物の一例である橋梁1の構造を示す斜視図であり、橋梁1を下から見た図である。なお、構造物に関するその他の例は、道路、ビル、柱又はトンネルが挙げられる。本発明は、構造物の損傷をカメラにより撮影し、その撮影画像(損傷画像)から抽出した情報に基づいて、過去の情報又はサンプルの情報として蓄積されている情報を検索する。ここで、損傷とはひび割れ、遊離石灰、又は欠落のことである。
図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベット又は溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。
主桁2は、橋台や橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4及び横構5は、それぞれ風や地震等の横荷重に抵抗するため、主桁2を相互に連結する部材である。また、橋梁1の下部には、配管7が敷設されている。
図2及び図3は、類似損傷検索装置を構成するコンピュータ100の外観構成を示す斜視図であり、図2は正面斜視図であり図3は背面斜視図である。
コンピュータ100は、図2及び図3に示すように、タブレット型のコンピュータで構成される。コンピュータ100は、矩形の輪郭を有する平板状の筐体101を備え、その筐体101に表示部126と入力部128とを兼ねたタッチパネルディスプレイ102、操作ボタン103、スピーカー104、内蔵カメラ105、外部接続端子106等を備えて構成される。
図4は、コンピュータ100のシステム構成を示すブロック図である。
図4に示すように、コンピュータ100は、コンピュータ100の全体の動作を制御するCPU(Central Processing Unit)110を備え、このCPU110にシステムバス112を介して、メインメモリ114、不揮発性メモリ116、モバイル通信部118、無線LAN(Local Area Network)通信部120、近距離無線通信部122、有線通信部124、表示部126、入力部128、キー入力部130、音声処理部132、画像処理部134等が接続されて構成される。
CPU110は、不揮発性メモリ116に記憶された動作プログラム(OS(Operating System)、及び、そのOS上で動作するアプリケーションプログラム)、及び、定型データ等を読み出し、メインメモリ114に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
メインメモリ114は、たとえば、RAM(Random Access Memory)で構成され、CPU110のワークメモリとして機能する。
不揮発性メモリ116は、たとえば、フラッシュEEPROM(EEPROM:Electrically Erasable Programmable Read Only Memory)で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ116は、コンピュータ100の記憶部として機能し、各種データを記憶する。
モバイル通信部118は、IMT−2000規格(International Mobile Telecommunication-2000)に準拠した第3世代移動通信システム、及び、IMT−Advanced規格(International Mobile Telecommunications-Advanced)に準拠した第4世代移動通信システムに基づき、アンテナ118Aを介して、最寄りの図示しない基地局との間でデータの送受信を実行する。
無線LAN通信部120は、アンテナ120Aを介して、無線LANアクセスポイントや無線LAN通信が可能な外部機器との間で所定の無線LAN通信規格(例えばIEEE802.11a/b/g/n規格)に従った無線LAN通信を行う。
近距離無線通信部122は、アンテナ122Aを介して、たとえばクラス2(半径約10m内)の範囲内にある他のBluetooth(登録商標)規格の機器とデータの送受信を実行する。
有線通信部124は、外部接続端子106を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。
表示部126は、タッチパネルディスプレイ102のディスプレイ部分を構成するカラーLCD(Liquid Crystal Display)パネルと、その駆動回路と、で構成され、各種画像を表示する。
入力部128は、タッチパネルディスプレイ102のタッチパネル部分を構成する。入力部128は、透明電極を用いてカラーLCDパネルと一体的に構成される。入力部128は、ユーザのタッチ操作に対応した2次元の位置座標情報を生成して出力する。
キー入力部130は、コンピュータ100の筐体101に備えられた複数の操作ボタン103と、その駆動回路と、で構成される。
音声処理部132は、システムバス112を介して与えられるデジタル音声データをアナログ化してスピーカー104から出力する。
画像処理部134は、撮影レンズ及びイメージセンサーを備えた内蔵カメラ105から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
<第1の実施形態>
次にコンピュータ100で実現される類似損傷検索(類似損傷検索装置及び類似損傷検索方法)の第1の実施形態に関して説明をする。
図5は、コンピュータ100で実現される類似損傷検索装置のブロック図である。類似損傷検索装置は、主に情報取得部151、検索部153、及びデータベース155から構成される。
情報取得部151は、検索対象の損傷が撮影された撮影画像(損傷画像)に基づいて、データベース155に記憶されている情報(蓄積情報:第1の損傷情報)に対応する検索対象情報(第2の損傷情報)を取得する。すなわち、情報取得部151は、データベース155に記憶されている蓄積情報を検索するために、蓄積情報に対応する検索対象情報を取得する。ここで蓄積情報に対応する検索対象情報(第2の損傷情報)を取得するとは、蓄積情報として記憶されている情報と同種の情報を検索対象情報として取得することである。例えば、第1の損傷情報として損傷ベクトル(始点、終点及び長さ)、損傷ベクトルの階層構造に関するデータ(親ベクトルID、兄弟ベクトル、及び子ベクトル)がデータベース155に記憶されている場合には、情報取得部151は、第2の損傷情報として損傷ベクトル(始点、終点及び長さ)、損傷ベクトルの階層構造に関するデータ(親ベクトルID、兄弟ベクトル、及び子ベクトル)を取得する。なお、情報取得部151は、コンピュータ100に取り込まれた損傷画像を画像処理部134により処理して検索対象情報を取得してもよいし、類似損傷検索装置とは別体の画像処理装置で処理されて抽出された検索対象情報を取得してもよい。
検索部153は、情報取得部151で取得された検索対象情報に基づいて、データベース155に記憶されている蓄積情報のうちから検索対象情報に類似する単数又は複数の蓄積情報を検索する。検索部153は、公知の方法により検索対象データと類似する蓄積データを検索することができる。例えば検索部153は、検索対象データの有する特徴量と同一又は最も近い特徴量を有する蓄積データを抽出し、検索結果として出力する。なお特徴量に関しては後で説明をする。
検索部153には、特徴量決定部157が設けられていてもよい。検索対象データが複数の特徴量で構成されている場合には、特徴量決定部157により、検索に使用する特徴量が決定され、決定された特徴量により検索が行われる。具体的には特徴量決定部157は、少なくとも損傷ベクトルの特徴量を含む検索に使用する特徴量を決定する。すなわち、後述するように、損傷ベクトル、損傷ベクトルの階層構造に関する情報、及び損傷ベクトルの方向に関する情報の各々は、単数又は複数の特徴量から構成されている。よって特徴量決定部157は、検索に使用する単数又は複数の特徴量を決定し、そして検索部153は、検索結果を出力する。特徴量決定部157で行われる検索に使用する特徴量の決定はCPU110を介して自動で行われてもよいし、ユーザが指令を入力して手動で行われてもよい。
データベース155には、少なくとも蓄積情報として損傷ベクトルと損傷構造情報とが記憶されている。損傷ベクトルは、損傷画像に基づいて生成されており、構造物の損傷がベクトル化されたものである。また、損傷構造情報は、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む情報である。
次に本発明のデータベース155に記憶される情報に関して説明する。本発明のデータベース155には、過去又はサンプルとしての損傷に関する情報が蓄積情報として記憶されている。蓄積情報は、構造物の損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報を含む。
損傷ベクトルは、構造物の損傷が撮影された損傷画像に基づいて生成されている。例えば、損傷画像から公知の方法によりひび割れの検出が行われ、検出されたひび割れに基づいて損傷ベクトルが生成される。
損傷画像からひび割れを検出する方法の一つとして、例えば特許4006007号公報に記載されたひび割れ検出方法を用いることができる。この方法は、対比される2つの濃度に対応したウェーブレット係数を算定するとともに、2つの濃度をそれぞれ変化させた場合のそれぞれのウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面を撮影した入力画像をウェーブレット変換することによってウェーブレット画像を作成する工程と、ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値として、注目画素のウェーブレット係数と閾値とを比較することによりひび割れ領域とひび割れでない領域を判定する工程とからなるひび割れ検出方法である。
検出された損傷(ひび割れ)に基づいて損傷ベクトル(ひび割れベクトル)が生成される。損傷ベクトルは始点、終点で定まる線分であり、損傷(ひび割れ)が曲線状の場合、曲線と線分の距離が閾値以下になるように損傷を複数の区間に分割し、複数の区間のそれぞれについてひび割れベクトルを生成する。図6の例では、曲線状のひび割れCrを4つの区間Cr1〜Cr4に分割し、それぞれの区間についてひび割れベクトルCv1〜Cv4を生成することで、区間Cr1〜Cr4におけるひび割れベクトルCv1〜Cv4との距離d1〜d4が閾値以下になるようにしている。
損傷ベクトルの生成に際しては、例えば床版6の特徴点を座標系の原点とし、損傷ベクトルのグループ(ベクトルグループ)について、原点からの距離が最小になる端点を第1の始点とし、以下損傷ベクトルの走行方向に沿って順次終点、始点を決定することができる。図7の例では、床版6上の点P0を座標系の原点、図の下方向及び右方向をそれぞれ座標系のX軸方向、Y軸方向としたときに、ベクトルグループC7の点P13,P14,P15,P16のうち点P0からの距離dが最も短くなる点P13を損傷ベクトルC7−1の始点とし、以下、点P14を損傷ベクトルC7−1の終点(かつ損傷ベクトルC7−2,C7−3の始点)、点P15,P16をそれぞれ損傷ベクトルC7−2,C7−3の終点とすることができる。
しかしながら、同様の手法でベクトルグループC8の始点を決定すると、点P17が損傷ベクトルC8−1の始点、点P18が損傷ベクトルC8−2,C8−3の始点となり、損傷ベクトルC8−3の走行方向(点P18から点P20へ向かう方向)が損傷ベクトルC8−1の走行方向と逆行してしまう。そこでこのような場合は、図8に示すように点P19を損傷ベクトルC8A−1の始点とし、以下、点P18を損傷ベクトルC8A−1の終点(かつ損傷ベクトルC8A−2,C8A−3の始点)、点P17,P20をそれぞれ損傷ベクトルC8A−2,C8A−3の終点とするようにしてもよい。なおこの場合の損傷ベクトルの集合体をベクトルグループC8Aと表記する。
上述のようにして損傷ベクトルを生成する場合、損傷が床版6の内部では連続しているが表面では分離していると、分離した損傷ベクトルとして認識されてしまう可能性がある。そのような場合であっても、複数の損傷ベクトルを連結して1または複数のベクトルを生成してもよい。
図9は損傷ベクトルの連結の例を示す図であり、損傷ベクトルC3−1(点P21、点P22がそれぞれ始点、終点)を含むベクトルグループC3と、損傷ベクトルC4−1(点P23、点P24がそれぞれ始点、終点)を含むベクトルグループC4とが抽出された状況を示している。また、損傷ベクトルC3−1が点P22及び点P23を結ぶ線分となす角をα1とし、点P22及び点P23を結ぶ線分が損傷ベクトルC4−1となす角をα2とする。このとき、角α1及び角α2が共に閾値α0以下ならば、損傷ベクトルC3−1及びC4−1を連結し、またベクトルグループC3及びC4を融合させる。具体的には、図10に示すように新たな損傷ベクトルC5−2を生成してその他の損傷ベクトルC5−1(損傷ベクトルC3−1と同一)及びC5−3(損傷ベクトルC4−1と同一)と連結させ、これら損傷ベクトルC5−1,C5−2,及びC5−3を含む新たなベクトルグループをベクトルグループC5とする。
なお上述の手法は損傷ベクトル連結手法の一例であり、他の方法を用いてもよい。また、上述のように損傷ベクトル同士を連結させるか否かは、手動又は自動で行われる。
図11は、データベース155に記憶される蓄積情報の構成例を示す図である。データベース155に記憶される蓄積情報は、損傷ベクトルが所属するベクトルグループの情報と、各損傷ベクトルの固有情報と、ベクトルグループ内において各損傷ベクトルに連結する他の損傷ベクトルの情報と、付加情報と、から構成される。すなわち、蓄積情報は、損傷ベクトルと損傷構造情報とを含み、損傷構造情報は損傷ベクトルの階層構造に関する情報及び損傷ベクトルの方向に関する情報から構成されている。なお、図11に示した例では、損傷ベクトルに関する情報はベクトルグループID(Identification)、ベクトルID、始点、終点、長さ、及び幅に関する情報であり、損傷ベクトルの階層構造に関する情報は階層(レベル)、親ベクトルID、兄弟ベクトルID、及び子ベクトルIDである。
ここで階層(レベル)は、レベル1が最上位であり、数字が大きくなるほど下位の階層になる。具体的な階層の決定方法については詳細を後述する。
損傷ベクトルの階層構造に関する情報とは、損傷ベクトルに対して階層による分類を付与したものである。例えば一の損傷ベクトルの終点が他の損傷ベクトルの始点となっている場合、そのような一の損傷ベクトルを「親ベクトル」といい、他の損傷ベクトルを「子ベクトル」という。親ベクトルは1つの損傷ベクトルについてゼロまたは1つとなるように決めるものとするが、子ベクトルは1つの親ベクトルに対しゼロ以上の任意の数だけ存在していてよい。また、親ベクトルの終点が複数の子ベクトルの始点となっている場合、それら複数の子ベクトルは互いに「兄弟ベクトル」という。兄弟ベクトルも、ゼロ以上の任意の数だけ存在していてよい。
このように、階層構造情報に親ベクトル、兄弟ベクトル、及び子ベクトルのID(識別情報)が含まれるので、任意の損傷ベクトルに基づいて、ベクトルのIDを参照して親ベクトル、兄弟ベクトル、及び子ベクトルを順次特定することができる。例えば、ある損傷ベクトルの親ベクトルを特定し、その親ベクトルの親ベクトルをさらに特定することができる。
また蓄積情報は付加情報を含み、付加情報は削除操作フラグ、追加操作フラグ、点検日、及び補修記録を含む。付加情報に含まれる「幅」は、各損傷ベクトルに対応するひび割れの幅を示す。削除操作フラグは削除操作が行われたベクトルであるかどうかを示し、削除操作が行われた場合は“1”、行われていない場合は“0”である。この削除操作フラグを参照して、損傷ベクトルの表示と非表示とを切り替えることができる。追加操作フラグは、損傷ベクトルの検出態様に関連しており、自動で検出されたベクトルである場合は“0”、手動で(ユーザの指示入力により)追加されたベクトルである場合は“1”、手動で追加され異なるIDのベクトルを接続して生成されたベクトルである場合は“2”である。
「点検日」には損傷の画像を撮像した日を設定するが、ユーザの指示入力により編集することもできる。また「補修」の記録は、ユーザの指示入力(補修の種類及び補修日)に基づいて生成することができる。補修の種類は例えば、セメントで埋める、樹脂で埋める、放置(経過観察)など(図11の表ではそれぞれR1,R2,R3と記載している)がある。
次に、損傷ベクトルが所属する階層(レベル)について説明する。損傷ベクトルの階層は、例えば以下の例1〜4で説明するように、種々の手法で決定することができる。
<階層決定手法(例1)>
図12は、ベクトルグループC1を示す図である。ベクトルグループC1は、損傷ベクトルC1−1〜C1−6により構成されており、これら損傷ベクトルは点P1〜P7を始点または終点としている。このような状況において例1では、損傷ベクトルが分岐する(ある損傷ベクトルの終点が他の複数の損傷ベクトルの始点となっている)ごとに階層が下位になるとしている。具体的には損傷ベクトルC1−1の階層を最も上位の“レベル1”として、損傷ベクトルC1−1の終点である点P2を始点とする損傷ベクトルC1−2及びC1−3の階層は、損傷ベクトルC1−1よりも下位である“レベル2”とする。同様に、損傷ベクトルC1−3の終点である点P4を始点とする損傷ベクトルC1−5及びC1−6の階層は、損傷ベクトルC1−3よりも下位である“レベル3”とする。一方、損傷ベクトルC1−2の終点である点P3は損傷ベクトルC1−4の始点であるが、点P3を始点とする損傷ベクトルは損傷ベクトルC1−4だけであり分岐はないので、損傷ベクトルC1−4の階層はC1−2と同じ“レベル2”とする。このようにして決定した各損傷ベクトルの階層は、図11の表に示すように階層構造情報に含まれる。
<階層決定手法(例2)>
図13は、ベクトルグループC1(損傷ベクトル同士の連結関係は図12に示すものと同一)を示す図である。例2では、連結する損傷ベクトルのうち他の損傷ベクトルとのなす角度が閾値以下であるもの(分岐により木構造における「幹」に相当する損傷ベクトル)は同一の階層に属するものとしている。具体的には図13の点線内(参照符号Lv1で示す範囲)に存在する損傷ベクトルC1−1,C1−2,及びC1−4は同一の階層である“レベル1”(最上位)とする。また、それ以外の損傷ベクトルC1−3,C1−5,及びC1−6については、例1と同様に損傷ベクトルが分岐するごとに階層が下位になるとしており、損傷ベクトルC1−3(分岐により木構造における「枝」に相当)を“レベル2”、損傷ベクトルC1−5及びC1−6(分岐により木構造における「葉」に相当)を“レベル3”としている。このようにして決定した各損傷ベクトルの階層及び種別(幹、枝、あるいは葉)は、図14の表に示すように、階層構造情報に含まれる。
<階層決定手法(例2の変形例)>
上述した階層決定手法(例2)の変形例について説明する。階層決定手法(例2)のように損傷ベクトルを木構造における幹、枝、及び葉に相当するものとして階層を決定するに際して、一般に「枝」は「幹」よりも短いと考えられるため、最長の損傷ベクトルを「幹」(レベル1)とし、その他の損傷ベクトルを「枝」または「葉」として階層を決定するようにしてもよい。この場合、例えば図14の表に示す損傷ベクトル情報では、長さ100mmの損傷ベクトルC1−1が「幹」(レベル1)となる。損傷ベクトルC1−2及びC1−3は「枝」(レベル2)とし、損傷ベクトルC1−4は「枝」(レベル2)または「葉」(レベル3)、損傷ベクトルC1−5,及び6は「葉」(レベル3)とすることができる。
なお、「最長の損傷ベクトル」ではなく「最長のひび割れ」を構成する損傷ベクトルを「幹」(レベル1)とし、「幹」から分岐しているひび割れに対応する損傷ベクトルを「枝」または「葉」としてもよい。この場合、「最長のひび割れ」とは「太いひび割れも細いひび割れも全て繋がった状態において、ひび割れとして最長である」ことを意味するものとする。
また、損傷ベクトルの長さに加え幅(損傷ベクトルに対応する損傷の幅)をも考慮して種別(幹、枝、及び葉)及び階層を決定するようにしてもよい。例えば、「長さ×幅」が最大になる損傷ベクトルを「幹」とし、その他の損傷ベクトルを「枝」または「葉」として階層を決定するようにしてもよい。この場合、例えば図14の表に示す損傷ベクトル情報では、「長さ×幅」が最大(100mm)である損傷ベクトルC1−1が「幹」となる。損傷ベクトルC1−2及びC1−3は「枝」(レベル2)とし、損傷ベクトルC1−4は「枝」(レベル2)または「葉」(レベル3)、損傷ベクトルC1−5,及び6は「葉」(レベル3)とすることができる。
上述した変形例のように損傷ベクトルの長さ、または「長さ×幅」を考慮して損傷ベクトルの階層を決定することで、階層化の精度を向上させることができる。
<階層決定手法(例3)>
図15〜17は、ベクトルグループC1(損傷ベクトル同士の連結関係は図12,13に示すものと同一)を示す図である。例3では、損傷ベクトルが生じた時間の先後を橋梁1の画像の撮影日時に基づいて判断し、損傷ベクトルが時間的に後に生じたものであるほど下位の階層に属するものとしている。図15〜17の場合、最初に撮影した画像では損傷ベクトルC1−1を含むベクトルグループC1Aが生じており(図15)、次に撮影した画像では損傷ベクトルC1−2及びC1−3が新たに発生してベクトルグループC1Bとなり(図16)、最後に撮影した画像ではさらに損傷ベクトルC1−4,C1−5,及びC1−6が発生してベクトルグループC1となった(図17)ものとする。
このような状況において例3では、最初の画像で生じている損傷ベクトルC1−1(図15において参照符号Lv1で示す範囲)を最も上位の“レベル1”とし、次の画像で生じている損傷ベクトルC1−2及びC1−3(図16において参照符号Lv2で示す範囲)“レベル2”とし、最後の画像で生じている損傷ベクトルC1−4,C1−5,及びC1−6(図17において参照符号Lv3で示す範囲)を“レベル3”とする。
このようにして決定した各損傷ベクトルの階層は、図18の表に示すように階層構造情報に含まれる。
<階層決定手法(例4)>
図19は、ひび割れC2A及びこれに対応するベクトルグループC2を示す図である。例4では、一の損傷ベクトルに連結している他の損傷ベクトルが1つのみである場合、そのような他の1つの損傷ベクトルは一の損傷ベクトルと同じ階層に属するものとしている。具体的には、図19に示すように一本の曲線状のひび割れC2Aが複数のひび割れC2A−1〜C2A−4に分割されており、これらひび割れが点P8〜点P12を始点または終点とする損傷ベクトルC2−1〜C2−4にそれぞれ対応している場合を考えると、損傷ベクトルC2−1〜C2−3の終点にはそれぞれ1つの損傷ベクトル(損傷ベクトルC2−2〜C2−4)しか連結していない。このような場合、例4では損傷ベクトルC2−1〜C2−4(図19において参照符号Lv1で示す範囲)は実質的に1つであると考え、全て同一の階層である“レベル1”(最上位)に属するものとする。このようにして決定した各損傷ベクトルの階層は、図20の表に示すように階層構造情報に含まれる。
以上、損傷ベクトルの所属階層決定手法の例1〜4について説明したが、これらの手法は具体的な損傷の態様に応じて適宜使い分けることができ、また必要に応じて複数の手法を組み合わせて用いてもよい。例えば連結のパターンが複雑な損傷ベクトルのグループに対し、ある部分は例1を用いて階層を決定し、他の部分は例4を用いて階層を決定するようにしてもよい。
次に損傷ベクトルの方向に関する情報について説明する。
データベース155は、損傷構造情報として損傷ベクトルの方向に関する情報を有している。ここで、損傷ベクトルの方向に関する情報とは、構造物に対しての損傷ベクトルの方向に関する情報である。例えば損傷ベクトルの方向に関する情報とは、床版6における車の進行方向に対して平行に延びるひび割れであるか又は垂直に延びるひび割れであるかの情報である。また例えば損傷ベクトルの方向に関する情報とは、ビルの柱において鉛直方向に延びるひび割れであるのか、地面に対して平行な方向に延びるひび割れであるのかの情報である。
図21は、損傷ベクトルの方向に関する情報に関して説明する図である。床版6に対して自動車Vの進行方向は図中のX軸で示されており、自動車Vの進行方向に対して垂直方向は図中のY軸で示されている。また図22は、上述したデータベース155に記憶される情報に加えてデータベース155に記憶される損傷ベクトルの方向に関する情報の例について示す表である。
図21及び図22に示した場合では、自動車Vの進行方向に対して、水平方向(X軸)か垂直方向(Y軸)かによって、ベクトル方向が縦であるか横であるかを決定している。なお、ひび割れが撮影された画像と床版6の方向との対応が取れるように画像には、方向に関する情報を付しておくことが望ましい。
また、損傷ベクトルの方向に関するデータはベクトルグループにおいても付すことができる。例えば、ベクトルグループの方向は、ベクトルグループの主要な幹の方向ベクトルに基づいて決定することができる。なお、上述した縦方向とは、図中のY軸を中心に±45度以内であれば縦方向とし、横方向とは図中のX軸を中心に±45度以内であれば横方向としている。
以下のように、損傷ベクトルの方向に関する情報がデータベース155に記憶されている。すなわち、図21及び図22に示すように、ベクトルグループC1−Aのひび割れを構成する損傷ベクトルC1−1、損傷ベクトルC1−2、損傷ベクトルC1−4、及び損傷ベクトルC1−5は、床版6の上面を走行する車両の進行方向に対して垂直の方向である縦方向とされる。一方、ベクトルグループC1−Aのひび割れを構成する損傷ベクトルC1−3及び損傷ベクトルC1−6は、床版6の上面を走行する自動車Vの進行方向に対して水平の方向である横方向とされる。
そして、ベクトルグループC1−Aの主要な幹は損傷ベクトルC1−1、損傷ベクトルC1−2、及び損傷ベクトルC1−4であるとすると、ベクトルグループC1−Aの方向は縦方向とすることができる。なお、このベクトルグループの方向は、様々な方法により決定することができる。例えば、主要な幹の全体ではなく、幹を構成する各要素単位領域(線分近似された各線分等)における方向を計算し、その平均をとる等の方法によっても、ベクトルグループに関しての方向を決定することもできる。
また図21及び図22に示すC1−Bのベクトルグループを構成する損傷ベクトルC1−1、損傷ベクトルC1−2、損傷ベクトルC1−4、及び損傷ベクトルC1−5は、構造物である床版6上面を走行する車両の進行方向に対して水平の方向である横方向とされる。一方、C1−Bのひび割れを構成する損傷ベクトルC1−3及び損傷ベクトルC1−6は、構造物である床版6上面を走行する車両の進行方向に対して垂直の方向である縦方向とされる。また、上述したC1−Aのベクトルグループと同様に、C1−Bの主要な幹は損傷ベクトルC1−1、損傷ベクトルC1−2、及び損傷ベクトルC1−4であるとすると、ベクトルグループC1−Bの方向は横方向とすることができる。
また、上述の縦方向及び横方向の考え方を応用することにより、床版6全体での「ひび割れが一方向か、二方向か」という判定を行うこともできる。その場合は、縦方向のひび割れベクトル(損傷ベクトル)と横方向のひび割れベクトル(損傷ベクトル)の割合や本数の情報で決定されてもよい。また、亀甲状のひび割れが存在する場合には、亀甲状という判定を行ってもよいし、亀甲状のひび割れは縦方向及び横方向に包含されるものとしてもよい。
データベース155には、上述した情報の他に損傷ベクトルと関連させて様々な情報を記憶させることができる。
例えばデータベース155には、損傷ベクトルを検出した損傷画像の画像情報を記憶させてもよい。ここで画像情報とは、損傷が撮像された撮影画像についての情報であり、損傷ベクトルのグループについて、撮影画像の識別情報及び画像データ、画像取得日時等を規定したものである。図23は画像情報の例を示す表であり、ベクトルグループC1(図12参照)について、画像のID、画像データ、取得日時、画像の幅及び高さ、チャンネル数、ビット/ピクセル、解像度が規定されている。チャンネル数はRGB(R:赤、G:緑、B:青)カラー画像なら3チャンネルであり、モノクロ画像なら1チャンネルである。なお図23ではベクトルグループC1についてのみ記載しているが、ベクトルグループが複数存在する場合は、各グループについて同様の情報を生成してもよい。
データベース155には、損傷ベクトルに関連させて損傷を有する構造物に関しての情報を記憶させてもよい。すなわち、損傷ベクトルとして記憶されている損傷を有する構造物の情報をデータベース155に記憶させてもよい。具体的には、データベース155には、ひび割れを有する床版6がもうけられている構造物に関して住所、大きさ、及び建設日をそのひび割れに関する蓄積情報と共に記憶させていてもよい。この場合には、検索部153は、検索対象情報に類似する単数又は複数の蓄積情報の検索結果に基づいて、データベース155に記憶されている構造物に関しての情報を検索することができる。
またデータベース155には、蓄積情報の損傷ベクトルの一部として、損傷ベクトルの密度に関する情報が記憶されていてもよい。ここで損傷ベクトルの密度とは、ある一定領域において、損傷ベクトルが何本存在するかで表すことができる。
またデータベース155には、損傷の種類別の統計情報又は損傷の情報に関してのインターネット上のリンクが登録されていてもよい。またデータベース155には、検査作業者が確定した検査結果又は、検査作業者が作成したレポート等のテキストベースのデータが損傷ベクトルに関連して記憶されていてもよい。
次に蓄積情報及び検索対象情報を構成する特徴量に関して説明する。構造物の損傷がベクトル化された損傷ベクトルと、損傷ベクトルの階層構造に関する情報、及び損傷ベクトルの方向に関する情報のうち少なくとも1つを含む損傷構造情報は、単数又は複数の特徴量で構成される。
図24は、損傷ベクトル、損傷ベクトルの階層構造に関する情報、及び損傷ベクトルの方向に関する情報を構成する特徴量の例に関して説明する図である。図24に示された図では、損傷ベクトルの特徴量はひび割れの始点及び終点、ひび割れの長さ、及びひび割れの幅で構成されている。また、損傷ベクトルの階層構造に関する情報の特徴量は、親ベクトルID、兄弟ベクトルID、及び子ベクトルIDで構成されている。また、損傷ベクトルの階層構造に関する情報の特徴量は、構造物に対する方向で構成されている。上述した特徴量決定部157(図5)は、検索対象情報が有する特徴量のうち、検索に使用する特徴量を決定する。
次に、検索部153が行う損傷ベクトルの階層構造に関する情報を使用しての検索に関して説明する。
検索部153は、損傷ベクトルに加えて階層構造に関する情報を使用して検索を行うことができる。例えば検索部153は、一次検索として損傷ベクトルのひび割れの幅又は長さによる検索を親ベクトルに対して行い、2次検索として兄弟ベクトルに対して検索を行うことができる。また検索部153は、階層情報を含むベクトルの場合、ある階層以上のベクトルのみを利用して検索することもできる。すなわち、検索部153はある階層以上又はある階層以下のベクトルのみを利用して蓄積データを検索することができる。
次に、検索部153が行う損傷ベクトルの方向に関する情報を使用しての検索に関して説明する。
検索部153は、損傷ベクトルに加えて方向に関する情報を使用して検索を行うことができる。例えば検索部153は、一次検索として方向が同じ蓄積データに対して検索を行い、2次検索として検索対象情報の損傷ベクトルに基づいて一次検索の結果に対して検索を行ってもよい。さらに例えば検索部153は、一次検索として縦及び横の二方向のひび割れを有するベクトルグループに対して先に横方向のひび割れが発生したもの、又は先に縦方向のひび割れが発生したものを蓄積情報内で検索を行うこともできる。
図25は、類似損傷検索装置の動作を説明するフロー図である。
先ず、情報取得部151により、検索対象の損傷が撮影された撮影画像に基づいて、蓄積情報(第1の損傷情報)に対応する検索対象情報(第2の損傷情報)が取得される(ステップS10)。その後、特徴量決定部157により、取得した検索対象情報の特徴量のうち、検索に使用する特徴量が決定され(ステップS11)、検索部153によりデータベース155に記憶されている蓄積データ内で検索が行われる(ステップS12)。そして、検索部153により、蓄積データにおいて検索対象情報に類似する特徴量を有する蓄積データが検索及び抽出される。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
<第2の実施形態>
次にコンピュータ100で実現される類似損傷検索装置の第2の実施形態に関して説明をする。
図26及び図27は、本実施形態の類似損傷検索装置の構成例を示すブロック図である。なお、図5で既に説明を行った箇所に関しては、同じ符号を付し説明は省略する。
図26に示した類似損傷検索装置は、情報取得部151、検索部153、データベース155、類似度算出部160、及びリストデータ生成部162で構成されている。
類似度算出部160は、検索対象情報と蓄積情報との類似度を算出する。すなわち、検索対象情報を構成する損傷ベクトル及び損傷構造情報と、蓄積情報として記憶されている損傷ベクトル及び損傷構造情報との類似度を算出する。ここで類似度は、例えば検索対象情報と蓄積情報との間の距離尺度(ユークリッド距離又はカルバック・ライブラー距離)から算出し、算出された結果は0〜1の範囲等に正規化して表す。
検索部153は、類似度算出部160で算出された類似度に基づいて単数又は複数の蓄積情報を検索し抽出する。例えば検索部153は、ある閾値以上又は以下の類似度を有する蓄積情報を抽出する。
リストデータ生成部162は、検索部153が検索した結果を類似度に応じて整列させたリストデータを生成する。具体的にはリストデータ生成部162は、検索部153から類似度を有する検索結果を受信し、その検索結果に基づいてリストデータを生成する。また、リストデータ生成部162で生成されたリストデータにおいては、類似度に基づいてソートすることが可能である。
図27に示した類似損傷検索装置は、情報取得部151、検索部153、データベース155、特徴量決定部157、類似度算出部160、及びリストデータ生成部162で構成されている。
図27に示すように、検索部153には特徴量決定部157及び類似度算出部160が設けられている。特徴量決定部157は、情報取得部151において複数の特徴量が取得された場合には、検索に使用する特徴量を決定する。
類似度算出部160は、特徴量決定部157での決定結果された検索に使用する検索対象情報の特徴量と、特徴量決定部157で決定された特徴量に対応する蓄積情報の特徴量との類似度を算出する。そして検索部153は、類似度算出部160で算出された類似度に基づいて、単数又は複数の第1の損傷情報をデータベース155より検索を行う。例えば検索部153は、ある閾値以上又は以下の類似度を有する蓄積情報を抽出する。なお、特徴量決定部157において複数の特徴量が決定された場合には、複数の特徴量の各々に対して優先度や重要度に応じて重み付けを行う。なお、特徴量決定部157で使用される優先度や重要度は予めコンピュータ100内に記憶されていてもよいし、ユーザにより入力されてもよい。
<第3の実施形態>
次にコンピュータ100で実現される類似損傷検索(装置)の第3の実施形態に関して説明をする。
図28は、本実施形態の類似損傷検索装置の機能構成例を示すブロック図である。なお、図5、図26、及び図27で既に説明を行った箇所に関しては、同じ符号を付し説明は省略する。
図28に示した類似損傷検索装置は、情報取得部151、検索部153、データベース155、特徴量決定部157、類似度算出部160、代表値決定部164及びリストデータ生成部162で構成されている。
類似度算出部160は、損傷画像において複数の損傷が存在する場合には、その複数の損傷の各々に対して個別類似度を算出する。すなわち、損傷画像において複数の損傷が存在する場合には、情報取得部151は複数の損傷に関しての検索対象情報を取得し、類似度算出部160は複数の検索対象の各々に対して個別類似度を算出する。
代表値決定部164は、類似度算出部160で算出された個別類似度のうちで代表値を決定する。例えば代表値決定部164は、複数の個別類似度から一つの個別類似度を代表値として決定してもよいし、各個別類似度の平均をした値を代表値として決定してもよいし、各個別類似度に重み付けを行って平均をした値を代表値として決定してもよい。
そして検索部153は、代表値決定部164で決定された代表値に基づいて、単数又は複数の蓄積情報をデータベース155より検索する。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
7 配管
100 コンピュータ
101 筐体
102 タッチパネルディスプレイ
103 操作ボタン
104 スピーカー
105 内蔵カメラ
106 外部接続端子
110 CPU
112 システムバス
114 メインメモリ
116 不揮発性メモリ
118 モバイル通信部
118A アンテナ
120 無線LAN通信部
120A アンテナ
122 近距離無線通信部
122A アンテナ
124 有線通信部
126 表示部
128 入力部
130 キー入力部
132 音声処理部
134 画像処理部
151 情報取得部
153 検索部
155 データベース
157 特徴量決定部
160 類似度算出部
162 リストデータ生成部
164 代表値決定部

Claims (11)

  1. 構造物の損傷画像に基づいて生成された第1の損傷情報であって、前記構造物の損傷がベクトル化された損傷ベクトルと、前記損傷ベクトルの階層構造に関する情報を含む損傷構造情報とを有する第1の損傷情報を記憶するデータベースと、
    検索対象の損傷画像に基づいて、前記第1の損傷情報に対応する第2の損傷情報を取得する情報取得部と、
    前記情報取得部で取得された前記第2の損傷情報に基づいて、前記データベースに記憶されている前記第1の損傷情報のうちから前記第2の損傷情報に類似する単数又は複数の前記第1の損傷情報を検索する検索部と、
    を備える類似損傷検索装置。
  2. 前記損傷ベクトル、前記損傷ベクトルの階層構造に関する情報、及び前記損傷ベクトルの方向に関する情報の各々は、単数又は複数の特徴量から構成され、少なくとも前記損傷ベクトルの特徴量を含む検索に使用する特徴量を決定する特徴量決定部を備え、
    前記検索部は、前記特徴量決定部で決定された特徴量に基づいて、単数又は複数の前記第1の損傷情報を前記データベースより検索する請求項1に記載の類似損傷検索装置。
  3. 前記情報取得部で取得された前記第2の損傷情報と前記データベースで記憶された前記第1の損傷情報との類似度を算出する類似度算出部を備え、
    前記検索部は、前記類似度算出部で算出された前記類似度に基づいて、単数又は複数の前記第1の損傷情報を前記データベースより検索する請求項1に記載の類似損傷検索装置。
  4. 前記特徴量決定部で決定された前記第2の損傷情報の特徴量と前記データベースで記憶された前記第1の損傷情報の特徴量との類似度を算出する類似度算出部を備え、
    前記検索部は、前記類似度算出部で算出された前記類似度に基づいて、単数又は複数の前記第1の損傷情報を前記データベースより検索する請求項2に記載の類似損傷検索装置。
  5. 前記検索対象の損傷画像において、複数の検索対象の損傷がある場合には、前記複数の検索対象の損傷の各々に対して、前記情報取得部で取得された前記第2の損傷情報と前記データベースで記憶された前記第1の損傷情報との個別類似度を算出する類似度算出部と、
    前記類似度算出部で算出された前記個別類似度のうちで代表値を決定する代表値決定部と、を備え、
    前記検索部は、前記代表値決定部で決定された代表値に基づいて、単数又は複数の前記第1の損傷情報を前記データベースより検索する請求項1に記載の類似損傷検索装置。
  6. 前記損傷ベクトルの階層構造に関する情報は、少なくとも分岐により幹とされる前記損傷ベクトルに関する情報及び分岐により枝とされる前記損傷ベクトルに関する情報を含む請求項1から5のいずれか1項に記載の類似損傷検索装置。
  7. 前記検索部が検索した結果を前記類似度に応じて整列させたリストデータを生成するリストデータ生成部を備える請求項4に記載の類似損傷検索装置。
  8. 前記データベースは、前記第1の損傷情報に関連させて前記損傷を有する構造物に関しての情報を記憶し、
    前記検索部は、前記第2の損傷情報に類似する単数又は複数の前記第1の損傷情報の検索結果に基づいて、前記データベースに記憶されている前記構造物に関しての情報を検索する請求項1から7のいずれか1項に記載の類似損傷検索装置。
  9. 前記データベースは、前記第1の損傷情報に関連させて前記損傷の補修記録を記憶し、
    前記検索部は、前記第2の損傷情報に類似する単数又は複数の前記第1の損傷情報の検索結果に基づいて、前記データベースに記憶されている前記補修記録を検索する請求項1から8のいずれか1項に記載の類似損傷検索装置。
  10. 前記データベースには、前記損傷ベクトルの方向に関する情報を含む損傷構造情報を有する第1の損傷情報を記憶する請求項1から9のいずれか1項に記載の類似損傷検索装置。
  11. 類似損傷検索装置により実行される類似損傷検索方法であって、
    構造物の損傷画像に基づいて生成された第1の損傷情報であって、前記構造物の損傷がベクトル化された損傷ベクトルと、前記損傷ベクトルの階層構造に関する情報を含む損傷構造情報とを有する第1の損傷情報をデータベースに記憶するステップと、
    検索対象の損傷画像に基づいて、前記第1の損傷情報に対応する第2の損傷情報を取得するステップと、
    前記第2の損傷情報に基づいて、前記データベースに記憶されている前記第1の損傷情報のうちから前記第2の損傷情報に類似する単数又は複数の前記第1の損傷情報を検索するステップと、
    を含む類似損傷検索方法。
JP2017557779A 2015-12-25 2016-11-09 類似損傷検索装置及び類似損傷検索方法 Active JP6543729B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015254977 2015-12-25
JP2015254977 2015-12-25
PCT/JP2016/083192 WO2017110280A1 (ja) 2015-12-25 2016-11-09 類似損傷検索装置及び類似損傷検索方法

Publications (2)

Publication Number Publication Date
JPWO2017110280A1 JPWO2017110280A1 (ja) 2018-10-18
JP6543729B2 true JP6543729B2 (ja) 2019-07-10

Family

ID=59090086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557779A Active JP6543729B2 (ja) 2015-12-25 2016-11-09 類似損傷検索装置及び類似損傷検索方法

Country Status (3)

Country Link
US (1) US11144590B2 (ja)
JP (1) JP6543729B2 (ja)
WO (1) WO2017110280A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6894361B2 (ja) * 2017-12-08 2021-06-30 大成建設株式会社 コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
JP7351849B2 (ja) * 2018-11-29 2023-09-27 富士フイルム株式会社 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ
WO2021014754A1 (ja) * 2019-07-23 2021-01-28 富士フイルム株式会社 ひび割れ評価装置、ひび割れ評価方法、及びひび割れ評価プログラム
CN112362752A (zh) * 2020-10-26 2021-02-12 武汉腾桥工程咨询有限公司 基于声发射技术的转体桥关键受力部位异常状态监测与损伤识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148089A (ja) 1992-05-29 1994-05-27 Shimizu Corp ひび割れ計測処理装置
JP4588901B2 (ja) * 2001-03-02 2010-12-01 株式会社竹中工務店 コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2005250562A (ja) 2004-03-01 2005-09-15 Tama Tlo Kk 判別分析を行う方法、類似画像検索方法、及び、そのプログラム、装置
JP4006007B2 (ja) 2004-11-10 2007-11-14 大成建設株式会社 ひび割れ検出方法
US8477154B2 (en) * 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US10387960B2 (en) * 2012-05-24 2019-08-20 State Farm Mutual Automobile Insurance Company System and method for real-time accident documentation and claim submission
JP6347384B2 (ja) * 2013-11-13 2018-06-27 国立大学法人北海道大学 変状評価支援システム
JP6255944B2 (ja) * 2013-11-27 2018-01-10 株式会社リコー 画像解析装置、画像解析方法及び画像解析プログラム
JP6109778B2 (ja) 2014-03-27 2017-04-05 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
US10580080B2 (en) * 2014-09-05 2020-03-03 Clutch Technologies, Llc System and method for dynamic insurance coverage in a subscription vehicle service
US20160335727A1 (en) * 2015-05-12 2016-11-17 Raymond Jimenez System and method of real-time imaging and analysis of real-world objects
EP3410102B1 (en) * 2016-01-26 2022-07-06 FUJIFILM Corporation Crack information detection device, crack information detection method, and crack information detection program
GB201706800D0 (en) * 2017-04-28 2017-06-14 Gould Daniel George Method and apparatus for vehicle damage mapping
US10769570B2 (en) * 2017-12-27 2020-09-08 Accenture Global Solutions Limited Artificial intelligence based risk and knowledge management

Also Published As

Publication number Publication date
US20180293255A1 (en) 2018-10-11
US11144590B2 (en) 2021-10-12
JPWO2017110280A1 (ja) 2018-10-18
WO2017110280A1 (ja) 2017-06-29

Similar Documents

Publication Publication Date Title
JP6857218B2 (ja) 損傷情報処理装置及び損傷情報処理方法
JP6543729B2 (ja) 類似損傷検索装置及び類似損傷検索方法
JP6682561B2 (ja) ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
JP6944506B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP6563038B2 (ja) 情報処理装置及び情報処理方法
JP6576473B2 (ja) ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
JP2020056303A (ja) ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
EP3112802B1 (en) Road feature measurement apparatus and road feature measuring method
JP2008082870A (ja) 画像処理プログラム及びこれを用いた路面状態計測システム
JP5797419B2 (ja) 地図情報処理装置、ナビゲーション装置、地図情報処理方法、およびプログラム
JP6334927B2 (ja) 付加情報表示装置および付加情報表示プログラム
JP6513207B2 (ja) 撮像支援システム及び装置及び方法、並びに撮像端末
JP2016090548A (ja) ひび割れ情報収集方法及びひび割れ情報収集プログラム
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
Masciotta et al. Integration of laser scanning technologies and 360º photography for the digital documentation and management of cultural heritage buildings
WO2021014754A1 (ja) ひび割れ評価装置、ひび割れ評価方法、及びひび割れ評価プログラム
JP7348575B2 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
JP5081311B2 (ja) 地図情報処理装置、地図情報処理方法、地図情報処理プログラム、及び記録媒体
JP6509546B2 (ja) 画像検索システム及び画像検索方法
JP7399065B2 (ja) 構造物情報提供システム、構造物情報提供方法、および構造物情報提供装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6543729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250