JP7372536B2 - 演算プログラム、演算装置及び演算方法 - Google Patents
演算プログラム、演算装置及び演算方法 Download PDFInfo
- Publication number
- JP7372536B2 JP7372536B2 JP2019208441A JP2019208441A JP7372536B2 JP 7372536 B2 JP7372536 B2 JP 7372536B2 JP 2019208441 A JP2019208441 A JP 2019208441A JP 2019208441 A JP2019208441 A JP 2019208441A JP 7372536 B2 JP7372536 B2 JP 7372536B2
- Authority
- JP
- Japan
- Prior art keywords
- detection target
- image
- area
- inference
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims description 65
- 239000011449 brick Substances 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 17
- 238000003062 neural network model Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 23
- 238000011156 evaluation Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000012795 verification Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 101100388071 Thermococcus sp. (strain GE8) pol gene Proteins 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
前記推論用画像を前記学習済みのニューラルネットワークモデルに入力した結果、前記推論用画像が前記検出対象の領域を含むことを示す推定結果が得られた場合、前記推論用画像における前記検出対象と推定した領域と前記背景と推定した領域とを区別可能なマップ情報を出力する推論工程と
を有する処理を、コンピュータに実行させる演算プログラムである。
Implementation of deep learning framework -- Unet, using Keras
https://github.com/zhixuhao/unet
本発明者は、前述のウエブサイトからダウンロードしたニューラルネットワークのプログラムを使用した。このニューラルネットワークはUネットと呼ばれる。そこで、本実施の形態のNNモデルの一つとして、Uネットについて概略を説明する。Uネットの詳細な情報は、前述の非特許文献1に詳述されている。
実施例では、コンクリート、ブロック、タイル、レンガ等の壁面に亀裂が入った撮像画像を約1万枚取得し、そのうち、8,611の画像に対して教師データのアノテーション画像を作成した。アノテーション画像を作成後に、不適切な画像を取り除き、7,611のデータセット(画像とアノテーション画像のセット)の学習データと、914のデータセットの評価データとに分割した。更に、学習データは、画像とアノテーション画像を、角度-5°~+5°の範囲で回転して水増しし、合計53,227セットの学習データを準備した。そして、Uネットの演算プログラムをプロセッサで実行し、バッチサイズが4,エポック数28で学習工程を実行し、NNモデルを生成した。
正解率=サンプル数/評価データ合計数
ここで、サンプル数とは、対応するIoUの範囲より大きい範囲のサンプル数の合計である。評価データ合計数は、前述のとおり914である。
TP(True Positive):NNモデルが「亀裂」と推定、正解は「亀裂」
TN(True Negative):NNモデルが「Not亀裂」と推定、正解は「Not亀裂」
FP(False Positive):NNモデルが「亀裂」と推定、正解は「Not亀裂」
FN(False Negative):NNモデルが「Not亀裂」と推定、正解は「亀裂」
IoU = TP / (GT + PR - TP) = TP / (TP + FN + FP) = 0~100%
つまり、IoUは、図12中の実線の亀裂の領域CK_1と破線の亀裂の領域CK_2のいずれかに属する一部重なった領域(TP+FN+FP)に対するTPの領域の比率である。IoTの比率が高いことは、領域TNやFPが少なく領域TPが多いことを意味する。
IN_IMG:入力画像
TR_IMG:学習用画像
TR_DATA:学習データ
SP_DATA:教師データ(正解値データ)
AN_IMG:アノテーション画像
SG_MAP:セグメンテーションマップ
FT_MAP:特徴マップ(特徴量画像)
NN_MDL:NNモデル、ニューラルネットワークモデル
EST_IMG:推論用画像
20:ニューラルネットワークプログラム(NNプログラム)
22:学習データ
24:評価データ
25:推論対象データ(推論対象画像)
TL:タイル、レンガ等
JT:目地
CK:亀裂、クラック、ひび
LB_BK:背景ラベル
LB_CK:亀裂ラベル
PX:画素
LB:ラベル
CNV:畳込み
CNV_LY:畳込み層
POL:プーリング層
UCNV:アップ畳込み
ReLU:正規化線形ユニット(Rectified Linear Unit)
Claims (7)
- 検出対象の領域と前記検出対象と類似する第1の非検出対象の領域と前記第1の非検出対象と異なる第2の非検出対象の領域とを少なくとも有する学習用画像と、前記検出対象の領域に検出対象ラベルを有し前記第1の非検出対象の領域と前記第2の非検出対象の領域に同じ背景ラベルを有する教師データと、をそれぞれ有する複数の学習データを用いて学習することで、推論用画像が前記検出対象の領域を含むか否かを推定するニューラルネットワークモデルを生成する工程と、
前記推論用画像を前記学習済みのニューラルネットワークモデルに入力した結果、前記推論用画像が前記検出対象の領域を含むことを示す推定結果が得られた場合、前記推論用画像における前記検出対象と推定した領域と前記背景と推定した領域とを区別可能なマップ情報を出力する推論工程と
を有する処理を、コンピュータに実行させる演算プログラム。 - 前記ニューラルネットワークモデルは、複数の畳込層を直列に接続したニューラルネットワークである、請求項1に記載の演算プログラム。
- 前記ニューラルネットワークは、更に、前記畳込層とプーリング層の組を複数直列に接続し各組が特徴マップを生成するエンコーダと、前の層が出力する第1特徴マップと前記エンコーダの対応する前記畳込層が出力する第2特徴マップとを連結するアップ畳込層と前記畳込層の組を、前記エンコーダの組と同じ数だけ直列に接続したデコーダとを有する、請求項2に記載の演算プログラム。
- 前記学習用画像及び推論用画像は、複数のタイル等と前記タイル等間の目地とを有する壁に亀裂が形成された画像を含み、前記タイル等は、タイル、レンガ、ブロック、太陽光パネルなど、所定の多角形の対象物であり、
前記亀裂の領域が前記検出対象の領域に対応し、
前記タイル等の領域が前記第2の非検出対象の領域に対応し、
前記目地の領域が前記第1の非検出対象の領域に対応する、請求項1に記載の演算プログラム。 - 前記学習用画像及び推論用画像は、画素毎に階調値データを有し、
前記教師データは、前記検出対象の領域内の画素に前記検出対象ラベルを、前記第1の非検出対象の領域及び前記第2の非検出対象の領域内の画素に前記背景ラベルをそれぞれ有し、
前記検出対象ラベル及び前記背景ラベルは、それぞれ所定の階調値データである、請求項1に記載の演算プログラム。 - 検出対象の領域と前記検出対象と類似する第1の非検出対象の領域と前記第1の非検出対象と異なる第2の非検出対象の領域とを少なくとも有する学習用画像と、前記検出対象の領域に検出対象ラベルを有し前記第1の非検出対象の領域と前記第2の非検出対象の領域に同じ背景ラベルを有する教師データと、をそれぞれ有する複数の学習データを用いて学習することで、推論用画像が前記検出対象の領域を含むか否かを推定するニューラルネットワークモデルを生成する工程と、
前記推論用画像を前記学習済みのニューラルネットワークモデルに入力した結果、前記推論用画像が前記検出対象の領域を含むことを示す推定結果が得られた場合、前記推論用画像における前記検出対象と推定した領域と前記背景と推定した領域とを区別可能なマップ情報を出力する推論工程と
を有する処理を、コンピュータに実行させる演算方法。 - プロセッサと、前記プロセッサがアクセスするメモリとを有し、
前記プロセッサが、
検出対象の領域と前記検出対象と類似する第1の非検出対象の領域と前記第1の非検出対象と異なる第2の非検出対象の領域とを少なくとも有する学習用画像と、前記検出対象の領域に検出対象ラベルを有し前記第1の非検出対象の領域と前記第2の非検出対象の領域に同じ背景ラベルを有する教師データと、をそれぞれ有する複数の学習データを用いて学習することで、推論用画像が前記検出対象の領域を含むか否かを推定するニューラルネットワークモデルを生成する工程と、
前記推論用画像を前記学習済みのニューラルネットワークモデルに入力した結果、前記推論用画像が前記検出対象の領域を含むことを示す推定結果が得られた場合、前記推論用画像における前記検出対象と推定した領域と前記背景と推定した領域とを区別可能なマップ情報を出力する推論工程と
を有する処理を実行する、演算装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208441A JP7372536B2 (ja) | 2019-11-19 | 2019-11-19 | 演算プログラム、演算装置及び演算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208441A JP7372536B2 (ja) | 2019-11-19 | 2019-11-19 | 演算プログラム、演算装置及び演算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021081953A JP2021081953A (ja) | 2021-05-27 |
JP7372536B2 true JP7372536B2 (ja) | 2023-11-01 |
Family
ID=75965244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019208441A Active JP7372536B2 (ja) | 2019-11-19 | 2019-11-19 | 演算プログラム、演算装置及び演算方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7372536B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022250054A1 (ja) * | 2021-05-28 | 2022-12-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 異常検知方法、異常検知装置、およびプログラム |
KR102456987B1 (ko) * | 2022-03-15 | 2022-10-20 | 디엘이앤씨 주식회사 | 건물 외벽의 균열을 탐지하는 방법 |
JP7217570B1 (ja) * | 2022-08-04 | 2023-02-03 | 株式会社センシンロボティクス | 情報処理システム及びプログラム、情報処理方法、サーバ |
WO2024029026A1 (ja) * | 2022-08-04 | 2024-02-08 | 株式会社センシンロボティクス | 情報処理システム及びプログラム、情報処理方法、サーバ |
KR102647135B1 (ko) * | 2022-10-31 | 2024-03-15 | 이관훈 | 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법 |
WO2024111163A1 (ja) * | 2022-11-25 | 2024-05-30 | パナソニックIpマネジメント株式会社 | 情報処理装置における情報処理方法、情報処理装置、および情報処理プログラム |
JP2024090414A (ja) * | 2022-12-23 | 2024-07-04 | 株式会社日立ハイテク | 機械学習システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174601A (ja) | 2000-12-05 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 壁面損傷検出方法及び装置 |
WO2018159775A1 (ja) | 2017-03-03 | 2018-09-07 | 国立大学法人筑波大学 | 対象追跡装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6936691B2 (ja) * | 2017-10-19 | 2021-09-22 | 清水建設株式会社 | ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム |
-
2019
- 2019-11-19 JP JP2019208441A patent/JP7372536B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174601A (ja) | 2000-12-05 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 壁面損傷検出方法及び装置 |
WO2018159775A1 (ja) | 2017-03-03 | 2018-09-07 | 国立大学法人筑波大学 | 対象追跡装置 |
Non-Patent Citations (3)
Title |
---|
QING SONG, 外9名,"Real-Time Tunnel Crack Analysis System via Deep Learning",IEEE Access,第7巻,2019年05月13日,p.64186-64197 |
木村宇任, 外2名,"Fully Convolutional Networkを用いたインフラ点検におけるひび割れの自動検出",研究報告数理モデル化と問題解決(MPS),日本,情報処理学会,2017年09月18日,第2017-MPS-115巻, 第2号,p.1-6 |
鵜飼正人,"深層学習を適用したトンネル覆工面ひび割れ検出",JREA,一般社団法人日本鉄道技術協会,2018年03月01日,第61巻, 第3号,p.42045-42048 |
Also Published As
Publication number | Publication date |
---|---|
JP2021081953A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7372536B2 (ja) | 演算プログラム、演算装置及び演算方法 | |
Jang et al. | Automated crack evaluation of a high‐rise bridge pier using a ring‐type climbing robot | |
Kim et al. | Automated rebar diameter classification using point cloud data based machine learning | |
JP6029870B2 (ja) | コンクリート表面の変状検出方法及び装置 | |
JP5894013B2 (ja) | コンクリート表面の変状管理方法 | |
Miao et al. | Cost-effective system for detection and quantification of concrete surface cracks by combination of convolutional neural network and image processing techniques | |
WO2006049174A1 (ja) | コンクリート構造物のクラック検査装置及びクラック検査方法 | |
JP2001124522A (ja) | 画像処理を用いたひび割れ評価装置 | |
JPWO2020059706A1 (ja) | 学習用データ収集装置、学習用データ収集方法、及びプログラム | |
Pantoja-Rosero et al. | Damage-augmented digital twins towards the automated inspection of buildings | |
Loverdos et al. | An innovative image processing-based framework for the numerical modelling of cracked masonry structures | |
JP2021032042A (ja) | 構造物の劣化状態診断方法 | |
CN114596266A (zh) | 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法 | |
JP2019175140A (ja) | 建築物抽出システム | |
US11959862B2 (en) | Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system | |
JP2019074496A (ja) | ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム | |
JP6980208B2 (ja) | 構造物維持管理業務支援システム | |
Calderón et al. | Crack detection in concrete elements from RGB pictures using modified line detection kernels | |
WO2021199830A1 (ja) | 点検支援装置、方法及びプログラム | |
Ko et al. | Developing a free and open-source semi-automated building exterior crack inspection software for construction and facility managers | |
Loverdos et al. | Image2DEM: A geometrical digital twin generator for the detailed structural analysis of existing masonry infrastructure stock | |
JP2023063324A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020170257A (ja) | 画像処理装置およびその制御方法 | |
JP2019066267A (ja) | ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム | |
CN116888620A (zh) | 用于增量制造的基于深度学习的图像增强 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7372536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |