JP2023078205A - 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP2023078205A JP2023078205A JP2023033675A JP2023033675A JP2023078205A JP 2023078205 A JP2023078205 A JP 2023078205A JP 2023033675 A JP2023033675 A JP 2023033675A JP 2023033675 A JP2023033675 A JP 2023033675A JP 2023078205 A JP2023078205 A JP 2023078205A
- Authority
- JP
- Japan
- Prior art keywords
- image
- crack
- information
- images
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 94
- 239000002131 composite material Substances 0.000 claims abstract description 70
- 238000003702 image correction Methods 0.000 claims abstract description 29
- 238000010191 image analysis Methods 0.000 claims abstract description 21
- 238000010801 machine learning Methods 0.000 claims description 35
- 238000007689 inspection Methods 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 27
- 238000003786 synthesis reaction Methods 0.000 claims description 27
- 238000005336 cracking Methods 0.000 claims description 21
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 abstract description 6
- 239000013598 vector Substances 0.000 description 99
- 238000003384 imaging method Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 36
- 230000005540 biological transmission Effects 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 20
- 238000011960 computer-aided design Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 239000004567 concrete Substances 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 101150013335 img1 gene Proteins 0.000 description 5
- 101000652578 Homo sapiens Thyroid transcription factor 1-associated protein 26 Proteins 0.000 description 4
- 102100030344 Thyroid transcription factor 1-associated protein 26 Human genes 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 101150071665 img2 gene Proteins 0.000 description 4
- 102100040160 Rabankyrin-5 Human genes 0.000 description 3
- 101710086049 Rabankyrin-5 Proteins 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002528 anti-freeze Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Description
図1は、本発明が適用される構造物の一例である橋梁の構造を示す斜視図である。図1に示す橋梁1は複数の主桁3を有し、主桁3同士は接合部3Aで接合されている。主桁3の上部には、コンクリート製の部材である床版2が打設されている。橋梁1は、床版2及び主桁3の他に、図示しない横桁、対傾構、及び横構等の部材を有する。
図2は、第1の実施形態における画像処理システムの構成例を示すブロック図である。
サーバ装置20の合成画像生成部26は、複数の画像を画像補正後に合成する。本例の合成画像生成部26は、複数の画像に基づいて補正パラメータを導き出し、複数の画像に対して補正を行うことができる。本例の合成画像生成部26は、複数の画像に対して次の画像補正1~4のうち少なくとも一つの補正を行う機能を有する。
ユーザ端末10でのユーザ操作に応じて本例のサーバ装置20のひび割れ情報生成部30で行うひび割れ情報の修正処理について、説明する。
サーバ装置20の機械学習部32は、例えば人工知能によって構成される。人工知能として、例えば人工ニューラルネットワークを用いてもよいし、他の公知の人工知能を用いてもよい。ただし、本発明は機械学習部32として人工知能を用いない場合(例えば単なる検索手段を用いて情報を取得する場合)にも適用可能であり、また機械学習部32を省略することも可能である。
図8は、第1実施形態における第1の画像処理例の流れを示すフローチャートである。
図14は、第1実施形態における第2の画像処理例の流れを示すフローチャートである。
図15は、第1実施形態における第3の画像処理例の流れを示すフローチャートである。
図17は、第1実施形態における第4の画像処理例の流れを示すフローチャートである。
図18は、第2の実施形態における画像処理システムの構成例を示すブロック図である。本図のユーザ端末10は第1実施形態と同じである。本図のサーバ装置200は、図2に示した第1の実施形態のサーバ装置20に対して、ひび割れの進行を予測する予測部44を追加した構成である。
ひび割れ画像のベクトル化について、図19~図22を用いて説明する。
。例えば、各ひび割れの幅を示す情報(幅情報)を各ベクトルに付加する。
スケール画像生成部34によって生成されるスケール画像の例を説明する。スケール画像生成部34は、ひび割れ画像によって示されるひび割れの特徴量(例えばひび割れの幅)をユーザ端末10の画面上で測定するための各種のスケール画像を生成する。スケール画像は、ひび割れ情報に付加される。
2 床版
3 主桁
3A 接合部
10 ユーザ端末
11 端末入力部
12 端末送信部
13 端末受信部
14 端末表示部
15 端末操作部
16 端末制御部
17 端末記憶部
20、200 サーバ装置
22 受信部
24 送信部
26 合成画像生成部
28 ひび割れ検出部
30 ひび割れ情報生成部
32 機械学習部
34 スケール画像生成部
36 ひび割れ評価部
38 CADデータ取得部(データ変換部)
40 帳票作成部
42 記憶部
44 予測部
50 データベース
60、62 撮像装置
70 ロボット装置
72 撮像装置制御機構
AR 選択領域
AR1、AR2 ひび割れ対象領域
BR1、BR21、BR22 バー
BU1 OKボタン
BU2 キャンセルボタン
BU3 消去ボタン
BX1、BX2、BX3 チェックボックス
C1、C3、C4、C5、C7、C8、C8A ベクトルグループ
C1-1、C1-2、C1-3、C1-4、C1-5、C3-1、C4-1、C5-1、C5-2、C7-1、C7-2、C8-1、C8-2、C8-3、C8A-1、C8A-2 ベクトル
CR、CR1、CR2、CR3、CR4、CR11、CR11-1、CR11-2、CR11-3 ひび割れ画像
CS1、CS2、CS3、CS4 スケール画像
DA 表示領域
G1 第1のグループ
G2 第2のグループ
G3 第3のグループ
HG1、HG2 度数分布
IA 画像表示領域
IMG1、IMG2 合成画像
NW ネットワーク
SA スケール画像選択領域
SL1、SL2 スライダ
d 距離
α1、α2 角
Claims (12)
- プロセッサを備える画像処理装置であって、
前記プロセッサは、
構造物の表面を示す複数の画像を取得し、
前記取得した複数の画像を画像合成して前記構造物の表面を示す合成画像を生成し、
前記合成画像が不適切であるか否かの判断結果を取得し、
前記取得した前記判断結果が、前記合成画像が不適切であることを示す場合は、画像補正及び/または画像合成のための修正パラメータを取得して、前記修正パラメータに基づいて再度前記合成画像を生成し、
前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出する画像処理装置。 - 前記修正パラメータは、前記複数の画像同士の相対的な位置関係を示すパラメータ、前記複数の画像の拡大または縮小を示すパラメータ、前記複数の画像のそれぞれのあおりを示すパラメータ、及び前記複数の画像のそれぞれの、被撮像面に対する回転角度を示すパラメータのうち少なくとも1つを含む請求項1に記載の画像処理装置。
- 前記プロセッサは、前記画像補正の示唆となる情報である補正ヒント情報を取得し、前記補正ヒント情報に基づいて前記修正パラメータを取得する請求項1または2に記載の画像処理装置。
- 前記プロセッサは、前記画像におけるひび割れを示す情報及び/または前記構造物の非ひび割れを示す情報に基づいて前記修正パラメータを取得する請求項1から3のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、最新の点検時に取得した前記複数の画像、及び/または過去の点検時に取得した前記複数の画像に基づいて前記修正パラメータを取得する請求項1から4のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、機械学習の手法により得られた前記判断結果を取得する請求項1から5のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記検出されたひび割れに対応するひび割れ画像と前記検出されたひび割れの特徴量とを示すひび割れ情報を生成する請求項1から6のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、前記特徴量に基づいて前記ひび割れ画像をグルーピングし、前記ひび割れ画像のグループを選択する操作に応じて前記ひび割れ情報を修正する請求項7に記載の画像処理装置。
- 前記プロセッサは、前記ひび割れ画像をグループ毎に異なる線種または色を用いて表示させる請求項7または8に記載の画像処理装置。
- 請求項1から9のいずれか1項に記載の画像処理装置と、ユーザ端末と、を備える画像処理システムであって、
前記プロセッサは、前記ユーザ端末から前記複数の画像を取得する画像処理システム。 - プロセッサを備える画像処理装置の作動方法であって、
前記プロセッサは、
構造物の表面を示す複数の画像を取得し、
前記取得した複数の画像を画像合成して前記構造物の表面を示す合成画像を生成し、
前記合成画像が不適切であるか否かの判断結果を取得し、
前記取得した前記判断結果が、前記合成画像が不適切であることを示す場合は、画像補正及び/または画像合成のための修正パラメータを取得して、前記修正パラメータに基づいて再度前記合成画像を生成し、
前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出する作動方法。 - 請求項11に記載の作動方法を画像処理装置に実行させる画像処理プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016117868 | 2016-06-14 | ||
JP2016117868 | 2016-06-14 | ||
JP2019218028A JP6944506B2 (ja) | 2016-06-14 | 2019-12-02 | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2021147462A JP7241139B2 (ja) | 2016-06-14 | 2021-09-10 | サーバ装置、画像処理方法、及び画像処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021147462A Division JP7241139B2 (ja) | 2016-06-14 | 2021-09-10 | サーバ装置、画像処理方法、及び画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023078205A true JP2023078205A (ja) | 2023-06-06 |
JP7524386B2 JP7524386B2 (ja) | 2024-07-29 |
Family
ID=
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002310920A (ja) * | 2001-04-19 | 2002-10-23 | Keisoku Kensa Kk | コンクリート壁のひび割れ検出方法およびその装置 |
JP2005030961A (ja) * | 2003-07-08 | 2005-02-03 | Takenaka Doboku Co Ltd | コンクリート点検システムのハイビジョン画像処理方法 |
JP2014062433A (ja) * | 2012-09-24 | 2014-04-10 | Hitachi Ltd | 構造物の撮像方法 |
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002310920A (ja) * | 2001-04-19 | 2002-10-23 | Keisoku Kensa Kk | コンクリート壁のひび割れ検出方法およびその装置 |
JP2005030961A (ja) * | 2003-07-08 | 2005-02-03 | Takenaka Doboku Co Ltd | コンクリート点検システムのハイビジョン画像処理方法 |
JP2014062433A (ja) * | 2012-09-24 | 2014-04-10 | Hitachi Ltd | 構造物の撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7241139B2 (ja) | 2023-03-16 |
JP6626970B2 (ja) | 2019-12-25 |
JPWO2017217185A1 (ja) | 2019-02-28 |
JP2020038227A (ja) | 2020-03-12 |
JP2022000646A (ja) | 2022-01-04 |
JP6944506B2 (ja) | 2021-10-06 |
WO2017217185A1 (ja) | 2017-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7241139B2 (ja) | サーバ装置、画像処理方法、及び画像処理システム | |
CN111459166B (zh) | 一种灾后救援环境下含受困人员位置信息的情景地图构建方法 | |
JP7102569B2 (ja) | 損傷情報処理装置、損傷情報処理方法、及び損傷情報処理プログラム | |
JP7146013B2 (ja) | サーバ装置、画像処理方法、及びプログラム | |
KR102423579B1 (ko) | 3d 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템 | |
Sabato et al. | Noncontact sensing techniques for AI-aided structural health monitoring: a systematic review | |
JPWO2019021719A1 (ja) | 損傷データ編集装置、損傷データ編集方法、およびプログラム | |
CN112241950A (zh) | 一种塔式起重机裂缝图像的检测方法 | |
CN114463932B (zh) | 非接触式施工安全距离主动动态识别预警***及方法 | |
Wu et al. | Integrated video analysis framework for vision-based comparison study on structural displacement and tilt measurements | |
Park et al. | A framework for improving object recognition of structural components in construction site photos using deep learning approaches | |
Chen et al. | GIS-based information system for automated building façade assessment based on unmanned aerial vehicles and artificial intelligence | |
Hess et al. | Interactive classification of construction materials: Feedback driven framework for annotation and analysis of 3D point clouds | |
Sgrenzaroli et al. | Indoor mobile mapping systems and (BIM) digital models for construction progress monitoring | |
CN117610375A (zh) | 基于机器视觉的桥梁悬浇施工数字孪生方法、装置和设备 | |
CN116433755B (zh) | 基于可变形三维模型和光流表示学习的结构稠密位移识别方法及*** | |
JP7524386B2 (ja) | 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理プログラム | |
Braun et al. | Classification of detection states in construction progress monitoring | |
Qureshi et al. | Smart rebar progress monitoring using 3D point cloud model | |
Liang et al. | An Automatic Measurement Method of Test Beam Response Based on Spliced Images | |
CN109934333A (zh) | 基于全连接神经网络的目标定位方法 | |
Saeedfar et al. | Dynamic Space Conflict Modeling for Construction Operations | |
KR102554504B1 (ko) | 3d모델 기반 철골 구조물의 자동 검수방법 | |
Ziolkowski | Remote sensing in laboratory diagnostics of reinforced concrete elements—current development and vision for the future | |
Kreyenschmidt | Exemplary integration of machine learning for information extraction in existing buildings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231006 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240529 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240603 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240619 |