JP7390743B2 - 物体測定装置及び物体測定方法 - Google Patents
物体測定装置及び物体測定方法 Download PDFInfo
- Publication number
- JP7390743B2 JP7390743B2 JP2022000640A JP2022000640A JP7390743B2 JP 7390743 B2 JP7390743 B2 JP 7390743B2 JP 2022000640 A JP2022000640 A JP 2022000640A JP 2022000640 A JP2022000640 A JP 2022000640A JP 7390743 B2 JP7390743 B2 JP 7390743B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- edge detection
- image
- data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims description 74
- 238000003708 edge detection Methods 0.000 claims description 65
- 238000010801 machine learning Methods 0.000 claims description 39
- 238000009877 rendering Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
また、本発明は、建築現場等において建築途中の建築物の施工状況を把握するという目的に用いる場合にも十分な精度で物体の形状を測定することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
本発明による物体測定装置10は、取得した画像を入力データとして学習済モデルMに入力することにより画像中の物体を認識し、物体の領域を認識結果として出力する、物体認識部103と、物体認識部103で認識した物体の領域についてエッジ検出方向を決定する、エッジ検出方向決定部104と、物体認識部103で認識した物体の領域についてエッジ処理領域を決定する、エッジ処理領域決定部105と、エッジ処理領域決定部105で決定したエッジ処理領域に対してエッジ検出を行うエッジ検出部106とを備える。
機械学習モデル生成装置40は、空間内の物体を認識するための学習済モデルMを生成する。機械学習モデル生成装置40は、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより学習済モデルMを生成する。機械学習は好ましくはニューラルネットワークによる深層学習により行われるが、他の機械学習手法を用いることも可能である。学習済モデルMは、物体測定装置10による測定の前に予め機械学習モデル生成装置40により生成される。
物体認識部103は、取得した画像を入力データとして学習済モデルMに入力することにより画像中の物体領域を認識し、物体領域を認識結果として出力する。物体認識部103が物体領域Aの認識に用いる学習済モデルMは、好ましくは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成される。学習済モデルMは、機械学習モデル生成装置40により予め生成されたものである。学習済モデルMはこの例に限られず、画像中から物体領域を認識できるものである限り、他の手法により生成されたものであってもよい。
エッジ検出方向決定部104は、物体認識部103で認識した物体の物体領域Aについてエッジ検出方向を決定する。図5の境界線Bは、物体認識部103で認識した物体領域Aの境界を示している。図4の近似線Lは、境界線Bを直線で近似した線である。近似線Lには第1の方向(図4のX方向)の近似線Lxと第1の方向(図4のX方向)に直交する第2の方向(図4のY方向)の近似線Lyが含まれる。エッジ検出方向決定部104は、第1の方向(図4のX方向)の近似線Lxと第1の方向に直交する第2の方向(図4のY方向)の近似線Lyとを比較し、長さがより長い方を測定対象の物体を構成するエッジEとして決定する。長さがより短い近似線の方が、影やノイズ、オクルージョン等の影響を受けやすいため、近似線Lx及び近似線Lyのうち、長さがより長い方を測定対象の物体を構成するエッジEと決定する。図4の例では、X方向の近似線LxよりもY方向の近似線Lyの方が長いため、近似線Lyが物体ОのエッジEとして決定される。エッジEが決定すると、エッジ検出方向決定部104は、後にエッジ検出部106にてエッジ検出を行う際のエッジ検出の方向として、エッジEに直交する方向Pをエッジ検出方向として決定する。
エッジ処理領域決定部105は、エッジ処理をすべき領域として、エッジ検出方向決定部104で決定したエッジEについて、エッジ処理領域Rを決定する。エッジ処理領域決定部105は、エッジ検出方向決定部104で決定したエッジEから、エッジEに直交する方向への距離が閾値S以下の範囲をエッジ処理領域Rとして決定する。閾値Sは、物体認識部103において認識される物体領域Aのエッジと物体Оの実際のエッジとのずれ幅の振幅の量に応じて決定する。閾値Sの値は、実際の認識処理又は事前の検証において得られた物体認識部103での誤認識の精度に応じて調整できるようにしてもよい。言い換えれば、エッジ処理領域Rは、エッジEからそれぞれX方向のプラス方向及びマイナス方向に所定の距離Dだけ離間したエッジEの2本の平行線の間の領域となる。距離Dは、物体認識部103において認識される物体領域Aのエッジと物体Оの実際のエッジとのずれ幅の振幅の量に応じて決定する。距離Dの値は、実際の認識処理又は事前の検証において得られた物体認識部103での誤認識の精度に応じて調整できるようにしてもよい。
エッジ検出部106は、エッジ処理領域決定部105で決定したエッジ処理領域Rに対して、エッジ検出方向決定部104で決定したエッジ検出方向Pにてエッジ検出を行う。エッジ検出部106では、例えば、ソーベル(Sobel)フィルタ、ラプラシアン(Laplacian)フィルタ等の任意の既存のエッジ検出手法を用いてエッジ検出を行うことができる。例えば、エッジ検出手法としてキャニー(Canny)を用いる場合、ガウシアン(Gaussian)フィルタによる平滑化によりノイズを除去し、ソーベルフィルタによる微分処理によりエッジを検出し、極大値を検出してエッジ以外の部分を取り除き、2段階の閾値処理を行うようにしてもよい。
まず、ステップS701おいて、物体を認識する。次に、ステップS702において、エッジ検出方向を決定する。次に、ステップS703において、エッジ処理を行う領域を決定する。次に、ステップS704において、エッジを検出する。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
10 物体測定装置
20 撮像装置
40 機械学習モデル生成装置
103 物体認識部
104 エッジ検出方向決定部
105 エッジ処理領域決定部
106 エッジ検出部
Claims (6)
- 物体測定装置であって、
取得した画像を入力データとして学習済モデルに入力することにより前記画像中の物体領域を認識し、前記物体領域を認識結果として出力する、物体認識部と、
前記物体認識部で認識した前記物体領域についてエッジ検出方向を決定する、エッジ検出方向決定部と、
前記物体認識部で認識した前記物体領域についてエッジ処理領域を決定する、エッジ処理領域決定部と、
前記エッジ処理領域決定部で決定した前記エッジ処理領域に対して、前記エッジ検出方向決定部で決定した前記エッジ検出方向にてエッジ検出を行うエッジ検出部と
を備えることを特徴とする、物体測定装置。 - 前記物体認識部が前記物体領域の認識に用いる前記学習済モデルは、BIM(Building Information Modeling)データから生成された正解画像を正解データとし、前記BIMデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されることを特徴とする、請求項1に記載の物体測定装置。
- 前記エッジ検出方向決定部は、前記物体認識部で認識した前記物体領域の境界を示す境界線を直線で近似した線である近似線を生成し、前記近似線には第1の方向の近似線と前記第1の方向に直交する第2の方向の近似線が含まれ、前記第1の方向の近似線と前記第2の方向の近似線とを比較し、長さがより長い方を測定対象の物体を構成するエッジとして決定することを特徴とする、請求項1に記載の物体測定装置。
- 前記エッジ処理領域決定部は、前記エッジ検出方向決定部で決定した前記エッジから、前記エッジに直交する方向への距離が閾値以下の範囲をエッジ処理領域として決定することを特徴とする、請求項1に記載の物体測定装置。
- 物体測定方法であって、
取得した画像を入力データとして学習済モデルに入力することにより前記画像中の物体を認識し、前記物体の領域を認識結果として出力するステップと、
前記認識結果として出力された前記物体の領域についてエッジ検出方向を決定するエッジ検出方向を決定するステップと、
前記認識結果として出力された前記物体の領域についてエッジ処理領域を決定するエッジ処理領域を決定するステップと、
前記エッジ処理領域に対してエッジ検出を行うステップと
を備えることを特徴とする、物体測定方法。 - コンピュータに、請求項5に記載の方法の各ステップを実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022000640A JP7390743B2 (ja) | 2022-01-05 | 2022-01-05 | 物体測定装置及び物体測定方法 |
PCT/JP2022/047602 WO2023132275A1 (ja) | 2022-01-05 | 2022-12-23 | 物体測定装置及び物体測定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022000640A JP7390743B2 (ja) | 2022-01-05 | 2022-01-05 | 物体測定装置及び物体測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023100159A JP2023100159A (ja) | 2023-07-18 |
JP7390743B2 true JP7390743B2 (ja) | 2023-12-04 |
Family
ID=87073601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022000640A Active JP7390743B2 (ja) | 2022-01-05 | 2022-01-05 | 物体測定装置及び物体測定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7390743B2 (ja) |
WO (1) | WO2023132275A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011237279A (ja) | 2010-05-11 | 2011-11-24 | Mitsutoyo Corp | 画像測定機、プログラム、及び画像測定機のティーチング方法 |
JP2014153914A (ja) | 2013-02-08 | 2014-08-25 | Mega Chips Corp | 物体検出装置、プログラムおよび集積回路 |
JP2016070683A (ja) | 2014-09-26 | 2016-05-09 | 株式会社ニコン | 画像処理装置、画像測定装置、画像処理方法、画像処理プログラムおよび構造物の製造方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6295859B2 (ja) * | 2014-07-08 | 2018-03-20 | 株式会社デンソー | 車載システム、情報処理装置、及びプログラム |
JP7393128B2 (ja) * | 2019-03-20 | 2023-12-06 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載処理装置、移動支援システム |
JP7375405B2 (ja) * | 2019-09-19 | 2023-11-08 | 株式会社大林組 | 学習支援システム、学習支援方法及び学習支援プログラム |
JP7383470B2 (ja) * | 2019-12-20 | 2023-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2022
- 2022-01-05 JP JP2022000640A patent/JP7390743B2/ja active Active
- 2022-12-23 WO PCT/JP2022/047602 patent/WO2023132275A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011237279A (ja) | 2010-05-11 | 2011-11-24 | Mitsutoyo Corp | 画像測定機、プログラム、及び画像測定機のティーチング方法 |
JP2014153914A (ja) | 2013-02-08 | 2014-08-25 | Mega Chips Corp | 物体検出装置、プログラムおよび集積回路 |
JP2016070683A (ja) | 2014-09-26 | 2016-05-09 | 株式会社ニコン | 画像処理装置、画像測定装置、画像処理方法、画像処理プログラムおよび構造物の製造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023100159A (ja) | 2023-07-18 |
WO2023132275A1 (ja) | 2023-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brilakis et al. | Progressive 3D reconstruction of infrastructure with videogrammetry | |
Fathi et al. | Automated as-built 3D reconstruction of civil infrastructure using computer vision: Achievements, opportunities, and challenges | |
Han et al. | Appearance-based material classification for monitoring of operation-level construction progress using 4D BIM and site photologs | |
Brilakis et al. | Toward automated generation of parametric BIMs based on hybrid video and laser scanning data | |
EP2609570B1 (en) | Method for generating a model of a flat object from views of the object | |
JP5018721B2 (ja) | 立体模型の作製装置 | |
KR102113068B1 (ko) | 수치지도 및 도로정밀지도 구축 자동화를 위한 방법 | |
CN114119864A (zh) | 一种基于三维重建与点云匹配的定位方法和装置 | |
JP4427052B2 (ja) | 画像処理装置および領域追跡プログラム | |
Pacheco et al. | Reconstruction of high resolution 3D objects from incomplete images and 3D information | |
Saovana et al. | Development of an unwanted-feature removal system for Structure from Motion of repetitive infrastructure piers using deep learning | |
Vincke et al. | Vision based metric for quality control by comparing built reality to BIM | |
KR101538014B1 (ko) | 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법 | |
Verykokou et al. | A Comparative analysis of different software packages for 3D Modelling of complex geometries | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
Hernandez et al. | Three-dimensional image-based approach for imperfect structures surface modeling | |
JP7390743B2 (ja) | 物体測定装置及び物体測定方法 | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
Verhoeven et al. | From 2D (to 3D) to 2.5 D: not all gridded digital surfaces are created equally | |
Zetu et al. | Data input model for virtual reality-aided facility layout | |
Nanya et al. | Reconstruction of complete 3D models by voxel integration | |
WO2024038551A1 (ja) | 建屋内構造物認識システム及び建屋内構造物認識方法 | |
Lari et al. | A new approach for segmentation-based texturing of laser scanning data | |
JP7403108B2 (ja) | 建屋内構造物認識システム及び建屋内構造物認識方法 | |
JP7344620B1 (ja) | 建屋内構造物認識システム及び建屋内構造物認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7390743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |