JP2019192170A - Three dimensional model generation device and three-dimensional model generation method - Google Patents

Three dimensional model generation device and three-dimensional model generation method Download PDF

Info

Publication number
JP2019192170A
JP2019192170A JP2018087756A JP2018087756A JP2019192170A JP 2019192170 A JP2019192170 A JP 2019192170A JP 2018087756 A JP2018087756 A JP 2018087756A JP 2018087756 A JP2018087756 A JP 2018087756A JP 2019192170 A JP2019192170 A JP 2019192170A
Authority
JP
Japan
Prior art keywords
dimensional model
measurement
unnecessary
unit
model generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018087756A
Other languages
Japanese (ja)
Other versions
JP7133971B2 (en
Inventor
智博 鳴海
Tomohiro Narumi
智博 鳴海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Construction Co Ltd
Shimizu Corp
Original Assignee
Shimizu Construction Co Ltd
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Construction Co Ltd, Shimizu Corp filed Critical Shimizu Construction Co Ltd
Priority to JP2018087756A priority Critical patent/JP7133971B2/en
Publication of JP2019192170A publication Critical patent/JP2019192170A/en
Application granted granted Critical
Publication of JP7133971B2 publication Critical patent/JP7133971B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To accurately generate the three-dimensional model of a measurement target, without the mixture of an unnecessary object and a noise.SOLUTION: A three-dimensional model generation device includes an LIDAR 10 which acquires measurement data by measuring the measurement target, a camera 20 which images the measurement target, an extraction object determination part 40 which determines an object unnecessary for the generation of the three-dimensional model from the image data of the measurement target imaged by the camera 20, and a three-dimensional model generation part 30 which removes the part of an area corresponding to the object unnecessary for the generation of the three-dimensional model from the measurement data acquired from the LIDAR 10 on the basis of a determination result in the extraction object determination part 40 and generates the three-dimensional model by using the measurement data of a measurement target object from which the unnecessary object is removed.SELECTED DRAWING: Figure 1

Description

本発明は、３次元モデル生成装置及び３次元モデル生成方法に関する。   The present invention relates to a three-dimensional model generation apparatus and a three-dimensional model generation method.

建設現場の生産性向上のため、日々の出来形管理などに、３次元モデル生成手法が活用されつつある（例えば特許文献１）。３次元モデル生成手法としては、ＬＩＤＡＲ(Light Detection and Ranging)を用いたＳＬＡＭ(Simultaneous Localization and Mapping)の技術や、カメラを用いたＶｉｓｕａｌ ＳＬＡＭやＳｆＭ(Structure from Motion)の技術が提案されている。ＬＩＤＡＲは、直接距離を測定することができるため、Ｖｉｓｕａｌ ＳＬＡＭやＳｆＭに比べて形状の精度が高いが、取得した点群データにはＲＧＢ情報が含まれていない。一方、カメラを用いたＶｉｓｕａｌ ＳＬＡＭやＳｆＭの技術は、ＲＧＢ情報を持っているが、視差による測量であるため、ＬＩＤＡＲに比べて一般的に精度が劣る。   In order to improve productivity at a construction site, a three-dimensional model generation method is being used for daily workmanship management (for example, Patent Document 1). As a three-dimensional model generation method, a SLAM (Simultaneous Localization and Mapping) technique using LIDAR (Light Detection and Ranging) and a Visual SLAM or SfM (Structure from Motion) technique using a camera have been proposed. Since LIDAR can directly measure the distance, the shape accuracy is higher than that of Visual SLAM and SfM, but the acquired point cloud data does not include RGB information. On the other hand, the Visual SLAM and SfM techniques using a camera have RGB information, but are generally inferior in accuracy compared to LIDAR because they are surveyed by parallax.

特許第４７６９０２８号公報Japanese Patent No. 4769028

建設現場には、作業員、重機、資材など、出来形管理の３次元モデルに不要な様々なものが多くある。ＬＩＤＡＲを用いて３次元モデルを生成する場合でも、カメラを用いて３次元モデルを生成する場合でも、これら出来形管理に不要なものが写り込んだまま３次元モデルを生成すると、不要物体の形状が測定物体の３次元モデルに残ってしまい、出来形管理の支障となる。また、作業員、重機、資材等は頻繁に動くため、３次元モデルの中にノイズとなって残り、３次元モデルの精度を低下させる。   There are many things on construction sites that are not necessary for the 3D model of workmanship management, such as workers, heavy machinery, and materials. Whether generating a 3D model using LIDAR or a 3D model using a camera, if you generate a 3D model with these unneeded items in the shape management, Remains in the three-dimensional model of the measured object, which hinders the management of the finished shape. In addition, since workers, heavy machinery, materials, and the like frequently move, noise remains in the three-dimensional model, thereby reducing the accuracy of the three-dimensional model.

本発明は、このような課題に鑑みてなされたものであり、不要物体やノイズが混入されることなく、測定対象物の３次元モデルを正確に生成できる３次元モデル生成装置及び３次元モデル生成方法を提供することを目的とする。   The present invention has been made in view of such problems, and a three-dimensional model generation apparatus and a three-dimensional model generation capable of accurately generating a three-dimensional model of an object to be measured without mixing unnecessary objects and noise. It aims to provide a method.

上述の課題を解決するために、本発明の一態様に係る３次元モデル生成装置は、測定対象物を計測して計測データを取得する計測部と、前記測定対象物を撮像する撮像部と、前記撮像部で撮像した画像データから、３次元モデルの生成に不要な物体を判定する抽出物体判定部と、前記抽出物体判定部での判定結果を基に、前記計測部から取得された計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去し、当該不要な物体に対応する領域の部分が除去された測定対象物の計測データを用いて３次元モデルを生成する３次元モデル生成部とを備えることを特徴とする。   In order to solve the above-described problem, a three-dimensional model generation apparatus according to an aspect of the present invention includes a measurement unit that measures a measurement object and acquires measurement data, an imaging unit that images the measurement object, An extracted object determination unit that determines an object that is unnecessary for generating a three-dimensional model from image data captured by the imaging unit, and measurement data that is acquired from the measurement unit based on a determination result in the extracted object determination unit From this, the part of the region corresponding to the object unnecessary for generating the three-dimensional model is removed, and the three-dimensional model is generated using the measurement data of the measurement object from which the part of the region corresponding to the unnecessary object is removed. And a three-dimensional model generation unit.

本発明の一態様に係る３次元モデル生成方法は、測定対象物を計測して計測データを取得する工程と、前記測定対象物を撮像する工程と、前記撮像した画像データから、３次元モデルの生成に不要な物体を判定する工程と、前記判定した結果を基に、前記計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去する工程と、前記不要な物体に対応する領域の部分が除去された計測データを用いて３次元モデルを生成する工程とを含むことを特徴とする。   A 3D model generation method according to an aspect of the present invention includes a step of measuring a measurement object to obtain measurement data, a step of imaging the measurement object, and a three-dimensional model from the captured image data. Determining an object unnecessary for generation, removing a portion of a region corresponding to an object unnecessary for generation of the three-dimensional model from the measurement data based on the determination result, and the unnecessary object And a step of generating a three-dimensional model using the measurement data from which the portion of the region corresponding to is removed.

本発明によれば、測定対象物以外の３次元モデルを生成するのに不要な物体が存在する状況において計測を行ったとしても、不要な物体やノイズを含まず、測定対象物のみからなる３次元モデルを正確に生成できる。これにより、測定対象物として施工対象物の出来形を計測して３次元モデルを生成した場合に、出来形の３次元モデルを精度良く生成することができる。   According to the present invention, even if measurement is performed in a situation where an object unnecessary for generating a three-dimensional model other than the measurement object exists, the measurement object 3 does not include an unnecessary object or noise and includes only the measurement object 3 A dimensional model can be generated accurately. Thereby, when the completed shape of a construction target object is measured as a measurement object and a three-dimensional model is generated, the completed three-dimensional model can be generated with high accuracy.

本発明の第１の実施形態に係る３次元モデル生成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the three-dimensional model production | generation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る３次元モデル生成装置における抽出物体判定部の処理の概念図である。It is a conceptual diagram of the process of the extraction object determination part in the three-dimensional model production | generation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る３次元モデル生成装置の説明に用いるフローチャートである。It is a flowchart used for description of the three-dimensional model production | generation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る３次元モデル生成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the three-dimensional model production | generation apparatus which concerns on the 2nd Embodiment of this invention.

以下、本発明の実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る３次元モデル生成装置１の構成を示すブロック図である。図１に示すように、本発明の第１の実施形態に係る３次元モデル生成装置１は、ＬＩＤＡＲ（light detection and ranging）１０と、カメラ２０と、３次元モデル生成部３０と、抽出物体判定部４０と、表示部５０とから構成される。なお、３次元モデル生成部３０及び抽出物体判定部４０は、ＰＣ（Personal Computer）等の画像解析用計算機６０により実現することができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram showing a configuration of a three-dimensional model generation apparatus 1 according to the first embodiment of the present invention. As shown in FIG. 1, a three-dimensional model generation apparatus 1 according to the first embodiment of the present invention includes a LIDAR (light detection and ranging) 10, a camera 20, a three-dimensional model generation unit 30, an extracted object determination. The unit 40 and the display unit 50 are included. The three-dimensional model generation unit 30 and the extracted object determination unit 40 can be realized by an image analysis computer 60 such as a PC (Personal Computer).

ＬＩＤＡＲ１０は、パルスレーザーの反射光を検出して距離計測を行い、周囲の３次元点群データを出力する。ＬＩＤＡＲ１０は、物体までの距離を点群の深度として計測する距離センサであり、測定対象物を計測して、３次元点群データを計測データとして取得する計測部となる。   The LIDAR 10 measures the distance by detecting the reflected light of the pulse laser and outputs the surrounding three-dimensional point cloud data. The LIDAR 10 is a distance sensor that measures the distance to an object as the depth of a point cloud, and is a measurement unit that measures a measurement target and acquires three-dimensional point cloud data as measurement data.

カメラ２０は、周囲の画像を撮像して、ＲＧＢ画像データを出力する。カメラ２０は、測定対象物を撮像する撮像部となる。なお、カメラ２０としては、ＬＩＤＡＲ１０の検出範囲と同等の視野のものを用いることが望ましい。例えば、ＬＩＤＡＲ１０が周囲３６０度の計測を行うものであれば、カメラ２０としては、周囲３６０度の撮像が行えるものが望ましい。また、カメラ２０は１台とは限らず、カメラ２０として複数のカメラを用いてＬＩＤＡＲ１０の検出範囲と同等の視野を確保するようにしても良い。また、ＬＩＤＡＲ１０とカメラ２０とは、その座標が対応付けられている。ＬＩＤＡＲ１０とカメラ２０との座標の対応付は、例えばＬＩＤＡＲ１０からの３次元点群データとカメラ２０からの画像データとの相関に基いて検出することができる。   The camera 20 captures a surrounding image and outputs RGB image data. The camera 20 serves as an imaging unit that images the measurement object. The camera 20 preferably has a field of view equivalent to the detection range of the LIDAR 10. For example, if the LIDAR 10 measures 360 degrees around, it is desirable that the camera 20 can capture 360 degrees around. In addition, the number of cameras 20 is not limited to one, and a plurality of cameras may be used as the cameras 20 to ensure a field of view equivalent to the detection range of the LIDAR 10. The coordinates of LIDAR 10 and camera 20 are associated with each other. The association of coordinates between the LIDAR 10 and the camera 20 can be detected based on the correlation between the three-dimensional point cloud data from the LIDAR 10 and the image data from the camera 20, for example.

３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データを用いて３次元モデルを生成し、表示部５０に表示させる。３次元モデル生成部３０は、不要物体除去部３１と、ＳＬＡＭ(Simultaneous Localization and Mapping)処理部３２と、３次元表示画像生成部３３とを含む。不要物体除去部３１は、抽出物体判定部４０の判定出力を基に、ＬＩＤＡＲ１０から出力される３次元点群データの中から、作業員、重機、資材等、３次元モデルの生成に不要な物体に対応する部分を除去する。ＳＬＡＭ処理部３２は、不要物体除去部３１で不要部分が除去された３次元点群データを用いて、自己位置推定と環境地図作成とを同時に行い、３次元モデルを生成する。３次元表示画像生成部３３は、ＳＬＡＭ処理部３２で生成された３次元モデルを用いて、周囲の３次元モデルの表示画像を生成する。   The three-dimensional model generation unit 30 generates a three-dimensional model using the three-dimensional point cloud data from the LIDAR 10 and causes the display unit 50 to display the three-dimensional model. The 3D model generation unit 30 includes an unnecessary object removal unit 31, a SLAM (Simultaneous Localization and Mapping) processing unit 32, and a 3D display image generation unit 33. The unnecessary object removing unit 31 is based on the determination output of the extracted object determining unit 40, and from the three-dimensional point group data output from the LIDAR 10, an object unnecessary for generating a three-dimensional model, such as workers, heavy equipment, and materials The part corresponding to is removed. The SLAM processing unit 32 simultaneously performs self-position estimation and environment map creation using the 3D point cloud data from which unnecessary parts have been removed by the unnecessary object removing unit 31 to generate a 3D model. The 3D display image generation unit 33 generates a display image of the surrounding 3D model using the 3D model generated by the SLAM processing unit 32.

抽出物体判定部４０は、カメラ２０で撮像された画像から、作業員、重機、資材等、３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部３０に送る。   The extracted object determination unit 40 determines an object unnecessary for generating a three-dimensional model, such as a worker, heavy equipment, or material, from the image captured by the camera 20, and sends the determination result to the three-dimensional model generation unit 30.

表示部５０は、３次元モデル生成部３０で生成された３次元モデルを表示する。表示部５０としては、例えば、液晶ディスプレイが用いられる。   The display unit 50 displays the 3D model generated by the 3D model generation unit 30. For example, a liquid crystal display is used as the display unit 50.

本発明の第１の実施形態に係る３次元モデル生成装置１は、例えば建設現場で出来形管理を行うために用いられる。すなわち、出来形管理を行う場合、ＬＩＤＡＲ１０により施工対象物がスキャンされ、３次元モデル生成部３０により施工対象物の出来形の３次元モデルが生成されて、表示部５０に表示される。この３次元モデルを評価することで、出来形管理が行える。   The three-dimensional model generation apparatus 1 according to the first embodiment of the present invention is used, for example, to perform shape management at a construction site. That is, when performing shape management, the construction object is scanned by the LIDAR 10, a three-dimensional model of the construction object is generated by the three-dimensional model generation unit 30, and displayed on the display unit 50. By evaluating this three-dimensional model, it is possible to manage the finished shape.

このようにして出来形管理を行う場合、必要とされる施工対象物の出来形のみから３次元モデルが生成されれば良い。ところが、建設現場には、作業員、資材、重機などが多くあり、これらは、多方向に移動する。このため、ＬＩＤＡＲ１０によりスキャンした３次元点群データの中に、このような不要な物体が含まれてしまうと、出来形管理の精度を低下させる。   In this way, when the finished shape management is performed, it is only necessary to generate a three-dimensional model only from the finished shape of the required construction object. However, there are many workers, materials, heavy machinery, etc. on the construction site, and these move in multiple directions. For this reason, if such an unnecessary object is included in the three-dimensional point cloud data scanned by the LIDAR 10, the accuracy of the completed shape management is lowered.

そこで、本実施形態では、抽出物体判定部４０により、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部３０の不要物体除去部３１に送っている。不要物体除去部３１は、ＬＩＤＡＲ１０からの３次元点群データの中から、抽出物体判定部４０での判定結果を基に、３次元モデルの生成に不要な物体に対応する部分を除去する。ＳＬＡＭ処理部３２は、不要物体除去部３１で不要部分が除去された３次元点群データを用いて、ＳＬＡＭ処理を行い、３次元モデルを生成する。これにより、施工対象物の出来形のみから３次元モデルが生成できる。   Therefore, in this embodiment, the extracted object determination unit 40 determines objects unnecessary for generating a three-dimensional model of a construction site, such as workers, heavy machinery, and materials, from the image captured by the camera 20, and the determination result Is sent to the unnecessary object removing unit 31 of the three-dimensional model generating unit 30. The unnecessary object removing unit 31 removes a part corresponding to an object unnecessary for generating the three-dimensional model from the three-dimensional point cloud data from the LIDAR 10 based on the determination result in the extracted object determining unit 40. The SLAM processing unit 32 performs SLAM processing using the three-dimensional point cloud data from which unnecessary portions have been removed by the unnecessary object removing unit 31, and generates a three-dimensional model. Thereby, a three-dimensional model can be generated only from the finished shape of the construction object.

抽出物体判定部４０での物体認識には、ＹＯＬＯ（You Look Only Ones）、ＳＳＤ（Single Shot Multibox Detector）等の深層学習技術を用いた手法が使用できる。図２は、本発明の第１の実施形態に係る３次元モデル生成装置１における抽出物体判定部４０での処理の概念図である。   For the object recognition in the extracted object determination unit 40, a technique using a deep learning technique such as YOLO (You Look Only Ones), SSD (Single Shot Multibox Detector) or the like can be used. FIG. 2 is a conceptual diagram of processing in the extracted object determination unit 40 in the three-dimensional model generation device 1 according to the first embodiment of the present invention.

（処理ＰＲＣ１）抽出物体判定部４０は、物体認識を行う場合には、除去したい物体について様々な角度や背景の画像を訓練データとして用いて予め学習させておく。出来形管理では、作業員、重機、資材等が３次元モデルの生成に不要な物体となる。したがって、抽出物体判定部４０は、作業員、重機、資材等について、様々な角度や背景の画像群を訓練データとして用意する。例えば、除去したい物体が作業員であれば、作業員が立っている姿勢における正面や側面、背面の画像や、作業中の姿勢を撮像した画像群を訓練データとして用意する。   (Processing PRC1) When performing the object recognition, the extracted object determination unit 40 learns in advance using the images of various angles and backgrounds as the training data for the object to be removed. In the finished shape management, workers, heavy equipment, materials, and the like are unnecessary objects for generating the three-dimensional model. Therefore, the extracted object determination unit 40 prepares various angle and background image groups as training data for workers, heavy machinery, materials, and the like. For example, if the object to be removed is a worker, the front, side and back images in the posture where the worker is standing, and a group of images obtained by capturing the posture during work are prepared as training data.

（処理ＰＲＣ２）抽出物体判定部４０は、これらの除去したい物体の訓練データを多数用いて、物体認識の学習を行い、判別モデルを生成する。学習は、例えばＡＩ（Artificial Intelligence）技術を用いた、機械学習、強化学習、複数の中間層を含むニューラルネットワークによるディープラーニングのうちいずれかを用いることができる。また、学習方式としては、教師あり学習であっても教師無し学習であってもよい。   (Processing PRC2) The extracted object determination unit 40 learns object recognition using a lot of training data of these objects to be removed, and generates a discrimination model. For the learning, for example, any one of machine learning, reinforcement learning, and deep learning using a neural network including a plurality of intermediate layers using AI (Artificial Intelligence) technology can be used. The learning method may be supervised learning or unsupervised learning.

（処理ＰＲＣ３）抽出物体判定部４０は、生成された判別モデルを用いて、カメラ２０からのＲＧＢ画像データから除去したい物体を判別する。抽出物体判定部４０は、判定の結果、認識精度が閾値以上の物体の領域を不要物体の部分として不要物体除去部３１に送る。   (Processing PRC3) The extracted object determination unit 40 determines an object to be removed from the RGB image data from the camera 20 using the generated determination model. As a result of the determination, the extracted object determination unit 40 sends an object region whose recognition accuracy is equal to or higher than a threshold to the unnecessary object removal unit 31 as an unnecessary object part.

以上のようにして、抽出物体判定部４０では、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体をリアルタイムに判定することができる。   As described above, the extracted object determination unit 40 can determine in real time an object unnecessary for generating a three-dimensional model of a construction site, such as a worker, heavy equipment, or material, from the image captured by the camera 20. .

なお、この例では、３次元モデルの生成に不要な物体として、作業員、重機、資材等を例に挙げたが、３次元モデルの生成に不要な物体は、これらに限定されるものではない。また、３次元モデルの生成に不要な物体は、周囲の環境、３次元モデルの使用目的等に依存して、様々なものが考えられる。   In this example, workers, heavy equipment, materials, and the like are given as examples of objects unnecessary for generating the three-dimensional model. However, objects unnecessary for generating the three-dimensional model are not limited to these. . Various objects that are unnecessary for generating the three-dimensional model can be considered depending on the surrounding environment, the purpose of use of the three-dimensional model, and the like.

図３は、本発明の第１の実施形態に係る３次元モデル生成装置１の説明に用いるフローチャートである。   FIG. 3 is a flowchart used to describe the three-dimensional model generation apparatus 1 according to the first embodiment of the present invention.

（ステップＳ１）３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データを取得して、処理をステップＳ２に進める。   (Step S1) The three-dimensional model generation unit 30 acquires the three-dimensional point cloud data from the LIDAR 10 and advances the processing to step S2.

（ステップＳ２）抽出物体判定部４０は、カメラ２０で撮像された画像を解析し、処理をステップＳ３に進める。画像の解析では、前述したように、学習により生成された判別モデルを用いて、カメラ２０からのＲＧＢ画像データから、作業員、重機、資材等、３次元モデルの生成する際に不要な物体を判別する。   (Step S2) The extracted object determination unit 40 analyzes the image captured by the camera 20, and advances the process to step S3. In the image analysis, as described above, the discriminant model generated by learning is used to generate unnecessary objects such as workers, heavy equipment, and materials from the RGB image data from the camera 20 when generating a three-dimensional model. Determine.

（ステップＳ３）抽出物体判定部４０は、カメラ２０で撮像された画像から、３次元モデルを生成する際に不要な物体が認識されたか否かを判定する。３次元モデルを生成する際に不要な物体が認識されたら（ステップＳ３：Ｙｅｓ）、処理をステップＳ４に進め、３次元モデルを生成する際に不要な物体が認識されなければ（ステップＳ３：Ｎｏ）、処理をステップＳ５に進める。   (Step S3) The extracted object determination unit 40 determines whether or not an unnecessary object has been recognized when generating a three-dimensional model from the image captured by the camera 20. If an unnecessary object is recognized when generating the three-dimensional model (step S3: Yes), the process proceeds to step S4, and if an unnecessary object is not recognized when generating the three-dimensional model (step S3: No). ), The process proceeds to step S5.

（ステップＳ４）３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データの中から、ステップＳ３で抽出物体判定部４０により認識された領域にある３次元点群データを除去して、処理をステップＳ５に進める。   (Step S4) The three-dimensional model generation unit 30 removes the three-dimensional point group data in the region recognized by the extracted object determination unit 40 in step S3 from the three-dimensional point group data from the LIDAR 10, and performs processing. Advances to step S5.

（ステップＳ５）３次元モデル生成部３０は、３次元点群データを用いてＳＬＡＭ処理を行って３次元モデルを生成し、処理をステップＳ６に進める。   (Step S5) The three-dimensional model generation unit 30 generates a three-dimensional model by performing SLAM processing using the three-dimensional point cloud data, and advances the processing to step S6.

（ステップＳ６）３次元モデル生成部３０は、ＳＬＡＭ処理部３２で生成された３次元モデルを基に、３次元表示画像を生成し、表示部５０に表示させる。   (Step S <b> 6) The three-dimensional model generation unit 30 generates a three-dimensional display image based on the three-dimensional model generated by the SLAM processing unit 32 and causes the display unit 50 to display it.

（ステップＳ７）３次元モデル生成部３０は、計測処理を終了するか否かを判定し、終了しなければ（ステップＳ７：Ｎｏ）、処理をステップＳ１に戻す。計測処理が終了すれば（ステップＳ７：Ｙｅｓ）、処理は終了となる。   (Step S7) The three-dimensional model generation unit 30 determines whether or not to end the measurement process. If not (No at Step S7), the process returns to Step S1. If the measurement process ends (step S7: Yes), the process ends.

以上説明したように、本発明の第１の実施形態では、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体を判定し、ＬＩＤＡＲ１０からの３次元点群データの中から、３次元モデルの生成に不要な物体に対応する部分を除去して３次元モデルを生成している。これにより、最終的に生成された３次元モデルにおいてノイズが低減され、正確な出来形の把握ができるようになる。   As described above, in the first embodiment of the present invention, an object unnecessary for generating a three-dimensional model of a construction site, such as a worker, a heavy machine, or a material, is determined from an image captured by the camera 20, and the LIDAR 10 The three-dimensional model is generated by removing the part corresponding to the object unnecessary for generating the three-dimensional model from the three-dimensional point cloud data obtained from. As a result, noise is reduced in the finally generated three-dimensional model, and an accurate shape can be grasped.

＜第２の実施形態＞
図４は、本発明の第２の実施形態に係る３次元モデル生成装置１０１の構成を示すブロック図である。図４に示すように、本発明の第２の実施形態に係る３次元モデル生成装置１０１は、カメラ１２０と、３次元モデル生成部１３０と、抽出物体判定部１４０と、表示部１５０とから構成される。なお、３次元モデル生成部１３０及び抽出物体判定部１４０は、ＰＣ等の画像解析用計算機１６０により実現することができる。 <Second Embodiment>
FIG. 4 is a block diagram showing the configuration of the three-dimensional model generation apparatus 101 according to the second embodiment of the present invention. As shown in FIG. 4, the 3D model generation apparatus 101 according to the second embodiment of the present invention includes a camera 120, a 3D model generation unit 130, an extracted object determination unit 140, and a display unit 150. Is done. Note that the three-dimensional model generation unit 130 and the extracted object determination unit 140 can be realized by an image analysis computer 160 such as a PC.

カメラ１２０は、周囲の画像を撮像して、ＲＧＢ画像データを出力する。カメラ１２０は、測定対象物を計測して計測データを取得する計測部となるとともに、不要物体の抽出に用いられる。なお、この例では１つのカメラ１２０のみを図示しているが、カメラは複数台あっても良い。また、測定対象物を計測して計測データを取得するカメラと、不要物体の抽出に用いられるカメラとを分けて設けても良い。   The camera 120 captures a surrounding image and outputs RGB image data. The camera 120 serves as a measurement unit that measures a measurement object and acquires measurement data, and is used to extract an unnecessary object. In this example, only one camera 120 is illustrated, but a plurality of cameras may be provided. Further, a camera that measures a measurement object and acquires measurement data may be provided separately from a camera that is used for extraction of unnecessary objects.

３次元モデル生成部１３０は、カメラ１２０からの画像データを用いて３次元モデルを生成し、表示部１５０に表示させる。３次元モデル生成部１３０は、不要物体除去部１３１と、Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２と、３次元表示画像生成部１３３とを含む。不要物体除去部１３１は、抽出物体判定部１４０の判定出力を基に、カメラ１２０から出力される画像データの中から、作業員、重機、資材等、３次元モデルの生成に不要な物体に対応する部分を除去する。Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２は、不要物体除去部１３１で不要部分が除去された画像データを用いて、自己位置推定と環境地図作成とを同時に行い、３次元モデルを生成する。３次元表示画像生成部１３３は、Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２で生成された３次元モデルを用いて、周囲の３次元モデルの表示画像を生成する。   The three-dimensional model generation unit 130 generates a three-dimensional model using the image data from the camera 120 and causes the display unit 150 to display the three-dimensional model. The 3D model generation unit 130 includes an unnecessary object removal unit 131, a Visual SLAM processing unit 132, and a 3D display image generation unit 133. The unnecessary object removing unit 131 corresponds to an object unnecessary for generating a three-dimensional model, such as a worker, heavy equipment, or material, from the image data output from the camera 120 based on the determination output of the extracted object determining unit 140. Remove the parts to be used. The Visual SLAM processing unit 132 simultaneously performs self-position estimation and environment map creation using the image data from which unnecessary parts are removed by the unnecessary object removing unit 131, and generates a three-dimensional model. The 3D display image generation unit 133 generates a display image of the surrounding 3D model using the 3D model generated by the Visual SLAM processing unit 132.

抽出物体判定部１４０は、カメラ１２０で撮像された画像から、作業員、重機、資材等、３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部１３０に送る。   The extracted object determination unit 140 determines an object unnecessary for generating a three-dimensional model, such as a worker, a heavy machine, or a material, from the image captured by the camera 120, and sends the determination result to the three-dimensional model generation unit 130.

表示部１５０は、３次元モデル生成部１３０で生成された３次元モデルを表示する。表示部１５０としては、例えば、液晶ディスプレイが用いられる。   The display unit 150 displays the 3D model generated by the 3D model generation unit 130. For example, a liquid crystal display is used as the display unit 150.

図１に示した第１の実施形態に係る３次元モデル生成装置１では、ＬＩＤＡＲ１０から取得された３次元点群データから３次元モデルを生成しているのに対して、この第２の実施形態に係る３次元モデル生成装置１０１では、カメラ１２０から取得された画像データから３次元データを推定して、３次元モデルを生成している。ここでは、カメラ１２０から取得された画像データから３次元データを推定する手法として、Ｖｉｓｕａｌ ＳＬＡＭが用いられる。なお、カメラ１２０から取得された画像データから３次元データを推定する手法として、ＳｆＭ（Structure from Motion ）を用いても良い。他の構成については、第１の実施形態と同様である。   The 3D model generation apparatus 1 according to the first embodiment shown in FIG. 1 generates a 3D model from the 3D point cloud data acquired from the LIDAR 10, whereas this 2nd embodiment In the three-dimensional model generation apparatus 101 according to the above, a three-dimensional model is generated by estimating three-dimensional data from image data acquired from the camera 120. Here, Visual SLAM is used as a method of estimating three-dimensional data from image data acquired from the camera 120. Note that SfM (Structure from Motion) may be used as a method for estimating three-dimensional data from image data acquired from the camera 120. About another structure, it is the same as that of 1st Embodiment.

上述した実施形態における３次元モデル生成装置１及び１０１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。   You may make it implement | achieve all or one part of the three-dimensional model production | generation apparatuses 1 and 101 in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. It may be realized using a programmable logic device such as an FPGA.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within the scope not departing from the gist of the present invention.

１０…ＬＩＤＡＲ、２０…カメラ、３０…３次元モデル生成部、３１…不要物体除去部、３２…ＳＬＡＭ処理部、１２０…カメラ、１３０…３次元モデル生成部、１３１…不要物体除去部、１３２…Ｖｉｓｕａｌ ＳＬＡＭ処理部 DESCRIPTION OF SYMBOLS 10 ... LIDAR, 20 ... Camera, 30 ... Three-dimensional model generation part, 31 ... Unnecessary object removal part, 32 ... SLAM processing part, 120 ... Camera, 130 ... Three-dimensional model generation part, 131 ... Unnecessary object removal part, 132 ... Visual SLAM processing unit

Claims (6)

測定対象物を計測して計測データを取得する計測部と、
前記測定対象物を撮像する撮像部と、
前記撮像部で撮像した画像データから、３次元モデルの生成に不要な物体を判定する抽出物体判定部と、
前記抽出物体判定部での判定結果を基に、前記計測部から取得された計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去し、当該不要な物体に対応する領域の部分が除去された測定対象物の計測データを用いて３次元モデルを生成する３次元モデル生成部と
を備える３次元モデル生成装置。 A measurement unit that measures a measurement object and obtains measurement data;
An imaging unit for imaging the measurement object;
An extracted object determination unit that determines an object unnecessary for generating a three-dimensional model from the image data captured by the imaging unit;
Based on the determination result in the extracted object determination unit, the portion of the region corresponding to the object unnecessary for generating the three-dimensional model is removed from the measurement data acquired from the measurement unit, and the unnecessary object is supported. A three-dimensional model generation apparatus comprising: a three-dimensional model generation unit that generates a three-dimensional model using measurement data of a measurement object from which a portion of a region to be removed is removed. 前記計測部は、測定対象物を距離センサで計測し、３次元点群データを計測データとして取得する
請求項１に記載の３次元モデル生成装置。 The three-dimensional model generation apparatus according to claim 1, wherein the measurement unit measures a measurement object with a distance sensor and acquires three-dimensional point cloud data as measurement data. 前記計測部は、測定対象物を撮像した画像データを計測データとして取得し、当該画像データから３次元データを推定する
請求項１に記載の３次元モデル生成装置。 The three-dimensional model generation apparatus according to claim 1, wherein the measurement unit acquires image data obtained by imaging a measurement object as measurement data, and estimates three-dimensional data from the image data. 前記抽出物体判定部は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像部で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定する
請求項１又は２に記載の３次元モデル生成装置。 The extracted object determination unit is unnecessary for generating the three-dimensional model from image data captured by the imaging unit using a discrimination model generated by learning from an image including an object unnecessary for generating the three-dimensional model. The three-dimensional model generation device according to claim 1 or 2, wherein a three-dimensional model generation device is determined. 前記測定対象物は、施工対象物であり、
前記判別モデルは、作業員、重機、資材のうち少なくとの何れか１つを対象して撮像された画像群を前記３次元モデルの生成に不要な物体として学習して生成したモデルである
請求項４に記載の３次元モデル生成装置。 The measurement object is a construction object,
The discriminant model is a model generated by learning an image group captured for at least one of a worker, heavy equipment, and materials as an object unnecessary for generating the three-dimensional model. Item 5. The three-dimensional model generation device according to Item 4. 測定対象物を計測して計測データを取得する工程と、
前記測定対象物を撮像する工程と、
前記撮像した画像データから、３次元モデルの生成に不要な物体を判定する工程と、
前記判定した結果を基に、前記計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去する工程と、
前記不要な物体に対応する領域の部分が除去された計測データを用いて３次元モデルを生成する工程と、
を含む３次元モデル生成方法。 Measuring the measurement object and obtaining measurement data;
Imaging the measurement object;
Determining an object unnecessary for generating the three-dimensional model from the captured image data;
Removing a portion of a region corresponding to an object unnecessary for generating the three-dimensional model from the measurement data based on the determination result;
Generating a three-dimensional model using measurement data from which a portion of a region corresponding to the unnecessary object is removed;
A three-dimensional model generation method including:
JP2018087756A 2018-04-27 2018-04-27 3D model generation device and 3D model generation method Active JP7133971B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018087756A JP7133971B2 (en) 2018-04-27 2018-04-27 3D model generation device and 3D model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087756A JP7133971B2 (en) 2018-04-27 2018-04-27 3D model generation device and 3D model generation method

Publications (2)

Publication Number Publication Date
JP2019192170A true JP2019192170A (en) 2019-10-31
JP7133971B2 JP7133971B2 (en) 2022-09-09

Family

ID=68391339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087756A Active JP7133971B2 (en) 2018-04-27 2018-04-27 3D model generation device and 3D model generation method

Country Status (1)

Country Link
JP (1) JP7133971B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021179365A (en) * 2020-05-14 2021-11-18 株式会社オービタルネット Information processing device, information processing method, and computer program
CN115292785A (en) * 2022-08-06 2022-11-04 中铁六局集团有限公司 Method, device, equipment and storage medium for pre-assembling steel structure close to existing line

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070927A1 (en) * 2009-12-11 2011-06-16 株式会社トプコン Point group data processing device, point group data processing method, and point group data processing program
JP2015165420A (en) * 2013-05-31 2015-09-17 パナソニックＩｐマネジメント株式会社 Modeling device, three-dimensional model generation apparatus, modeling method, program and layout simulator
WO2016139819A1 (en) * 2015-03-03 2016-09-09 株式会社岩崎 Ground-shape estimation program, ground-shape estimation device, and ground-shape estimation method
JP2017107443A (en) * 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070927A1 (en) * 2009-12-11 2011-06-16 株式会社トプコン Point group data processing device, point group data processing method, and point group data processing program
JP2015165420A (en) * 2013-05-31 2015-09-17 パナソニックＩｐマネジメント株式会社 Modeling device, three-dimensional model generation apparatus, modeling method, program and layout simulator
WO2016139819A1 (en) * 2015-03-03 2016-09-09 株式会社岩崎 Ground-shape estimation program, ground-shape estimation device, and ground-shape estimation method
JP2017107443A (en) * 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"ＧＰＳから3次元レーザスキャナーまで 測量最前線 New Waves of Surveying", ＣＡＤ＆ＣＧ ＭＡＧＡＺＩＮＥ, vol. 第5巻 第12号, JPN6022002232, 1 December 2003 (2003-12-01), ISSN: 0004688989 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021179365A (en) * 2020-05-14 2021-11-18 株式会社オービタルネット Information processing device, information processing method, and computer program
CN115292785A (en) * 2022-08-06 2022-11-04 中铁六局集团有限公司 Method, device, equipment and storage medium for pre-assembling steel structure close to existing line
CN115292785B (en) * 2022-08-06 2024-03-22 中铁六局集团有限公司 Pre-assembly method, device, equipment and storage medium for adjacent existing wire steel structure

Also Published As

Publication number Publication date
JP7133971B2 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
Chen et al. Applicability of personal laser scanning in forestry inventory
CN112288742B (en) Navigation method and device for ultrasonic probe, storage medium and electronic equipment
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
CN103988226B (en) Method for estimating camera motion and for determining real border threedimensional model
CN107077735A (en) Three dimensional object is recognized
CN103959307B (en) The method of detection and Expressive Features from gray level image
US20100042382A1 (en) Method and Apparatus for Localizing and Mapping the Position of a Set of Points on a Digital Model
CN105700525B (en) Method is built based on Kinect sensor depth map robot working environment uncertainty map
JP2018522345A5 (en)
JP2011185872A (en) Information processor, and processing method and program of the same
JP2015147256A (en) Robot, robot system, control device, and control method
JP2012533222A (en) Image-based surface tracking
JP2017103602A (en) Position detection device, and position detection method and program
JP2008275391A (en) Position attitude measurement device and method
KR102263152B1 (en) Method and apparatus for object detection in 3d point clouds
CN114119864A (en) Positioning method and device based on three-dimensional reconstruction and point cloud matching
JP7306192B2 (en) Synthesis processing device, synthesis processing system, and synthesis processing method
JP6821326B2 (en) Information processing equipment, measurement systems, information processing methods and programs
JP7133971B2 (en) 3D model generation device and 3D model generation method
Guo et al. 3D scanning of live pigs system and its application in body measurements
CN111047699A (en) Seabed detection image display method, device, equipment and storage medium
CN112883920A (en) Point cloud deep learning-based three-dimensional face scanning feature point detection method and device
Song et al. Calibration of event-based camera and 3d lidar
JP3919722B2 (en) Skin shape measuring method and skin shape measuring apparatus
Albrecht et al. Seeing the unseen: Simple reconstruction of transparent objects from point cloud data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220830

R150 Certificate of patent or registration of utility model

Ref document number: 7133971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150