JP7133971B2 - 3D model generation device and 3D model generation method - Google Patents

3D model generation device and 3D model generation method Download PDF

Info

Publication number
JP7133971B2
JP7133971B2 JP2018087756A JP2018087756A JP7133971B2 JP 7133971 B2 JP7133971 B2 JP 7133971B2 JP 2018087756 A JP2018087756 A JP 2018087756A JP 2018087756 A JP2018087756 A JP 2018087756A JP 7133971 B2 JP7133971 B2 JP 7133971B2
Authority
JP
Japan
Prior art keywords
dimensional model
unnecessary
model
generating
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018087756A
Other languages
Japanese (ja)
Other versions
JP2019192170A (en
Inventor
智博 鳴海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Original Assignee
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp filed Critical Shimizu Corp
Priority to JP2018087756A priority Critical patent/JP7133971B2/en
Publication of JP2019192170A publication Critical patent/JP2019192170A/en
Application granted granted Critical
Publication of JP7133971B2 publication Critical patent/JP7133971B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、３次元モデル生成装置及び３次元モデル生成方法に関する。 The present invention relates to a three-dimensional model generation device and a three-dimensional model generation method.

建設現場の生産性向上のため、日々の出来形管理などに、３次元モデル生成手法が活用されつつある（例えば特許文献１）。３次元モデル生成手法としては、ＬＩＤＡＲ(Light Detection and Ranging)を用いたＳＬＡＭ(Simultaneous Localization and Mapping)の技術や、カメラを用いたＶｉｓｕａｌ ＳＬＡＭやＳｆＭ(Structure from Motion)の技術が提案されている。ＬＩＤＡＲは、直接距離を測定することができるため、Ｖｉｓｕａｌ ＳＬＡＭやＳｆＭに比べて形状の精度が高いが、取得した点群データにはＲＧＢ情報が含まれていない。一方、カメラを用いたＶｉｓｕａｌ ＳＬＡＭやＳｆＭの技術は、ＲＧＢ情報を持っているが、視差による測量であるため、ＬＩＤＡＲに比べて一般的に精度が劣る。 In order to improve productivity at construction sites, a three-dimensional model generation method is being used for daily work management, etc. (for example, Patent Document 1). SLAM (Simultaneous Localization and Mapping) technology using LIDAR (Light Detection and Ranging), and Visual SLAM and SfM (Structure from Motion) technology using cameras have been proposed as three-dimensional model generation methods. Since LIDAR can measure distance directly, LIDAR has higher shape accuracy than Visual SLAM and SfM, but the acquired point cloud data does not include RGB information. On the other hand, Visual SLAM and SfM techniques using a camera have RGB information, but are generally less accurate than LIDAR because they are surveys based on parallax.

特許第４７６９０２８号公報Japanese Patent No. 4769028

建設現場には、作業員、重機、資材など、出来形管理の３次元モデルに不要な様々なものが多くある。ＬＩＤＡＲを用いて３次元モデルを生成する場合でも、カメラを用いて３次元モデルを生成する場合でも、これら出来形管理に不要なものが写り込んだまま３次元モデルを生成すると、不要物体の形状が測定物体の３次元モデルに残ってしまい、出来形管理の支障となる。また、作業員、重機、資材等は頻繁に動くため、３次元モデルの中にノイズとなって残り、３次元モデルの精度を低下させる。 At a construction site, there are many things such as workers, heavy machinery, materials, etc. that are unnecessary for a 3D model for workmanship management. Whether a 3D model is generated using LIDAR or a 3D model using a camera, if a 3D model is generated with objects that are unnecessary for finished shape management reflected in the image, the shape of the unnecessary object will be lost. remains in the three-dimensional model of the measured object, which hinders finished product management. In addition, since workers, heavy machinery, materials, etc. move frequently, they remain as noise in the three-dimensional model, reducing the accuracy of the three-dimensional model.

本発明は、このような課題に鑑みてなされたものであり、不要物体やノイズが混入されることなく、測定対象物の３次元モデルを正確に生成できる３次元モデル生成装置及び３次元モデル生成方法を提供することを目的とする。 The present invention has been made in view of such problems, and provides a three-dimensional model generating apparatus and a three-dimensional model generating apparatus capable of accurately generating a three-dimensional model of an object to be measured without mixing unnecessary objects or noise. The purpose is to provide a method.

上述の課題を解決するために、本発明の一態様に係る３次元モデル生成装置は、測定対象物を計測して計測データを取得する計測部と、前記測定対象物を撮像する撮像部と、前記撮像部で撮像した画像データから、３次元モデルの生成に不要な物体を判定する抽出物体判定部と、前記抽出物体判定部での判定結果を基に、前記計測部から取得された計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去し、当該不要な物体に対応する領域の部分が除去された測定対象物の計測データを用いて３次元モデルを生成する３次元モデル生成部と、を有し、前記抽出物体判定部は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像部で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定することを特徴とする。 In order to solve the above-described problems, a three-dimensional model generation device according to an aspect of the present invention includes a measurement unit that measures a measurement object and acquires measurement data, an imaging unit that images the measurement object, an extracted object determination unit that determines an object unnecessary for generating a three-dimensional model from the image data captured by the imaging unit; and measurement data obtained from the measurement unit based on the determination result of the extracted object determination unit. Generating a three-dimensional model using the measurement data of the measurement object from which the region corresponding to the object unnecessary for the generation of the three-dimensional model is removed, and from which the region corresponding to the unnecessary object is removed and a three-dimensional model generation unit for generating the three-dimensional model , wherein the extracted object determination unit uses a discrimination model generated by learning from an image including an object unnecessary for generation of the three-dimensional model, and the image is captured by the imaging unit. It is characterized in that an unnecessary object for generating the three-dimensional model is determined from the image data .

本発明の一態様に係る３次元モデル生成方法は、測定対象物を計測して計測データを取得する工程と、前記測定対象物を撮像する工程と、前記撮像した画像データから、３次元モデルの生成に不要な物体を判定する工程と、前記判定した結果を基に、前記計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去する工程と、前記不要な物体に対応する領域の部分が除去された計測データを用いて３次元モデルを生成する工程と、を含み、前記判定する工程は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像する工程で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定することを含むことを特徴とする。 A three-dimensional model generation method according to an aspect of the present invention includes the steps of measuring a measurement object to acquire measurement data, imaging the measurement object, and generating a three-dimensional model from the image data obtained. a step of determining an object unnecessary for generation; a step of removing a portion of a region corresponding to the object unnecessary for generation of the three-dimensional model from the measurement data based on the result of the determination; and generating a three-dimensional model using measurement data from which a portion of the area corresponding to Using the generated discriminant model, the image data captured in the imaging step is characterized by determining an object unnecessary for generation of the three-dimensional model .

本発明によれば、測定対象物以外の３次元モデルを生成するのに不要な物体が存在する状況において計測を行ったとしても、不要な物体やノイズを含まず、測定対象物のみからなる３次元モデルを正確に生成できる。これにより、測定対象物として施工対象物の出来形を計測して３次元モデルを生成した場合に、出来形の３次元モデルを精度良く生成することができる。 According to the present invention, even if measurement is performed in the presence of objects unnecessary for generating a three-dimensional model other than the object to be measured, the three-dimensional model consisting of only the object to be measured does not include unnecessary objects or noise. Dimensional models can be generated accurately. As a result, when a three-dimensional model is generated by measuring the finished shape of a construction object as a measurement object, the three-dimensional model of the finished shape can be generated with high accuracy.

本発明の第１の実施形態に係る３次元モデル生成装置の構成を示すブロック図である。1 is a block diagram showing the configuration of a 3D model generation device according to a first embodiment of the present invention; FIG. 本発明の第１の実施形態に係る３次元モデル生成装置における抽出物体判定部の処理の概念図である。4 is a conceptual diagram of processing of an extracted object determination unit in the three-dimensional model generation device according to the first embodiment of the present invention; FIG. 本発明の第１の実施形態に係る３次元モデル生成装置の説明に用いるフローチャートである。4 is a flowchart used for explaining the three-dimensional model generation device according to the first embodiment of the present invention; 本発明の第２の実施形態に係る３次元モデル生成装置の構成を示すブロック図である。FIG. 5 is a block diagram showing the configuration of a three-dimensional model generation device according to a second embodiment of the present invention; FIG.

以下、本発明の実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る３次元モデル生成装置１の構成を示すブロック図である。図１に示すように、本発明の第１の実施形態に係る３次元モデル生成装置１は、ＬＩＤＡＲ（light detection and ranging）１０と、カメラ２０と、３次元モデル生成部３０と、抽出物体判定部４０と、表示部５０とから構成される。なお、３次元モデル生成部３０及び抽出物体判定部４０は、ＰＣ（Personal Computer）等の画像解析用計算機６０により実現することができる。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram showing the configuration of a three-dimensional model generation device 1 according to the first embodiment of the present invention. As shown in FIG. 1, a three-dimensional model generation device 1 according to the first embodiment of the present invention includes a LIDAR (light detection and ranging) 10, a camera 20, a three-dimensional model generation unit 30, an extracted object determination It is composed of a unit 40 and a display unit 50 . The three-dimensional model generation unit 30 and the extracted object determination unit 40 can be realized by an image analysis computer 60 such as a PC (Personal Computer).

ＬＩＤＡＲ１０は、パルスレーザーの反射光を検出して距離計測を行い、周囲の３次元点群データを出力する。ＬＩＤＡＲ１０は、物体までの距離を点群の深度として計測する距離センサであり、測定対象物を計測して、３次元点群データを計測データとして取得する計測部となる。 The LIDAR 10 detects the reflected light of the pulse laser, performs distance measurement, and outputs surrounding three-dimensional point cloud data. The LIDAR 10 is a distance sensor that measures the distance to an object as the depth of a point cloud, and serves as a measurement unit that measures a measurement target and acquires three-dimensional point cloud data as measurement data.

カメラ２０は、周囲の画像を撮像して、ＲＧＢ画像データを出力する。カメラ２０は、測定対象物を撮像する撮像部となる。なお、カメラ２０としては、ＬＩＤＡＲ１０の検出範囲と同等の視野のものを用いることが望ましい。例えば、ＬＩＤＡＲ１０が周囲３６０度の計測を行うものであれば、カメラ２０としては、周囲３６０度の撮像が行えるものが望ましい。また、カメラ２０は１台とは限らず、カメラ２０として複数のカメラを用いてＬＩＤＡＲ１０の検出範囲と同等の視野を確保するようにしても良い。また、ＬＩＤＡＲ１０とカメラ２０とは、その座標が対応付けられている。ＬＩＤＡＲ１０とカメラ２０との座標の対応付は、例えばＬＩＤＡＲ１０からの３次元点群データとカメラ２０からの画像データとの相関に基いて検出することができる。 The camera 20 captures an image of the surroundings and outputs RGB image data. The camera 20 serves as an imaging unit that images an object to be measured. As the camera 20, it is desirable to use a camera with a field of view equivalent to the detection range of the LIDAR 10. FIG. For example, if the LIDAR 10 measures around 360 degrees, the camera 20 is preferably capable of taking images around 360 degrees. Moreover, the camera 20 is not limited to one unit, and a plurality of cameras may be used as the camera 20 to ensure a field of view equivalent to the detection range of the LIDAR 10 . Also, the coordinates of the LIDAR 10 and the camera 20 are associated with each other. The correspondence between the coordinates of the LIDAR 10 and the camera 20 can be detected based on the correlation between the three-dimensional point cloud data from the LIDAR 10 and the image data from the camera 20, for example.

３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データを用いて３次元モデルを生成し、表示部５０に表示させる。３次元モデル生成部３０は、不要物体除去部３１と、ＳＬＡＭ(Simultaneous Localization and Mapping)処理部３２と、３次元表示画像生成部３３とを含む。不要物体除去部３１は、抽出物体判定部４０の判定出力を基に、ＬＩＤＡＲ１０から出力される３次元点群データの中から、作業員、重機、資材等、３次元モデルの生成に不要な物体に対応する部分を除去する。ＳＬＡＭ処理部３２は、不要物体除去部３１で不要部分が除去された３次元点群データを用いて、自己位置推定と環境地図作成とを同時に行い、３次元モデルを生成する。３次元表示画像生成部３３は、ＳＬＡＭ処理部３２で生成された３次元モデルを用いて、周囲の３次元モデルの表示画像を生成する。 The 3D model generation unit 30 generates a 3D model using the 3D point group data from the LIDAR 10 and displays it on the display unit 50 . The 3D model generator 30 includes an unnecessary object remover 31 , a SLAM (Simultaneous Localization and Mapping) processor 32 , and a 3D display image generator 33 . Based on the determination output of the extracted object determination unit 40, the unnecessary object removal unit 31 removes unnecessary objects such as workers, heavy machinery, and materials from the 3D point cloud data output from the LIDAR 10 for generating a 3D model. Remove the part corresponding to The SLAM processing unit 32 uses the 3D point cloud data from which unnecessary parts have been removed by the unnecessary object removal unit 31 to simultaneously perform self-position estimation and environment map creation to generate a 3D model. The 3D display image generation unit 33 uses the 3D model generated by the SLAM processing unit 32 to generate a display image of the surrounding 3D model.

抽出物体判定部４０は、カメラ２０で撮像された画像から、作業員、重機、資材等、３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部３０に送る。 The extracted object determination unit 40 determines objects such as workers, heavy machinery, materials, etc. that are unnecessary for generation of the three-dimensional model from the image captured by the camera 20 , and sends the determination result to the three-dimensional model generation unit 30 .

表示部５０は、３次元モデル生成部３０で生成された３次元モデルを表示する。表示部５０としては、例えば、液晶ディスプレイが用いられる。 The display unit 50 displays the 3D model generated by the 3D model generation unit 30 . As the display unit 50, for example, a liquid crystal display is used.

本発明の第１の実施形態に係る３次元モデル生成装置１は、例えば建設現場で出来形管理を行うために用いられる。すなわち、出来形管理を行う場合、ＬＩＤＡＲ１０により施工対象物がスキャンされ、３次元モデル生成部３０により施工対象物の出来形の３次元モデルが生成されて、表示部５０に表示される。この３次元モデルを評価することで、出来形管理が行える。 A three-dimensional model generation device 1 according to the first embodiment of the present invention is used, for example, to manage finished shapes at a construction site. That is, in the case of finished shape management, the LIDAR 10 scans the construction target, and the 3D model generator 30 generates a 3D model of the finished shape of the construction target and displays it on the display 50 . By evaluating this three-dimensional model, finished form management can be performed.

このようにして出来形管理を行う場合、必要とされる施工対象物の出来形のみから３次元モデルが生成されれば良い。ところが、建設現場には、作業員、資材、重機などが多くあり、これらは、多方向に移動する。このため、ＬＩＤＡＲ１０によりスキャンした３次元点群データの中に、このような不要な物体が含まれてしまうと、出来形管理の精度を低下させる。 When performing finished shape management in this way, it is sufficient to generate a three-dimensional model only from the finished shape of the required construction object. However, at a construction site, there are many workers, materials, heavy machinery, etc., and these move in multiple directions. Therefore, if such an unnecessary object is included in the three-dimensional point cloud data scanned by the LIDAR 10, the accuracy of finished shape management is lowered.

そこで、本実施形態では、抽出物体判定部４０により、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部３０の不要物体除去部３１に送っている。不要物体除去部３１は、ＬＩＤＡＲ１０からの３次元点群データの中から、抽出物体判定部４０での判定結果を基に、３次元モデルの生成に不要な物体に対応する部分を除去する。ＳＬＡＭ処理部３２は、不要物体除去部３１で不要部分が除去された３次元点群データを用いて、ＳＬＡＭ処理を行い、３次元モデルを生成する。これにより、施工対象物の出来形のみから３次元モデルが生成できる。 Therefore, in this embodiment, the extracted object determination unit 40 determines objects such as workers, heavy machinery, materials, etc. that are unnecessary for generating a three-dimensional model of the construction site from the image captured by the camera 20, and the determination result is is sent to the unnecessary object removal unit 31 of the three-dimensional model generation unit 30 . The unnecessary object removal unit 31 removes portions corresponding to objects unnecessary for generating a 3D model from the 3D point cloud data from the LIDAR 10 based on the determination result of the extracted object determination unit 40 . The SLAM processing unit 32 performs SLAM processing using the three-dimensional point cloud data from which unnecessary parts have been removed by the unnecessary object removal unit 31, and generates a three-dimensional model. As a result, a three-dimensional model can be generated only from the finished shape of the object to be constructed.

抽出物体判定部４０での物体認識には、ＹＯＬＯ（You Look Only Ones）、ＳＳＤ（Single Shot Multibox Detector）等の深層学習技術を用いた手法が使用できる。図２は、本発明の第１の実施形態に係る３次元モデル生成装置１における抽出物体判定部４０での処理の概念図である。 For object recognition in the extracted object determination unit 40, methods using deep learning technology such as YOLO (You Look Only Ones) and SSD (Single Shot Multibox Detector) can be used. FIG. 2 is a conceptual diagram of processing in the extraction object determination unit 40 in the 3D model generation device 1 according to the first embodiment of the present invention.

（処理ＰＲＣ１）抽出物体判定部４０は、物体認識を行う場合には、除去したい物体について様々な角度や背景の画像を訓練データとして用いて予め学習させておく。出来形管理では、作業員、重機、資材等が３次元モデルの生成に不要な物体となる。したがって、抽出物体判定部４０は、作業員、重機、資材等について、様々な角度や背景の画像群を訓練データとして用意する。例えば、除去したい物体が作業員であれば、作業員が立っている姿勢における正面や側面、背面の画像や、作業中の姿勢を撮像した画像群を訓練データとして用意する。 (Processing PRC1) When performing object recognition, the extracted object determination unit 40 learns objects to be removed in advance using images of various angles and backgrounds as training data. In finished form management, workers, heavy machinery, materials, and the like are objects that are unnecessary for generating a three-dimensional model. Therefore, the extracted object determination unit 40 prepares, as training data, groups of images of various angles and backgrounds of workers, heavy machinery, materials, and the like. For example, if the object to be removed is a worker, images of the front, side, and rear of the worker in a standing posture and a group of images of the worker's posture during work are prepared as training data.

（処理ＰＲＣ２）抽出物体判定部４０は、これらの除去したい物体の訓練データを多数用いて、物体認識の学習を行い、判別モデルを生成する。学習は、例えばＡＩ（Artificial Intelligence）技術を用いた、機械学習、強化学習、複数の中間層を含むニューラルネットワークによるディープラーニングのうちいずれかを用いることができる。また、学習方式としては、教師あり学習であっても教師無し学習であってもよい。 (Processing PRC2) The extracted object determination unit 40 uses a large number of training data of these objects to be removed to perform object recognition learning and generate a discriminant model. For learning, for example, machine learning using AI (Artificial Intelligence) technology, reinforcement learning, or deep learning using a neural network including a plurality of intermediate layers can be used. Also, the learning method may be either supervised learning or unsupervised learning.

（処理ＰＲＣ３）抽出物体判定部４０は、生成された判別モデルを用いて、カメラ２０からのＲＧＢ画像データから除去したい物体を判別する。抽出物体判定部４０は、判定の結果、認識精度が閾値以上の物体の領域を不要物体の部分として不要物体除去部３１に送る。 (Processing PRC3) The extraction object determination unit 40 determines an object to be removed from the RGB image data from the camera 20 using the generated discrimination model. As a result of the determination, the extracted object determination unit 40 sends an object area whose recognition accuracy is equal to or higher than the threshold to the unnecessary object removal unit 31 as an unnecessary object portion.

以上のようにして、抽出物体判定部４０では、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体をリアルタイムに判定することができる。 As described above, the extracted object determination unit 40 can determine in real time, from the images captured by the camera 20, objects such as workers, heavy machinery, and materials that are unnecessary for generating a three-dimensional model of the construction site. .

なお、この例では、３次元モデルの生成に不要な物体として、作業員、重機、資材等を例に挙げたが、３次元モデルの生成に不要な物体は、これらに限定されるものではない。また、３次元モデルの生成に不要な物体は、周囲の環境、３次元モデルの使用目的等に依存して、様々なものが考えられる。 In this example, workers, heavy machinery, materials, and the like are cited as examples of objects that are unnecessary for generating a 3D model, but objects that are unnecessary for generating a 3D model are not limited to these. . Also, various objects are conceivable as unnecessary objects for generating a three-dimensional model, depending on the surrounding environment, purpose of use of the three-dimensional model, and the like.

図３は、本発明の第１の実施形態に係る３次元モデル生成装置１の説明に用いるフローチャートである。 FIG. 3 is a flowchart used for explaining the three-dimensional model generation device 1 according to the first embodiment of the present invention.

（ステップＳ１）３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データを取得して、処理をステップＳ２に進める。 (Step S1) The 3D model generator 30 acquires 3D point cloud data from the LIDAR 10, and advances the process to step S2.

（ステップＳ２）抽出物体判定部４０は、カメラ２０で撮像された画像を解析し、処理をステップＳ３に進める。画像の解析では、前述したように、学習により生成された判別モデルを用いて、カメラ２０からのＲＧＢ画像データから、作業員、重機、資材等、３次元モデルの生成する際に不要な物体を判別する。 (Step S2) The extracted object determination unit 40 analyzes the image captured by the camera 20, and advances the process to step S3. In the image analysis, as described above, using the discriminant model generated by learning, from the RGB image data from the camera 20, objects such as workers, heavy machinery, and materials that are unnecessary when generating a three-dimensional model are removed. discriminate.

（ステップＳ３）抽出物体判定部４０は、カメラ２０で撮像された画像から、３次元モデルを生成する際に不要な物体が認識されたか否かを判定する。３次元モデルを生成する際に不要な物体が認識されたら（ステップＳ３：Ｙｅｓ）、処理をステップＳ４に進め、３次元モデルを生成する際に不要な物体が認識されなければ（ステップＳ３：Ｎｏ）、処理をステップＳ５に進める。 (Step S3) The extracted object determination unit 40 determines whether or not an unnecessary object is recognized from the image captured by the camera 20 when generating the three-dimensional model. If an unnecessary object is recognized when generating the three-dimensional model (step S3: Yes), the process proceeds to step S4, and if an unnecessary object is not recognized when generating the three-dimensional model (step S3: No ), and the process proceeds to step S5.

（ステップＳ４）３次元モデル生成部３０は、ＬＩＤＡＲ１０からの３次元点群データの中から、ステップＳ３で抽出物体判定部４０により認識された領域にある３次元点群データを除去して、処理をステップＳ５に進める。 (Step S4) The 3D model generation unit 30 removes the 3D point cloud data in the region recognized by the extracted object determination unit 40 in step S3 from the 3D point cloud data from the LIDAR 10, and processes the data. to step S5.

（ステップＳ５）３次元モデル生成部３０は、３次元点群データを用いてＳＬＡＭ処理を行って３次元モデルを生成し、処理をステップＳ６に進める。 (Step S5) The 3D model generation unit 30 performs SLAM processing using the 3D point group data to generate a 3D model, and proceeds to step S6.

（ステップＳ６）３次元モデル生成部３０は、ＳＬＡＭ処理部３２で生成された３次元モデルを基に、３次元表示画像を生成し、表示部５０に表示させる。 (Step S6) The 3D model generation unit 30 generates a 3D display image based on the 3D model generated by the SLAM processing unit 32, and causes the display unit 50 to display the image.

（ステップＳ７）３次元モデル生成部３０は、計測処理を終了するか否かを判定し、終了しなければ（ステップＳ７：Ｎｏ）、処理をステップＳ１に戻す。計測処理が終了すれば（ステップＳ７：Ｙｅｓ）、処理は終了となる。 (Step S7) The three-dimensional model generation unit 30 determines whether or not to end the measurement process. If not (Step S7: No), the process returns to Step S1. If the measurement process ends (step S7: Yes), the process ends.

以上説明したように、本発明の第１の実施形態では、カメラ２０で撮像された画像から、作業員、重機、資材等、建設現場の３次元モデルの生成に不要な物体を判定し、ＬＩＤＡＲ１０からの３次元点群データの中から、３次元モデルの生成に不要な物体に対応する部分を除去して３次元モデルを生成している。これにより、最終的に生成された３次元モデルにおいてノイズが低減され、正確な出来形の把握ができるようになる。 As described above, in the first embodiment of the present invention, objects such as workers, heavy machinery, and materials that are unnecessary for generating a three-dimensional model of a construction site are determined from an image captured by the camera 20, and the LIDAR 10 A three-dimensional model is generated by removing a portion corresponding to an object unnecessary for generating a three-dimensional model from the three-dimensional point group data obtained from the above. As a result, noise is reduced in the finally generated three-dimensional model, making it possible to accurately grasp the finished form.

＜第２の実施形態＞
図４は、本発明の第２の実施形態に係る３次元モデル生成装置１０１の構成を示すブロック図である。図４に示すように、本発明の第２の実施形態に係る３次元モデル生成装置１０１は、カメラ１２０と、３次元モデル生成部１３０と、抽出物体判定部１４０と、表示部１５０とから構成される。なお、３次元モデル生成部１３０及び抽出物体判定部１４０は、ＰＣ等の画像解析用計算機１６０により実現することができる。 <Second embodiment>
FIG. 4 is a block diagram showing the configuration of a 3D model generation device 101 according to the second embodiment of the present invention. As shown in FIG. 4, a three-dimensional model generation device 101 according to the second embodiment of the present invention comprises a camera 120, a three-dimensional model generation unit 130, an extracted object determination unit 140, and a display unit 150. be done. Note that the three-dimensional model generation unit 130 and the extracted object determination unit 140 can be realized by an image analysis computer 160 such as a PC.

カメラ１２０は、周囲の画像を撮像して、ＲＧＢ画像データを出力する。カメラ１２０は、測定対象物を計測して計測データを取得する計測部となるとともに、不要物体の抽出に用いられる。なお、この例では１つのカメラ１２０のみを図示しているが、カメラは複数台あっても良い。また、測定対象物を計測して計測データを取得するカメラと、不要物体の抽出に用いられるカメラとを分けて設けても良い。 Camera 120 captures an image of the surroundings and outputs RGB image data. The camera 120 serves as a measurement unit that measures the object to be measured and acquires measurement data, and is also used to extract unnecessary objects. Although only one camera 120 is shown in this example, a plurality of cameras may be provided. Also, a camera for measuring the object to be measured and obtaining measurement data may be provided separately from a camera for extracting unnecessary objects.

３次元モデル生成部１３０は、カメラ１２０からの画像データを用いて３次元モデルを生成し、表示部１５０に表示させる。３次元モデル生成部１３０は、不要物体除去部１３１と、Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２と、３次元表示画像生成部１３３とを含む。不要物体除去部１３１は、抽出物体判定部１４０の判定出力を基に、カメラ１２０から出力される画像データの中から、作業員、重機、資材等、３次元モデルの生成に不要な物体に対応する部分を除去する。Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２は、不要物体除去部１３１で不要部分が除去された画像データを用いて、自己位置推定と環境地図作成とを同時に行い、３次元モデルを生成する。３次元表示画像生成部１３３は、Ｖｉｓｕａｌ ＳＬＡＭ処理部１３２で生成された３次元モデルを用いて、周囲の３次元モデルの表示画像を生成する。 The 3D model generation unit 130 generates a 3D model using the image data from the camera 120 and causes the display unit 150 to display it. The 3D model generator 130 includes an unnecessary object remover 131 , a Visual SLAM processor 132 , and a 3D display image generator 133 . Based on the determination output of the extracted object determination unit 140, the unnecessary object removal unit 131 removes unnecessary objects such as workers, heavy machinery, and materials from the image data output from the camera 120 for generating a three-dimensional model. Remove the part that The visual SLAM processing unit 132 simultaneously performs self-position estimation and environment map creation using the image data from which unnecessary parts have been removed by the unnecessary object removal unit 131, and generates a three-dimensional model. The 3D display image generation unit 133 uses the 3D model generated by the Visual SLAM processing unit 132 to generate a display image of the surrounding 3D model.

抽出物体判定部１４０は、カメラ１２０で撮像された画像から、作業員、重機、資材等、３次元モデルの生成に不要な物体を判定し、その判定結果を３次元モデル生成部１３０に送る。 The extracted object determination unit 140 determines objects such as workers, heavy machinery, materials, etc. that are unnecessary for generation of the 3D model from the image captured by the camera 120 and sends the determination result to the 3D model generation unit 130 .

表示部１５０は、３次元モデル生成部１３０で生成された３次元モデルを表示する。表示部１５０としては、例えば、液晶ディスプレイが用いられる。 The display unit 150 displays the 3D model generated by the 3D model generation unit 130 . As the display unit 150, for example, a liquid crystal display is used.

図１に示した第１の実施形態に係る３次元モデル生成装置１では、ＬＩＤＡＲ１０から取得された３次元点群データから３次元モデルを生成しているのに対して、この第２の実施形態に係る３次元モデル生成装置１０１では、カメラ１２０から取得された画像データから３次元データを推定して、３次元モデルを生成している。ここでは、カメラ１２０から取得された画像データから３次元データを推定する手法として、Ｖｉｓｕａｌ ＳＬＡＭが用いられる。なお、カメラ１２０から取得された画像データから３次元データを推定する手法として、ＳｆＭ（Structure from Motion ）を用いても良い。他の構成については、第１の実施形態と同様である。 In the three-dimensional model generation device 1 according to the first embodiment shown in FIG. The three-dimensional model generation device 101 according to the above estimates three-dimensional data from image data acquired from the camera 120 to generate a three-dimensional model. Here, Visual SLAM is used as a technique for estimating three-dimensional data from image data acquired from camera 120 . As a method for estimating three-dimensional data from image data acquired from the camera 120, SfM (Structure from Motion) may be used. Other configurations are the same as those of the first embodiment.

上述した実施形態における３次元モデル生成装置１及び１０１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 All or part of the 3D model generation devices 1 and 101 in the above-described embodiments may be realized by a computer. In that case, a program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed. It should be noted that the "computer system" referred to here includes hardware such as an OS and peripheral devices. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. Furthermore, "computer-readable recording medium" means a medium that dynamically retains a program for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include something that holds the program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or client in that case. Further, the program may be for realizing a part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be implemented using a programmable logic device such as FPGA.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and design and the like are included within the scope of the gist of the present invention.

１０…ＬＩＤＡＲ、２０…カメラ、３０…３次元モデル生成部、３１…不要物体除去部、３２…ＳＬＡＭ処理部、１２０…カメラ、１３０…３次元モデル生成部、１３１…不要物体除去部、１３２…Ｖｉｓｕａｌ ＳＬＡＭ処理部 Reference Signs List 10 LIDAR 20 Camera 30 Three-dimensional model generation unit 31 Unnecessary object removal unit 32 SLAM processing unit 120 Camera 130 Three-dimensional model generation unit 131 Unnecessary object removal unit 132 Visual SLAM processing unit

Claims (4)

測定対象物を計測して計測データを取得する計測部と、
前記測定対象物を撮像する撮像部と、
前記撮像部で撮像した画像データから、３次元モデルの生成に不要な物体を判定する抽出物体判定部と、
前記抽出物体判定部での判定結果を基に、前記計測部から取得された計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去し、当該不要な物体に対応する領域の部分が除去された測定対象物の計測データを用いて３次元モデルを生成する３次元モデル生成部と、を有し、
前記抽出物体判定部は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像部で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定する
３次元モデル生成装置。 a measurement unit that measures an object to be measured and acquires measurement data;
an imaging unit that captures an image of the object to be measured;
an extracted object determination unit that determines objects unnecessary for generating a three-dimensional model from the image data captured by the imaging unit;
Based on the result of determination by the extracted object determination unit, a region corresponding to an unnecessary object for generating the three-dimensional model is removed from the measurement data acquired by the measurement unit, and the unnecessary object is handled. a three-dimensional model generation unit that generates a three-dimensional model using the measurement data of the measurement object from which the portion of the region to be measured is removed ;
The extracted object determination unit uses a discriminant model generated by learning from an image including an object unnecessary for generation of the three-dimensional model, and extracts the object unnecessary for generation of the three-dimensional model from the image data captured by the imaging unit. object
3D model generator. 前記計測部は、測定対象物を距離センサで計測し、３次元点群データを計測データとして取得する
請求項１に記載の３次元モデル生成装置。 The three-dimensional model generation device according to claim 1, wherein the measurement unit measures the object to be measured with a distance sensor and acquires three-dimensional point cloud data as measurement data. 前記測定対象物は、施工対象物であり、
前記判別モデルは、作業員、重機、資材のうち少なくとの何れか１つを対象して撮像された画像群を前記３次元モデルの生成に不要な物体として学習して生成したモデルである
請求項１に記載の３次元モデル生成装置。 The object to be measured is a construction object,
The discriminant model is a model generated by learning a group of images taken of at least one of workers, heavy machinery, and materials as objects unnecessary for generating the three-dimensional model. 3. The three-dimensional model generation device according to item 1 . 測定対象物を計測して計測データを取得する工程と、
前記測定対象物を撮像する工程と、
前記撮像した画像データから、３次元モデルの生成に不要な物体を判定する工程と、
前記判定した結果を基に、前記計測データから、前記３次元モデルの生成に不要な物体に対応する領域の部分を除去する工程と、
前記不要な物体に対応する領域の部分が除去された計測データを用いて３次元モデルを生成する工程と、
を含み、
前記判定する工程は、前記３次元モデルの生成に不要な物体を含む画像から学習により生成された判別モデルを用いて、前記撮像する工程で撮像した画像データから、前記３次元モデルの生成に不要な物体を判定することを含む
３次元モデル生成方法。 a step of measuring an object to be measured to obtain measurement data;
imaging the object to be measured;
a step of determining an unnecessary object for generating a three-dimensional model from the captured image data;
a step of removing, from the measurement data, a portion of a region corresponding to an object unnecessary for generating the three-dimensional model, based on the determined result;
generating a three-dimensional model using the measurement data from which the portion of the region corresponding to the unnecessary object has been removed;
including
The determining step uses a discriminant model generated by learning from an image including an object unnecessary for generating the three-dimensional model, from the image data captured in the imaging step, unnecessary for generating the three-dimensional model. including determining objects that are
3D model generation method.
JP2018087756A 2018-04-27 2018-04-27 3D model generation device and 3D model generation method Active JP7133971B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018087756A JP7133971B2 (en) 2018-04-27 2018-04-27 3D model generation device and 3D model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087756A JP7133971B2 (en) 2018-04-27 2018-04-27 3D model generation device and 3D model generation method

Publications (2)

Publication Number Publication Date
JP2019192170A JP2019192170A (en) 2019-10-31
JP7133971B2 true JP7133971B2 (en) 2022-09-09

Family

ID=68391339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087756A Active JP7133971B2 (en) 2018-04-27 2018-04-27 3D model generation device and 3D model generation method

Country Status (1)

Country Link
JP (1) JP7133971B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6762636B1 (en) * 2020-05-14 2020-09-30 株式会社オービタルネット Information processing equipment, information processing methods, and computer programs
CN115292785B (en) * 2022-08-06 2024-03-22 中铁六局集团有限公司 Pre-assembly method, device, equipment and storage medium for adjacent existing wire steel structure

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070927A1 (en) 2009-12-11 2011-06-16 株式会社トプコン Point group data processing device, point group data processing method, and point group data processing program
JP2015165420A (en) 2013-05-31 2015-09-17 パナソニックＩｐマネジメント株式会社 Modeling device, three-dimensional model generation apparatus, modeling method, program and layout simulator
WO2016139819A1 (en) 2015-03-03 2016-09-09 株式会社岩崎 Ground-shape estimation program, ground-shape estimation device, and ground-shape estimation method
JP2017107443A (en) 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070927A1 (en) 2009-12-11 2011-06-16 株式会社トプコン Point group data processing device, point group data processing method, and point group data processing program
JP2015165420A (en) 2013-05-31 2015-09-17 パナソニックＩｐマネジメント株式会社 Modeling device, three-dimensional model generation apparatus, modeling method, program and layout simulator
WO2016139819A1 (en) 2015-03-03 2016-09-09 株式会社岩崎 Ground-shape estimation program, ground-shape estimation device, and ground-shape estimation method
JP2017107443A (en) 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ＧＰＳから3次元レーザスキャナーまで 測量最前線 New Waves of Surveying，ＣＡＤ＆ＣＧ ＭＡＧＡＺＩＮＥ，第5巻 第12号，2003年12月01日

Also Published As

Publication number Publication date
JP2019192170A (en) 2019-10-31

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
JP5618569B2 (en) Position and orientation estimation apparatus and method
CN107077735A (en) Three dimensional object is recognized
CN103988226B (en) Method for estimating camera motion and for determining real border threedimensional model
CN113362444B (en) Point cloud data generation method and device, electronic equipment and storage medium
JP6955783B2 (en) Information processing methods, equipment, cloud processing devices and computer program products
JP6397379B2 (en) CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM
JP2008304268A (en) Information processor, information processing method, and computer program
CN114119864A (en) Positioning method and device based on three-dimensional reconstruction and point cloud matching
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
CN115330958A (en) Real-time three-dimensional reconstruction method and device based on laser radar
KR102186733B1 (en) 3D modeling method for undersea topography
KR102263152B1 (en) Method and apparatus for object detection in 3d point clouds
JP7306192B2 (en) Synthesis processing device, synthesis processing system, and synthesis processing method
JP7133971B2 (en) 3D model generation device and 3D model generation method
Jin et al. An Indoor Location‐Based Positioning System Using Stereo Vision with the Drone Camera
CN109284653A (en) Slender body detection based on computer vision
CN110136186A (en) A kind of detection target matching method for mobile robot object ranging
Wu et al. Fishery monitoring system with AUV based on YOLO and SGBM
CN111047699A (en) Seabed detection image display method, device, equipment and storage medium
CN113496163B (en) Obstacle recognition method and device
KR20230049969A (en) Method and apparatus for global localization
CN112883920A (en) Point cloud deep learning-based three-dimensional face scanning feature point detection method and device
CN110458177B (en) Method for acquiring image depth information, image processing device and storage medium
Suttasupa et al. Plane detection for Kinect image sequences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220830

R150 Certificate of patent or registration of utility model

Ref document number: 7133971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150