JP2017182434A - Data processor, data processing program, and data processing method - Google Patents
Data processor, data processing program, and data processing method Download PDFInfo
- Publication number
- JP2017182434A JP2017182434A JP2016068423A JP2016068423A JP2017182434A JP 2017182434 A JP2017182434 A JP 2017182434A JP 2016068423 A JP2016068423 A JP 2016068423A JP 2016068423 A JP2016068423 A JP 2016068423A JP 2017182434 A JP2017182434 A JP 2017182434A
- Authority
- JP
- Japan
- Prior art keywords
- data
- model data
- multidimensional
- map data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
Description
本発明は、データ処理装置、データ処理プログラム、及びデータ処理方法に関し、例えば、３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）モデルデータを利用して、３次元地図データを補完するデータ処理装置、データ処理プログラム、及びデータ処理方法に適用し得る。 The present invention relates to a data processing device, a data processing program, and a data processing method. For example, a data processing device, a data processing program, and the like that complement three-dimensional map data using three-dimensional CAD (Computer Aided Design) model data. And can be applied to data processing methods.
近年、人間のナビゲーションや自律移動ロボットの移動経路設計などにおいて、空間を３次元モデルでデータ化した３次元地図データを利用する機会が増加している。 In recent years, there are increasing opportunities to use three-dimensional map data obtained by converting a space into a three-dimensional model in human navigation, movement route design of an autonomous mobile robot, and the like.
３次元地図データを作成する方法としては、例えば、２次元地図データから３次元地図データに起こす手法が存在するが、２次元地図データが現実空間の状態に即していない可能性があり、信頼性に欠ける場合がある。 As a method for creating 3D map data, for example, there is a method for generating 2D map data to 3D map data. However, there is a possibility that the 2D map data does not match the state of the real space. May be lacking in sex.
また、センサを用いて現実空間を計測し得られた３次元点群データと画像データとから３次元地図データを作成する手法も存在する（特許文献１参照）。しかしながら、特許文献１に記載の手法では、地図データ化できるのは、センサにより計測できた物体表面のみであり、使用するセンサの性質により計測できない領域（未計測領域）が存在してしまう。
There is also a method of creating 3D map data from 3D point cloud data obtained by measuring a real space using a sensor and image data (see Patent Document 1). However, according to the method described in
ここで、３次元地図データ作成で利用される空間計測センサの多くは、赤外光を放出し、その反射光を計測することで空間の３次元情報を取得する方式である。そのため、反射光の得られない領域、例えば、オフィス空間のような屋内空間を想定した場合、より空間計測センサの近くに存在する、例えば、机や椅子といった物体の影となり放出光が届かない領域や、窓ガラスのような放出光が透過してしまう領域については、空間計測センサは、３次元情報を取得することができない。 Here, many of the spatial measurement sensors used in creating the three-dimensional map data are systems that obtain three-dimensional information of the space by emitting infrared light and measuring the reflected light. For this reason, when assuming an area where reflected light cannot be obtained, for example, an indoor space such as an office space, an area that is closer to the space measurement sensor, such as a shadow of an object such as a desk or chair, and where the emitted light does not reach Or about the area | region which emitted light permeate | transmits like a window glass, the spatial measurement sensor cannot acquire three-dimensional information.
そのため、多次元地図上の欠落領域を効率的に補完できるデータ処理装置、データ処理プログラム、及びデータ処理方法が望まれている。 Therefore, a data processing device, a data processing program, and a data processing method that can efficiently supplement missing areas on a multidimensional map are desired.
第１の本発明のデータ処理装置は、（１）対象空間内の計測範囲に存在する計測可能な物体表面を点データ群として観測された情報を基に構築された多次元地図データ中の物体が存在する領域に対して、その物体に対応する所定の多次元モデルデータを適合するモデルデータ適合手段と、（２）前記モデルデータ適合手段により適合された多次元地図データから、所定の処理を施し、新たな多次元地図データを再構築する再構築手段とを有することを特徴とする。 The data processing apparatus according to the first aspect of the present invention is (1) an object in multidimensional map data constructed based on information observed using a measurable object surface existing in a measurement range in a target space as a point data group. Model data matching means for matching predetermined multidimensional model data corresponding to the object with respect to the area where the object exists, and (2) predetermined processing from the multidimensional map data fitted by the model data matching means. And reconstructing means for reconstructing new multidimensional map data.
第２の本発明のデータ処理プログラムは、コンピュータを、（１）対象空間内の計測範囲に存在する計測可能な物体表面を点データ群として観測された情報を基に構築された多次元地図データ中の物体が存在する領域に対して、その物体に対応する所定の多次元モデルデータを適合するモデルデータ適合手段と、（２）前記モデルデータ適合手段により適合された多次元地図データから、所定の処理を施し、新たな多次元地図データを再構築する再構築手段として機能させることを特徴とする。 The data processing program according to the second aspect of the present invention provides a computer, (1) multidimensional map data constructed on the basis of information observed using a measurable object surface existing in a measurement range in a target space as a point data group. A model data fitting unit adapted to match a predetermined multidimensional model data corresponding to the object in a region in which the object exists, and (2) a predetermined value from the multidimensional map data fitted by the model data fitting unit. The above-described processing is performed to function as a reconstruction means for reconstructing new multidimensional map data.
第３の本発明のデータ処理方法は、データ処理装置に用いるデータ処理方法であって、モデルデータ適合手段と、再構築手段とを有し、（１）前記モデルデータ適合手段は、対象空間内の計測範囲に存在する計測可能な物体表面を点データ群として観測された情報を基に構築された多次元地図データ中の物体が存在する領域に対して、その物体に対応する所定の多次元モデルデータを適合し、（２）前記再構築手段は、前記モデルデータ適合手段により適合された多次元地図データから、所定の処理を施し、新たな多次元地図データを再構築することを特徴とする。 A data processing method according to a third aspect of the present invention is a data processing method used in a data processing apparatus, and includes a model data fitting unit and a reconstruction unit. (1) The model data fitting unit is in a target space. For a region where an object exists in multidimensional map data constructed based on information observed using a measurable object surface in the measurement range as a point data group, a predetermined multidimensional corresponding to the object exists. (2) The restructuring means performs predetermined processing from the multidimensional map data adapted by the model data fitting means, and reconstructs new multidimensional map data. To do.
本発明によれば、多次元地図上の欠落領域を効率的に補完できる。 According to the present invention, a missing area on a multidimensional map can be efficiently complemented.
（Ａ）第１の実施形態
以下、本発明に係るデータ処理装置、データ処理プログラム、及びデータ処理方法の第１の実施形態を、図面を参照しながら詳述する。なお、この実施形態では、本発明のデータ処理装置、データ処理プログラム、及びデータ処理方法を３次元地図データ補完システムの地図データ補完部に適用した例について説明する。
(A) First Embodiment Hereinafter, a first embodiment of a data processing device, a data processing program, and a data processing method according to the present invention will be described in detail with reference to the drawings. In this embodiment, an example in which the data processing device, the data processing program, and the data processing method of the present invention are applied to a map data complementing unit of a three-dimensional map data complementing system will be described.
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る３次元地図データ補完システム１の全体構成例を示すブロック図である。
(A-1) Configuration of First Embodiment FIG. 1 is a block diagram illustrating an example of the overall configuration of a three-dimensional map
図１において、３次元地図データ補完システム１は、空間計測データを基に３次元地図データを作成する地図データ生成部１０、及び３次元ＣＡＤモデルデータにより地図データ生成部１０で構築された計測対象空間の３次元地図データを補完（地図データ生成部１０により作成された３次元地図データの未計測領域を補う、又は３次元地図データの情報を拡張）する地図データ補完部２０を有する。
In FIG. 1, a 3D map
地図データ生成部１０は、例えば、３次元地図データ化対象の領域内を自律動作、若しくは操作によって移動しながら空間の情報を計測し、その計測情報を基に３次元地図データを作成する機器、又はロボットであり、センサ部１０１、及び地図データ構築部１０２を備える。なお、地図データ生成部１０の対象領域内を移動する機能については、特に特徴が無いので、その説明を省略する。
The map
センサ部１０１は、３次元地図データ作成に必要な情報を収集する機能部であり、３次元地図データ化対象の領域内の空間情報を計測する空間計測部１０１ａ、及び領域内における空間計測部１０１ａの位置・姿勢を計測する自己位置計測部１０１ｂを備える。
The
空間計測部１０１ａは、計測対象空間に存在する物体の３次元形状を計測する機能部である。空間計測部１０１ａは、例えば、デプスセンサを用いて計測対象空間に向けて放出された特殊パターンの赤外光の物体表面上での結像状態（反射光）を、赤外カメラ（デプスカメラ）で観測する。そして、空間計測部１０１ａは、観測された特殊パターンの歪みから計測時刻におけるセンサと物体との物体間距離（深度情報）を算出することで空間情報（空間計測データ）を取得する。なお、空間計測部１０１ａは、放出光の届かない領域や反射光を識別しづらい物体表面領域、例えば、放出光が透過してしまう、環境光が強すぎる、反射率が高すぎるなどの領域については観測することができない。つまり、観測できない領域は、深度情報を得られない未計測領域となってしまう。空間計測部１０１ａは、算出した空間計測データを地図データ構築部１０２へ送付する。
The
自己位置計測部１０１ｂは、計測空間内における空間計測部１０１ａの空間情報計測時の位置・姿勢情報を算出する機能部である。自己位置計測部１０１ｂは、例えば、レーザーレンジセンサを用いるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術による２次元環境地図作成と自己位置推定を同時に行い、センサ部１０１の空間計測部１０１ａと自己位置計測部１０１ｂの計測時刻の同期、及び相対位置関係とから計測空間内における空間計測部１０１ａの空間情報計測時の位置・姿勢情報を算出する。自己位置計測部１０１ｂは、算出した空間計測部１０１ａの位置・姿勢情報を地図データ構築部１０２へ送付する。
The self-position measuring
地図データ構築部１０２は、空間計測部１０１ａより送付された空間計測データと、自己位置計測部１０２ｂより送付された空間計測部１０１ａの位置・姿勢情報とから３次元地図データを構築する機能部である。地図データ構築部１０２は、ある計測持刻における空間計測部１０１ａの位置・姿勢、及びその位置・姿勢で計測された空間計測データを重ね合わせていくことで計測対象空間の３次元地図データを得ることができる。
The map
なお、空間計測部１０１ａにより物体が存在した箇所（反射光を計測できた箇所）は点データ情報として取得されるため、物体表面は点データの群として表現される。空間計測データの重ね合わせにより構成された３次元地図データは膨大な数の点データの集合となるため、例えば、データ量を減らし、扱いやすくするために点データ群から平面を抽出しポリゴン化することで単純化しても良い。
In addition, since the location where the object exists (location where the reflected light can be measured) is acquired as point data information by the
計測対象空間に対する３次元地図データは、例えば、図３のように構築される。図３は、地図データ構築部により構築された３次元地図データの一例を示す説明図である。図３において、斜線領域は、空間計測部１０１ａによる空間計測時により空間計測部１０１ａの近くにある物体の存在により放射光が届かない、又は放射光が透過してしまい未計測となった領域を示している（例えば、斜線領域６０１、及び斜線領域６０２）。また、空間計測部１０１ａの計測精度によっては、物体の境界部分が埋没してしまう場合も存在する（例えば、机間の境界部分の埋没領域６０３）。
The three-dimensional map data for the measurement target space is constructed as shown in FIG. 3, for example. FIG. 3 is an explanatory diagram showing an example of the three-dimensional map data constructed by the map data construction unit. In FIG. 3, the hatched area is an area in which the radiated light does not reach due to the presence of an object near the
地図データ補完部２０は、地図データ生成部１０において３次元地図データ化された空間に存在する物体、例えば、机、椅子、窓、ドアなどに対応する３次元ＣＡＤモデルデータの情報を利用して、地図データ生成部１０において生成された３次元地図データの補完を行う（地図データ生成部１０により作成された３次元地図データの未計測領域を補ったり、又は３次元地図データの情報を拡張したりする）機能部である。地図データ補完部２０は、モデルデータ記憶部２０１、モデルデータ指定部２０２、モデルデータ適合部２０３、及び再構築部２０４を備える。
The map
モデルデータ記憶部２０１は、３次元ＣＡＤモデルデータを記憶・管理する機能部である。本実施形態における３次元ＣＡＤモデルデータは、例えば、机、椅子、窓、ドアなどの設計図として利用可能であり、サイズなどが実物（モデルデータを基に作られた実際の物）と同等である３次元ＣＡＤモデルデータである。また、３次元ＣＡＤモデルデータの形式は、限定されないものであるが、例えば、ＳＴＥＰ、ＩＧＥＳ形式などが該当する。
The model
図４は、３次元ＣＡＤモデルデータの一例を示す説明図である。図４では、机を示すモデルデータＡ、ドアを示すモデルデータＢ、引き出しを示すモデルデータＣ、椅子を示すモデルデータＤ、及び窓を示すモデルデータＥが例示されている。なお、本実施形態では、同形状であるがその他の３次元ＣＡＤモデルデータが備える情報、例えば、各部位の色、材質などが異なるモデルデータについては、同一のモデルデータとして取り扱うものとする。また、３次元ＣＡＤモデルデータは、モデルデータ記憶部２０１内において、種類、品名、型番などの条件により分類整理されているものとする。
FIG. 4 is an explanatory diagram illustrating an example of three-dimensional CAD model data. FIG. 4 illustrates model data A indicating a desk, model data B indicating a door, model data C indicating a drawer, model data D indicating a chair, and model data E indicating a window. In the present embodiment, information that has the same shape but is included in other three-dimensional CAD model data, for example, model data that is different in color, material, etc., is treated as the same model data. The three-dimensional CAD model data is classified and arranged in the model
モデルデータ指定部２０２は、３次元ＣＡＤモデルデータの情報の表示や、３次元ＣＡＤモデルデータの指定を受け付ける機能部である。モデルデータ指定部２０２は、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）であり、３次元地図データの補完作業を実行するユーザへの情報提示とユーザからの入力を受け付ける。ユーザは、モデルデータ指定部２０２を介してモデルデータ記憶部２０１に記憶・管理されている３次元モデルデータ群から、例えば、種類、品名、型番などの情報を入力し、地図データ生成部１０において生成された３次元地図データの補完に利用する３次元ＣＡＤモデルデータを指定することができる。
The model
モデルデータ適合部２０３は、地図データ生成部１０において生成された３次元地図データ中の物体が存在する領域（点群データ、又はポリゴンデータ）に対して、モデルデータ指定部２０２により指定された３次元ＣＡＤモデルデータを当てはめる処理を行う機能部である。モデルデータ適合部２０３は、位置姿勢判定部２０３ａ、及び位置姿勢調整部２０３ｂを備える。なお、位置姿勢判定部２０３ａ及び位置姿勢調整部２０３ｂで実行される処理は、１又は複数回行われる。
The model
位置姿勢判定部２０３ａは、地図データ生成部１０において生成された３次元地図データ、又は位置姿勢調整部２０３ｂにおいて処理された３次元地図データに対して、モデルデータ指定部２０２にて指定された１種、又は複数種の３次元ＣＡＤモデルデータのマッチング処理、例えば、モデルベースのキーポイントを利用したマッチング手法による処理を行い、３次元地図データ上に３次元ＣＡＤモデルデータを配置していく処理を行う機能部である。位置姿勢判定部２０３ａは、３次元ＣＡＤモデルデータが配置された３次元地図データを、位置姿勢調整部２０３ｂへ送付する。
The position /
位置姿勢調整部２０３ｂは、位置姿勢判定部２０３ａにより３次元地図データ上に配置された３次元ＣＡＤモデルデータに対して、他のモデルデータとの干渉部分の解消、３次元地図データ上の基準面との位置関係の調整などの処理を行う機能部である。
The position /
他のモデルデータとの干渉部分の解消とは、例えば、モデルデータ同士に重なる領域が存在する場合、それぞれのモデルデータを位置姿勢判定部２０３ａにおいてそのモデルデータのマッチングに用いた３次元地図データ上の点データ群（又はポリゴンデータ）を基準とした３次元地図データの計測誤差（分解能）の範囲内で移動させ、重なる領域が消失するように移動させる処理である。
For example, when there is an overlapping area between the model data, the position and
また、３次元地図データ上の基準面との位置関係の調整とは、例えば、３次元地図データ上の床面、壁面などの基準とされる面に対するめり込み状態の解消や不自然な非接触状態の解消を行う処理である。めり込み状態の解消とは、位置姿勢判定部２０３ａにおいてそのモデルデータのマッチングに用いた３次元地図データ上の点データ群（又はポリゴンデータ）、及びめり込み対象の面を基準とした３次元地図データの計測誤差（分解能）の範囲内で移動させ、重なる領域が消失するように移動させる処理である。不自然な非接触状態の解消とは、例えば、３次元地図データ上の床面上方に配置された机モデルデータが床面と非接触状態である場合、机モデルデータの設置面が床面と接触する位置まで移動させる処理である。
The adjustment of the positional relationship with the reference plane on the three-dimensional map data is, for example, the elimination of the indentation state or the unnatural non-contact state with respect to a reference plane such as a floor surface or a wall surface on the three-dimensional map data. This is a process for canceling. The cancellation of the embedded state refers to the point data group (or polygon data) on the 3D map data used for matching the model data in the position /
位置姿勢調整部２０３ｂは、調整された３次元地図データを、位置姿勢判定部２０３ａ、又は再構築部２０４へ送付する。
The position /
再構築部２０４は、位置姿勢調整部２０３ｂより送付された３次元ＣＡＤモデルデータが配置された３次元地図データに対して、３次元ＣＡＤモデルデータのモデル表面を３次元地図データに物体表面の情報として埋め込む、又は位置姿勢判定部２０３ａにおいてモデルデータのマッチングに用いた３次元地図データ上の点データ群（又はポリゴンデータ）を３次元ＣＡＤモデルデータのモデル表面の情報に置き換える処理を行う機能部である。
For the 3D map data in which the 3D CAD model data sent from the position /
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の３次元地図データ補完システム１の動作を説明する。
(A-2) Operation of First Embodiment Next, the operation of the three-dimensional map
図５は、第１の実施形態に係る３次元地図データ補完システム１の動作を示すフローチャートである。なお、図５の処理において、３次元地図データ化の対象は、先述の図２で示した空間を対象とする。
FIG. 5 is a flowchart showing the operation of the 3D map
［ステップＳ１０１：空間計測］
地図データ生成部１０のセンサ部１０１は、３次元地図データ化する対象空間の３次元地図データ作成に必要な情報を計測する。例えば、センサ部１０１は、空間計測部１０１ａにより対象空間の空間情報（以下、「空間情報Ｓ」と呼ぶ）を取得する。また、センサ部１０１は、自己位置計測部１０１ｂにより、空間計測部１０１ａの空間計測時の位置・姿勢情報（以下、「位置姿勢情報Ｌ」と呼ぶ）を取得する。次に、地図データ生成部１０は、ステップＳ１０２の処理を実行する。
[Step S101: Spatial Measurement]
The
［ステップＳ１０２：３次元地図データ化］
地図データ構築部１０２は、先述のステップＳ１０１の処理により得られたある時刻のセンサ部１０１の空間計測部１０１ａの位置・姿勢（位置姿勢情報Ｌ）における空間計測データ（空間情報Ｓ）の組を重ね合わせていくことで対象空間の３次元地図データを構築する（以下、構築したオリジナルデータを「３次元地図データＤ１」と呼ぶ）。ここで、図２の空間を計測して構築した３次元地図データＤ１は、例えば、先述の図３であり、物体表面は点データ群となっている。なお、図３の斜線領域は、空間計測部１０１ａでは計測できなかった領域を示している。地図データ生成部１０は、構築した３次元地図データＤ１を地図データ補完部２０へ譲渡する。続いて、３次元地図データＤ１を譲渡された地図データ補完部２０は、ステップＳ１０３の処理を実行する。
[Step S102: 3D map data]
The map
［ステップＳ１０３：３次元ＣＡＤモデルデータの指定］
地図データ補完部２０のモデルデータ指定部２０２は、先述のステップＳ１０２の処理により構築された３次元地図データＤ１の補完に利用する３次元ＣＡＤモデルデータ、例えば、種類、品名、型番を、地図データ補完部２０のモデルデータ記憶部２０１より読み出して表示し、ユーザからの指定を受け付ける。以下では、地図データ補完部２０は、ユーザにより、先述の図４で示したモデルデータＡ〜Ｅ（以下、「モデルデータ群ＭＤ１」と呼ぶ）の指定を受け付けたものとして説明を続ける。次に、地図データ補完部２０は、ステップＳ１０４の処理を実行する。
[Step S103: Designation of 3D CAD Model Data]
The model
［ステップＳ１０４：３次元ＣＡＤモデルデータの位置姿勢判定］
モデルデータ適合部２０３の位置姿勢判定部２０３ａは、先述のステップＳ１０２の処理により得られた３次元地図データＤ１（又は、後述するステップＳ１０７の処理により得られた３次元地図データＤ３）に対して、先述のステップＳ１０３の処理により指定されたモデルデータ群ＭＤ１のマッチング処理、例えば、ＳＩ（Ｓｐｉｎ Ｉｍａｇｅ）、ＳＨＯＴ（Ｓｉｇｎａｔｕｒｅ ｏｆ Ｈｉｓｔｏｇｒａｍｓ ｏｆ ＯｒｉｅｎＴａｔｉｏｎｓ）、ＰＰＦ（Ｐｏｉｎｔ Ｐａｉｒ Ｆｅａｔｕｒｅ）などといった特徴量をキーポイントとしたモデルベースのマッチング手法による処理を行い、３次元地図データ上の物体の存在領域（点群データ）に当てはまるモデルデータを配置していく。
[Step S104: Position / Orientation Determination of 3D CAD Model Data]
The position /
例えば、位置姿勢判定部２０３ａが、３次元地図データＤ１に対して、当該ステップＳ１０４の処理を行った結果は、図６に示すような状態となる。図６は、３次元地図データＤ１（図３）上に、モデルデータ群ＭＤ１の内、モデルデータＡ、Ｂ、Ｄ、及びＥが配置された例が示されている（以下、モデルデータが配置された中間状態の３次元地図データを「３次元地図データＤ２」と呼ぶ）。
For example, the result of the processing in step S104 performed on the 3D map data D1 by the position /
また、位置姿勢判定部２０３ａが、後述する３次元地図データＤ３（位置姿勢の調節を行った３次元地図データＤ２）に対して、当該ステップＳ１０４の処理を行った結果は、図７に示すような状態となる。図７は、位置姿勢の調節を行った３次元地図データＤ２（図６）上に、新たにモデルデータＡ２が配置された例が示されている（以下、新たにモデルデータＡ２が配置された状態の３次元地図データを「３次元地図データＤ４」と呼ぶ）。次に、地図データ補完部２０は、ステップＳ１０５の処理を実行する。
Further, the result of the processing in step S104 performed by the position /
［ステップＳ１０５：３次元ＣＡＤモデルデータの追加判定］
モデルデータ適合部２０３は、先述のステップＳ１０４の処理により処理対象の３次元地図データ上に新たなモデルデータを配置した場合には、モデルデータ配置フラグａに１を設定し、配置しなかった場合には、モデルデータ配置フラグａに０を設定する。なお、モデルデータ配置フラグａは、例示であり、内部でモデルデータの配置をしたか否か区別できれば、この手段に限定されるものでは無い。次に、地図データ補完部２０は、ステップＳ１０６の処理を実行する。
[Step S105: Addition Determination of 3D CAD Model Data]
When the model
［ステップＳ１０６：３次元ＣＡＤモデルデータの位置姿勢調整］
モデルデータ適合部２０３の位置姿勢調整部２０３ｂは、先述のステップＳ１０４の処理により得られた３次元地図データに対して、３次元地図データ上に配置されたモデルデータの位置・姿勢の調整を行う。なお、この位置の調整とは、例えば、他のモデルデータとの干渉部分の解消、又は３次元地図データ上の基準面との接触状態の調整などである。
[Step S106: Position and Orientation Adjustment of 3D CAD Model Data]
The position /
例えば、位置姿勢調整部２０３ｂは、３次元地図データＤ２に対して、当該ステップＳ１０６の処理を行うことにより、配置したモデルデータの位置姿勢の調整ができる（この３次元地図データＤ２に対して、位置姿勢の調整を行った３次元地図データが先述の「３次元地図データＤ３」である）。また、位置姿勢調整部２０３ｂは、３次元地図データＤ４に対して、当該ステップＳ１０６の処理を行うことにより、配置した全てのモデルデータの位置姿勢の調整ができる（以下、３次元地図データＤ４に対して、位置姿勢の調整を行った３次元地図データを「３次元地図データＤ５」と呼ぶ）。次に、地図データ補完部２０は、ステップＳ１０７の処理を実行する。
For example, the position /
［ステップＳ１０７：３次元ＣＡＤモデルデータの位置姿勢調整の変更判定］
モデルデータ適合部２０３は、先述のステップＳ１０６の処理により処理対象の３次元地図データに配置されたモデルデータの位置調整を行った場合には、モデルデータ位置調整フラグｂに１を設定し、位置調整を行わなかった場合には、モデルデータ位置調整フラグｂに０を設定する。なお、モデルデータ位置調整フラグｂは、例示であり、内部でモデルデータの位置調整を行ったか否か区別できれば、この手段に限定されるものでは無い。次に、地図データ補完部２０は、ステップＳ１０８の処理を実行する。
[Step S107: Change Determination of Position / Orientation Adjustment of 3D CAD Model Data]
When the model
［ステップＳ１０８：モデルデータ配置フラグａ、及びモデルデータ位置調整フラグｂの判定］
モデルデータ適合部２０３は、モデルデータ配置フラグａ、及びモデルデータ位置調整フラグｂに設定した値が０か否か判定を行う。モデルデータ適合部２０３は、モデルデータ配置フラグａ、及びモデルデータ位置調整フラグｂに設定した値がいずれも０である場合には、後述するステップＳ１０９に処理を移行し、それ以外の場合には、先述のステップＳ１０４に処理を差し戻す。なお、モデルデータ配置フラグａ、及びモデルデータ位置調整フラグｂに設定した値が０の状態とは、新たに配置されたモデルデータが存在せず、配置されたモデルデータに対して位置・姿勢の調整が発生しない場合を意味する。
[Step S108: Determination of Model Data Placement Flag a and Model Data Position Adjustment Flag b]
The model
［ステップＳ１０９：３次元地図データの再構成］
地図データ補完部２０の再構築部２０４は、先述のステップＳ１０８の処理を通過した３次元地図データに対して、３次元地図上に配置されていたモデルデータのモデル表面を３次元地図データに物体表面の情報として追加、あるいは、先述のステップＳ１０４の処理の際にモデルデータのマッチングに用いた３次元地図データ上の点データ群をモデルデータのモデル表面の情報に置き換える処理を行う。
[Step S109: Reconstruction of 3D Map Data]
The
３次元地図データ補完システム１は、以上のステップＳ１０１〜Ｓ１０９の処理により、３次元ＣＡＤモデルデータを利用した３次元地図データの補完の処理を完了する。なお、先述のステップＳ１０３において、ユーザにより指定されたモデルデータＣについては、処理対象の３次元地図データ中にモデルデータの適合箇所が存在しなかったという結果となる。また、適合するモデルデータの存在しない３次元地図データ上の点データ群はそのままの状態で残留することになる。
The three-dimensional map
第１の実施形態では、先述のステップＳ１０３の処理において、３次元地図データの補完作業を行うユーザが補完に利用する３次元ＣＡＤモデルデータを自ら指定する例を説明したが、例えば、３次元地図データ補完システム１は、モデルデータの指定だけではなく、３次元地図データに対するモデルデータの配置や位置・姿勢の調整の際にもユーザの入力を受け付けてもよい。
In the first embodiment, the example in which the user who performs the complementing operation of the three-dimensional map data specifies the three-dimensional CAD model data to be used for complementation in the process of step S103 described above has been described. The
第１の実施形態では、先述のステップＳ１０３の処理の３次元ＣＡＤモデルデータの指定について、特定のモデルデータを指定する例で説明したが、例えば、机カテゴリ、椅子カテゴリといった複数種のモデルデータが存在するカテゴリ単位でモデルデータを指定してもよい。 In the first embodiment, the specification of the specific model data has been described with respect to the specification of the three-dimensional CAD model data in the process of step S103 described above. For example, a plurality of types of model data such as a desk category and a chair category are included. Model data may be specified in units of existing categories.
第１の実施形態では、地図データ生成部１０で生成した３次元地図データに対して補完処理を行う例を示したが、例えば、３次元ＣＡＤモデルデータにより補完された３次元地図データに対して、改めて別種の３次元ＣＡＤモデルデータにより補完処理を行ってもよい。
In 1st Embodiment, although the example which performs a complementation process with respect to the three-dimensional map data produced | generated by the map data production |
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下の効果を奏する。
(A-3) Effects of the First Embodiment According to the first embodiment, the following effects can be obtained.
３次元地図データ補完システム１は、３次元地図データ化対象の空間に対して空間計測を行い、その計測データから作成した３次元地図データに対して、３次元ＣＡＤモデルデータを当てはめることで、欠落した領域を有する３次元地図データの補完を効率的に行うことができる。
The 3D map
（Ｂ）第２の実施形態
次に、本発明に係るデータ処理装置、データ処理プログラム、及びデータ処理方法の第２の実施形態を、図面を参照しながら詳述する。第２の実施形態では、３次元地図データ作成のための空間計測時に、計測対象空間に存在する物体の特徴情報より物体を識別し、３次元地図データの補完に利用する３次元ＣＡＤモデルデータを自動的に指定する例について説明する。物体の特徴情報とは、例えば、物体各部の色情報や物体に施された特定パターンのマーカ、物体に設置されたビーコンなどの信号発信装置から発信される特定信号パターンなどの情報である。また、３次元ＣＡＤモデルデータの備える形状変化に関する情報による３次元地図データの補完処理についても併せて説明を行う。
(B) Second Embodiment Next, a data processing device, a data processing program, and a data processing method according to a second embodiment of the present invention will be described in detail with reference to the drawings. In the second embodiment, at the time of spatial measurement for creating three-dimensional map data, the object is identified from the feature information of the object existing in the measurement target space, and the three-dimensional CAD model data used for complementing the three-dimensional map data is used. An example of specifying automatically will be described. The object feature information is, for example, information such as color information of each part of the object, a specific pattern marker applied to the object, a specific signal pattern transmitted from a signal transmission device such as a beacon installed on the object. In addition, a supplementary process of 3D map data based on information on a shape change included in the 3D CAD model data will also be described.
（Ｂ−１）第２の実施形態の構成
図８は、第２の実施形態に係る３次元地図データ補完システム３０の全体構成例を示すブロック図である。なお、図８において、第１の実施形態に係る３次元地図データ補完システム１の構成要素と同一又は対応するものについては同一の符号を付している。また、第１の実施形態と同一又は対応する構成要素の詳細な説明は重複するため、ここでは省略する。
(B-1) Configuration of Second Embodiment FIG. 8 is a block diagram illustrating an example of the overall configuration of a three-dimensional map data complementing system 30 according to the second embodiment. In addition, in FIG. 8, the same code | symbol is attached | subjected about what is the same as or corresponds to the component of the three-dimensional map
図８において、３次元地図データ補完システム１は、地図データ生成部４０、及び地図データ補完部５０を有する。
In FIG. 8, the three-dimensional map
地図データ生成部４０は、センサ部４０１及び先述の地図データ構築部１０２を有する。
The map
センサ部４０１は、３次元地図データ作成に必要な情報、及び３次元ＣＡＤモデルデータ指定に利用する計測空間内に存在する物体を識別するための情報を収集する機能部である。センサ部４０１は、先述の空間計測部１０１ａと自己位置計測部１０１ｂに加えて、領域内に存在する物体を識別するための情報を検知する物体検知部４０１ｃを備える。
The
物体検知部４０１ｃは、計測空間内に存在する物体を識別するための情報を収集する機能部である。例えば、計測空間内に存在する物体に、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカやＱＲコード（登録商標）といった特定パターンが施されている場合には、物体検知部４０１ｃは、例えば、ＲＧＢイメージセンサであって、特定パターンを含む計測空間を２次元イメージ画像として収集する。また、例えば、計測空間内に存在する物体に、ビーコンやＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）タグといった特定パターンの信号発信を行う機器が設置され、かつ、その機器が物体識別用の信号を発信する場合には、物体検知部４０１ｃは、例えば、信号受信機であって、計測空間内に存在する物体から発信される信号を受信し、物体識別用の情報を収集する。なお、物体検知部４０１ｃは、複数種の検知手段を備えていてもよい。また、物体検知部４０１ｃで収集した計測空間内に存在する物体を識別するための情報は、モデルデータ指定部５０２へ送付される。
The
地図データ補完部５０は、モデルデータ記憶部５０１、モデルデータ指定部５０２、モデルデータ適合部５０３、及び再構築部５０４を有する。
The map
モデルデータ記憶部５０１は、３次元ＣＡＤモデルデータを記憶・管理する機能部である。第２の実施形態における３次元ＣＡＤモデルデータとは、サイズ（形状）、３次元ＣＡＤモデルデータに対応する実物体を識別するための情報、例えば、特定パターンのマーカに関する情報、ビーコンなどの信号発信装置から発信される特定信号パターンに関する情報などである。また、モデルデータの特定の部位の変形、例えば、机の引き出し、ドアの開閉部などに関する形状変化情報も含まれる。図９は、３次元ＣＡＤモデルデータの変形例（モデルデータＡの変形可能部位の最大変形例）を示す説明図である。なお、３次元モデルデータは、種類、品名、型番などの条件により、モデルデータ記憶部５０１内で分類整理されているものとする。
The model
モデルデータ指定部５０２は、物体検知部４０１ｃより得られた計測空間内に存在する物体を識別するための情報と、モデルデータ記憶部５０１に記憶・管理される３次元ＣＡＤモデルデータに対応する実物体を識別するための情報とから３次元地図データの補完処理に利用する３次元ＣＡＤモデルデータを特定する機能部である。モデルデータ指定部５０２にて特定された３次元ＣＡＤモデルデータが３次元地図データの補完処理に利用するモデルデータとして指定される。
The model
例えば、計測空間内に存在する物体を識別するための情報が、ＡＲマーカやＱＲコードといった物体に施された特定パターンを含む計測空間を２次元イメージ画像として表現された情報であった場合、モデルデータ指定部５０２は、画像処理により特定パターンを切り出し、モデルデータ記憶部５０１に記憶・管理される３次元ＣＡＤモデルデータに対応する実物体を識別するための情報、ここでは特定パターンを鍵として検索を行い、対象モデルデータを特定する。
For example, when the information for identifying an object existing in the measurement space is information representing a measurement space including a specific pattern applied to the object such as an AR marker or a QR code as a two-dimensional image image, The
また、例えば、計測空間内に存在する物体を識別するための情報が、ビーコンやＲＦＩＤタグといった物体に設置された特定パターンの信号発信を行う機器から受信した信号情報であった場合、モデルデータ指定部５０２は、信号解析処理により内容を解析し、モデルデータ記憶部５０１に記憶・管理される３次元ＣＡＤモデルデータに対応する実物体を識別するための情報、ここでは特定信号パターンを鍵として検索を行い、対象モデルデータを特定する。
In addition, for example, if the information for identifying an object existing in the measurement space is signal information received from a device that transmits a signal of a specific pattern installed on an object such as a beacon or an RFID tag, model data designation The
モデルデータ適合部５０３は、地図データ生成部４０において生成された３次元地図データ中の物体が存在する領域（点群データ、又はポリゴンデータ）に対して、モデルデータ指定部５０２により指定された３次元ＣＡＤモデルデータを当てはめる処理を行う機能部である。モデルデータ適合部５０３は、位置姿勢判定部５０３ａ、及び先述の位置姿勢調整部２０３ｂを有する。なお、位置姿勢判定部５０３ａ及び位置姿勢調整部２０３ｂで実行される処理は、１又は複数回行われる。
The model
位置姿勢判定部５０３ａは、地図データ生成部４０において生成された３次元地図データ、又は位置姿勢調整部２０３ｂにおいて処理された３次元地図データに対して、モデルデータ指定部５０２にて指定された１種または複数種の３次元ＣＡＤモデルデータのマッチング処理、例えば、モデルベースのキーポイントを利用したマッチング手法による処理を行い、３次元地図データ上に３次元ＣＡＤモデルデータを配置していく処理を行う機能部である。
The position /
また、位置姿勢判定部５０３ａは、マッチング処理を行うモデルデータに形状変化情報が含まれる場合には、種々様々な方法によりマッチングができたか否か判定する。例えば、位置姿勢判定部５０３ａは、モデルデータの体積の大きいパーツを主パーツ、小さいパーツを従パーツと優先付けを行い、まず、主パーツのみでマッチング処理を行い、主パーツが配置箇所に対して、モデルデータの最大変形時の形状を当てはめ、モデルデータの従パーツにあたる領域に３次元地図データの点データ群、あるいは、ポリゴンデータが含まれる場合に、モデルデータ（主パーツ、従パーツの区別なく）がマッチングできたと判定する。複数の変形箇所を持つモデルデータの場合は、位置姿勢判定部５０３ａは、体積の大きいパーツから優先度を高くする。
Further, the position /
位置姿勢判定部５０３ａは、位置姿勢判定部５０３ａにより３次元ＣＡＤモデルデータが配置された３次元地図データを、位置姿勢調整部２０３ｂへと送付する。
The position /
再構築部５０４は、位置姿勢調整部２０３ｂより受け取った３次元ＣＡＤモデルデータが配置された３次元地図データに対して、３次元ＣＡＤモデルデータのモデル表面を３次元地図データに物体表面の情報として埋め込む、又は位置姿勢判定部２０３ａにおいてモデルデータのマッチングに用いた３次元地図データ上の点データ群（又はポリゴンデータ）を３次元ＣＡＤモデルデータのモデル表面の情報に置き換える処理を行う機能部である。
For the 3D map data in which the 3D CAD model data received from the position /
また、再構築部５０４は、形状変化情報が含まれるモデルデータに関して、位置姿勢判定部５０３ａ、位置姿勢調整部２０３ｂによって配置された変形状態での３次元地図データとして構成してもよいし、部分的に形状変化情報を含む３次元地図データとして構成してもよいし、又は最小変形時、最大変形時、最小‐最大変形時の中間といった複数の変形状態における３次元地図データを別途構成してもよい。
In addition, the
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の３次元地図データ補完システム３０の動作を説明する。
(B-2) Operation | movement of 2nd Embodiment Next, operation | movement of the three-dimensional map data complementation system 30 of 2nd Embodiment which has the above structures is demonstrated.
図１０は、第２の実施形態に係る３次元地図データ補完システムの動作を示すフローチャートである。なお、図１０と、図５の重複する符号に係るステップについては、同一の処理のため、その説明を省略する。また、図１０の処理において、３次元地図データ化対象（空間）としては、先述の図２を例に挙げて説明を行うものとする。そして、図２で示す各物体には、所定のセンサにより検知できる物体の特徴情報が存在しているものとする。 FIG. 10 is a flowchart showing the operation of the three-dimensional map data supplement system according to the second embodiment. Note that the steps related to the same reference numerals in FIG. 10 and FIG. Further, in the processing of FIG. 10, the three-dimensional map data conversion target (space) will be described using the above-described FIG. 2 as an example. Further, it is assumed that feature information of an object that can be detected by a predetermined sensor exists in each object shown in FIG.
［ステップＳ２０１：空間計測］
地図データ生成部４０のセンサ部４０１は、３次元地図データ化する対象空間の３次元地図データの作成及び補完に必要な情報を計測する。例えば、センサ部１０１は、空間計測部１０１ａにより対象空間の空間情報（以下、「空間情報Ｓ」）を取得する。また、センサ部１０１は、自己位置計測部１０１ｂにより、空間計測部１０１ａの空間計測時の位置・姿勢情報（以下、「位置姿勢情報Ｌ」）を取得する。
[Step S201: Spatial Measurement]
The
そして、センサ部１０１は、物体検知部４０１ｃにより計測空間内に存在する物体を識別するための情報(以下、「物体識別情報Ｏ」)を取得する。物体識別情報Ｏとは、例えば、ＡＲマーカやＱＲコードといった物体に施された特定パターンを含む計測空間を、２次元イメージ画像や、例えば、ビーコンやＲＦＩＤタグといった物体に設置された特定パターンの信号発信を行う機器から受信した信号情報である。
Then, the
次に、地図データ生成部４０（又は地図データ補完部５０）は、先述のステップＳ１０２、Ｓ１０３の処理を実行した後、ステップＳ２０３の処理を行う。 Next, the map data generating unit 40 (or the map data complementing unit 50) performs the process of step S203 after executing the processes of steps S102 and S103 described above.
［ステップＳ２０３：３次元ＣＡＤモデルデータの指定］
地図データ補完部５０のモデルデータ指定部５０２は、先述のステップＳ２０１の処理により取得した物体識別情報Ｏと、モデルデータ記憶部５０１に記憶・管理される３次元ＣＡＤモデルデータ情報とから検知された物体を特定し、３次元地図データ補完に利用する３次元ＣＡＤモデルデータを指定する。以下では、地図データ補完部５０は、図１１で示すモデルデータＡ’（モデルデータＡ、及びモデルデータＡＴ）、モデルデータＢ、モデルデータＤ、モデルデータＥ（以下、「モデルデータ群ＭＤ２」と呼ぶ）の特定（指定）を受け付けたものとして説明を続ける。次に、地図データ補完部５０は、ステップＳ２０４の処理を実行する。
[Step S203: Designation of 3D CAD Model Data]
The model
［ステップＳ２０４：３次元ＣＡＤモデルデータの位置姿勢判定］
モデルデータ適合部５０３の位置姿勢判定部５０３ａは、先述のステップＳ１０２の処理により得られた３次元地図データＤ１（又は、先述のステップＳ１０７の処理により得られた３次元地図データＤ３）に対して、先述のステップＳ２０３の処理により指定されたモデルデータ群ＭＤ２のマッチング処理、例えば、モデルベースのキーポイントを利用したマッチング手法による処理を行い、３次元地図データ上の物体の存在領域（点群データ）に当てはまるモデルデータを配置していく。
[Step S204: Position / Orientation Determination of 3D CAD Model Data]
The position /
また、位置姿勢判定部５０３ａは、マッチング処理を行うモデルデータに形状変化情報が含まれる場合（例えば、モデルデータ群ＭＤ２におけるモデルデータＡ’が含まれる場合）、モデルデータの体積の大きいパーツを主パーツ、小さいパーツを従パーツとして優先付けを行い、まず、主パーツのみでマッチング処理を行い、主パーツが配置箇所に対して、モデルデータの最大変形時の形状を当てはめ、モデルデータの従パーツにあたる領域に３次元地図データの点データ群、あるいは、ポリゴンデータが含まれる場合にモデルデータ（主パーツ、従パーツの区別なく）がマッチングできたと判定する。
Further, the position /
例えば、位置姿勢判定部５０３ａが、３次元地図データＤ１に対して、当該ステップＳ２０４の処理を行うと、３次元地図データＤ１（図３）上に、モデルデータ群ＭＤ２の内、モデルデータＡ、Ｂ、Ｄ、及びＥが新たに配置される（この状態の３次元地図データを「３次元地図データＤ２」と呼ぶ）。
For example, when the position /
また、位置姿勢判定部２０３ａが、３次元地図データＤ３（位置姿勢の調節を行った３次元地図データＤ２）に対して、当該ステップＳ１０４の処理を行うとモデルデータＡ’が新たに配置される（以下、新たにモデルデータＡ’が配置された状態の３次元地図データを「３次元地図データＤ４」と呼ぶ）。次に、地図データ生成部４０は、先述のステップＳ１０５〜１０８の処理を実行した後に、ステップＳ２０９の処理を行う。
Further, when the position /
［ステップＳ２０９：３次元地図データの再構成］
地図データ補完部５０の再構築部５０４は、先述のステップＳ１０８の処理を通過した３次元地図データに対して、３次元地図上に配置されていたモデルデータのモデル表面を３次元地図データに物体表面の情報として追加、又は先述のステップＳ２０４での処理の際にモデルデータのマッチングに用いた３次元地図データ上の点データ群をモデルデータのモデル表面の情報に置き換える処理を行う。なお、再構築部５０４は、形状変化情報が含まれるモデルデータに関して、部分的に形状変化情報を含む３次元地図データとして構成してもよいし、又は、最小変形時、最大変形時、最小‐最大変形時の中間といった複数の変形状態における３次元地図データを別途構成してもよい。
[Step S209: Reconstruction of 3D Map Data]
The
３次元地図データ補完システム１は、以上のステップＳ２０１〜Ｓ２０９の処理により、３次元ＣＡＤモデルデータを利用した３次元地図データの補完の処理を完了する。
The three-dimensional map
なお、第２の実施形態の３次元地図データ補完システム３０は、ユーザの手を介さずに自動的に３次元地図データを補完する処理の例（例えば、ステップＳ２０３の処理において、自動的に３次元ＣＡＤモデルデータを指定する処理）を示したが、例えば、第１の実施形態と同様に補完処理の過程でユーザの入力操作を受け付けてもよい。 Note that the 3D map data complementing system 30 of the second embodiment is an example of a process of automatically complementing 3D map data without user intervention (for example, in the process of step S203, the 3D map data complementing system 30 automatically Although the process of designating the dimensional CAD model data is shown, for example, the user's input operation may be accepted in the process of the complementing process as in the first embodiment.
また、第２の実施形態の３次元地図データ補完システム３０では、計測環境内の物体に識別用の特定パターンが施されている例を示したが、物体と特定パターンマーカの施された位置関係が一意であれば、ＲＧＢイメージセンサによって取得されたイメージ画像中の特定パターンの位置・姿勢、及びそのイメージ画像を取得した対象空間中の位置情報より、特定パターンが施された物体の対象空間中での位置・姿勢の情報として扱ってもよい。 In the 3D map data supplement system 30 according to the second embodiment, an example in which a specific pattern for identification is applied to an object in the measurement environment is shown. However, the positional relationship between the object and the specific pattern marker is given. Is unique, the position / posture of the specific pattern in the image image acquired by the RGB image sensor, and the position information in the target space from which the image image is acquired, in the target space of the object subjected to the specific pattern It may be handled as position / posture information.
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態で述べた効果に加えて、以下の効果を奏する。
(B-3) Effects of Second Embodiment According to the second embodiment, the following effects are provided in addition to the effects described in the first embodiment.
３次元地図データ補完システム３０は、３次元地図データ作成のための空間計測時に物体識別用の情報を取得する事で、３次元地図データを補完するために利用する３次元ＣＡＤモデルデータを自動的に指定することが可能となった。また、３次元地図データ補完システム３０は、形状変化する３次元ＣＡＤモデルデータによる３次元地図データの補完を行うことが可能となった。 The 3D map data complementing system 30 automatically acquires 3D CAD model data used to complement 3D map data by acquiring information for object identification during spatial measurement for creating 3D map data. It became possible to specify. The 3D map data supplement system 30 can supplement 3D map data with 3D CAD model data whose shape changes.
以上により、３次元地図データ補完システム３０は、従来のシステムに比べて、付加価値が施された３次元ＣＡＤモデルデータを、ユーザに対して、効率的に提供することが可能となった。 As described above, the three-dimensional map data complementing system 30 can efficiently provide the user with three-dimensional CAD model data with added value as compared with the conventional system.
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(C) Other Embodiments The present invention is not limited to the above-described embodiments, and may include modified embodiments as exemplified below.
（Ｃ−１）上記の実施形態では、３次元ＣＡＤモデルデータを利用して、３次元地図データの未計測領域の補完や情報の拡充を行う例を示したが、これに限定するものではく、３次元地図データ補完システムは、補完や拡充を行うことができれば種々様々な形式の多次元のモデルデータを利用することができる。 (C-1) In the above embodiment, an example has been shown in which the three-dimensional CAD model data is used to complement the unmeasured area of the three-dimensional map data and the information is expanded. However, the present invention is not limited to this. The three-dimensional map data complementing system can use various types of multidimensional model data as long as complementation and expansion can be performed.
（Ｃ−２）上記の実施形態では、３次元地図データ化の対象空間として、机、椅子、窓、ドアなどの物体が存在する空間を例に挙げて説明したが、３次元地図データ補完システムは、例えば、上記空間中の１つの机上の空間を対象としてもよい。 (C-2) In the above embodiment, the space where objects such as desks, chairs, windows, doors, etc. exist is described as an example of the target space for 3D map data conversion. For example, a space on one desk in the space may be targeted.
（Ｃ−３）変形例として、３次元地図データ補完システムは、同一の計測対象空間に対して、異なる計測方向、あるいは、異なる計測精度、あるいは、異なる計測範囲により作成、補完された複数の３次元地図データに関して、補完処理により埋め込まれた特定のモデルデータを基準にして、３次元地図データを結合してもよい。また、次元地図データ補完システムは、上記処理を利用して、３次元地図データ上の特定の領域のみ再計測、再補完を行い、情報更新してもよい。 (C-3) As a modified example, the three-dimensional map data complementing system has a plurality of 3 created and complemented with respect to the same measurement target space by different measurement directions, different measurement accuracy, or different measurement ranges. Regarding the three-dimensional map data, the three-dimensional map data may be combined on the basis of specific model data embedded by the complementing process. Further, the dimensional map data supplementation system may update information by performing remeasurement and recomplementation only on a specific area on the three-dimensional map data using the above processing.
（Ｃ−４）上記の実施形態では、３次元地図データ補完システムが、３次元地図データに対して、対応する３次元ＣＡＤモデルデータを配置し、当てはめる補完処理について説明したが、例えば、配置された３次元ＣＡＤモデルデータが存在する領域の３次元地図データ中の点データ群を削除することで、３次元ＣＡＤモデルデータに対応する物体が存在しない状態の３次元地図データを構成してもよい。 (C-4) In the above-described embodiment, the 3D map data complementing system has described the complementing process in which the corresponding 3D CAD model data is arranged and applied to the 3D map data. The 3D map data in a state where no object corresponding to the 3D CAD model data is present may be configured by deleting the point data group in the 3D map data in the region where the 3D CAD model data exists. .
（Ｃ−５）上記の実施形態において、３次元地図データ補完システムは、３次元地図データの補完処理に利用する３次元ＣＡＤモデルデータの種類や内容を任意に追加、拡充してもよい。また、ある補完処理済みの３次元地図データに利用された３次元ＣＡＤモデルデータに情報の追加・拡充が行われた場合、補完処理済みの３次元地図データ中の３次元ＣＡＤモデルデータの情報が更新されてもよい。 (C-5) In the above embodiment, the three-dimensional map data complementing system may arbitrarily add or expand the types and contents of the three-dimensional CAD model data used for the complementing process of the three-dimensional map data. In addition, when information is added or expanded to 3D CAD model data used for a certain 3D map data that has been subjected to a complement process, the information of the 3D CAD model data in the 3D map data that has been subjected to a complement process is stored. It may be updated.
（Ｃ−６）変形例として、３次元地図データ補完システムは、３次元地図データの補完処理により、３次元地図データ中の点データ群、あるいはポリゴンデータに閉曲面を構成する領域が発生した場合、この領域を３次元ＣＡＤモデルデータとして登録してもよい。 (C-6) As a modification, the 3D map data complementing system has a point data group in 3D map data or an area that forms a closed surface in polygon data due to the complementing process of 3D map data. This area may be registered as three-dimensional CAD model data.
（Ｃ−７）変形例として、３次元地図データ補完システムは、補完処理された３次元地図データを他の３次元地図データの補完処理に利用する３次元ＣＡＤモデルデータとして構成してもよい。 (C-7) As a modification, the three-dimensional map data complementing system may be configured as three-dimensional CAD model data that uses the complemented three-dimensional map data for complementing processing of other three-dimensional map data.
（Ｃ−８）変形例として、３次元地図データ補完システムは、３次元地図データの補完処理により、３次元地図データ上に当てはめられたモデルデータを、例えば、テキストデータで代替してもよい。また、補完処理を行った３次元地図データの利用形態の１つの例として、３次元地図データ補完システムは、３次元地図データ上のあるモデルデータが占める領域を、代替テキストデータを用いて扱ってもよい。 (C-8) As a modified example, the three-dimensional map data complementing system may substitute the model data applied on the three-dimensional map data with, for example, text data by the three-dimensional map data complementing process. In addition, as an example of the usage form of the 3D map data subjected to the complementing process, the 3D map data complementing system treats the area occupied by certain model data on the 3D map data using alternative text data. Also good.
１、３０…３次元地図データ補完システム、１０、４０…地図データ生成部、２０、５０…地図データ補完部、１０１、４０１…センサ部、１０１ａ…空間計測部、１０１ｂ…自己位置計測部、１０２…地図データ構築部、１０２ｂ…自己位置計測部、２０１、５０１…モデルデータ記憶部、２０２、５０２…モデルデータ指定部、２０３、５０３…モデルデータ適合部、２０３ａ、５０３ａ…位置姿勢判定部、２０３ｂ…位置姿勢調整部、２０４、５０４…再構築部、４０１ｃ…物体検知部。
DESCRIPTION OF
Claims (14)
前記モデルデータ適合手段により適合された多次元地図データから、所定の処理を施し、新たな多次元地図データを再構築する再構築手段と
を有することを特徴とするデータ処理装置。 Predetermined to correspond to an object in an area in the multi-dimensional map data constructed based on the information observed using the measurable object surface existing in the measurement range in the target space as a point data group Model data fitting means for fitting multi-dimensional model data of
A data processing apparatus comprising: reconstructing means for performing predetermined processing from the multidimensional map data adapted by the model data adaptation means to reconstruct new multidimensional map data.
前記モデルデータ適合手段は、前記モデルデータ位置姿勢調整部を用いて、適合された複数の前記多次元モデルデータの組の干渉領域を解消する位置や姿勢に変更する
ことを特徴とする請求項１又は２に記載のデータ処理装置。 The model data adaptation means further includes a model data position and orientation adjustment unit that changes the position and orientation of one or a plurality of the multidimensional model data adapted to the point data group in the multidimensional map data,
The model data adaptation means uses the model data position / orientation adjustment unit to change to a position or orientation that eliminates an interference region of a set of a plurality of adapted multidimensional model data. Or the data processing apparatus of 2.
前記モデルデータ適合手段において用いられる１又は複数の前記多次元モデルデータの指定を受け付けるモデルデータ指定手段をさらに有し、
前記モデルデータ適合手段は、前記モデルデータ記憶手段に記憶される所定の前記多次元モデルデータを用いて、前記多次元地図データの補完を行う
ことを特徴とする請求項１〜３のいずれかに記載のデータ処理装置。 Model data storage means for storing and managing one or more types of the multidimensional model data;
Model data specifying means for receiving specification of one or a plurality of the multidimensional model data used in the model data fitting means;
The said model data adaptation means complements the said multidimensional map data using the said predetermined multidimensional model data memorize | stored in the said model data storage means. The any one of Claims 1-3 characterized by the above-mentioned. The data processing apparatus described.
前記モデルデータ記憶手段は、前記物体識別手段により識別された物体の識別情報と対応する前記多次元モデルデータとを関連付けて記憶し、
前記モデルデータ指定手段は、前記識別情報をキーとして、前記モデルデータ記憶手段に記憶される対応する前記多次元モデルデータを検索し、該当する前記多次元モデルデータの指定を行う
ことを特徴とする請求項４に記載のデータ処理装置。 An object identifying means for identifying an object existing in the target space;
The model data storage means stores the identification information of the object identified by the object identification means in association with the corresponding multidimensional model data,
The model data designating unit searches the corresponding multidimensional model data stored in the model data storage unit using the identification information as a key, and designates the corresponding multidimensional model data. The data processing apparatus according to claim 4.
前記モデルデータ記憶手段に記憶される物体の識別情報は、前記マーカ情報である
ことを特徴とする請求項５に記載のデータ処理装置。 The object identifying means acquires an image image in the target space, identifies an object from marker information attached to an object in a measurement environment reflected in the image image,
The data processing apparatus according to claim 5, wherein the object identification information stored in the model data storage unit is the marker information.
前記モデルデータ記憶手段に記憶される物体の識別情報は、前記発信信号情報である
ことを特徴とする請求項５に記載のデータ処理装置。 The object identification means receives a transmission signal transmitted from a radio signal transmitter laid on an object in the target space, identifies the object from transmission signal information included in the transmission signal,
6. The data processing apparatus according to claim 5, wherein the object identification information stored in the model data storage means is the transmission signal information.
前記モデルデータ適合手段は、前記形状変化モデルデータ記憶手段に記憶される１又は複数種の形状変化部位を含む前記多次元モデルデータを用いて、前記多次元地図データの補完を行う
ことを特徴とする請求項１〜７のいずれかに記載のデータ処理装置。 Further comprising shape change model data storage means for storing and managing the multidimensional model data including one or more types of shape change portions;
The model data adaptation means complements the multidimensional map data using the multidimensional model data including one or more types of shape change parts stored in the shape change model data storage means. The data processing device according to claim 1.
前記モデルデータ適合手段は、前記テキスト情報モデルデータ記憶手段に記憶される前記多次元モデルデータを代替するテキスト情報を用いて、前記多次元地図データの補完を行うことを特徴とする請求項１〜９のいずれかに記載のデータ処理装置。 Text information model data storage means for storing and managing the multidimensional model data with text information replacing the multidimensional model data;
The said model data adaptation means complements the said multidimensional map data using the text information which substitutes for the said multidimensional model data memorize | stored in the said text information model data storage means. The data processing device according to any one of 9.
対象空間内の計測範囲に存在する計測可能な物体表面を点データ群として観測された情報を基に構築された多次元地図データ中の物体が存在する領域に対して、その物体に対応する所定の多次元モデルデータを適合するモデルデータ適合手段と、
前記モデルデータ適合手段により適合された多次元地図データから、所定の処理を施し、新たな多次元地図データを再構築する再構築手段と
して機能させることを特徴とするデータ処理プログラム。 Computer
Predetermined to correspond to an object in an area in the multi-dimensional map data constructed based on the information observed using the measurable object surface existing in the measurement range in the target space as a point data group Model data fitting means for fitting multi-dimensional model data of
A data processing program which performs a predetermined process from multidimensional map data adapted by the model data adaptation means and functions as a reconstruction means for reconstructing new multidimensional map data.
モデルデータ適合手段と、再構築手段とを有し、
前記モデルデータ適合手段は、対象空間内の計測範囲に存在する計測可能な物体表面を点データ群として観測された情報を基に構築された多次元地図データ中の物体が存在する領域に対して、その物体に対応する所定の多次元モデルデータを適合し、
前記再構築手段は、前記モデルデータ適合手段により適合された多次元地図データから、所定の処理を施し、新たな多次元地図データを再構築することを特徴とするデータ処理方法。 A data processing method used in a data processing apparatus,
Having model data fitting means and reconstruction means,
The model data fitting means is for a region where an object exists in multi-dimensional map data constructed based on information observed using a measurable object surface existing in a measurement range in a target space as a point data group. , Fit the given multidimensional model data corresponding to the object,
The data processing method, wherein the reconstructing means performs a predetermined process from the multidimensional map data adapted by the model data adapting means to reconstruct new multidimensional map data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016068423A JP2017182434A (en) | 2016-03-30 | 2016-03-30 | Data processor, data processing program, and data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016068423A JP2017182434A (en) | 2016-03-30 | 2016-03-30 | Data processor, data processing program, and data processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017182434A true JP2017182434A (en) | 2017-10-05 |
Family
ID=60007505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016068423A Pending JP2017182434A (en) | 2016-03-30 | 2016-03-30 | Data processor, data processing program, and data processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017182434A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200042781A (en) * | 2018-10-16 | 2020-04-24 | 에스케이텔레콤 주식회사 | 3d model producing method and apparatus |
-
2016
- 2016-03-30 JP JP2016068423A patent/JP2017182434A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200042781A (en) * | 2018-10-16 | 2020-04-24 | 에스케이텔레콤 주식회사 | 3d model producing method and apparatus |
| KR102163389B1 (en) * | 2018-10-16 | 2020-10-08 | 에스케이텔레콤 주식회사 | 3d model producing method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2020200546B2 (en) | Structure modelling | |
| JP6171079B1 (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| JP4999734B2 (en) | ENVIRONMENTAL MAP GENERATION DEVICE, METHOD, AND PROGRAM | |
| CN106164978B (en) | The method and system of personalized materialization is constructed using deformable mesh is parameterized | |
| EP3406196A1 (en) | X-ray system and method for standing subject | |
| CN107016717B (en) | System and method for perspective view of a patient | |
| JP5380789B2 (en) | Information processing apparatus, information processing method, and computer program | |
| US10127667B2 (en) | Image-based object location system and process | |
| KR20220011218A (en) | Radar-enabled sensor fusion | |
| JP2014137244A (en) | Three dimensional composition processing system and three dimensional composition processing method | |
| JP2010154920A (en) | Three-dimensional shape data processor, three-dimensional shape data processing method, and program | |
| KR102075844B1 (en) | Localization system merging results of multi-modal sensor based positioning and method thereof | |
| JP2018106661A (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| JP2019029915A (en) | Creation method, creation system, creation device and creation system of radio wave propagation simulation model | |
| JP2015028702A (en) | Information processor, information processing method, and program | |
| CN110580738B (en) | Method for generating enhanced plant model | |
| WO2013160663A2 (en) | A system and method for image analysis | |
| US20210097961A1 (en) | Display apparatus, image processing apparatus, and control method | |
| JP2017182434A (en) | Data processor, data processing program, and data processing method | |
| JP5502578B2 (en) | Medical information presentation device | |
| JP6655513B2 (en) | Attitude estimation system, attitude estimation device, and range image camera | |
| KR20160147466A (en) | Customized human body modeling apparatus and method | |
| JP2019186800A (en) | Information terminal device, program and method | |
| KR101792701B1 (en) | Apparatus and method for inspecting drawing | |
| EP4224429A1 (en) | Systems and methods for visually indicating stale content in environment model |