JP7412118B2 - Ledger creation system - Google Patents
Ledger creation system Download PDFInfo
- Publication number
- JP7412118B2 JP7412118B2 JP2019183213A JP2019183213A JP7412118B2 JP 7412118 B2 JP7412118 B2 JP 7412118B2 JP 2019183213 A JP2019183213 A JP 2019183213A JP 2019183213 A JP2019183213 A JP 2019183213A JP 7412118 B2 JP7412118 B2 JP 7412118B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- tangible object
- ledger
- tangible
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000284 extract Substances 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 8
- 230000008439 repair process Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、台帳作成システムに関し、特に、道路台帳等の台帳の作成に用いられる台帳作成システムに関する。 The present invention relates to a ledger creation system, and particularly to a ledger creation system used to create a ledger such as a road ledger.
道路又はその周辺に配置されている道路標識や街路灯等の有形物は、道路台帳、標識台帳又は照明台帳等（以下、まとめて単に「台帳」という。）によって管理されている。
例えば、道路台帳には、一般に「道路の種類」、「道路管理者」、「供用開始の区間、年月日」等の各項目が管理されており、道路管理者は、各項目を確認して、道路の補修の要否やスケジュール等を決定する。
BACKGROUND ART Tangible objects such as road signs and street lights placed on or around roads are managed by road ledgers, sign ledgers, lighting ledgers, etc. (hereinafter collectively referred to simply as "ledgers").
For example, a road ledger generally manages items such as "road type,""roadadministrator,""section and date of commencement of service," and road administrators check each item. The necessity and schedule of road repairs will be decided based on the results.
このような台帳を作成する従来技術として、特許文献１が開示するところの道路台帳用作成システムと道路台帳作成用プログラムが提案されている。
特許文献１の道路台帳用作成システムは、道路及び電柱等の道路構造物の輪郭形状を表現する多数の座標データに基づいて各道路構造物のポリゴンデータを作成し、その作成したポリゴンデータに道路構造物の性質を表す属性データ（路線名、供用開始年月日等）を付加して、台帳のデータベースを作成するというものである。
As a conventional technique for creating such a ledger, a road ledger creation system and a road ledger creation program disclosed in
The road ledger creation system disclosed in
しかしながら、上記特許文献１の道路台帳用作成システムでは、各道路構造物について台帳のデータベースを作成する際、各道路構造物を特定するために、台帳作成者が、多数の座標データが表す画像から、管理対象の道路構造物を認識し、その輪郭を線分で結ぶ作業が必要となり、その作業に莫大な労力と時間を要してしまうという問題がある。
However, in the road ledger creation system of
本発明は、上記問題点に鑑みてなされるものであり、台帳作成者の労力を最小限に抑え、道路及びその周囲の構造物等の台帳を容易に作成し、道路管理業務を効果的に軽減する台帳作成システムを提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and it minimizes the labor of the ledger creator, easily creates a ledger of roads and surrounding structures, etc., and effectively performs road management work. The purpose is to provide a ledger creation system that reduces
かかる目的を達成するため、本発明は、物体の表面上の位置情報を含む点群データから、点群により構成される所定の有形物の形状を認識して、有形物を構成する有形物点群データを抽出する有形物抽出部と、位置情報に対応付けられた画像データから、抽出された有形物点群データの位置情報に対応付けられた画像データである有形物画像データを抽出する画像抽出部と、有形物の性質に係る項目を含み、有形物点群データの位置情報に対応付けられた台帳基礎データに対し、台帳基礎データの位置情報に対応付けられている有形物画像データを合成し、有形物の台帳データを生成する台帳生成部とを有することを特徴とする。 In order to achieve such an object, the present invention recognizes the shape of a predetermined tangible object made up of a point cloud from point cloud data including position information on the surface of an object, and identifies tangible object points making up the tangible object. a tangible object extraction unit that extracts group data; and an image that extracts tangible object image data, which is image data that is associated with position information of the extracted tangible object point group data, from image data that is associated with position information. The extraction unit extracts tangible object image data that is associated with the position information of the ledger basic data against the ledger basic data that includes items related to the properties of the tangible object and is associated with the position information of the tangible object point cloud data. The present invention is characterized by comprising a ledger generation unit that synthesizes and generates ledger data of tangible objects.
また、本発明によれば、物体の表面上の位置情報に対応付けられた地図データから、抽出された有形物点群データの位置情報に対応付けられた地図データである有形物地図データを抽出する地図抽出部をさらに有し、台帳生成部は、台帳基礎データに対し、台帳基礎データの位置情報に対応付けられている有形物地図データを合成し、有形物の台帳データを生成することを特徴とする。 Furthermore, according to the present invention, tangible object map data that is map data that is map data that is associated with the position information of the extracted tangible object point cloud data is extracted from the map data that is associated with the position information on the surface of the object. The ledger generation unit further includes a map extraction unit for generating tangible object ledger data by synthesizing tangible object map data associated with position information of the ledger basic data with the ledger basic data. Features.
また、本発明は、物体の表面上の位置情報を含む点群データから、点群により構成される所定の有形物の形状を認識して、有形物を構成する有形物点群データを抽出する有形物抽出部と、物体の表面上の位置情報に対応付けられた地図データから、抽出された有形物点群データの位置情報に対応付けられた地図データである有形物地図データを抽出する地図抽出部と、有形物の性質に係る項目を含み、有形物点群データの位置情報に対応付けられた台帳基礎データに対し、台帳基礎データの位置情報に対応付けられている有形物地図データを合成し、有形物の台帳データを生成する台帳生成部とを有することを特徴とする。 Further, the present invention recognizes the shape of a predetermined tangible object made up of the point cloud from point cloud data including positional information on the surface of the object, and extracts tangible object point cloud data making up the tangible object. A map that extracts tangible object map data, which is map data associated with the position information of the extracted tangible object point group data, from the tangible object extraction unit and the map data associated with the position information on the surface of the object. The extraction unit extracts tangible object map data that is associated with the position information of the ledger basic data against the ledger basic data that includes items related to the properties of tangible objects and is associated with the position information of the tangible object point cloud data. The present invention is characterized by comprising a ledger generation unit that synthesizes and generates ledger data of tangible objects.
また、本発明によれば、有形物抽出部は、認識した有形物の有形物点群データに基づいて有形物の形状の種類を特定し、台帳生成部は、特定した有形物の形状の種類に関する情報を台帳データに追加することを特徴とする。 Further, according to the present invention, the tangible object extraction section specifies the type of the shape of the tangible object based on the tangible object point cloud data of the recognized tangible object, and the ledger generation section specifies the type of the shape of the specified tangible object. The feature is that information about the transaction is added to the ledger data.
また、本発明によれば、有形物抽出部は、抽出した有形物点群データに含まれる位置情報に基づいて、認識した有形物のサイズを計算し、台帳生成部は、計算した有形物のサイズの情報を台帳データに追加することを特徴とする。 Further, according to the present invention, the tangible object extraction unit calculates the size of the recognized tangible object based on the position information included in the extracted tangible object point cloud data, and the ledger generation unit calculates the size of the recognized tangible object based on the position information included in the extracted tangible object point cloud data. The feature is that size information is added to the ledger data.
上記有形物抽出部は、例えば、後述する管理サーバ２０の制御部２１が情報格納部２２に格納されている全体の点群データから有形物の点群データを抽出することにより実現される。
The tangible object extraction unit is realized, for example, by the control unit 21 of the management server 20 (described later) extracting point cloud data of tangible objects from the entire point cloud data stored in the
上記画像抽出部は、例えば、後述する管理サーバ２０の制御部２１が情報格納部２２に格納されている全体の画像データから有形物の画像データを抽出することにより実現される。
The image extraction section is realized, for example, by the control section 21 of the management server 20 (described later) extracting the image data of the tangible object from the entire image data stored in the
上記台帳生成部は、例えば、後述する管理サーバ２０の制御部２１が情報格納部２２に格納されている台帳基礎データに対して、有形物画像データ、有形物地図データ等を合成して台帳データを生成することにより実現される。
For example, the ledger generation section generates ledger data by combining tangible object image data, tangible object map data, etc. with the ledger basic data stored in the
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。 Note that the present invention also includes any combination of the above constituent elements, and mutual substitution of constituent elements and expressions of the present invention among methods, devices, systems, computer programs, recording media storing computer programs, etc. It is effective as an aspect of
本発明における台帳作成システムによれば、物体の表面上の位置情報を含む点群データから、所定の有形物を構成する有形物点群データを抽出し、位置情報に対応付けられた画像データから、抽出された有形物点群データの位置情報に対応付けられた画像データである有形物画像データを抽出し、あるいは、位置情報に対応付けられた地図データから、抽出された有形物点群データの位置情報に対応付けられた地図データである有形物地図データを抽出し、有形物の性質に係る項目を含み、位置情報に対応付けられた台帳基礎データに対し、台帳基礎データの位置情報に対応付けられている有形物地図データを合成し、有形物の台帳データを生成するので、台帳作成者の労力を最小限に抑え、道路及びその周囲の構造物等の有形物について台帳を容易に作成し、道路管理業務を効果的に軽減することが可能となる。 According to the ledger creation system of the present invention, tangible object point cloud data constituting a predetermined tangible object is extracted from point cloud data including positional information on the surface of the object, and tangible object point cloud data that constitutes a predetermined tangible object is extracted from image data associated with the positional information. , Extract tangible object image data that is image data that is associated with the position information of the extracted tangible object point cloud data, or extract tangible object point cloud data that is extracted from map data that is associated with the position information. Extract tangible object map data, which is map data associated with the location information of Since the associated tangible object map data is synthesized and tangible object ledger data is generated, the effort of the ledger creator is minimized, and the ledger of tangible objects such as roads and surrounding structures can be easily created. It becomes possible to create a road management system and effectively reduce road management work.
＜第１の実施の形態＞
（第１の実施の形態の構成）
（１）台帳作成システムの全体構成
本実施の形態における台帳作成システムは、道路及びその周辺の構造物等（以下、道路及び構造物等をまとめて「有形物」という。）を総合的に管理するための台帳を作成し、道路管理事業を行う道路管理者に提供するものである。
なお、本実施の形態において、有形物とは、道路及び道路周辺における構造物をいい、例えば、道路（線路、水路等も含む）、道路標識、街路灯、電柱、信号機、歩道、側溝、ガードレール、中央分離帯、トンネル、橋脚等の構造体等をいう。
<First embodiment>
(Configuration of first embodiment)
(1) Overall configuration of ledger creation system The ledger creation system in this embodiment comprehensively manages roads and structures around them (hereinafter, roads and structures are collectively referred to as "tangible objects"). A ledger will be created and provided to road managers who carry out road management projects.
Note that in this embodiment, tangible objects refer to roads and structures around roads, such as roads (including railroads, waterways, etc.), road signs, street lights, utility poles, traffic lights, sidewalks, gutters, and guardrails. , structures such as median strips, tunnels, and bridge piers.
図１は、本発明の第１の実施の形態における台帳作成システムの構成を示す図である。
図に示すように、台帳作成システムは、道路を走行しながら有形物及びその周囲の地形や形状をその表面上の位置情報とともに測定し、その測定結果を点群データとして取得する測定車両１０と、当該有形物等の形状を示す点群データを測定車両１０から取得して管理するとともに、当該有形物の構造や性質等に関する有形物データを管理する管理サーバ２０と、道路管理者により操作される端末であって当該管理サーバ２０からネットワークを介して上記点群データ及び有形物データを取得し、表示する管理者端末３０とを有して構成される。
以下、上記台帳作成システムを構成する測定車両１０、管理サーバ２０及び管理者端末３０の構成について、さらに詳細に説明する。
FIG. 1 is a diagram showing the configuration of a ledger creation system in a first embodiment of the present invention.
As shown in the figure, the ledger creation system includes a
Hereinafter, the configurations of the
（２）測定車両１０の構成
測定車両１０は、道路を走行中又は停車中に、有形物及びその周囲の建造物や設置物について点群データを取得するとともに、撮影を行って画像データを取得する装置を搭載した車両である。
図２は、本発明の第１の実施の形態における測定車両１０の構成を示す図であり、図３は、その測定車両１０の外観を示す図である。
図２，３に示すように、測定車両１０は、ＣＰＵ等から構成され測定車両１０における点群データ及び画像データの取得動作全体を制御する制御部１１と、ハードディスクやメモリ等から構成され取得した点群データ及び画像データ等を格納する情報格納部１２と、測定車両１０の走行中又は停車中に道路周囲にレーザを照射するとともに、その反射光を受光して点群データを取得するレーザスキャナ１３と、測定車両１０の現在位置情報を取得するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１４と、測定車両１０の車体の姿勢を示す情報を取得するＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１５と、計時を行う計時部１６と、道路及びその周囲の風景を撮影するカメラ１７と、測定車両１０の走行距離を計測するオドメータ１８と、ネットワーク又は情報記録媒体と接続して情報の入出力を行う情報入出力部１９とを有して構成される。
(2) Configuration of
FIG. 2 is a diagram showing the configuration of the
As shown in FIGS. 2 and 3, the
本実施の形態において、測定車両１０は、いわゆるモービルマッピングシステムの原理を利用して走行中又は停車中に道路及びその周囲の点群データを取得するものである。
測定車両１０が道路を走行中又は停車中、レーザスキャナ１３は、道路周囲の対象物（有形物、道路周囲の建造物・設置物を含む）にレーザを発射し、その反射光を受光する。このとき、レーザスキャナ１３は、発射時・受光時の時刻を計時部１６から取得得るとともに、発射方向（角度）を検出して点群データを取得する。
また、情報格納部１２にはレーザスキャナ１３の測定車両１０の車体との相対的な位置・照射角度・受光角度の関係等の情報が格納されており、測定車両１０の現在位置に基づいて、レーザスキャナ１３の現在位置及び姿勢等が特定可能に構成されている。
In this embodiment, the
While the
Further, the
カメラ１７は、上記レーザスキャナ１３による点群データの取得と同時に、道路周囲の風景等をカラーで撮影し、画像データを取得する。
また、情報格納部１２にはカメラ１７の撮影角度、画角、測定車両１０の車体との相対的な位置・角度の関係等の情報が格納されており、測定車両１０の現在位置に基づいて、カメラ１７の現在位置及び撮影角度（姿勢）等が特定可能に構成されている。
At the same time that the
Further, the
ＧＰＳ１４及びオドメータ１８は、測定車両１０の車体の現在位置を計測する。
ＩＭＵ１５は、ジャイロセンサと加速度センサとで構成され、測定車両１０の車体の姿勢を計測する。ジャイロセンサは測定車両１０の３軸方向ｘｙｚそれぞれの角速度を検出し、加速度センサは測定車両１０の３軸方向ｘｙｚそれぞれの加速度を検出する。
ＩＭＵ１５は、測定車両１０の３軸方向ｘｙｚそれぞれの角速度と加速度とを示すデータを慣性データとして生成する。慣性データには、計時部１６から取得した検出時刻（取得時刻）毎に角速度と加速度とが設定されている。
The
The IMU 15 includes a gyro sensor and an acceleration sensor, and measures the attitude of the vehicle body of the
The IMU 15 generates data indicating the angular velocity and acceleration in each of the three axial directions x, y and z of the
上記取得された点群データ及び画像データは、情報格納部１２に格納される。
格納後、情報入出力部１９により上記点群データ及び画像データは管理サーバ２０に出力される。
The acquired point cloud data and image data are stored in the
After storage, the information input/
（３）管理サーバ２０の構成
図４は、本発明の第１の実施の形態における管理サーバ２０の構成を示す図である。
管理サーバ２０は、道路管理者等により管理されるサーバ装置であって、上述した測定車両１０から点群データ及び画像データを取得するとともに、これら取得したデータに基づいて各有形物の台帳に係る情報である台帳データを生成してともに管理する。
(3) Configuration of
The
管理サーバ２０は、ＣＰＵ等から構成され管理サーバ２０全体の動作を制御する制御部２１と、ハードディスクやメモリ等から構成され入力した情報やネットワークを介して受信した情報等を格納する情報格納部２２と、ネットワークを介して情報の送受信を行う通信部２３とを有して構成される。
The
情報格納部２２は、点群データと、画像データと、点群データに関連するデータと、地図データと、有形物データと、台帳基礎データと、台帳データとを格納する。
また、制御部２１は、点群データ、画像データ、地図データ、有形物データ及び台帳基礎データに基づいて、台帳データを生成する。
管理サーバ２０は、管理者端末３０からの要求に応じて、上記点群データ、有形物データ及び台帳データ等を提供する。
The
Further, the control unit 21 generates ledger data based on point cloud data, image data, map data, tangible object data, and ledger basic data.
The
点群データとは、測定車両１０がレーザスキャナ１３により照射したレーザ光の反射光を受光した場合、その反射したと推定される位置に点状にモデル化した物体が存在したと認識したときの当該点の空間座標情報（Ｘ，Ｙ，Ｚ）を含む情報をいう（以下、単に「座標情報」ともいう。）。
その点の集合を点群といい、有形物やこれを構成する構成部品等の物体は点群で表現される。すなわち、有形物や構成部品の空間位置は、複数の点群データにより定めることができる。
Point cloud data refers to the data when the measuring
The collection of points is called a point cloud, and objects such as tangible objects and their constituent parts are expressed as point clouds. That is, the spatial positions of tangible objects and component parts can be determined using a plurality of point cloud data.
点群データは、画面上では微小な点の集合である点群で表示される。あらゆる視点及び拡大縮小率での表示が可能であり、例えば、道路を走行する自動車の搭乗者の視点からの立体画像で表示することもできるし、垂直上方からの見た平面地図状の画像を表示することもできる。 Point cloud data is displayed on the screen as a point cloud, which is a collection of minute points. It is possible to display from any viewpoint and scaling ratio, for example, it is possible to display a three-dimensional image from the viewpoint of a passenger in a car driving on a road, or a flat map-like image viewed from vertically above. It can also be displayed.
画像データは、測定車両１０がカメラ１７により撮影した画像のデータであり、動画及び静止画を含む。
The image data is data of images taken by the
点群データに関連するデータは、点群データを編集して生成されるデータであり、例えば、後述するカラー点群データ及び重畳画像データ等がある。 Data related to point cloud data is data generated by editing point cloud data, and includes, for example, color point cloud data and superimposed image data, which will be described later.
地図データは、各地点、各領域の地図画像と、緯度経度情報と、住所情報とが互いに対応付けられている地図のデータであり、各有形物の位置が示されている。
制御部２１は、緯度経度情報又は住所情報が入力されると、当該入力された緯度経度情報又は住所情報に対応付けられている地点又は領域を含む地図画像を所定の縮尺で抽出し、出力する。
The map data is map data in which a map image of each point or region, latitude and longitude information, and address information are associated with each other, and the position of each tangible object is indicated.
When the latitude and longitude information or address information is input, the control unit 21 extracts and outputs a map image including a point or area associated with the input latitude and longitude information or address information at a predetermined scale. .
有形物データは、有形物の性質等を示すデータである。
有形物データは、測定車両１０が取得した全点群データのうち管理サーバ２０により画像認識された有形物個々を表す点群データである有形物点群データと、有形物の外観の画像及び有形物の設置場所周辺の風景画像を含む有形物画像データと、有形物の位置を地図上で示した地図データである有形物地図データとを含む。
The tangible object data is data indicating the properties of the tangible object.
The tangible object data includes tangible object point cloud data, which is point cloud data representing each tangible object image-recognized by the
台帳基礎データは、各有形物個々の基本的な各項目が記載された台帳のデータである。
台帳基礎データは、例えば、都道府県、市町村等の各地域又は各管理者がそれぞれ管理する有形物の台帳のデータであり、各管理地域、各管理者、有形物の各種類ごとに存在し、情報格納部２２に格納される。
台帳基礎データは、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）ファイルで構成されていてもよい。
The ledger basic data is ledger data in which each basic item of each tangible object is recorded.
The ledger basic data is, for example, the data of the ledger of tangible objects managed by each region such as prefecture, municipality, etc. or each manager, and exists for each management region, each manager, and each type of tangible object. The information is stored in the
The ledger basic data may be composed of a CSV (Comma Separated Value) file.
図５は、本発明の第１の実施の形態における台帳基礎データの一例を示す図である。
図の例では、台帳基礎データは、以下の有形物に関する各項目のデータを含む。
・種類
・管理者
・供用位置の緯度経度情報
・供用位置の住所情報
・供用開始年月日
・点検等の履歴
・竣工図書整理番号
・内容
FIG. 5 is a diagram showing an example of ledger basic data in the first embodiment of the present invention.
In the illustrated example, the ledger basic data includes data for each item regarding the following tangible objects.
・Type ・Manager ・Latitude and longitude information of the service location ・Address information of the service location ・Date of service start ・History of inspections, etc. ・Completion book serial number ・Contents
以下、上記台帳基礎データの各項目について説明する。
（ａ）「種類」
「種類」は、有形物の種類を示す項目である。
「種類」は、例えば、道路、道路標識、街路灯、電柱、信号機、歩道、側溝、ガードレール、中央分離帯、トンネル、橋脚等がある。
また、「種類」は、各種類の分類をさらに細分化した下位分類を含むようにしてもよい。例えば、「道路標識」の下位分類として、「速度制限」、「駐車禁止」、「一方通行」等といったように、道路標識を表示内容でさらに細分化してもよい。
さらに、有形物の外形や構造により種類を分類し、「種類」の項目に含めるようにしてもよい。例えば、道路標識の場合、「種類」その標識の支柱の形状の種類（支柱形式）を「種類」の項目に含めるようにしてもよい。
Each item of the basic ledger data will be explained below.
(a) “Type”
“Type” is an item indicating the type of tangible object.
Examples of the "type" include roads, road signs, street lights, utility poles, traffic lights, sidewalks, gutters, guardrails, median strips, tunnels, bridge piers, and the like.
Further, the "type" may include sub-classifications obtained by further subdividing each type of classification. For example, as a subclass of "road sign", road signs may be further subdivided by display content, such as "speed limit", "no parking", "one-way street", etc.
Furthermore, the types of tangible objects may be classified according to their external shapes and structures and included in the "type" item. For example, in the case of a road sign, the "type" item may include the type of shape of the support (support format) of the sign.
（ｂ）「管理者」
「管理者」は、各有形物の管理責任者を示す項目である。
(b) “Administrator”
“Manager” is an item indicating the person responsible for managing each tangible object.
（ｃ）「供用位置の緯度経度情報」
「供用位置の緯度経度情報」は、有形物が設置、建設又は敷設等されている位置の緯度経度情報を示す項目である。
例えば、有形物の領域又は全体形状に基づいて、有形物の中心又は重心を計算し、その中心部分又は重心部分の緯度経度を代表値として「供用位置の緯度経度情報」として登録されていてもよい。
(c) “Latitude and longitude information of service location”
"Latitude and longitude information of in-service location" is an item indicating latitude and longitude information of the location where the tangible object is installed, constructed, or laid.
For example, even if the center or center of gravity of a tangible object is calculated based on the area or overall shape of the tangible object, and the latitude and longitude of the center or center of gravity are registered as the "latitude and longitude information of the in-service location" as representative values. good.
（ｄ）「供用位置の住所情報」
「供用位置の住所情報」は、有形物が設置、建設又は敷設等されている位置の住所等を示す項目である。
住所情報は、通常の「東京都千代田区・・・」のような住所の他、「高速３号渋谷線」等のような路線名及び「６．１」等のようなキロポストで表してもよい。
(d) “Address information of service location”
"Address information of the location in service" is an item indicating the address, etc. of the location where the tangible object is installed, constructed, or laid.
Address information can be expressed not only by the usual address such as "Chiyoda-ku, Tokyo...", but also by route name such as "Highway No. 3 Shibuya Line" and kilometer post such as "6.1". good.
（ｅ）「供用（設置・建設・敷設）開始年月日」
「供用開始年月日」は、各有形物が設置、建設又は敷設等がされた時期を示す項目である。
道路管理者は、「有形物の供用年月日」からの経過期間に基づいて、各有形物の補修、交換又は検査の時期の目安にすることができる。
(e) “Date of commencement of service (installation, construction, laying)”
"Date of commencement of service" is an item indicating the time when each tangible object was installed, constructed, or laid.
Road administrators can use the period of time that has elapsed since the "date of service of the tangible object" as a guideline for when to repair, replace, or inspect each tangible object.
（ｆ）「点検等の履歴」
「点検等の履歴」は、有形物の供用開始後の点検、取替え、補修、清掃等の履歴を示す項目である。
(f) “History of inspections, etc.”
“History of inspections, etc.” is an item that shows the history of inspections, replacements, repairs, cleaning, etc. of tangible objects after they began to be put into service.
（ｇ）「竣工図書整理番号」
「竣工図書整理番号」は、有形物の竣工図書の整理番号を示す項目である。
(g) “Completed book serial number”
“Completed book serial number” is an item indicating the serial number of a completed book of a tangible object.
（ｈ）「内容」
「内容」は、有形物の使用目的、形状、構造又は表示の内容を示す項目である。
例えば、道路標識であれば、その標識の表示内容を示すようにしてもよい。
(h) “Content”
"Contents" is an item indicating the purpose of use, shape, structure, or display content of a tangible object.
For example, in the case of a road sign, the display contents of the sign may be shown.
台帳データは、台帳基礎データ及び有形物データに基づいて生成される有形物個々の総合的な台帳を示すデータである。
図６は、本発明の第１の実施の形態における台帳データの一例を示す図である。
図の例では、台帳データは、台帳基礎データにおける各項目に加え、有形物の近景及び遠景を表す有形物画像データ、有形物の供用位置の有形物地図データ、有形物の形状を表す情報及び有形物のサイズ情報等の情報で構成され、これら各情報は有形物個々の識別情報である有形物ＩＤに対応付けられている。
The ledger data is data indicating a comprehensive ledger of each tangible object generated based on ledger basic data and tangible object data.
FIG. 6 is a diagram showing an example of ledger data in the first embodiment of the present invention.
In the example shown in the figure, the ledger data includes, in addition to each item in the ledger basic data, tangible object image data representing the near and distant views of the tangible object, tangible object map data of the in-use position of the tangible object, information representing the shape of the tangible object, and It is composed of information such as size information of a tangible object, and each of these pieces of information is associated with a tangible object ID, which is identification information of each tangible object.
（４）管理者端末３０の構成
図７は、本発明の第１の実施の形態における管理者端末３０の構成を示す図である。
管理者端末３０は、道路管理者により操作される情報処理装置である。
例えば、管理者端末３０は、スマートフォン、タブレット端末、ウェアラブル端末、携帯電話、ＰＤＡ、ＰＨＳ、ＰＣ等の情報処理装置である。
(4) Configuration of
The
For example, the
管理者端末３０は、ＣＰＵ等から構成され管理者端末３０全体の動作を制御する制御部３１と、ハードディスクやメモリ等から構成され入力した情報やネットワークを介して受信した情報等を格納する情報格納部３２と、ネットワークを介して情報の送受信を行う通信部３３と、ディスプレイ等から構成され情報を画面表示する表示部３４と、キーやマウス等から構成され情報の入力等を行う操作部３５とを有して構成される。
The
道路管理者は、管理者端末３０を用いて、検索条件を設定したうえで、各有形物の台帳データの検索を行うことができる。
例えば、道路管理者は、管理者端末３０の操作部３５を操作して、「東京都中央区」、「道路標識」、「供用開始から３年以上経過」等の検索条件を入力後、管理者端末３０は、これら検索条件の情報を管理サーバ２０へ送信する。
管理サーバ２０は、当該検索条件の情報を管理者端末３０から受信すると、台帳データのデータベースを参照し、検索条件に合致した有形物を抽出し、抽出した有形物の台帳データを管理者端末３０へ送信する。
管理者端末３０は上記管理サーバ２０から受信した台帳データを表示し、道路管理者は、その表示された台帳データの内容を確認し、補修スケジュール等を検討することができる。
The road administrator can use the
For example, the road administrator operates the operation unit 35 of the
When the
The
（第１の実施の形態の動作）
〔１〕動作の概略
図８は、本発明の第１の実施の形態における台帳作成システムによる全体動作の流れを示すフローチャートである。
図に示すように、まず、測定車両１０は道路を走行しながら地形や有形物にレーザを照射させて測定を行い、点群データを取得するとともに、地形や有形物を撮影し、画像データを取得する（ステップＳ１）。
(Operation of the first embodiment)
[1] Outline of Operation FIG. 8 is a flowchart showing the overall operation flow of the ledger creation system in the first embodiment of the present invention.
As shown in the figure, the
次に、管理サーバ２０は、測定車両１０から点群データ及び画像データを取得し、これら取得したデータに基づいて、点群データに関連するデータ（後述する重畳画像データ等）を生成する（ステップＳ２）。
Next, the
次に、管理サーバ２０は、上記取得した点群データについて、各有形物について画像認識を行い、各有形物個々の有形物点群データ及び有形物画像データを抽出する（ステップＳ３）。
Next, the
次に、管理サーバ２０は、上記抽出した有形物点群データ及び有形物画像データと、台帳基礎データ及び地図データとに基づいて、台帳データを生成する（ステップＳ４）。
Next, the
このように、管理サーバ２０は、点群データに含まれる有形物を画像認識して自動的に抽出して、各有形物の台帳データを生成し、管理するので、各有形物の台帳データを容易に管理することが可能となる。
以下、上記ステップＳ１～４の各動作について詳細に説明する。
In this way, the
Each operation in steps S1 to S4 will be described in detail below.
〔２〕点群データ等の取得（ステップＳ１）
（１）点群データの取得
以下、測定車両１０が道路を走行中又は停車中に点群データを取得するときの動作について説明する。
[2] Obtaining point cloud data, etc. (Step S1)
(1) Acquisition of point cloud data Hereinafter, the operation when acquiring point cloud data while the
測定車両１０は、走行中又は停車中に、自車両に備えられているレーザスキャナ１３を用いて、道路周囲にレーザを照射する。このとき、レーザの光軸は仰俯角及び方位角を変えることにより垂直方向及び水平方向に走査され、走査範囲内にて微小角度ごとにレーザパルスが発射される。そして、レーザスキャナ１３は、その発射したレーザの反射光を受光する。
また、制御部１１は、このレーザの発射時刻及び対象物の反射光の受光時刻を計時部１６から取得し、このレーザの発射から反射光を受光するまでの時間に基づいてレーザスキャナ１３と対象物との間の距離を計測する。
さらに、レーザスキャナ１３は、受光した反射光の光強度を測定する。
The
Further, the control unit 11 acquires the emission time of the laser and the reception time of the reflected light from the target object from the clock unit 16, and controls the
Furthermore, the
また、測定車両１０の走行中又は停車中には、レーザスキャナ１３からレーザの発射方向の情報、ＧＰＳ１４又はオドメータ１８により測定車両１０の現在位置情報、ＩＭＵ１５により測定車両１０の車体の姿勢を示す情報が、それぞれ取得される。
これら各情報は、計時部１６により計時される時刻情報とそれぞれ対応付けられ、情報格納部１２に格納される。
In addition, while the
Each of these pieces of information is stored in the
レーザスキャナ１３の位置・姿勢は、測定車両１０の位置・姿勢と一定の関係にあるから、制御部１１は、測定車両１０の位置・姿勢及びレーザの発射方向の情報に基づいて、レーザスキャナ１３の位置・姿勢を求める。
制御部１１は、上記レーザスキャナ１３と対象物との間の距離、レーザスキャナ１３の位置・姿勢を示す情報といった各情報に基づいて、レーザパルスを反射した対象物を構成する各座標点の空間座標（三次元座標）を表す点群データを算出する。
例えば、上記各座標点の座標の「１」が「１０ｋｍ」を示すといったように、座標は実際の距離と変換可能な数値であるものとする。
点群を構成する各座標点の点群データの空間座標情報は、ＧＰＳ１４により得られた緯度経度情報と対応付けられる。
また、点群データの空間座標情報は、緯度、経度及び海抜からの標高により表されてもよい。
Since the position and orientation of the
The control unit 11 controls the space of each coordinate point constituting the object that reflected the laser pulse based on information such as the distance between the
For example, it is assumed that the coordinates are numerical values that can be converted into actual distances, such as "1" in the coordinates of each of the above coordinate points indicates "10 km."
The spatial coordinate information of the point group data of each coordinate point constituting the point group is associated with latitude and longitude information obtained by the
Moreover, the spatial coordinate information of point cloud data may be represented by latitude, longitude, and altitude from sea level.
図９は、本発明の第１の実施の形態における点群データの一例を示す図である。
図に示すように、情報格納部１２には、点群データとして、測定した各座標点（の空間座標情報）（Ｘ，Ｙ，Ｚ）と、その受光した反射光の光強度とがそれぞれ対応付けられて格納されている。
FIG. 9 is a diagram showing an example of point cloud data in the first embodiment of the present invention.
As shown in the figure, the
（２）点群データの立体画像化
管理サーバ２０は、上記のように取得された点群データを利用して、以下のように点群データによる立体画像を生成することができる。
図１０は、本発明の第１の実施の形態における空間座標を平面に投影し平面座標を求めることを説明するための図である。
図に示すように、管理サーバ２０は、視点の座標を（Ｐｘ，Ｐｙ，Ｐｚ）としたときに、点群データの各座標点（Ｘ，Ｙ，Ｚ）を、投影座標点（ｘ，ｙ）に投影した座標を求める。
このようにして、管理サーバ２０は、点群データの各座標点（Ｘ，Ｙ，Ｚ）に基づいて、ある視点から見た風景の立体画像を生成することができる。
図１１は、本発明の第１の実施の形態における点群データによる立体画像の表示例を示す図である。
図に示す例では、道路を走行する自動車の搭乗者に近い視点から見た風景の立体画像が点群により表現されており、道路管理者は、撮影画像と同様に、当該点群データによる風景画像を確認することにより、有形物等の状態を容易に把握することができる。
(2) Converting point cloud data into a three-dimensional image The
FIG. 10 is a diagram for explaining how spatial coordinates are projected onto a plane to obtain plane coordinates in the first embodiment of the present invention.
As shown in the figure, when the coordinates of the viewpoint are (Px, Py, Pz), the
In this way, the
FIG. 11 is a diagram showing an example of displaying a stereoscopic image using point cloud data according to the first embodiment of the present invention.
In the example shown in the figure, a three-dimensional image of the landscape seen from a viewpoint close to the passenger of a car traveling on the road is expressed as a point cloud, and the road administrator can use the point cloud data to create By checking the image, the condition of the tangible object etc. can be easily grasped.
（３）点群データの平面地図化
また、上述のとおり、点群データの空間座標を平面に投影する際、地上垂直方向からの視点から見た任意の表示倍率の点群による画像を表示させることにより、当該点群の画像を通常の平面地図と同様に利用することもできる（以下、当該平面地図状に表される点群データを「点群地図情報」という）。
(3) Planar mapping of point cloud data Also, as mentioned above, when projecting the spatial coordinates of point cloud data onto a plane, an image of the point cloud at an arbitrary display magnification as seen from a viewpoint perpendicular to the ground is displayed. By doing so, the image of the point cloud can be used in the same way as a normal planar map (hereinafter, point cloud data represented in the form of a planar map will be referred to as "point cloud map information").
（４）画像データの取得
測定車両１０は、道路上を走行中又は停車中に、上記点群データに加え、カメラ１７で道路周囲を撮影し、画像データ（カラー）を取得する。
制御部１１は、その画像データとともに、その撮影した時刻を計時部１７から取得し、これらを対応付けて情報格納部１２に格納する。
また、制御部１１は、カメラ１７の位置・姿勢は、測定車両１０の位置・姿勢と一定の関係にあることから、測定車両１０の位置・姿勢の情報に基づいて、上記画像撮影時のカメラ１７の位置・姿勢を求める。
(4) Acquisition of image data In addition to the above point cloud data, the
The control section 11 acquires the image data and the time at which the image was taken from the
Further, since the position and orientation of the
図１２は、本発明の第１の実施の形態における画像データの一例を示す図である。
図の例では、撮影された画像データ（撮影画像）を、撮影時のカメラ１７の位置・姿勢に対応付けられて情報格納部１２に格納されている。
図１３は、本発明の第１の実施の形態における画像データの画像表示例を示す図である。
図に示すように、画像データは、通常のカメラ等で撮影された静止画又は動画を表す。
FIG. 12 is a diagram showing an example of image data in the first embodiment of the present invention.
In the illustrated example, photographed image data (photographed image) is stored in the
FIG. 13 is a diagram showing an example of image display of image data in the first embodiment of the present invention.
As shown in the figure, the image data represents a still image or a moving image taken with a normal camera or the like.
上記のように、収納装置１０が点群データ及び画像データを取得した後、管理サーバ２０は、これら点群データ及び画像データをネットワークを介して、又は情報記録媒体を介して測定車両１０から取得する。
As described above, after the
〔３〕点群データに関連するデータの生成（ステップＳ２）
（１）重畳画像データの生成
管理サーバ２０は、測定車両１０から取得した点群データ及び画像データに基づいて、画像データに点群データを重畳したデータである重畳画像データを生成する。
[3] Generation of data related to point cloud data (step S2)
(1) Generation of superimposed image data The
管理サーバ２０は、画像データに含まれる撮影画像及び撮影時のカメラ１７の位置・姿勢・画角に基づいて、撮影画像の視野内にある点群データの各座標点（Ｘ，Ｙ，Ｚ）を抽出する。
以下、図１０を用いて、重畳画像データの生成について説明すると、管理サーバ２０は、視点の座標を（Ｐｘ，Ｐｙ，Ｐｚ）としたときに、抽出した各座標点（Ｘ，Ｙ，Ｚ）を、撮影画像の座標系（投影座標点）（ｘ，ｙ）に投影した座標を求める。
このように、点群データにおける各座標点（Ｘ，Ｙ，Ｚ）を、撮影画像の座標系（ｘ，ｙ）に投影した座標を求めたことから、各座標点（Ｘ，Ｙ，Ｚ）は、撮影画像に投影された投影座標点（ｘ，ｙ）と対応付けられる。
管理サーバ２０は、これを利用して、撮影画像上の各投影座標点（ｘ，ｙ）に対して、これに対応する各座標点の座標（Ｘ，Ｙ，Ｚ）を重畳した画像データ（重畳画像データ）を作成することができる。
The
The generation of superimposed image data will be explained below using FIG. 10. When the coordinates of the viewpoint are (Px, Py, Pz), the
In this way, since the coordinates of each coordinate point (X, Y, Z) in the point cloud data are projected onto the coordinate system (x, y) of the captured image, each coordinate point (X, Y, Z) is associated with the projected coordinate point (x, y) projected on the captured image.
Using this, the
このように、管理サーバ２０は、上記点群データの座標点と、撮影画像（画像データ）の投影座標点とを対応付けることにより、点群データの座標点が指定されると、これに対応した画像データを抽出することができるようになる。
In this way, the
図１４は、本実施の形態における重畳画像データの一例を示す図である。
図の例では、画像データ（撮影画像）と、その画像データ（撮影画像）の各投影座標点（ｘ，ｙ）に各座標点の座標（Ｘ，Ｙ，Ｚ）とが対応付けられて管理サーバ２０に格納されている。
また、管理サーバ２０は、各重畳画像データを、撮影画像ごとに管理することが可能であり、各重畳画像データに後述の有形物ＩＤを対応付けて格納することにより、道路管理者は、調べたい有形物の形状や現況等を容易かつ迅速に検索することが可能となる。
また、空間座標を平面に投影する際、視点の座標を変更することにより、あらゆる角度から見た任意の表示倍率の重畳画像データの画像を生成することができる。例えば、運転者の視点からの画像を生成することもできるし、垂直方向上方の視点からの画像（鳥俯瞰図）を生成し通常の平面地図と同様に利用することもできる。
FIG. 14 is a diagram showing an example of superimposed image data in this embodiment.
In the example shown in the figure, image data (photographed image) and the coordinates (X, Y, Z) of each coordinate point are associated with each projected coordinate point (x, y) of the image data (photographed image) and managed. It is stored in the
In addition, the
Further, when projecting the spatial coordinates onto a plane, by changing the coordinates of the viewpoint, it is possible to generate an image of the superimposed image data at any display magnification when viewed from any angle. For example, an image from the driver's perspective can be generated, or an image from a vertically upward perspective (bird's eye view) can be generated and used in the same way as a normal planar map.
（３）カラー点群データの生成
また、管理サーバ２０は、上記のように、測定車両１０から取得した画像データ及び点群データに基づいて、色付けされた点群データであるカラー点群データを生成する。
管理サーバ２０は、画像データに含まれる撮影画像及び撮影時のカメラ１７の位置・姿勢・画角に基づいて、撮影画像の視野内にある点群データの各座標点（Ｘ，Ｙ，Ｚ）を抽出する。
次に、管理サーバ２０は、図１０に示すように、抽出した各座標点（Ｘ，Ｙ，Ｚ）を、撮影画像の座標系（投影座標点）（ｘ，ｙ）に投影した座標を求める。さらに、管理サーバ２０は、投影した座標に相当する、例えば撮影画像中の色（ＲＧＢ値）を投影前の座標点（Ｘ，Ｙ，Ｚ）の色とする。
(3) Generation of color point cloud data Furthermore, as described above, the
The
Next, as shown in FIG. 10, the
当該撮影画像の視野内にある全ての座標点について色を決定すると、管理サーバ２０は、当該撮影画像を撮影した位置（Ｘｃ、Ｙｃ、Ｚｃ）と、各座標点の座標（Ｘ，Ｙ，Ｚ）と色（ＲＧＢ値）の組み合わせをカラー点群データとして格納する。
図１５は、本実施の形態におけるカラー点群データの一例を示す図である。
図の例では、各座標点ごとに、空間座標、受光した反射光の光強度、色データ（ＲＧＢ値）が互いに対応付けられて、カラー点群データとして管理サーバ２０に格納されている。
After determining the colors for all the coordinate points within the field of view of the photographed image, the
FIG. 15 is a diagram showing an example of color point cloud data in this embodiment.
In the illustrated example, for each coordinate point, the spatial coordinates, the light intensity of the received reflected light, and color data (RGB values) are associated with each other and stored in the
（４）地図データと点群データの紐付け
上述のとおり、管理サーバ２０は、各地点に対して地図座標点の座標（Ｘ，Ｙ）の情報が対応付けられている地図データを格納している。この地図座標点の各座標（Ｘ，Ｙ）は点群データの各座標点（Ｘ，Ｙ，Ｚ）のＸＹ座標と同一又は変換可能に設定されている。以下、本実施の形態では両座標のＸＹ座標は一致しているものとして説明を進める。
(4) Linking map data and point cloud data As described above, the
管理サーバ２０は、各座標点の座標（Ｘ，Ｙ）に基づいて、上記点群データと地図データとを紐付けて格納する。
これにより、管理サーバ２０は、地図データ上で地図座標点（Ｘ，Ｙ）が指定されると、その地図座標点（Ｘ，Ｙ）に紐付けられている点群データの座標点（Ｘ，Ｙ，Ｚ）を抽出し、その抽出した座標点（Ｘ，Ｙ，Ｚ）及びその座標点から所定距離内の各座標点（Ｘ，Ｙ，Ｚ）を含む点群データを表示することができる。
The
As a result, when the map coordinate point (X, Y) is specified on the map data, the
また、上記のとおり、本実施の形態における台帳作成システムにおいては、点群データと画像データの紐付けもされることから、各座標点の座標（Ｘ，Ｙ）をキーにして、点群データ、画像データ及び地図データを紐付けすることができ、さらに、その座標（Ｘ，Ｙ）に位置する有形物の属性データを管理者端末３０により入力し、紐付けることができる。
In addition, as described above, in the ledger creation system of this embodiment, point cloud data and image data are also linked, so using the coordinates (X, Y) of each coordinate point as a key, point cloud data , image data and map data can be linked, and attribute data of a tangible object located at the coordinates (X, Y) can be inputted by the
このように、管理サーバ２０は、道路管理事業に係る各種データを各座標点の座標（Ｘ，Ｙ）をキーにして紐付けして管理するので、各種データの総合窓口として道路管理事業における点検業務の効率化を支援し、例えば、地理情報システム（ＧＩＳ：Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）のプラットフォームとしての機能を果たすことができる。
In this way, the
また、道路管理者は、管理者端末３０の操作部３５を用いて、有形物の名称や住所等を検索キーとして入力し、管理サーバ２０へ送信することにより、管理サーバ２０からその検索結果である有形物の有形物データを迅速に取得することができ、特に緊急時のリードタイムの短縮が可能となる。
In addition, the road administrator uses the operation unit 35 of the
〔４〕有形物の認識処理（ステップＳ３）
（１）有形物の抽出
図１６は、本発明の第１の実施の形態における台帳作成システムによる有形物の抽出動作の流れを示すフローチャートである。
以下、本図に沿って、説明を進める。
[4] Tangible object recognition processing (step S3)
(1) Extraction of tangible objects FIG. 16 is a flowchart showing the flow of operations for extracting tangible objects by the ledger creation system according to the first embodiment of the present invention.
Below, the explanation will proceed according to this figure.
管理サーバ２０は、測定車両１０から取得した点群データを情報格納部２２に格納している。
管理サーバ２０の制御部２１は画像認識を行い、情報格納部２２に格納されている点群データによる全体画像から、点群データによる有形物の画像を表す有形物点群データを抽出し、その有形物の種類を特定する（ステップＳ１０１）。
The
The control unit 21 of the
ステップＳ１０１において、制御部２１が点群データによる全体画像から抽出する特徴量は、例えば、対象物の局所情報に対するＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴量等であるとしてもよい。
情報格納部２２には、各種類の有形物の点群データによる画像モデルの特徴量（特徴点）データが有形物の種類の情報に対応付けられて格納されている。
制御部２１が、この各種類の有形物の画像モデルの特徴量データを利用して、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又はＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等といったニューラルネットワークを用いたディープラーニングにより画像認識を行ってもよい。
この画像認識の方法については、ディープラーニングを用いた一般的な画像認識の方法を用いるとしてよく、その詳細な内容については説明を省略する。
In step S101, the feature amount that the control unit 21 extracts from the entire image based on point cloud data is, for example, a SIFT (Scale-Invariant Feature Transform) feature amount or a SURF (Speed Up Robust Features) feature amount for local information of the object. It may be.
The
The control unit 21 uses the feature data of the image models of each type of tangible object to perform image recognition through deep learning using a neural network such as a DNN (Deep Neural Network) or a CNN (Convolutional Neural Network). You may do so.
As for this image recognition method, a general image recognition method using deep learning may be used, and detailed explanation thereof will be omitted.
また、制御部２１は、点群データによる画像の画像認識に代えて、有形物を構成する点群の空間座標点の座標情報について、予め情報格納部２２に格納されている各種類の有形物モデルの空間座標点の座標情報の相対的位置の特徴量データ（特徴量ベクトル）を利用して、ディープラーニングにより有形物の認識を行うようにしてもよい。
In addition, instead of image recognition of images based on point cloud data, the control unit 21 performs image recognition for each type of tangible object stored in advance in the
ステップＳ１０１において、制御部２１は、所定領域における点群データによる画像のうち、例えば、道路、道路標識又は街路灯等の有形物の特徴量データを用いて、各有形物の画像認識を行い、道路、道路標識又は街路灯等を構成する点群データ（有形物点群データ）を抽出する。
ここで、抽出された有形物点群データには、各有形物を構成する各座標点の座標情報及び緯度経度情報が含まれる。
In step S101, the control unit 21 performs image recognition of each tangible object, for example, using feature data of tangible objects such as roads, road signs, or street lights, among images based on point cloud data in a predetermined area, Extract point cloud data (tangible object point cloud data) that constitute roads, road signs, street lights, etc.
Here, the extracted tangible object point group data includes coordinate information and latitude and longitude information of each coordinate point that constitutes each tangible object.
制御部２１は、ステップＳ１０１における画像認識の際、上記抽出した有形物と特徴量データが合致した有形物モデルの種類を特定する。制御部２１は、この特定した有形物の種類の情報を有形物点群データに対応付ける（ステップＳ１０２）。 During image recognition in step S101, the control unit 21 specifies the type of tangible object model whose feature amount data matches the extracted tangible object. The control unit 21 associates information on the type of the specified tangible object with the tangible object point cloud data (step S102).
上述の重畳画像データの生成処理において、点群データにおける各座標点（Ｘ，Ｙ，Ｚ）と、撮影画像（測定車両１０による撮影画像の画像データ）に投影された投影座標点（ｘ，ｙ）とが対応付けられている。
制御部２１は、これを利用して、上記有形物点群データにおける座標点に対応付けられている上記撮影画像に投影された投影座標点を特定し、上記特定した投影座標点を含む撮影画像である有形物画像データを抽出する（ステップＳ１０３）。
ここで抽出された有形物画像データは、上記抽出された有形物の画像を含む。
In the generation process of the superimposed image data described above, each coordinate point (X, Y, Z) in the point cloud data and the projected coordinate point (x, y ) are associated with each other.
Using this, the control unit 21 identifies the projected coordinate points projected on the captured image that are associated with the coordinate points in the tangible object point group data, and creates a captured image that includes the identified projected coordinate points. The tangible object image data is extracted (step S103).
The tangible object image data extracted here includes the image of the extracted tangible object.
制御部２１は、ステップＳ１０３において、複数通り（例えば、近景及び遠景）の有形物画像データ（撮影画像）を抽出する。
近景の撮影画像は、遠景の撮影画像に比べて、有形物が大きく映っている。すなわち、近景の撮影画像は、遠景の撮影画像に比べて、有形物点群データの座標点とカメラ１７の撮影位置の座標点との間の距離が短い。
In step S103, the control unit 21 extracts a plurality of types (for example, near view and distant view) of tangible object image data (photographed images).
In a photographed image of a close view, tangible objects appear larger than in a photographed image of a distant view. That is, the distance between the coordinate point of the tangible object point group data and the coordinate point of the photographing position of the
次に、制御部２１は、情報格納部２２に格納されている地図データから、上記抽出した有形物の有形物点群データの緯度経度情報に該当する有形物地図データを抽出する（ステップＳ１０４）。
ここで、例えば、制御部２１は、有形物点群データの緯度経度情報を含む所定範囲の地図領域の地図データを有形物地図データとして抽出する。
Next, the control unit 21 extracts tangible object map data corresponding to the latitude and longitude information of the tangible point group data of the extracted tangible objects from the map data stored in the information storage unit 22 (step S104). .
Here, for example, the control unit 21 extracts map data of a predetermined range of map area including the latitude and longitude information of the tangible object point group data as the tangible object map data.
次に、上記抽出した有形物点群データ、有形物画像データ及び有形物地図データに対して、各有形物を識別するための固有の有形物ＩＤを付与し、これら有形物点群データ、有形物画像データ及び有形物地図データを互いに対応付ける（ステップＳ１０５）。
以上で、動作を終了する。
Next, a unique tangible object ID for identifying each tangible object is assigned to the above-extracted tangible object point cloud data, tangible object image data, and tangible object map data, and these tangible object point cloud data, tangible object map data, The object image data and tangible object map data are associated with each other (step S105).
This completes the operation.
このように、管理サーバ２０は、有形物点群データ、有形物画像データ及び有形物地図データを互いに対応付けるので、各有形物ごとに、その種類、画像及び供用位置が示された地図の情報を総合して管理することができ、これらデータを用いて台帳データを生成できるようになる。
In this way, the
〔５〕台帳データの生成（ステップＳ４）
（１）台帳データの作成
図１７は、本発明の第１の実施の形態における台帳作成システムによる台帳データの作成動作の流れを示すフローチャートである。
以下、本図に沿って、説明を進める。
[5] Generation of ledger data (step S4)
(1) Creation of ledger data FIG. 17 is a flowchart showing the flow of the ledger data creation operation by the ledger creation system in the first embodiment of the present invention.
Below, the explanation will proceed according to this figure.
まず、管理サーバ２０の制御部２１は、同一の有形物ＩＤに対応付けられている有形物点群データ、有形物画像データ及び有形物地図データを抽出する。
制御部２１は、有形物点群データに基づいて該当する有形物の形状の特徴を特定する（ステップＳ２０１）。
First, the control unit 21 of the
The control unit 21 identifies the feature of the shape of the relevant tangible object based on the tangible object point group data (step S201).
例えば、情報格納部２２には、予め有形物の形状の各種類の特徴量（特徴点）データが格納されており、制御部２１は、ステップＳ２０１において、この各種類の有形物の形状の特徴量データを利用して、形状の特徴を特定する。
この形状の特徴の方法については、ディープラーニングを用いた一般的な画像認識の方法を用いるとしてよく、その詳細な内容については説明を省略する。
For example, the
A general image recognition method using deep learning may be used as a method for determining the shape characteristics, and a detailed explanation thereof will be omitted.
また、制御部２１は、画像認識に代えて、有形物を構成する点群の空間座標点の座標情報について、予め情報格納部２２に格納されている各種類の有形物の空間座標点の座標情報の特徴量データを利用して、ディープラーニングにより形状の特徴を特定するようにしてもよい。
In addition, instead of image recognition, the control unit 21 calculates the coordinates of the spatial coordinate points of each type of tangible object stored in advance in the
例えば、情報格納部２２は、各有形物の数種類の典型的な形状を示すモデルの特徴量データを格納しており、制御部２１は、ステップＳ２０１において、当該特徴量データを用いて、上記認識した有形物がどの典型的な形状に該当するかを判断する。
上記「有形物の形状の種類」は、上述の「有形物の種類」とは異なる分類であってもよい。例えば、有形物の種類が「道路標識」である場合、有形物の形状の種類は、「道路標識」を形状によりさらに細分化する分類であってよく、その道路標識を構成する支柱の形状により分類してもよい。
For example, the
The above-mentioned "type of shape of tangible object" may be a different classification from the above-mentioned "type of tangible object". For example, if the type of tangible object is a "road sign," the shape type of the tangible object may be a classification that further subdivides "road sign" according to the shape, and the shape of the support that makes up the road sign. May be classified.
次に、制御部２１は、抽出した有形物点群データの座標情報に基づいて、有形物のサイズ情報を計算する（ステップＳ２０２）。
ここで計算するサイズ情報の内容は、有形物の種類に応じて異なるようにしてもよい。
例えば、有形物が道路標識、信号機又は街路灯等の柱形状である場合、制御部２１は、有形物を構成する柱部分を構成する点群の座標情報に基づいて、その柱部分の長さ（高さ）をサイズ情報として計算する。また、制御部２１は、有形物が道路である場合は、その該当区間の道路を構成する点群の座標情報に基づいて、その道路の長さをサイズ情報として計算する。
Next, the control unit 21 calculates size information of the tangible object based on the coordinate information of the extracted tangible object point group data (step S202).
The contents of the size information calculated here may differ depending on the type of tangible object.
For example, when the tangible object is in the shape of a column such as a road sign, a traffic light, or a street light, the control unit 21 determines the length of the column based on the coordinate information of the point cloud that constitutes the column that constitutes the tangible object. (height) is calculated as size information. Further, when the tangible object is a road, the control unit 21 calculates the length of the road as size information based on the coordinate information of the point group forming the road in the corresponding section.
次に、制御部２１は、有形物点群データの緯度経度情報、及び当該有形物点群データに対応付けられている有形物の種類の情報に合致する緯度経度情報及び有形物の種類の情報を含む台帳基礎データを抽出する（ステップＳ２０３）。
ステップＳ２０３における有形物点群データの緯度経度情報とは、当該有形物点群データを構成する点群の座標情報の全部又は一部（代表値）そのもの又は対応付けられている緯度経度情報である。
例えば、制御部２１は、ステップＳ２０３において、ある有形物の有形物点群データに対応付けられている有形物の種類と、当該有形物点群データを構成する点群に対応付けられている緯度経度情報のうちの１つを項目に含む台帳基礎データを抽出する。
Next, the control unit 21 generates the latitude and longitude information of the tangible object point cloud data and the latitude and longitude information and the information of the tangible object type that match the tangible object type information associated with the tangible object point cloud data. The ledger basic data including the following is extracted (step S203).
The latitude and longitude information of the tangible object point cloud data in step S203 refers to all or a part (representative value) of the coordinate information of the point group that constitutes the tangible object point cloud data, or the latitude and longitude information that is associated with it. .
For example, in step S203, the control unit 21 determines the type of tangible object that is associated with the tangible point cloud data of a certain tangible object, and the latitude that is associated with the point cloud that constitutes the tangible object point cloud data. Extract basic ledger data that includes one item of longitude information.
次に、制御部２１は、有形物点群データに対応付けられている有形物ＩＤを、抽出した台帳基礎データに対応付けて台帳データを生成する（ステップＳ２０４）。 Next, the control unit 21 generates ledger data by associating the tangible object ID associated with the tangible object point cloud data with the extracted ledger basic data (step S204).
さらに、制御部２１は、当該台帳データと同一の有形物ＩＤの有形物画像データ及び有形物地図データを情報格納部２２から抽出し、これら抽出した有形物画像データ及び有形物地図データと、上記特定した形状の種類と、上記計算したサイズ情報とを、上記生成した台帳データに対して追加する（ステップＳ２０５）。
以上で動作が終了する。
Further, the control unit 21 extracts tangible object image data and tangible object map data having the same tangible object ID as the ledger data from the
This completes the operation.
以上説明したように、本実施の形態では、管理サーバ２０は、台帳基礎データに対し、有形物のサイズ情報、有形物の供用位置の有形物地図データ、有形物の近景及び遠景を表す有形物画像データを追加して台帳データを生成するので、道路管理者は、有形物の管理に必要な情報が一体となった台帳を最小限の労力で得ることができ、一括管理を行うことが可能となる。
As explained above, in the present embodiment, the
また、本実施の形態における台帳データには、該当する有形物の形状の種類及びサイズ情報が含まれているので、道路管理者は、これら有形物の形状種類及びサイズ情報を確認することにより、有形物を容易に特定できるとともに、有形物の部品交換や補修の際には、その交換用又は補修用の有形物の部品を特定することができ、交換又は補修作業を円滑に進めることが可能となる。 In addition, since the ledger data in this embodiment includes the shape type and size information of the relevant tangible object, the road administrator can confirm the shape type and size information of the tangible object. In addition to being able to easily identify tangible objects, when replacing or repairing parts of a tangible object, it is possible to identify the parts of the tangible object for replacement or repair, allowing the replacement or repair work to proceed smoothly. becomes.
上述のとおり、情報格納部２２に格納されている地図データには、緯度経度情報と住所情報とが含まれており、両者が対応付けられている。
台帳基礎データに有形物の供用位置の緯度経度情報が含まれてはいるが、住所情報が含まれていない場合は、制御部２１は、地図データを参照し、台帳基礎データに含まれる緯度経度情報を住所情報に変換し、台帳データに追記するようにしてもよい。
As described above, the map data stored in the
If the ledger basic data includes the latitude and longitude information of the in-service location of the tangible object but does not include address information, the control unit 21 refers to the map data and determines the latitude and longitude information included in the ledger basic data. The information may be converted into address information and added to the ledger data.
本実施の形態では、各台帳基礎データにおいて記載されている有形物の種類の分類が異なる場合であっても、管理サーバ２０は、有形物の種類の分類を統一した台帳データを生成することができる。
この場合、管理サーバ２０は、点群データの全体に対して画像認識処理を行い、予め情報格納部２２に格納されている有形物の各種類の特徴量（特徴点）のデータに基づいて、各有形物の画像認識を行ったとき、その画像認識によって特定した有形物の種類を、台帳データの「種類」の項目に追加する。
例えば、実質的に同じ種類の道路標識が、台帳基礎データＡでは大分類「道路標識」及び小分類「速度制限」と記載されており、台帳基礎データＢでは大分類「道路標識」及び小分類「時速３０ｋｍ制限」と記載されており、種類の表現が異なる場合であっても、管理サーバ２０は、両有形物の形状に基づいて画像認識処理を行った結果、どちらも大分類「道路標識」及び小分類「速度制限」と同じ種類の有形物として認識するので、台帳データでは統一した有形物の種類で各有形物の台帳を管理することができる。
その結果、道路管理者が管理者端末３０を用いて、例えば「種類」をキーにして有形物の検索を行う場合、検索漏れの発生を抑制することが可能となる。
In this embodiment, even if the classification of the tangible object type described in each ledger basic data is different, the
In this case, the
For example, substantially the same type of road sign is listed in the major category "road sign" and minor category "speed limit" in ledger basic data A, and is listed in the major category "road sign" and minor category in ledger basic data B. Even if the type is described as "30 km/h limit" and the expressions of the types are different, the
As a result, when a road administrator uses the
〔６〕台帳データの利用
（１）台帳データの検索動作
以上説明のようにして、管理サーバ２０は、台帳基礎データに対し、有形物画像データ、有形物地図データ、形状の種類及びサイズ情報を対応付けて台帳データを生成し、管理する。
このように台帳データが生成され、管理サーバ２０で管理されると、道路管理者は、管理者端末３０を用いて、有形物の台帳データの検索を行うことができるようになり、有形物の補修補強等のスケジュールの策定等に利用することが可能となる。
[6] Utilization of ledger data (1) Search operation of ledger data As explained above, the
When the ledger data is generated in this way and managed by the
図１８は、本発明の第１の実施の形態における有形物の台帳データの検索動作の流れを示すシーケンスチャートである。
以下、本図に沿って説明を進める。
FIG. 18 is a sequence chart showing the flow of a search operation for tangible object ledger data in the first embodiment of the present invention.
Below, the explanation will proceed according to this figure.
まず、道路管理者は、管理者端末３０を用いて、有形物の検索条件を入力して、この検索条件に該当する有形物の台帳データの検索要求を管理サーバ２０へ送信する（ステップＳ３０１）。
例えば、道路管理者は、管理者端末３０を用いて、検索条件として「新宿区新宿１丁目」、「速度制限（の道路標識）」及び「供用開始から３年経過」を入力する。
First, the road administrator uses the
For example, the road administrator uses the
管理サーバ２０は、上記台帳データの検索要求を管理者端末３０から受信すると、制御部２１は、情報格納部２２に格納されている台帳データのデータベースを参照し、当該取得要求の検索条件に合致した台帳データの検索を行う（ステップＳ３０２）。
When the
次に、制御部２１は、検索処理を実行し、検索条件に合致した台帳データを抽出すると、抽出した台帳データの一覧を示すリストを生成し、通信部２３は、制御部２１による制御のもと、生成したリストの情報を管理者端末３０へ送信する（ステップＳ３０３）。
Next, the control unit 21 executes a search process and, when extracting ledger data that matches the search conditions, generates a list showing a list of the extracted ledger data, and the
管理者端末３０は、上記台帳データの一覧リストの情報を管理サーバ２０から受信すると、表示部３４は、制御部３１による制御のもと、その受信したリストの表示を行う（ステップＳ３０４）。
When the
図１９は、本発明の第１の実施の形態において表示される台帳データの一覧を示すリストの一例を示す図である。
図の例では、リストには、検索条件に合致する複数の有形物の「種類」、「住所情報」、「供用開始年月日」が表示されている。
このリスト上に表示されている「道路標識」等の有形物の「種類」等の文字部分は、該当する有形物ＩＤと対応付けられている。
FIG. 19 is a diagram showing an example of a list showing a list of ledger data displayed in the first embodiment of the present invention.
In the illustrated example, the list displays the "type", "address information", and "date of start of use" of a plurality of tangible objects that match the search conditions.
The text portion such as "type" of a tangible object such as a "road sign" displayed on this list is associated with the corresponding tangible object ID.
道路管理者は、管理者端末３０の操作部３５を操作して、台帳データの取得を希望する有形物の「種類」等の文字部分をクリック等して選択すると、通信部３３は、制御部３１による制御のもと、その選択された文字部分に対応付けられている有形物ＩＤの台帳データの取得要求を管理サーバ２０へ送信する（ステップＳ３０５）。
When the road administrator operates the operation unit 35 of the
管理サーバ２０は、上記台帳データの取得要求を受信すると、制御部２１は、当該取得要求に含まれている有形物ＩＤの台帳データを情報格納部２２から抽出し、通信部２３は、制御部２１による制御のもと、抽出された台帳データを管理者端末３０へ送信する（ステップＳ３０６）。
When the
管理者端末３０は、台帳データを管理サーバ２０から受信すると、表示部３４は、制御部３１による制御のもと、その受信した台帳データの表示を行う（ステップＳ３０７）。
図２０は、本発明の第１の実施の形態において表示される台帳データの一例を示す図である。
図の例では、台帳データには、「有形物ＩＤ」、「基礎台帳ＩＤ」、「基礎台帳有形物ＩＤ」、「種類（大分類、小分類）」、「位置情報（緯度経度情報、住所情報）」、「供用開始年月日」、「管理者」、「竣工図書整理番号」、「サイズ情報（柱高さ）」、「内容（標識の表示内容）」といった文字による属性情報が表示されている。
また、台帳データには、有形物の形状Ｆの種類がイラスト及び文字で表示されており、有形物が該当する形状（本図の例では「直線型」）が楕円ＦＣで囲まれている。
また、台帳データには、有形物地図データＭが表示されており、有形物の供用位置がマークＭｍ１で表現されている。
さらに、台帳データには、遠景の有形物画像データＰ１と、近景の有形物画像データＰ２とが表示されている。
図２１は、本発明の第１の実施の形態における台帳データで表示される遠景の有形物画像データＰ１の一例を示す図である。また、図２２は、本発明の第１の実施の形態における台帳データで表示される近景の有形物画像データＰ２の一例を示す図である。
図２１の例では、遠景の有形物画像データＰ１における有形物の画像部分は円ＰＣで囲まれ、有形物の位置が確認しやすいようになっている。
When the
FIG. 20 is a diagram showing an example of ledger data displayed in the first embodiment of the present invention.
In the example in the figure, the ledger data includes "tangible object ID", "basic ledger ID", "basic ledger tangible object ID", "type (major classification, minor classification)", "location information (latitude and longitude information, address Text-based attribute information such as "Information)", "Date of commencement of service", "Manager", "Completion book serial number", "Size information (column height)", and "Contents (display content of sign)" is displayed. has been done.
Furthermore, in the ledger data, the type of the shape F of the tangible object is displayed in illustrations and letters, and the shape to which the tangible object corresponds ("linear type" in the example of this figure) is surrounded by an ellipse FC.
Furthermore, tangible object map data M is displayed in the ledger data, and the location of the tangible object in use is expressed by a mark Mm1.
Further, the ledger data displays distant view tangible object image data P1 and near view tangible object image data P2.
FIG. 21 is a diagram showing an example of distant view tangible object image data P1 displayed in ledger data according to the first embodiment of the present invention. Further, FIG. 22 is a diagram showing an example of close-up tangible object image data P2 displayed using ledger data in the first embodiment of the present invention.
In the example of FIG. 21, the image portion of the tangible object in the distant view tangible object image data P1 is surrounded by a circle PC, so that the position of the tangible object can be easily confirmed.
道路管理者は、台帳データを参照することにより、有形物の性質や形状等の属性情報を確認できるとともに、その供用位置や現在の状態を容易に確認することが可能となる。 By referring to the ledger data, road administrators can confirm attribute information such as the properties and shapes of tangible objects, as well as easily confirm their use locations and current conditions.
以上説明した例では、「住所情報」、「（有形物の）種類」及び「供用開始年月日からの経過期間」を検索条件にしていたが、これはあくまでも一例であり、道路管理者は、その他の検索条件で検索を行ってもよい。 In the example explained above, the search conditions were "address information," "type (of tangible object)," and "period of time since the date of commencement of service," but this is just an example. , you may search using other search conditions.
また、以上説明した例では、管理サーバ２０は、検索条件に合致した有形物の一覧を文字情報が表示されたリスト形式で管理者端末３０へ提供していたが、地図形式で提供してもよい。
この場合、管理サーバ２０の制御部２１は、検索条件に合致した有形物の台帳データを参照し、その合致した有形物の緯度経度情報に基づいて、それら有形物の位置を示す画像（後述のマークＭｍ２）を地図データ上に合成し、管理者端末３０へ送信する。
図２３は、本発明の第１の実施の形態における台帳データの一覧を地図形式で示した場合の例を示す図である。
図の例では、地図上の検索条件に合致した有形物の位置がマークＭｍ２で表現されている。
各マークＭｍ２は検索条件に合致した有形物の有形物ＩＤに対応付けられている。
道路管理者は、管理者端末３０の操作部３５を操作して、台帳データの取得を希望する有形物のマーク部分をクリック等して指定すると、通信部３３は、制御部３１による制御のもと、その指定されたマークに対応付けられている有形物ＩＤの台帳データの取得要求を管理サーバ２０へ送信する。
Furthermore, in the example described above, the
In this case, the control unit 21 of the
FIG. 23 is a diagram showing an example of a list of ledger data in map format according to the first embodiment of the present invention.
In the illustrated example, the position of a tangible object matching the search condition on the map is represented by a mark Mm2.
Each mark Mm2 is associated with a tangible object ID of a tangible object that matches the search conditions.
When the road administrator operates the operation unit 35 of the
また、上記リスト及び地図の他、点群データ画像の形式で検索条件に合致した有形物の一覧の情報を提供してもよい。
この場合、管理サーバ２０の制御部２１は、検索条件に合致した有形物の台帳データを参照し、その合致した有形物の緯度経度情報に基づいて、それら有形物の位置を示す画像（後述のマークＭｍ３）を点群データ画像上に合成し、管理者端末３０へ送信する。
図２４は、本発明の第１の実施の形態における台帳データの一覧を点群データ画像の形式で示した場合の例を示す図である。
図の例では、点群データ画像上の検索条件に合致した有形物がマークＭｍ３で表現されている。
各マークＭｍ３は検索条件に合致した有形物の有形物ＩＤに対応付けられている。
道路管理者は、管理者端末３０の操作部３５を操作して、台帳データの取得を希望する有形物のマーク部分をクリック等して指定すると、通信部３３は、制御部３１による制御のもと、その指定されたマークに対応付けられている有形物ＩＤの台帳データの取得要求を管理サーバ２０へ送信する。
In addition to the above list and map, information on a list of tangible objects that match the search conditions may be provided in the form of a point cloud data image.
In this case, the control unit 21 of the
FIG. 24 is a diagram showing an example of a list of ledger data in the form of a point cloud data image according to the first embodiment of the present invention.
In the illustrated example, tangible objects that match the search conditions on the point cloud data image are represented by marks Mm3.
Each mark Mm3 is associated with a tangible object ID of a tangible object that matches the search conditions.
When the road administrator operates the operation unit 35 of the
なお、管理サーバ２０が検索条件に合致した有形物の一覧を地図形式又は点群データ画像の形式で管理者端末３０へ送信する場合であって、同一の地図上又は点群データ画像上に、検索条件に合致した全ての有形物を表示する場合には、検索条件に位置情報を含めることが好ましい。
In addition, when the
また、マークＭｍ１，Ｍｍ２は黒丸、マークＭｍ３は丸囲みで表されていたが、これらはあくまでも一例であり、例えば色を他の部分と異ならせる等、有形物の位置が特定できたり、有形物を他と区別できたりするものであれば、他の表現であってもよい。 In addition, the marks Mm1 and Mm2 were represented by black circles, and the mark Mm3 was represented by a circle, but these are just examples. Any other expression may be used as long as it can be distinguished from others.
＜実施形態のまとめ＞
以上説明したように、本発明の第１の実施の形態によれば、管理サーバ２０は、各有形物個々の台帳基礎データに対し、共通の識別情報である有形物ＩＤを付して管理するので、有形物全体の総合的な台帳データのデータベースを構築でき、道路管理者は、補修対象の有形物等を容易に検索することができ、有形物の補修計画を円滑に進めることが可能となる。
<Summary of embodiments>
As explained above, according to the first embodiment of the present invention, the
また、本実施の形態によれば、管理サーバ２０は、測定車両１０により取得された点群データに対して画像認識処理を実行して有形物を抽出し、その抽出した有形物の台帳基礎データに対して、上記抽出した有形物の位置情報に対応付けられている有形物画像データを合成して台帳データを生成するので、道路管理者は、管理者端末３０を用いて台帳データを閲覧する際、上記台帳データに合成された有形物画像データを確認することにより、有形物の状況を容易に把握することが可能となる。
また、道路管理者が合成する有形物の画像をわざわざ現地で撮影したり、どの画像が対象の有形物であるかどうかを確認したりすることなく、有形物の状況が示された台帳を道路管理者に提供することが可能となる。
Further, according to the present embodiment, the
In addition, road administrators can use a ledger showing the status of tangible objects on the road without having to take images of tangible objects to be synthesized on-site or confirming which images are of the target tangible objects. It becomes possible to provide the information to the administrator.
また、本実施の形態によれば、管理サーバ２０は、測定車両１０により取得された点群データに対して画像認識処理を実行して有形物を抽出し、その抽出した有形物の台帳基礎データに対して、上記抽出した有形物の位置情報に対応付けられている有形物地図データを合成して台帳データを生成するので、道路管理者は、管理者端末３０を用いて台帳データを閲覧する際、上記台帳データに合成された有形物地図データを確認することにより、有形物の供用位置を容易に把握することが可能となる。
また、道路管理者が各有形物の供用位置を調べたり、合成する有形物の地図をわざわざ作成したりすることなく、有形物の供用位置が示された台帳を道路管理者に提供することが可能となる。
Further, according to the present embodiment, the
In addition, it is possible to provide road administrators with a ledger showing the locations of tangible objects in use without the need for road administrators to investigate the locations of each tangible object in use or to create a map of tangible objects to be combined. It becomes possible.
また、本実施の形態によれば、管理サーバ２０は、測定車両１０により取得された点群データに対して画像認識処理を実行して有形物を抽出し、その抽出した有形物点群データの座標情報に基づいて、その有形物の形状を特定し、台帳基礎データに対して、上記特定した有形物の形状に関する情報を追加して台帳データを生成するので、道路管理者は、管理者端末３０を用いて台帳データを閲覧する際、上記台帳データに追加された有形物の形状に関する情報を確認することにより、当該有形物の形状がどのタイプであるのかを把握することができ、有形物の補修や交換の際、どの形状の有形物又は部品を用意すべきか容易に判断することが可能となる。
Further, according to the present embodiment, the
また、本実施の形態によれば、管理サーバ２０は、測定車両１０により取得された点群データに対して画像認識処理を実行して有形物を抽出し、その抽出した有形物点群データの座標情報に基づいて、その有形物のサイズを計算し、台帳基礎データに対して、上記計算した有形物のサイズに関する情報を追加して台帳データを生成するので、道路管理者は、管理者端末３０を用いて台帳データを閲覧する際、上記台帳データに追加された有形物のサイズに関する情報を確認することにより、当該有形物のサイズを把握することができ、有形物の補修や交換の際、どのサイズの有形物又は部品を用意すべきか容易に判断することが可能となる。
Further, according to the present embodiment, the
上記の測定車両１０のモービルマッピングシステム、管理サーバ２０及び管理者端末３０は、主にＣＰＵとメモリにロードされたプログラムによって実現される。ただし、それ以外の任意のハードウェアおよびソフトウェアの組合せによってこの装置またはサーバを構成することも可能であり、その設計自由度の高さは当業者には容易に理解されるところである。
また、上記の測定車両１０のモービルマッピングシステム、管理サーバ２０又は管理者端末３０をソフトウェアモジュール群として構成する場合、このプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録され、上記の記録媒体からロードされるようにしてもよいし、所定のネットワークを介して接続されている外部機器からロードされるようにしてもよい。
The mobile mapping system,
In addition, when the mobile mapping system of the
なお、上記の実施の形態は本発明の好適な実施の一例であり、本発明の実施の形態は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形して実施することが可能となる。
例えば、本実施の形態では、有形物のデータの取得や解析を目的としていたが、道路とは独立した物であっても、有形物と同様に、データの取得や解析を行うことができる。
また、本実施の形態では、台帳作成システムを道路管理事業に利用していたが、この「道路」は狭義の「道路」にとどまらず、様々な「交通網」の意味を含む。すなわち、本実施の形態における台帳作成システムは、他の事業分野にも適用可能である。例えば、鉄道、河川、運河又は海上における運航等の他の交通管理事業にも利用可能であり、この場合、列車や船舶等の移動手段が測定車両１０と同様の機能を備え、各種データの取得を行う。
また、上記車両、列車、船舶の他、ドローン、飛行機、ヘリコプター等の移動手段が測定車両１０と同様の機能を備え、空中から各種データ収集を行うことも可能である。
また、測定車両１０と同様の機能を備えた装置を人が持ち運び、各種データの収集を行うこともできる。
また、道路の他、空港や一般的なビルディングのように建築物や各種施設の敷地内、さらには、道路又は施設等の存在しない山野、浜辺、農耕地等においても測定車両１０と同様の機能を備えた各種移動手段及び装置を用いて各種データの収集が行われる。
The embodiments described above are examples of preferred embodiments of the present invention, and the embodiments of the present invention are not limited thereto, and may be implemented with various modifications within the scope of the gist of the present invention. It becomes possible to do so.
For example, in the present embodiment, the purpose is to acquire and analyze data on tangible objects, but data can be acquired and analyzed in the same way as for tangible objects even for objects that are independent of roads.
Furthermore, in this embodiment, the ledger creation system is used for road management business, but the term "road" is not limited to "road" in a narrow sense, but also includes various "transportation networks." That is, the ledger creation system in this embodiment is applicable to other business fields as well. For example, it can be used for other traffic management projects such as railway, river, canal, or maritime operations, and in this case, transportation means such as trains and ships have the same functions as the
In addition to the vehicles, trains, and ships mentioned above, transportation means such as drones, airplanes, and helicopters can also have the same functions as the
Furthermore, a person can carry a device having the same functions as the
In addition to roads, the same functions as the
１０ 測定車両
１１，２１，３１ 制御部
１２，２２，３２ 情報格納部
１３ レーザスキャナ
１４ ＧＰＳ
１５ ＩＭＵ
１６ 計時部
１７ カメラ
１８ オドメータ
１９ 情報入出力部
２０ 管理サーバ
２３，３３ 通信部
３０ 管理者端末
３４ 表示部
３５ 操作部
10 Measurement Vehicle 11, 21, 31
15 IMU
16
Claims (5)
前記位置情報に対応付けられた画像データから、前記抽出された有形物点群データの位置情報に対応付けられた画像データである有形物画像データを抽出する画像抽出部と、
前記有形物の性質に係る項目を含み、前記有形物点群データの位置情報に対応付けられた台帳基礎データに対し、該台帳基礎データの位置情報に対応付けられている前記有形物画像データを合成し、該有形物の台帳データを生成する台帳生成部とを有することを特徴とする台帳作成システム。 a tangible object extraction unit that recognizes the shape of a predetermined tangible object constituted by the point cloud from point cloud data including position information on the surface of the object, and extracts tangible object point cloud data constituting the tangible object; ,
an image extraction unit that extracts tangible object image data that is image data that is associated with the position information of the extracted tangible object point group data from the image data that is associated with the position information;
The tangible object image data that is associated with the position information of the ledger basic data is added to the ledger basic data that includes items related to the properties of the tangible object and is associated with the position information of the tangible object point group data. 1. A ledger creation system comprising: a ledger generation unit that synthesizes and generates ledger data of the tangible object.
前記台帳生成部は、前記台帳基礎データに対し、該台帳基礎データの位置情報に対応付けられている前記有形物地図データを合成し、該有形物の台帳データを生成することを特徴とする請求項１記載の台帳作成システム。 further comprising a map extraction unit that extracts tangible object map data, which is map data associated with the position information of the extracted tangible object point group data, from the map data associated with the position information on the surface of the object; have,
The ledger generation unit synthesizes the tangible object map data associated with the position information of the ledger basic data with the ledger basic data, and generates the tangible object ledger data. The ledger creation system described in Section 1.
前記物体の表面上の位置情報に対応付けられた地図データから、前記抽出された有形物点群データの位置情報に対応付けられた地図データである有形物地図データを抽出する地図抽出部と、
前記有形物の性質に係る項目を含み、前記有形物点群データの位置情報に対応付けられた台帳基礎データに対し、該台帳基礎データの位置情報に対応付けられている前記有形物地図データを合成し、該有形物の台帳データを生成する台帳生成部とを有することを特徴とする台帳作成システム。 a tangible object extraction unit that recognizes the shape of a predetermined tangible object constituted by the point cloud from point cloud data including position information on the surface of the object, and extracts tangible object point cloud data constituting the tangible object; ,
a map extraction unit that extracts tangible object map data that is map data that is associated with the position information of the extracted tangible object point group data from the map data that is associated with the position information on the surface of the object ;
The tangible object map data that is associated with the position information of the ledger basic data is applied to the ledger basic data that includes items related to the properties of the tangible object and is associated with the position information of the tangible object point cloud data. 1. A ledger creation system comprising: a ledger generation unit that synthesizes and generates ledger data of the tangible object.
前記台帳生成部は、前記特定した有形物の形状の種類に関する情報を前記台帳データに追加することを特徴とする請求項１から３のいずれか１項に記載の台帳作成システム。 The tangible object extraction unit identifies the type of shape of the tangible object based on the tangible object point group data of the recognized tangible object,
4. The ledger creation system according to claim 1, wherein the ledger generation unit adds information regarding the type of shape of the identified tangible object to the ledger data.
前記台帳生成部は、前記計算した有形物のサイズの情報を前記台帳データに追加することを特徴とする請求項１から４のいずれか１項に記載の台帳作成システム。 The tangible object extraction unit calculates the size of the recognized tangible object based on position information included in the extracted tangible object point group data,
5. The ledger creation system according to claim 1, wherein the ledger generation unit adds information about the calculated size of the tangible object to the ledger data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183213A JP7412118B2 (en) | 2019-10-03 | 2019-10-03 | Ledger creation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183213A JP7412118B2 (en) | 2019-10-03 | 2019-10-03 | Ledger creation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021060678A JP2021060678A (en) | 2021-04-15 |
| JP7412118B2 true JP7412118B2 (en) | 2024-01-12 |
Family
ID=75380125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019183213A Active JP7412118B2 (en) | 2019-10-03 | 2019-10-03 | Ledger creation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7412118B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009076096A (en) | 2008-11-27 | 2009-04-09 | Mitsubishi Electric Corp | Object specifying device |
| JP2015191573A (en) | 2014-03-28 | 2015-11-02 | 株式会社パスコ | Manhole cover management device, method and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0285963A (en) * | 1988-09-22 | 1990-03-27 | Mitsubishi Electric Corp | Unitary managing system for map data and attribute data |
-
2019
- 2019-10-03 JP JP2019183213A patent/JP7412118B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009076096A (en) | 2008-11-27 | 2009-04-09 | Mitsubishi Electric Corp | Object specifying device |
| JP2015191573A (en) | 2014-03-28 | 2015-11-02 | 株式会社パスコ | Manhole cover management device, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021060678A (en) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6503500B2 (en) | Point cloud data utilization system | |
| JP6284240B2 (en) | Structure information provision system | |
| JP4344869B2 (en) | Measuring device | |
| JP4284644B2 (en) | 3D model construction system and 3D model construction program | |
| US8244026B2 (en) | Apparatus and method for automatic airborne LiDAR data processing and mapping using data obtained thereby | |
| US10291898B2 (en) | Method and apparatus for updating navigation map | |
| US20100257477A1 (en) | Methods, apparatus, and systems for documenting and reporting events via geo-referenced electronic drawings | |
| CN107430815A (en) | Method and system for automatic identification parking area | |
| JP7240573B2 (en) | Construction support system and construction support device | |
| JP7336415B2 (en) | Repair plan formulation device | |
| JP7412118B2 (en) | Ledger creation system | |
| Tsushima et al. | Creation of high definition map for autonomous driving | |
| CN115375864B (en) | Unmanned aerial vehicle-based high-speed railway completion acceptance method | |
| Tiwari et al. | 3D city model enabled e-governance for sustainable urbanization | |
| Brooks et al. | Integration of Unmanned Aerial Systems Data Collection Into Day-to-Day Usage for Transportation Infrastructure–A Phase III Project | |
| Williams | Accuracy assessment of LiDAR point cloud geo-referencing | |
| KR102467860B1 (en) | A computer program for performing a method of diagnosing the safety of a facility stored in a computer-readable recording medium and a facility safety diagnosis system using the same | |
| Paal et al. | Use Cases for Architects and Engineers | |
| WO2023152812A1 (en) | Structure investigation assistance system, structure investigation assistance method, and recording medium | |
| CN117685954B (en) | Multi-mode semantic map construction system and method for mining area | |
| Abo Dawod et al. | Using aerial photography techniques to monitor buildings and enforce building codes | |
| Saksena et al. | Implementation of Laser Scanning Technology for Digital Asset Management of Bridges in Indonesia: A Case Study of Pulau Balang Bridge in East Kalimantan | |
| Poli et al. | Reality-based 3D city models from aerial satellite data | |
| Kavaliauskas | Utilization of photogrammetry and laser scanning technologies for automated monitoring of the progress of construction works | |
| Venæs et al. | MCSINC. Summarising the main findings of work package 1: Demands and requirements for machine sensing infrastructure. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7412118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |