WO2023281797A1 - 設備認識システム及び設備認識方法 - Google Patents

設備認識システム及び設備認識方法 Download PDF

Info

Publication number
WO2023281797A1
WO2023281797A1 PCT/JP2022/006504 JP2022006504W WO2023281797A1 WO 2023281797 A1 WO2023281797 A1 WO 2023281797A1 JP 2022006504 W JP2022006504 W JP 2022006504W WO 2023281797 A1 WO2023281797 A1 WO 2023281797A1
Authority
WO
WIPO (PCT)
Prior art keywords
equipment
facility
image
orientation
camera position
Prior art date
Application number
PCT/JP2022/006504
Other languages
English (en)
French (fr)
Inventor
貴志子 丸山
宣隆 木村
Original Assignee
株式会社日立ソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ソリューションズ filed Critical 株式会社日立ソリューションズ
Publication of WO2023281797A1 publication Critical patent/WO2023281797A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to an equipment recognition system and an equipment recognition method.
  • a mobile mapping system that collects the 3D shape around the road in the form of a 3D point group (three-dimensional point group) while the vehicle is equipped with measuring devices such as a laser scanner, digital camera, and GPS.
  • MMS mobile mapping system
  • equipment is recognized by matching a 3D point group acquired by a laser scanner with a 3D model (three-dimensional model) of the equipment.
  • Patent Literature 2 there is known a technique of grasping the condition of facilities such as utility poles around roads using images captured by cameras.
  • the position and orientation of the camera are estimated from the correspondence relationship between the image captured by the camera and the feature points of the wide-area image.
  • a technique for estimating the camera position and orientation from multi-view images is known as SfM (Structure from Motion), and a technique for generating a 3D point group from multi-view images is known as MVS (Multi-View Stereo).
  • SfM Structure from Motion
  • MVS Multi-View Stereo
  • Patent Document 1 uses a highly accurate 3D point cloud acquired by a laser scanner. Therefore, matching with the 3D model of the facility is possible, and recognition of the facility is possible. On the other hand, there is a need to recognize equipment using a camera without using a laser scanner.
  • Patent Document 2 it is possible to visually confirm specific equipment on the image, but it is difficult to recognize the equipment with high accuracy as three-dimensional information.
  • Non-Patent Document 1 and Non-Patent Document 2 it is possible to generate 3D point clouds from multi-viewpoint images. However, unlike the highly accurate 3D point clouds acquired by laser scanners, it is difficult to apply matching with 3D models of installations.
  • the purpose of the present invention is to recognize equipment with high accuracy by focusing on specific equipment in the equipment recognition system.
  • a facility recognition system includes an input unit that receives a panoramic image series of panoramic images captured by a 360-degree camera, and estimates the camera position and orientation of the 360-degree camera based on the panoramic image series.
  • a camera position/orientation estimator receives a panoramic image series of panoramic images captured by a 360-degree camera, and estimates the camera position and orientation of the 360-degree camera based on the panoramic image series.
  • a camera position/orientation estimator estimates the camera position and orientation of the 360-degree camera based on the panoramic image series.
  • a facility image generation unit that generates a facility image sequence of facility images related to the facility based on the panorama image sequence, and a facility image sequence based on the facility image sequence and the camera position and orientation.
  • an equipment model estimation unit that generates a three-dimensional equipment point cloud and estimates an equipment model of the equipment.
  • a facility recognition method includes an input step of receiving a panoramic image series of panoramic images captured by a 360-degree camera, and estimating a camera position and orientation of the 360-degree camera based on the panoramic image series.
  • the equipment recognition system by focusing on specific equipment, equipment can be recognized with high accuracy.
  • FIG. 1 is a configuration diagram of an equipment recognition system in Example 1.
  • FIG. 4 is a diagram showing a processing flow of the equipment recognition system in Example 1.
  • FIG. 10 is a diagram showing a processing flow of camera position/orientation estimation using a panorama image sequence or an equipment image sequence as an input;
  • FIG. 10 is a diagram illustrating an example of a determination flow for determining whether or not to employ individual features in camera position and orientation estimation; It is a figure which shows an example of an input image.
  • FIG. 10 is a diagram showing a point cloud of feature extraction results corresponding to an input image;
  • FIG. 10 is a diagram showing a point cloud of features determined to be of low density;
  • FIG. 10 is a diagram showing a point cloud of features determined to have high density; It is a figure which shows an example of a facility selection screen.
  • FIG. 3 is a diagram showing an example of a data format of a panorama image; It is a figure which shows the screen structural example which displayed the list of equipment image series.
  • FIG. 10 is a diagram showing an example of a screen configuration displaying a map of camera placement;
  • FIG. 4 is a diagram showing a processing flow of 3D point group generation and equipment model estimation; It is a figure which shows the example of the result of having performed edge extraction with respect to the equipment image. It is a figure which shows the example of utility pole coordinate estimation.
  • Fig. 3 shows a 3D display of a panoramic image of a point cloud without applying the present invention;
  • FIG. 4 is a diagram showing a 3D display of a point cloud facility image when the present invention is applied;
  • FIG. 11 is a configuration diagram of a facility recognition system in Example 2;
  • FIG. 11 is a
  • the generated 3D point cloud has a large positional error, making it difficult to recognize equipment with high accuracy. Therefore, in the present invention, by focusing on a specific piece of equipment and locally increasing the position estimation accuracy of the 3D point cloud, the equipment is highly accurately recognized and the 3D model of the equipment is estimated.
  • the equipment recognition system 100 of Example 1 has a processing unit 110 and a memory 120 .
  • the processing unit has 110 , an input unit 111 , a camera position/orientation estimation unit 112 , an equipment selection unit 113 , an equipment image generation unit 114 and an equipment model estimation unit 115 .
  • a display device 140 such as a display and an input device 141 such as a mouse/keyboard are connected to the processing unit 110 .
  • the memory 120 stores a panorama image sequence 121, setting parameters 122, camera position and orientation 123, track information 124, equipment image sequence 125, and equipment model parameters 126.
  • a panoramic image sequence 130 captured by a 360-degree camera and setting parameters 131 are input to the input unit 11 .
  • the setting parameter 131 is not essential, but may be input when used in internal processing.
  • a 360-degree camera is a camera that can shoot in all directions, up, down, left, and right at once.
  • a 360-degree camera can create an image of all 360-degree views by taking pictures with a plurality of lenses and combining them, and can create a panorama image in one shot.
  • the camera position and orientation estimation unit 112 generates track information 124 from the panorama image series 130 by feature matching, and estimates the relative relationship between the camera positions and orientations 123 of the 360-degree cameras that captured each panorama image.
  • the equipment selection unit 113 selects the target equipment by some method, such as using a GUI (Graphical User Interface).
  • GUI Graphic User Interface
  • the target facility means, for example, a utility pole or the like.
  • the equipment image generation unit 114 generates an equipment image sequence 125 by extracting the target equipment from the panorama image sequence 130 .
  • the equipment model estimation unit 115 generates a 3D point group around the target equipment by multi-view stereo matching between equipment images whose camera positions and orientations 123 are known, and estimates an equipment model (equipment model parameters 126).
  • stereo matching refers to a method of obtaining three-dimensional information from two-dimensional image data.
  • a panorama image series 130 is input (step 201).
  • setting parameters 131 may be input when used in internal processing.
  • a rough positional relationship between the positions and orientations of the cameras that captured each panorama image is estimated (step 202).
  • the target facility is selected (step 203).
  • an equipment image series centering on the target equipment is generated from the panorama image series 130 by planar projection transformation (step 204).
  • the camera position and orientation are re-estimated from the facility image sequence (step 205).
  • the camera position of the facility image and the camera position of the original panorama image are the same, and there is a fixed transformation relationship between the orientations. Therefore, the subsequent camera position/orientation estimation (S205) may be omitted.
  • the preceding camera position/orientation estimation (S202) contains an error, accuracy is expected to be improved by the subsequent camera position/orientation estimation (step 205).
  • a 3D point cloud around the target facility is generated by stereo matching between facility images whose camera positions and orientations are known, and the facility model is estimated (step 206).
  • the above is the processing for one facility, but by adding target facilities one by one, it is possible to estimate the positional relationship between facilities.
  • FIG. 3 there is shown a processing flow of estimating the camera position and orientation with the panorama image sequence 121 or equipment image sequence 125 as input. This is the same processing as 3D reconstruction by normal SfM.
  • step 301 For each image in the image sequence, local image features are detected in a general way (step 301).
  • step 302 For each image pair in the image sequence, feature matching is performed to obtain feature correspondences (step 302).
  • general parallax error reduction measures may be taken, such as excluding image pairs whose camera positions are close to each other.
  • feature point matching is to associate points with similar features between different images.
  • the feature correspondences for the image pairs are compiled to generate a track (step 303).
  • a track indicates the correspondence of features common to a plurality of images.
  • the 3D coordinates of the features and the pose of each camera are estimated (step 304).
  • FIG. 4 shows an example of a determination flow for determining whether or not to employ individual features in camera position and orientation estimation.
  • the object is a non-target object (step 401).
  • the feature is deleted (step 402).
  • the feature is registered (step 404).
  • step 401 if it is determined that it is not in the vicinity of the target facility, it is determined whether the feature density is smaller than the threshold (step 401). As a result of the determination, if it is determined that the feature density is smaller than the threshold, the feature is registered (step 404). As a result of the determination, if it is determined that the feature density is not smaller than the threshold, the feature is deleted (step 402).
  • the feature is a moving object such as a vehicle, it may be deleted because there is a possibility that correspondence cannot be obtained between camera images taken at different times.
  • the feature is the target equipment, it is registered.
  • vehicles and equipment can be detected from images by general object recognition such as YOLO (You Only Look Once) (for example, J. Redmon, S. Divvala, R. Girshickand A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection, ⁇ 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp.779-710, doi. 91.).
  • YOLO You Only Look Once
  • CVPR Computer Vision and Pattern Recognition
  • the feature density can be calculated as the number of feature points in the vicinity of the feature of interest, and the distance to be considered as the vicinity and the density threshold are each defined by the setting parameters 131 (see FIG. 1). Note that the features of the target equipment should be utilized not only as local image features. For example, the top or bottom of the area detected by general object recognition may be added as a feature.
  • FIG. 5 shows an example of classifying point clouds based on feature density.
  • FIG. 5A is a diagram showing an example of an input image.
  • FIG. 5B is a diagram showing a point cloud of feature extraction results corresponding to the input image.
  • FIG. 5C is a diagram showing a point cloud of features determined to have low density.
  • FIG. 5D is a diagram showing a point cloud of features determined to be dense.
  • FIG. 6 shows an example of a facility selection screen used by the facility selection unit 113. As shown in FIG. With reference to FIG. 6, an example of a case in which the user is instructed to specify a facility via a pointer such as a mouse, which is the input device 14, will be described.
  • FIG. 6 shows a screen in which the primary 3D point group is displayed in 3D on the display device 140. As shown in FIG. Similar to normal 3D display, enlargement/reduction, scrolling, rotation, and the like can be performed by operating the input device 141, such as a mouse and keyboard.
  • the user designates a point on the target equipment with a pointer such as a mouse.
  • a pointer such as a mouse.
  • a 3D shape centered on this point 600 is set as the facility area 610 .
  • the 3D-shaped equipment region 610 can be a rectangular parallelepiped, a cylinder, a sphere, or the like, and can be selected depending on the shape of the target equipment.
  • FIG. 6 shows an example when a cylinder is selected.
  • FIG. 7 shows an example of the data format of a panoramic image.
  • An example of using equirectangular projection as a data format of a panorama image is shown.
  • (a) is an orthogonal coordinate system
  • (b) is a unit sphere showing all directions
  • (c) is a panorama image (equirectangular projection).
  • the points on the unit sphere in (b) are represented by longitude and latitude, and can be mutually converted with the orthogonal coordinate system in (a) by the conversion formula shown in the figure.
  • the panorama image of (c) is an image obtained by projecting the points on the spherical surface onto a cylinder, and the longitude and latitude of (b) can be mutually converted by the conversion formula shown in the figure.
  • the facility image series 125 generated from the panorama image series 121 is a planar projection image when the facility is viewed from each 360-degree camera.
  • a planar projection image when viewed in any direction from a 360-degree camera is obtained by projecting points on the spherical surface onto a plane perpendicular to the optical axis of the camera. Since this is the same as the normal perspective projection transformation, the explanation is omitted here.
  • FIG. 8 shows an example of screen configuration for facility image series generation.
  • FIG. 8A is a diagram showing a screen configuration example displaying a list of equipment image series.
  • FIG. 8B is a diagram showing a screen configuration example displaying a map of camera placement.
  • FIG. 8B is a bird's-eye display of the target facility area and the arrangement of the cameras 1 to 5.
  • the input device 141 such as a mouse and keyboard, is operated to enlarge/reduce, scroll, and Rotation and the like are possible.
  • FIG. 8A shows a list of equipment image sequences 125 captured by 360-degree cameras 1 to 4 that are close to the target equipment.
  • the list display of FIG. 8A and the map display of FIG. 8B are displayed on a display device 140 such as a display.
  • the list display in FIG. 8A and the map display in FIG. 8B are arranged vertically or horizontally on a single screen, and when the facility image in FIG. 8A is selected, the display color of the corresponding camera in FIG. 8B changes. You may be able to cooperate with.
  • parameters such as the angle of view and the distance from the facility may be adjusted in real time using sliders or the like.
  • FIG. 9 shows a processing flow of 3D point group generation and facility model estimation.
  • an image pair list is created from the facility image series 125 (step 901).
  • measures such as determining the angle between the facility and the two cameras and excluding image pairs with large angles may be taken.
  • a depth map is generated by stereo matching (step 902).
  • the depth map expresses the distance (depth) to an object using grayscale shading in order to express the depth of a three-dimensional space.
  • the depth map is converted to a point cloud and the point cloud from each image pair is merged (step 903).
  • the equipment model parameters such as position and size are estimated (step 904).
  • the equipment model can be represented by a cylindrical model.
  • the parameters of the cylinder model are represented by, for example, the center coordinates of the bottom surface of the cylinder, the direction of the center axis, the radius, and the height.
  • Cylindrical models can be parameter-estimated by algorithms such as RANSAC.
  • the equipment model estimation unit 115 estimates an equipment model represented by a catenary curve (or quadratic curve approximation of the catenary curve) based on the 3D point group that is a candidate for the equipment, and outputs the parameters of the equipment model.
  • the model estimation performed by the facility model estimation unit 115 is based on, for example, a general model estimation method such as RANSAC.
  • FIG. 10 shows improvement measures in the case of telephone pole model estimation as an example.
  • the angle formed by the equipment and the two cameras is obtained, and image pairs with large angles are excluded. This is because stereo matching requires a high overlap rate.
  • a method for directly estimating facility model parameters using such image pairs without performing point group generation using stereo matching will be described.
  • FIG. 10A is a diagram showing an example of the result of performing edge extraction on the equipment image.
  • FIG. 10B is a diagram illustrating an example of utility pole coordinate estimation.
  • the outline of the utility pole is extracted by extracting a vertically long parallel line near the center of the image from the edge extraction result. Furthermore, the center line of the utility pole is estimated by obtaining the center line of the parallel lines. As shown in FIG. 10B, the utility pole coordinates (X, Y), which are the map coordinates of the utility pole center, are estimated from the results of obtaining the utility pole center lines for a plurality of facility images.
  • the map coordinates of the center of the utility pole obtained here are used in estimating the facility model.
  • the pole diameter can be a configuration parameter if it is known in the facility information. In this case, it is conceivable to use parallel lines whose interval is within the range of this setting parameter.
  • FIG. 11 shows the effect of the invention.
  • FIG. 11A shows a 3D representation of a panoramic image of a point cloud without applying the present invention.
  • FIG. 11B is a diagram showing a 3D display of a point cloud facility image when the present invention is applied.
  • the position estimation accuracy of the 3D point cloud is locally increased, thereby recognizing the facility with high accuracy and creating a 3D model of the facility (for example, a utility pole). can be estimated.
  • the equipment position in the estimation result may be shifted due to the subsequent camera position/orientation estimation (step 205 in FIG. 2).
  • the present invention can locally generate a highly accurate point cloud, it cannot be expected to accurately determine the positional relationship between facilities when viewed as a whole. Therefore, in estimating the positional relationship between facilities, the result of the previous camera position/orientation estimation (step 202 in FIG. 2) is used, and the point groups are arranged so that the center coordinates and how they spread match.
  • the configuration of the equipment recognition system 200 of the second embodiment will be described with reference to FIG. 12 .
  • the configuration of the facility recognition system 200 of the second embodiment differs from the configuration of the facility recognition system 100 of the first embodiment shown in FIG. 1 in that GPS data 132 is input to the facility recognition system 200 of the second embodiment. . Since other configurations are the same as those of the equipment recognition system 100 of the first embodiment shown in FIG. 1, description thereof will be omitted.
  • the equipment recognition system 200 of the second embodiment assumes that a measurement vehicle (for example, an automobile) is equipped with a 360-degree camera and a GPS, and photographs are taken at regular distance intervals while traveling.
  • GPS data 132 is input to the input unit 111 .
  • the camera position/orientation estimation unit 112 uses the GPS data 132 as the initial arrangement of the camera.
  • the configuration of the equipment recognition system 300 of the second embodiment will be described with reference to FIG. 13 .
  • the configuration of the facility recognition system 300 of the third embodiment differs from the configuration of the facility recognition system 200 of the second embodiment shown in FIG. 12 in that the facility data 133 is input to the facility recognition system 300 of the third embodiment. . Since other configurations are the same as those of the equipment recognition system 200 of the second embodiment shown in FIG. 12, description thereof will be omitted.
  • the equipment recognition system 300 of the third embodiment uses the equipment data 133 stored in the equipment management DB.
  • the facility selection unit 113 selects a facility on a screen in which the location of the facility data 133 is displayed on the display device 140 as a map, and the facility image generation unit 114 uses the location of the facility data 133 .
  • the facility management DB stores pre-registered management data such as utility poles.
  • the utility pole management data includes, for example, information such as a management number, type (model number, diameter, height), and installation position (address, coordinates).
  • the position estimation accuracy of the 3D point cloud can be locally increased, thereby recognizing the equipment with high accuracy and estimating the 3D model of the equipment.
  • equipment recognition system 110 processing unit 111 input unit 112 camera position/orientation estimation unit 113 equipment selection unit 114 equipment image generation unit 115 equipment model estimation unit 120 memory 140 display device 141 input device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力部と、前記パノラマ画像系列に基づいて前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定部と、前記パノラマ画像系列に基づいて設備に関する設備画像の設備画像系列を生成する設備画像生成部と、前記設備画像系列と前記カメラ位置姿勢に基づいて前記設備についての３次元設備点群を生成し前記設備の設備モデルを推定する設備モデル推定部とを有する。

Description

設備認識システム及び設備認識方法
　本発明は、設備認識システム及び設備認識方法に関する。
　車両にレーザスキャナ、デジタルカメラ、ＧＰＳ等の計測装置を搭載し、走行しながら道路周辺の３次元形状を３Ｄ点群（３次元点群）という形で収集するモバイルマッピングシステム（Ｍｏｂｉｌｅ　Ｍａｐｐｉｎｇ　Ｓｙｓｔｅｍ：ＭＭＳ）が知られている。
　　例えば、特許文献１では、レーザスキャナにより取得した３Ｄ点群と、設備の３Ｄモデル（３次元モデル）とのマッチングにより設備を認識する。
　一方、カメラによって撮影された画像を用いて、電柱等の道路周辺の設備の状況を把握する技術が知られている。
　　例えば、特許文献２では、カメラによって撮影された画像と広域画像の特徴点の対応関係から、カメラ位置姿勢を推定する。
　　多視点画像からカメラ位置姿勢を推定する技術はＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）、多視点画像から３Ｄ点群を生成する技術はＭＶＳ（Ｍｕｌｔｉ―Ｖｉｅｗ　Ｓｔｅｒｅｏ）として知られており、例えば、非特許文献１および非特許文献２に解説がある。
ＷＯ２０１４－１５５７１５号公報 特開２０１６－０１９０５３号公報
Ｏｎｕｒ　Ｏｚｙｅｓｉｌ，Ｖｌａｄｉｓｌａｖ　Ｖｏｒｏｎｉｎｓｋｉ，Ｒｏｎｅｎ　Ｂａｓｒｉ，Ａｍｉｔ　Ｓｉｎｇｅｒ，"Ａ　Ｓｕｒｖｅｙ　ｏｆ　Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ"，Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２０１７，ａｒＸｉｖ：１７０１．０８４９３ｖ２［ｃｓ．ＣＶ］． Ｓ．Ｍ．Ｓｅｉｔｚ，Ｂ．Ｃｕｒｌｅｓｓ，Ｊ．Ｄｉｅｂｅｌ，Ｄ．Ｓｃｈａｒｓｔｅｉｎ　ａｎｄ　Ｒ．Ｓｚｅｌｉｓｋｉ，"Ａ　Ｃｏｍｐａｒｉｓｏｎ　ａｎｄ　Ｅｖａｌｕａｔｉｏｎ　ｏｆ　Ｍｕｌｔｉ－Ｖｉｅｗ　Ｓｔｅｒｅｏ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　Ａｌｇｏｒｉｔｈｍｓ，"２００６　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’０６），２００６，ｐｐ．５１９－５２８，ｄｏｉ：１０．１１０９／ＣＶＰＲ．２００６．１９．
　特許文献１では、レーザスキャナにより取得した高精度な３Ｄ点群を用いている。このため、設備の３Ｄモデルとのマッチングが可能となり、設備の認識が可能になっている。一方、レーザスキャナを用いずに、カメラを用いて設備の認識を行うことへのニーズがある。
　特許文献２では、特定の設備を画像上で目視で確認することが可能であるが、３次元情報として高精度に設備の認識を行うことは困難である。
　非特許文献１および非特許文献２に示されているＳｆＭおよびＭＶＳを用いれば、多視点画像から３Ｄ点群を生成することは可能である。しかしながら、レーザスキャナによって取得される高精度な３Ｄ点群とは異なり、設備の３Ｄモデルとのマッチングを適用することは困難である。
　本発明の目的は、設備認識システムにおいて、特定の設備に着目することで、高精度に設備の認識を行うことにある。
　本発明の一態様の設備認識システムは、３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力部と、前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定部と、前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成部と、前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定部と、を有することを特徴とする。
　本発明の一態様の設備認識方法は、３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力ステップと、前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定ステップと、前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成ステップと、前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定ステップと、を有することを特徴とする。
　本発明の一態様によれば、設備認識システムにおいて、特定の設備に着目することで、高精度に設備の認識を行うことができる。
実施例１における設備認識システムの構成図である。 実施例１における設備認識システムの処理フローを示す図である。 パノラマ画像系列または設備画像系列を入力としたカメラ位置姿勢推定の処理フローを示す図である。 カメラ位置姿勢推定において個々の特徴を採用するか否かの判定フローの一例を示す図である。 入力画像の一例を示す図である。 入力画像に対応する特徴抽出結果の点群を示す図である。 濃度が低いと判断された特徴の点群を示す図である。 濃度が高いと判断された特徴の点群を示す図である。 設備選択画面の一例を示す図である。 パノラマ画像のデータ形式の一例を示す図である。 設備画像系列の一覧を表示した画面構成例を示す図である。 カメラ配置のマップを表示した画面構成例を示す図である。 ３Ｄ点群生成および設備モデル推定の処理フローを示す図である。 設備画像に対してエッジ抽出を行った結果の例を示す図である。 電柱座標推定の例を示す図である。 本発明を適用しない場合の点群のパノラマ画像の３Ｄ表示を示す図である。 本発明を適用した場合の点群の設備画像の３Ｄ表示を示す図である。 実施例２における設備認識システムの構成図である。 実施例３における設備認識システムの構成図である。
　多視点画像から、カメラの位置姿勢と対象物の３Ｄ復元を同時に推定する従来のＳｆＭでは、生成される３Ｄ点群は位置誤差が大きく、高精度に設備認識を行うことは困難である。そこで、本発明では、特定の設備に着目することで、３Ｄ点群の位置推定精度を局所的に高めることにより、高精度に設備認識を行って設備の３Ｄモデルを推定する。
　以下、図面を用いて実施例について説明する。
　図１を参照して、実施例１の設備認識システムの構成について説明する。
　　実施例１の設備認識システム１００は、処理部１１０とメモリ１２０を有する。処理部は１１０、入力部１１１、カメラ位置姿勢推定部１１２、設備選択部１１３、設備画像生成部１１４及び設備モデル推定部１１５を有する。処理部１１０には、ディスプレイ等の表示装置１４０及びマウス・キーボード等の入力装置１４１が接続されている。
　メモリ１２０は、パノラマ画像系列１２１、設定パラメータ１２２、カメラ位置姿勢１２３、トラック情報１２４、設備画像系列１２５及び設備モデルパラメータ１２６を記憶する。
　入力部１１には、３６０度カメラによって撮影されたパノラマ画像系列１３０及び設定パラメータ１３１が入力される。ここで、設定パラメータ１３１は、必須ではないが、内部処理で使用する際に入力してもよい。
　ここで、３６０度カメラとは、上下左右の全方位を一度に撮影できるカメラのことを言う。例えば、３６０度カメラは、複数のレンズで撮影してつなぎ合わせることで３６０度すべての景色を画像にすることができ、一度の撮影でパノラマ画像が作成できる。
　カメラ位置姿勢推定部１１２は、パノラマ画像系列１３０から特徴マッチングによりトラック情報１２４を生成し、各パノラマ画像を撮影した３６０度カメラのカメラ位置姿勢１２３の相対的な関係を推定する。
　設備選択部１１３は、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を利用する等、何らかの方法により対象設備を選択する。ここで、対象設備とは、例えば、電柱等を言う。
　設備画像生成部１１４は、パノラマ画像系列１３０から対象設備を切り出した設備画像系列１２５を生成する。設備モデル推定部１１５は、カメラ位置姿勢１２３が分かっている設備画像間の多視点ステレオマッチングにより、対象設備周辺の３Ｄ点群を生成し、設備モデル（設備モデルパラメータ１２６）を推定する。ここで、ステレオマッチングとは、２次元の画像データから３次元の情報を得る手法を言う。
　図２を参照して、実施例１における設備認識システム１００の処理フローについて説明する。
　　まず、パノラマ画像系列１３０を入力する（ステップ２０１）。ここで、内部処理で使用する際には、設定パラメータ１３１を入力するようにしてもよい。
　次に、パノラマ画像系列１３０から、各パノラマ画像を撮影したカメラの位置姿勢の大まかな位置関係を推定する（ステップ２０２）。
　　次に、対象設備を選択する（ステップ２０３）。
　　次に、パノラマ画像系列１３０から平面投影変換により対象設備を中心とした設備画像系列を生成する（ステップ２０４）。
　　次に、設備画像系列から、カメラ位置姿勢を推定しなおす（ステップ２０５）。ここで、設備画像のカメラ位置と元のパノラマ画像のカメラ位置は同じであり、姿勢は一定の変換関係がある。このため、後段のカメラ位置姿勢推定（Ｓ２０５）は省略してもよい。しかし、前段のカメラ位置姿勢推定（Ｓ２０２）は誤差が含まれるため、後段のカメラ位置姿勢推定（ステップ２０５）により精度向上が見込まれる。
　最後に、カメラ位置姿勢が分かっている設備画像間でのステレオマッチングにより、対象設備周辺の３Ｄ点群を生成し、設備モデルを推定する（ステップ２０６）。
　以上は一つの設備に関する処理であるが、対象設備を一つ一つ追加することで、設備間の位置関係を推定することが可能である。
　図３を参照して、パノラマ画像系列１２１又は設備画像系列１２５を入力としたカメラ位置姿勢推定の処理フローを示す。
　　通常のＳｆＭによる３Ｄ復元と同様の処理である。
　まず、画像系列の各画像について、一般的な方法で局所画像特徴を検出する（ステップ３０１）。
　　次に、画像系列の各画像ペアについて、特徴マッチングを行って、特徴の対応関係を求める（ステップ３０２）。特に言及はしないが、画像ペアのうちのカメラ位置が近いものを除外する等、一般的な視差誤差の低減策を講じてもよい。ここで、特徴点マッチングとは、異なる画像間で特徴の近い点を対応付けることである。
　画像ペアに対する特徴の対応関係をまとめ、トラックを生成する（ステップ３０３）。トラックは、複数の画像に共通する特徴の対応関係を示したものである。
　　最後に、トラックから、特徴の３Ｄ座標と各カメラの位置姿勢を推定する（ステップ３０４）。
　図４に、カメラ位置姿勢推定において、個々の特徴を採用するか否かの判定フローの一例を示す。
　　最初に、対象外物体かを判定する（ステップ４０１）。
　　判定の結果、対象外物体と判定された場合は、特徴を削除する（ステップ４０２）。
　　判定の結果、対象外物体ではないと判定された場合は、対象設備周辺かを判定する（ステップ４０３）。
　　判定の結果、対象設備周辺と判定された場合は、特徴を登録する（ステップ４０４）。
　　判定の結果、対象設備周辺でない判定された場合は、特徴密度が閾値より小さいかを判定する（ステップ４０１）。
　　判定の結果、特徴密度が閾値より小さいと判定された場合は特徴を登録する（ステップ４０４）。
　　判定の結果、特徴密度が閾値より小さくないと判定された場合は特徴を削除する（ステップ４０２）。
　ここで、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ　Ｓａｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）等により、対応関係から外れる特徴を除外しつつ、カメラ位置を推定する方法が存在する。しかしながら、誤対応を引き起こす可能性のある不要な特徴は事前に削除しておくことが望ましい。そこで、上述のように、個々の特徴を採用するか否かを判定する。
　例えば、特徴が車両のような移動物体の場合、撮影時間の異なるカメラ画像間で対応が取れない可能性があるため削除する。一方、特徴が対象設備の場合には登録する。
　ここで、車両や設備はＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）等の一般物体認識によって、画像から検出することが可能である（例えば、Ｊ．　Ｒｅｄｍｏｎ，Ｓ．Ｄｉｖｖａｌａ，Ｒ．ＧｉｒｓｈｉｃｋａｎｄＡ．Ｆａｒｈａｄｉ，”Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌ－Ｔｉｍｅ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ，”　２０１６　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｌａｓ　Ｖｅｇａｓ，ＮＶ，ＵＳＡ，２０１６，ｐｐ．７７９－７８８，ｄｏｉ：１０．１１０９／ＣＶＰＲ．２０１６．９１．参照）。
　一方、樹木等のような濃淡変化の大きい領域は、局所画像特徴として検出されやすく誤対応の要因となりうる。そこで、特徴密度の高い領域の特徴をノイズとして除外し、特徴密度の低い領域の特徴を採用する。特徴密度は着目する特徴の近傍にある特徴点数として計算することが可能であり、近傍と見なす距離、密度の閾値はそれぞれ設定パラメータ１３１（図１参照）で規定される。なお、対象設備の特徴は局所画像特徴に限らず活用すべきである。例えば、一般物体認識によって検出された領域の最上部や最下部等を特徴として追加してもよい。
　図５に、特徴密度に基づいて点群を分類する例を示す。
　　図５Ａは、入力画像の一例を示す図である。図５Ｂは、入力画像に対応する特徴抽出結果の点群を示す図である。図５Ｃは、濃度が低いと判断された特徴の点群を示す図である。図５Ｄは、濃度が高いと判断された特徴の点群を示す図である。
　図６は、設備選択部１１３で用いる設備選択画面の一例を示す。
　　図６を用いて、ユーザに入力装置１４であるマウス等のポインタを介して設備を指示させる場合の一例を説明する。
　従来のＳｆＭと同様の処理により、精度の粗い一次３Ｄ点群を生成する。図６はこの一次３Ｄ点群を表示装置１４０に３Ｄ表示した画面である。通常の３Ｄ表示と同様に、入力装置１４１であるマウス・キーボード等の操作により拡大・縮小やスクロール、回転等が可能である。
　ユーザは、この一次３Ｄ点群を表示装置１４０に表示した画面上で、対象となる設備上の点をマウス等のポインタで指示する。内部では、通常の３Ｄ表示と同様に、画面上で指示した点６００から近傍検索により、３Ｄ点群の対応点の３Ｄ座標を求めることが可能である。例えば、この点６００を中心とした３Ｄ形状を設備領域６１０として設定する。３Ｄ形状の設備領域６１０は、直方体、円柱、球等が考えられ、対象設備の形状に依存して選択することが可能である。図６では、円柱を選択した場合の例を示している。
　図７は、パノラマ画像のデータ形式の一例を示す。パノラマ画像のデータ形式として、正距円筒図法を用いる場合の例を示す。
　　図７において、（ａ）は直交座標系、（ｂ）は全方位を示す単位球、（ｃ）はパノラマ画像（正距円筒図法）を示す。（ｂ）の単位球上の点は経度緯度によって表現され、（ａ）の直交座標系とは図中に示した変換式により相互に変換が可能である。（ｃ）のパノラマ画像は球面上の点を円筒に投影した画像であり、（ｂ）の経度緯度とは図中に示した変換式により相互に変換が可能である。
　パノラマ画像系列１２１から生成する設備画像系列１２５は、各３６０度カメラから設備の方向を見たときの平面投影画像である。３６０度カメラから任意の方向を見たときの平面投影画像は、球面上の点をカメラの光軸に垂直な平面に投影することで得られる。これは通常の透視投影変換と同様であるので、ここでは説明を省略する。
　図８は、設備画像系列生成の画面構成例を示す。
　　図８Ａは、設備画像系列の一覧を表示した画面構成例を示す図である。図８Ｂは、カメラ配置のマップを表示した画面構成例を示す図である。図８Ｂは、対象設備領域と複数のカメラ１～５の配置を俯瞰表示したものであり、通常の３Ｄ表示と同様に、入力装置１４１であるマウス・キーボード等の操作により拡大・縮小やスクロール、回転等が可能である。
　図８Ａは、対象設備からの距離が近い３６０度カメラ１～４による設備画像系列１２５を一覧表示したものである。図８Ａの一覧表示と図８Ｂのマップ表示は、ディスプレイ等の表示装置１４０に表示される。また、図８Ａの一覧表示と図８Ｂのマップ表示は、一つの画面上で上下または左右に分割配置し、図８Ａの設備画像を選択したら対応する図８Ｂのカメラの表示色が変わる等、相互に連携が取れるようにしてもよい。さらに、画角や設備からの距離等のパラメータをスライダ等でリアルタイムに調整できるようにしてもよい。
　図９は、３Ｄ点群生成および設備モデル推定の処理フローを示す。
　　最初に、設備画像系列１２５から画像ペアリストを作成する（ステップ９０１）。オクルージョンを低減するため、設備と２つのカメラのなす角を求め、角度の大きい画像ペアを除外する等の対策を講じてもよい。
　次に、画像ペアの各々について、ステレオマッチングにより、深度マップを生成する（ステップ９０２）。ここで、深度マップとは、３次元空間の奥行きを表現するため、グレースケールの濃淡を使い対象物までの距離（深度）を表現したものである。
　　次に、深度マップを点群に変換し、各画像ペアによる点群を統合する（ステップ９０３）。
　　最後に、点群と設備モデルの位置合せにより、位置やサイズ等の設備モデルパラメータを推定する（ステップ９０４）。
　例えば、電柱の場合、設備モデルは円柱モデルによって表すことが可能である。円柱モデルのパラメータは、例えば、円柱底面の中心座標、中心軸の向き、半径、高さによって表される。円柱モデルは、ＲＡＮＳＡＣ等のアルゴリズムによってパラメータを推定することが可能である。
　設備モデル推定部１１５は、設備の候補となる３Ｄ点群に基づき、懸垂曲線（又は懸垂曲線の２次曲線近似）によって表現される設備モデルを推定し、設備モデルのパラメータを出力する。設備モデル推定部１１５で行われるモデル推定は、例えば、ＲＡＮＳＡＣ等の一般的なモデル推定手法に基づく。
　図１０は、電柱モデル推定を例にとった場合の改善策を示す。
　　前述の説明で、設備と２つのカメラのなす角を求め、角度の大きい画像ペアを除外することを述べた。ステレオマッチングでは、オーバーラップ率が高いことが要求されるためである。このような画像ペアを用いて、ステレオマッチングを用いた点群生成を行わずに、直接設備モデルパラメータを推定する方法を説明する。
　図１０Ａは、設備画像に対してエッジ抽出を行った結果の例を示す図である。図１０Ｂは、電柱座標推定の例を示す図である。
　図１０Ａに示すように、エッジ抽出の結果から画像の中心付近にある縦に長い平行線を抽出することで、電柱の輪郭線を抽出する。さらに、平行線の中心線を求めて、電柱の中心線を推定する。複数の設備画像について電柱中心線を求めた結果から、図１０Ｂに示すように、電柱中心のマップ座標である電柱座標（Ｘ，Ｙ）を推定する。
　ここで求めた電柱中心のマップ座標を、設備モデル推定で活用する。電柱の直径は設備情報で分かっている場合には設定パラメータとすることが可能である。ここでは、平行線の間隔がこの設定パラメータの範囲にあるものを抽出するといった利用が考えられる。
　図１１は、本発明による効果を示す。
　　図１１Ａは、本発明を適用しない場合の点群のパノラマ画像の３Ｄ表示を示す図である。図１１Ｂは、本発明を適用した場合の点群の設備画像の３Ｄ表示を示す図である。
　このように、本発明では、特定の設備に着目することで、３Ｄ点群の位置推定精度を局所的に高めることにより、高精度に設備認識を行って設備（例えば、電柱）の３Ｄモデルを推定することができる。
　なお、後段のカメラ位置姿勢推定（図２のステップ２０５）により推定結果の設備位置がずれてしまう可能性が考えられる。本発明は局所的には精度の高い点群を生成することが可能であるが、全体としてみた場合、設備間の位置関係を正確に求めることは期待できない。そこで、設備間の位置関係の推定には、前段のカメラ位置姿勢推定（図２のステップ２０２）の結果を用い、点群の中心座標や広がり方が一致するように配置するものとする。
　図１２を参照して、実施例２の設備認識システム２００の構成について説明する。
　　実施例２の設備認識システム２００の構成が図１に示す実施例１の設備認識システム１００の構成と異なる点は、実施例２の設備認識システム２００においてＧＰＳデータ１３２が入力されている点である。その他の構成は、図１に示す実施例１の設備認識システム１００と同じなのでその説明は省略する。
　実施例２の設備認識システム２００は、計測車両（例えば、自動車）に３６０度カメラとＧＰＳを搭載し、走行しながら一定の距離間隔で撮影することを想定している。入力部１１１には、ＧＰＳデータ１３２が入力される。そして、カメラ位置姿勢推定部１１２ではＧＰＳデータ１３２をカメラの初期配置として用いる。
　図１３を参照して、実施例２の設備認識システム３００の構成について説明する。
　　実施例３の設備認識システム３００の構成が図１２に示す実施例２の設備認識システム２００の構成と異なる点は、実施例３の設備認識システム３００において設備データ１３３が入力されている点である。その他の構成は、図１２に示す実施例２の設備認識システム２００と同じなのでその説明は省略する。
　実施例３の設備認識システム３００は、設備管理ＤＢに格納されている設備データ１３３を利用することを想定している。設備選択部１１３では設備データ１３３の位置を表示装置１４０にマップ表示した画面で設備を選択し、設備画像生成部１１４では設備データ１３３の位置を用いる。
　設備管理ＤＢは、電柱等の事前に登録されている管理データを格納する。電柱の管理データには、例えば、管理番号、種別（型番、直径、高さ）、設置位置（住所、座標）等の情報が含まれる。
　上記実施例によれば、特定の設備に着目することで、３Ｄ点群の位置推定精度を局所的に高めることにより、高精度に設備認識を行って設備の３Ｄモデルを推定することができる。
１００　設備認識システム
１１０　処理部
１１１　入力部
１１２　カメラ位置姿勢推定部
１１３　設備選択部
１１４　設備画像生成部
１１５　設備モデル推定部
１２０　メモリ
１４０　表示装置
１４１　入力装置

Claims (15)

  1. 　３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力部と、
    　前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定部と、
    　前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成部と、
    　前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定部と、
    　を有することを特徴とする設備認識システム。
  2. 　入力装置と表示装置と設備選択部を更に有し、
    　前記カメラ位置姿勢推定部は、
    　前記カメラ位置姿勢に基づいて、前記パノラマ画像系列から３次元パノラマ点群を生成して前記表示装置に表示させ、
    　前記設備選択部は、
    　前記表示装置に表示された前記３次元パノラマ点群に基づいて前記入力装置から指示された点の近傍に設備領域を設定し、
    　前記設備画像生成部は、
    　前記設備領域を用いて、前記設備画像系列を生成することを特徴とする請求項１に記載の設備認識システム。
  3. 　前記設備選択部は、
    　前記設備領域を、前記設備の形状に対応した３次元形状に設定することを特徴とする請求項２に記載の設備認識システム。
  4. 　前記カメラ位置姿勢推定部は、
    　前記パノラマ画像系列の特徴を検出し、
    　特徴マッチングによりトラック情報を生成し、
    　検出した前記特徴の特徴密度を算出し、
    　前記特徴密度が所定の閾値より低い場合に前記特徴マッチングに用いて前記カメラ位置姿勢を推定することを特徴とする請求項１に記載の設備認識システム。
  5. 　前記カメラ位置姿勢推定部は、
    　前記パノラマ画像系列から前記設備を検出し、
    　前記設備の周辺にある前記特徴を用いて前記特徴マッチングを行うことを特徴とする請求項４に記載の設備認識システム。
  6. 　前記カメラ位置姿勢推定部は、
    　前記パノラマ画像系列から対象外物体を検出し、
    　前記対象外物体の特徴を削除して前記特徴マッチングを行うことを特徴とする請求項４に記載の設備認識システム。
  7. 　前記設備画像生成部は、
    　前記カメラ位置姿勢に基づいて、前記設備の３次元座標から所定の距離に配置された前記３６０度カメラを複数選択し、
    　選択された前記３６０度カメラの各々に対応する前記パノラマ画像から前記設備を中心とした前記設備画像を作成して前記設備画像系列を生成することを特徴とする請求項１に記載の設備認識システム。
  8. 　前記設備画像生成部は、
    　画角をパラメータとした平面投影変換により、前記設備画像を作成することを特徴とする請求項７に記載の設備認識システム。
  9. 　前記設備モデル推定部は、
    　前記設備画像系列から複数の画像ペアを生成し、
    　複数の前記画像ペアの各々を画像ペア３次元点群に変換し、
    　前記画像ペア３次元点群を統合して、前記３次元設備点群を生成することを特徴とする請求項１に記載の設備認識システム。
  10. 　前記設備モデル推定部は、
    　前記画像ペアの各々について、前記設備と前記画像ペアとのなす角を求め、
    　前記なす角が所定の閾値より大きい前記画像ペアを除外して、ステレオマッチングによって深度マップを生成して、前記画像ペア３次元点群に変換することを特徴とする請求項９に記載の設備認識システム。
  11. 　前記設備モデル推定部は、
    　前記画像ペアの各々について、前記設備と前記画像ペアとのなす角を求め、
    　前記なす角が所定の閾値より大きい前記画像ペアに対応する前記設備画像の各々に対して、エッジ抽出を実施して平行線を抽出して中心線を求め、
    　前記画像ペアの間で対応する前記中心線に垂直な平面上で設備座標を推定し、
    　前記設備モデル推定部は、
    　前記設備座標を用いて、前記３次元設備点群を生成して前記設備のモデルを推定することを特徴とする請求項９に記載の設備認識システム。
  12. 　前記入力部は、
    　前記パノラマ画像系列に対応する前記３６０度カメラのＧＰＳデータを入力し、
    　前記カメラ位置姿勢推定部は、
    　前記ＧＰＳデータを用いて、前記カメラ位置姿勢を推定することを特徴とする請求項１に記載の設備認識システム。
  13. 　前記入力部は、
    　所定の設備データを更に入力し、
    　前記カメラ位置姿勢推定部は、
    　前記ＧＰＳデータと前記設備データを用いて、前記カメラ位置姿勢を推定することを特徴とする請求項１２に記載の設備認識システム。
  14. 　入力装置と表示装置と設備選択部を更に有し、
    　前記表示装置は、
    　前記設備データの位置を画面のマップ上に表示し、
    　前記設備選択部は、
    　前記表示装置の前記画面に表示されかつ前記入力装置から指示された前記設備データの位置を設定し、
    　前記設備画像生成部は、
    　前記設備データの位置を用いて、前記設備画像系列を生成することを特徴とする請求項１３に記載の設備認識システム。
  15. 　３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力ステップと、
    　前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定ステップと、
    　前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成ステップと、
    　前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定ステップと、
    　を有することを特徴とする設備認識方法。
PCT/JP2022/006504 2021-07-08 2022-02-17 設備認識システム及び設備認識方法 WO2023281797A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-113707 2021-07-08
JP2021113707A JP2023009981A (ja) 2021-07-08 2021-07-08 設備認識システム及び設備認識方法

Publications (1)

Publication Number Publication Date
WO2023281797A1 true WO2023281797A1 (ja) 2023-01-12

Family

ID=84801647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006504 WO2023281797A1 (ja) 2021-07-08 2022-02-17 設備認識システム及び設備認識方法

Country Status (2)

Country Link
JP (1) JP2023009981A (ja)
WO (1) WO2023281797A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325895A (ja) * 1998-05-15 1999-11-26 Asia Air Survey Co Ltd パノラマカメラを用いたステレオ３次元計測方法および装置
JP2002202124A (ja) * 2000-12-28 2002-07-19 Kajima Corp 画像計測方法及び画像計測プログラムを記録した記録媒体
JP2005331285A (ja) * 2004-05-18 2005-12-02 Toyota Motor Corp 画像処理方法及び画像処理装置
JP2019117188A (ja) * 2017-11-21 2019-07-18 ファロ テクノロジーズ インコーポレーテッド 表面分析のためのシステムおよびその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325895A (ja) * 1998-05-15 1999-11-26 Asia Air Survey Co Ltd パノラマカメラを用いたステレオ３次元計測方法および装置
JP2002202124A (ja) * 2000-12-28 2002-07-19 Kajima Corp 画像計測方法及び画像計測プログラムを記録した記録媒体
JP2005331285A (ja) * 2004-05-18 2005-12-02 Toyota Motor Corp 画像処理方法及び画像処理装置
JP2019117188A (ja) * 2017-11-21 2019-07-18 ファロ テクノロジーズ インコーポレーテッド 表面分析のためのシステムおよびその方法

Also Published As

Publication number Publication date
JP2023009981A (ja) 2023-01-20

Similar Documents

Publication Publication Date Title
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
US7242460B2 (en) Method and apparatus for automatic registration and visualization of occluded targets using ladar data
Zhao et al. A vehicle-borne urban 3-D acquisition system using single-row laser range scanners
US20160267326A1 (en) Image abstraction system
CN105358937A (zh) 用于测绘仪器的定位方法和所述测绘仪器
EP3324359B1 (en) Image processing device and image processing method
Zhao et al. Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images
CN111932627B (zh) 一种标识物绘制方法及***
CN114969221A (zh) 一种更新地图的方法及相关设备
CN113532424B (zh) 一种获取多维信息的一体化设备与协同测量方法
Ahmad et al. Generation of three dimensional model of building using photogrammetric technique
WO2023281797A1 (ja) 設備認識システム及び設備認識方法
Chen et al. Amobile system combining laser scanners and cameras for urban spatial objects extraction
Murray et al. Patchlets: Representing stereo vision data with surface elements
Partovi et al. Automatic integration of laser scanning and photogrammetric point clouds: From acquisition to co-registration
Zhang et al. Integrating smartphone images and airborne lidar data for complete urban building modelling
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
Lyu et al. Multi-sensor fusion based obstacle localization technology
CN112818866A (zh) 车辆定位的方法、装置及电子设备
Brunken et al. Incorporating Plane-Sweep in Convolutional Neural Network Stereo Imaging for Road Surface Reconstruction.
Ye et al. Precise disparity estimation for narrow baseline stereo based on multiscale superpixels and phase correlation
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム
Böhm et al. Automated appearance-based building detection in terrestrial images
CN116007637B (zh) 定位装置、方法、车载设备、车辆、及计算机程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE