WO2018101746A2 - Apparatus and method for reconstructing road surface blocked area - Google Patents

Apparatus and method for reconstructing road surface blocked area Download PDF

Info

Publication number
WO2018101746A2
WO2018101746A2 PCT/KR2017/013839 KR2017013839W WO2018101746A2 WO 2018101746 A2 WO2018101746 A2 WO 2018101746A2 KR 2017013839 W KR2017013839 W KR 2017013839W WO 2018101746 A2 WO2018101746 A2 WO 2018101746A2
Authority
WO
WIPO (PCT)
Prior art keywords
point
logic
color
occlusion area
virtual
Prior art date
Application number
PCT/KR2017/013839
Other languages
French (fr)
Korean (ko)
Other versions
WO2018101746A3 (en
Inventor
전영재
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Publication of WO2018101746A2 publication Critical patent/WO2018101746A2/en
Publication of WO2018101746A3 publication Critical patent/WO2018101746A3/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present invention relates to an apparatus and method for restoring a road occlusion area, and more particularly, to an apparatus and method for restoring a road occlusion area of a road surface three-dimensional point group using multi-view images.
  • 3D spatial information has been applied to various application fields such as urban landscape planning, disaster management system, navigation and internet map service.
  • the most important three-dimensional building model in the three-dimensional spatial information is a method of using the digital map and the floor information of the building, using stereo stereoscopic images with sensor modeling, observation of the shadow or relief displacement of the building.
  • LiDAR light detection and ranging
  • the method of using LiDAR data which directly acquires the height values of the points forming the ground surface using a distance measuring device, uses projection stitching or warping for color restoration, but it is difficult to estimate the color clearly. There was a problem in that it was difficult to restore due to lack of possible image or effective color information.
  • the present invention was devised to solve the above-described problem, and an object according to an aspect of the present invention is to restore lane occlusion area of a three-dimensional point group on a road surface by using multi-view images, which can be utilized for lane extraction and map construction. And a road surface occlusion area restoration apparatus and method.
  • An apparatus for restoring a road occlusion area includes an abnormal point group removal logic for removing an abnormal point group from a three-dimensional point group obtained by a mobile mapping system (MMS); An occlusion area detection logic for detecting an occlusion area in an image of the abnormal point group removed by the abnormal point group removal logic; A point group generation logic for generating a virtual point group in the occlusion area detected by the occlusion area detection logic; And occlusion area reconstruction logic for projecting each virtual point generated by the point group generation logic into a multiview image, and changing the color of each virtual point in the multiview image to gray scale to restore the occlusion area. It features.
  • the occlusion area detection logic is a point alignment logic for aligning the order of the surrounding point group in a clockwise or counterclockwise direction based on any one point;
  • An outer point detection logic that detects an outer point of the occlusion area using an angle between two consecutive points centered on any one of the points aligned by the point alignment logic;
  • an occlusion area division logic for generating an outline connecting the outer points detected by the outer point detection logic to distinguish the occlusion area.
  • the outer point detection logic is characterized in that the current point is detected as an outer point if the angle between two consecutive points about any one point is more than the set value than the other angles around.
  • the point group generation logic is characterized in that to generate a virtual point group with a uniform density.
  • the occlusion area restoration logic comprises: projection logic for projecting coordinates of a virtual point in the occlusion area into two-dimensional images; An effective color determination logic that determines whether the color is an effective color based on the color of each point in each image corresponding to the virtual point projected by the projection logic; And an average color application logic for changing the color of each point in the image to gray scale according to the determination result of the effective color determination logic and setting the changed color to the color of the virtual point.
  • the effective color determination logic is characterized in that it is determined as the effective color if the dispersion of the color of each point in each image is within the set dispersion value.
  • the effective color determination logic is characterized by averaging the colors of the points in each image, changing the average color to grayscale, and setting the changed grayscale color to the color of the virtual point.
  • an example-based restoration logic for setting the color of the virtual point using the point group information around the virtual point is further added. It is characterized by including.
  • the example-based restoring logic detects another point within the set area centered on the virtual point, and adjusts the color of the virtual point according to the similarity of the reflection intensity and the color between the detected other point and the virtual point. It is characterized by setting.
  • Road occlusion area restoration method comprises the steps of removing the abnormal point group from the three-dimensional point group obtained by the MMS (Mobile Mapping System) logic removal; Detecting an occlusion area in an image in which an abnormal point group is removed by the abnormal point group removing logic; Generating a virtual point group in the occlusion area detected by the occlusion area detection logic by a point cloud generation logic; And occlusion restoring logic projects each virtual point generated by the point group generating logic into a multi-view image, and changes the color of each virtual point in the multi-view image to gray scale to restore the occlusion area. Characterized in that.
  • MMS Mobile Mapping System
  • the occlusion area detection logic aligns the order of the surrounding point group in a clockwise or counterclockwise direction based on any one point, and the angle between two consecutive points centered on any one of the aligned points is After detecting the outer point of the occlusion area according to whether or not the set angle or more, it is characterized in that to generate an outline connecting the detected outer point to distinguish the occlusion area.
  • the point group generation logic is characterized in that to generate a virtual point group with a uniform density.
  • the occlusion area restoration logic projects the coordinates of the virtual point in the occlusion area as two-dimensional images, and determines whether it is an effective color based on the dispersion of the color of each point in each image corresponding to the projected virtual point. According to the determination result, the color of the point in each image is changed to the gray scale, and the changed color is set to the color of the virtual point.
  • the effective color determination logic is characterized by averaging the colors of points in each image, changing the average color to gray scale, and setting the changed gray scale color to the color of the virtual point.
  • the example-based reconstruction logic detects another point within a set area centered on the virtual point, and sets the color of the virtual point according to the similarity of the reflection intensity and the color between the detected other point and the virtual point. It further comprises a step.
  • the present invention provides a computer readable medium recording a computer program, wherein the computer program, when executed by a processor, at least the abnormal point group in the three-dimensional point group obtained by the Mobile Mapping System (MMS) Removing; Detecting an occlusion area in the image from which the abnormal point group is removed; Generating a virtual point group in the detected occlusion area; And reconstructing the occlusion area by projecting each virtual point of the generated virtual point group into a multi-view image to provide a computer readable medium having recorded thereon a computer program.
  • MMS Mobile Mapping System
  • An apparatus and method for restoring a road occlusion area may completely acquire lane information on a road surface by restoring three-dimensional information that cannot be obtained due to an occlusion, and based on this, it is necessary to construct a high-precision map of a lane level.
  • the lane information may be utilized, and the lane information may be utilized as high quality input data such as an automatic lane extraction module.
  • Road occlusion area restoration apparatus and method according to another aspect of the present invention by using the accurate projection and the multi-color image information, it is possible to make a clear color estimation than the conventional method using the stitching or warping (Warping).
  • Road occlusion area restoration apparatus and method according to another aspect of the present invention can significantly reduce the cost of obtaining lane information on the road surface.
  • FIG. 1 is a block diagram of a road occlusion area restoration apparatus according to an embodiment of the present invention.
  • FIG. 2 is a plan view of a mobile mapping system according to an embodiment of the present invention.
  • FIG 3 is a side view of a mobile mapping system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a road surface definition and an abnormal point group removal method from a 3D point group according to an embodiment of the present invention.
  • FIG. 5 is a view showing a method for detecting a blockage area of a road point group according to an embodiment of the present invention.
  • FIG. 6 is a view showing a color correction method through the generation and projection of a three-dimensional point group of uniform density according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example-based color restoration method according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a road surface occlusion area restoration method according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a road occlusion area restoration apparatus according to an embodiment of the present invention
  • Figure 2 is a plan view of a mobile mapping system according to an embodiment of the present invention
  • Figure 3 is an embodiment of the present invention
  • Figure 4 is a side view of the mobile mapping system according to the present invention
  • Figure 4 is a view showing a road surface regulation and abnormal point group removal method from the three-dimensional point group according to an embodiment of the present invention
  • Figure 5 is a road surface according to an embodiment of the present invention
  • FIG. 6 is a view illustrating a method for detecting an occlusion area of a point group
  • FIG. 6 is a view illustrating a method for detecting an occlusion area of a point group
  • FIG. 6 is a view illustrating a color correction method by generating and projecting a three-dimensional point group of uniform density according to an embodiment of the present invention
  • FIG. 7 is an embodiment of the present invention. Is a diagram illustrating an example-based color restoration method according to FIG.
  • an apparatus for restoring a road occlusion area operates by a processor, receives various measurement information from a mobile mapping system (MMS) 10, and uses the measurement information. To restore the occlusion area of the road surface.
  • MMS mobile mapping system
  • the MMS 10 is mounted on a vehicle and acquires measurement information on a surrounding area by capturing or scanning an image of a surrounding road.
  • the MMS 10 generates a plurality of cameras 11 for capturing surrounding images to obtain image information, a plurality of GPS (Global Positioning System) 13 for detecting the position of the vehicle, and a pulse laser to generate points of the ground surface.
  • GPS Global Positioning System
  • a plurality of riders Light Detection and Ranging (LiDAR) 12) for directly obtaining a height value
  • IMU Inertial Measurement Unit
  • a plurality of cameras 11 are provided so that each photographs the surroundings, so that a multi-view image can be obtained even at the same point.
  • the road surface occlusion area restoration apparatus 20 is to restore the occlusion area of the road surface by using the measurement information transmitted from the MMS 10 is operated by the processor
  • the processor includes an abnormal point group removal logic 21, a closed area detection logic 22, a point group generating logic 23, and a closed area restoring logic 24.
  • the abnormal point group removal logic 21 removes the abnormal point group from the three-dimensional point group of the image acquired by the rider 12 of the MMS 10.
  • the abnormal point group removal logic 21 extracts only the point group corresponding to the road surface from the three-dimensional point group obtained through the rider 12 as shown in FIG. In this case, the abnormal point group removal logic 21 estimates the height value of the vehicle and the altitude above sea level using the measurement information of the GPS 13 and the IMU 14, and recognizes the point group around the vehicle position as the point group on the road surface. .
  • the abnormal point group removal logic 21 irradiates the point group in various directions based on the vehicle position, as shown in FIG. If the direction angle with the irradiation point group is more than the set angle, the three-dimensional point group investigation is stopped and the point group irradiated up to that point is merged into the road surface.
  • the abnormal point group removal logic 21 can define the point group of the road surface as shown in (c) of FIG. 4 and can remove the abnormal point group of the object that caused the occlusion area.
  • the occlusion area detection logic 22 detects the occlusion area in the image removed by the abnormal point group removal logic 21.
  • the occlusion area detection logic 22 includes a point alignment logic 221, an outer point detection logic 222, and a occlusion area separation logic 223.
  • the point alignment logic 221 detects any one of three-dimensional point groups as shown in (a) of FIG. 5 and aligns the sequence number of the neighboring point groups clockwise or counterclockwise based on the detected current point. do.
  • the current point is a point currently detected among a plurality of points and subject to processing.
  • the outer point detection logic 222 detects an angle between two consecutive points centered on the current point among the points aligned by the point alignment logic 221, and the detected angle is set to a value other than the surrounding angle. If it is abnormal, the current point is recognized as the outer point.
  • FIG. 5B shows that the current point is recognized as an outer point when the angle between the current points is significantly larger than the other angles.
  • the occlusion area division logic 223 generates an outline connecting the outer points detected by the outer point detection logic 222 to distinguish the occlusion area.
  • FIG. 5C illustrates an example in which a convex hull is generated based on an outline formed by connecting outer points to distinguish the occlusion region.
  • the point group generating logic 23 generates an imaginary point group in the occlusion area detected by the occlusion area detection logic 22 as shown in FIG. In this case, the point group generating logic 23 generates an imaginary point group with a uniform density in the occlusion area.
  • the point group generating logic 23 defines three-dimensional coordinates for each virtual point, and does not define reflection intensity and color.
  • the occlusion area restoration logic 24 projects each virtual point generated by the point group generating logic 23 into a two-dimensional multiview image, and changes the color of each virtual point in the multiview image to gray scale to occlude. Restore the area. In this case, the occlusion area restoration logic 24 performs the above process for all of the virtual points in the occlusion area.
  • the occlusion area reconstruction logic 24 includes a projection logic 241, an effective color determination logic 242, an average color application logic 243, and an example-based reconstruction logic 244.
  • the projection logic 241 projects the three-dimensional coordinates of each virtual point through the camera 11 to the images obtained at different viewpoints.
  • the virtual point is located in each of the plurality of multi-view images. That is, three-dimensional coordinates are defined in each of the virtual points generated by the point group generating logic 23.
  • the three-dimensional coordinates are projected as a two-dimensional multi-view image, the points corresponding to the corresponding coordinates in each image are recognized. As a result, one virtual point can be recognized as a multi-view.
  • the effective color determination logic 242 determines whether it is an effective color based on the color of each point in each image corresponding to the virtual point. In this case, the effective color determination logic 242 determines the effective color if the dispersion of the color of each point in each image is within the set dispersion value. For example, when the point is normally photographed by each camera 11, the color of the corresponding point in each image appears similar to each other, whereas when abnormally photographed, the color of the corresponding point in each image is the image. Each one is different from each other. For example, if the dispersion is relatively large, it is likely that the color of the road surface is not accurately obtained because different objects are photographed at various points in time.
  • the effective color determination logic 242 determines the color of the corresponding point as the effective color when the dispersion of the color of each point in the image is within the set dispersion value. It is determined that the color of the spot is not an effective color.
  • the average color application logic 243 sets the color of the virtual point using the color of the point in each image according to the determination result of the effective color determination logic 242.
  • the average color application logic 243 averages the color values of these colors and changes the average color to the grail scale.
  • the point where the paint is applied on the road surface is relatively high, so it appears bright when the color is converted to gray scale, and the point where the paint is not applied is dark due to the relatively low reflection strength.
  • the average color application logic 243 converts the color to gray scale, it appears bright or dark depending on whether the paint is applied to the corresponding point.
  • the average color application logic 243 changes the average color obtained by averaging the color of the corresponding point in the image to gray scale, and sets the changed color to the color of the corresponding virtual point.
  • the virtual point is the point where the paint is applied, the virtual point is displayed in a bright color, and if the point is not applied, the virtual point is displayed in a dark color. This process is performed for all imaginary points, and as a result, the occlusion area can be restored.
  • the example-based restoration logic 244 uses virtual point group information centering on the virtual point to simulate the virtual color. Sets the color of the point.
  • the example-based restoration logic 244 sets an arbitrary area around the virtual point, and detects another point within this setting area.
  • the example-based reconstruction logic 244 then sets the color of the virtual point according to the similarity of the reflection intensity and the color between the other points detected and the virtual point.
  • the other point detected is a virtual point that has already been restored or a pre-detected point existing outside the occlusion area, and is not an unrestored virtual point in the occlusion area.
  • virtual point groups in the occlusion area are set to a uniform density, and in particular, virtual points according to the reflection intensity and similarity between the virtual points and other points in the setting area (target restoration area) are shown.
  • the setting area is restored as shown in FIG.
  • FIG. 8 is a diagram illustrating a road surface occlusion area restoration method according to an embodiment of the present invention.
  • the rider 12 inside the MMS 10 detects a three-dimensional point group.
  • the abnormal point group removing logic 21 extracts the point group corresponding to the road surface from the three-dimensional point group obtained through the rider 12 (S10).
  • the abnormal point group removal logic 21 defines the point group on the road surface and removes the abnormal point group of the object that causes the occlusion area (S20).
  • the occlusion area detection logic 22 detects the occlusion area in the image removed by the abnormal point group removal logic 21 (S30).
  • the occlusion area detection logic 22 detects any one of the three-dimensional point groups, and aligns the order of the peripheral point groups in the clockwise or counterclockwise direction based on the detected current point. Subsequently, the occlusion area detection logic 22 detects an angle between two consecutive points centered on the current point, and recognizes the current point as an outer point when the detected angle is more than a predetermined value. As the outer point is recognized as described above, the occlusion area detection logic 22 generates an outline connecting the outer points to distinguish the occlusion area. In this case, a convex hull composed of outer points may be generated to distinguish the occlusion area.
  • the point group generation logic 23 As the occlusion detection area is detected by the occlusion area detection logic 22, the point group generation logic 23 generates a virtual point group of uniform density in the occlusion area detected by the occlusion area detection logic 22 (S40). ). In this case, three-dimensional coordinates are defined for each virtual point, whereas reflection intensity and color are not defined.
  • the occlusion area restoring logic 24 sets the camera 11 to three-dimensional coordinates of each of the virtual points generated by the point group generating logic 23.
  • the color of each point in each image corresponding to the projected virtual point is detected (S50).
  • the occlusion area restoration logic 24 determines whether it is an effective color based on the color of each point in each image corresponding to the virtual point projected by the projection logic 241 (S60). In this case, the effective color judgment logic 242 judges the color of the point as the effective color if the color dispersion of each point in the image is within the set dispersion value. It is determined that the color of the spot is not an effective color.
  • the average color applied logic 243 averages the color values of these colors, changes the average color to the grail scale, and changes the changed color to the corresponding virtual color.
  • the average color application logic 243 sets an arbitrary area around the virtual point and detects another point within this setting area. After that, the occlusion area is restored by setting the color of the virtual point according to the similarity of the reflection intensity and the similarity of the color between the other detected points and the virtual point (S80).
  • the apparatus and method for restoring a road occlusion area may completely acquire lane information on a road surface by restoring three-dimensional information that cannot be obtained due to occlusion. It can be used to construct high-level maps at the lane level, and the lane information can be used as high-quality input data such as an automatic lane extraction module.
  • the apparatus and method for restoring the road surface occlusion area enables accurate color estimation than the conventional stitching or warping method by using accurate projection and multiple color image information.
  • the cost of obtaining lane information on the road surface can be greatly reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

Disclosed are an apparatus and a method for reconstructing a road surface blocked area. The apparatus for reconstructing a road surface blocked area according to the present invention comprises: an anomalous point cloud discard logic for discarding anomalous point clouds from three-dimensional point clouds acquired by means of a mobile mapping system (MMS); a blocked area detection logic for detecting a blocked area in an image from which anomalous point clouds have been discarded by the anomalous point cloud discard logic; a point cloud generation logic for generating a virtual point cloud in the blocked area detected by means of the blocked area detection logic; and a blocked area reconstruction logic for projecting each virtual point generated by the point cloud generation logic as a dashed point image, and changing the color of each virtual point within the dashed point image to a greyscale to reconstruct the blocked area.

Description

도로면 폐색 영역 복원 장치 및 방법Road surface occlusion area restoration device and method
본 발명은 도로면 폐색 영역 복원 장치 및 방법에 관한 것으로서, 보다 상세하게는 다시점 이미지들을 이용하여 도로면 3차원 점군의 폐색 영역을 복원하는 도로면 폐색 영역 복원 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for restoring a road occlusion area, and more particularly, to an apparatus and method for restoring a road occlusion area of a road surface three-dimensional point group using multi-view images.
최근 들어, 3차원 공간정보는 도시경관계획, 재해관리 시스템, 네비게이션 및 인터넷 지도 서비스 등과 같이 다양한 응용분야에 적용되고 있다.Recently, 3D spatial information has been applied to various application fields such as urban landscape planning, disaster management system, navigation and internet map service.
이러한 3차원 공간정보에서 가장 핵심적인 3차원 건물 모델을 구축하는 방법으로는 수치지도와 건물 대장의 층수 정보를 이용하는 방법, 센서모델링을 수반하는 스테레오 입체 영상을 이용하는 방법, 건물의 그림자 또는 기복변위 관측방법을 이용하여 한 장의 영상만으로 건물모델을 취득하는 방법 및 항공기에 탑재된 레이저 거리측정 장비로 지표면을 이루는 점들의 높이값을 직접 취득한 라이다(Light Detection And Ranging, LiDAR) 데이터를 이용하는 방법 등이 있다.The most important three-dimensional building model in the three-dimensional spatial information is a method of using the digital map and the floor information of the building, using stereo stereoscopic images with sensor modeling, observation of the shadow or relief displacement of the building The method of acquiring a building model using only one image using the method, and the method of using light detection and ranging (LiDAR) data, which directly acquires height values of the points forming the ground surface with the laser distance measuring equipment mounted on the aircraft, have.
특히, 거리측정 장비로 지표면을 이루는 점들의 높이값을 직접 취득한 라이다 데이터를 이용하는 방법은, 색상 복원을 위해 투영 스티칭(Stitching)이나 와핑(Warping)을 사용하였으나 상대적으로 명확한 색상 추정이 어려웠고, 투영 가능한 이미지 혹은 유효 색상 정보 부족으로 복원이 어려운 부분이 발생하는 등의 문제점이 있었다. In particular, the method of using LiDAR data, which directly acquires the height values of the points forming the ground surface using a distance measuring device, uses projection stitching or warping for color restoration, but it is difficult to estimate the color clearly. There was a problem in that it was difficult to restore due to lack of possible image or effective color information.
본 발명의 배경기술은 대한민국 등록특허공보 10-1289885호(2013.07.19)의 '건물의 모델링을 위한 장치 및 방법'에 개시되어 있다.Background of the present invention is disclosed in the 'apparatus and method for modeling the building' of Republic of Korea Patent Publication No. 10-1289885 (July 19, 2013).
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 다시점 이미지들을 이용하여 도로면 3차원 점군의 폐색 영역을 복원하도록 함으로써, 차선 추출 및 지도 구축에 활용할 수 있도록 한 도로면 폐색 영역 복원 장치 및 방법에 관한 것이다.The present invention was devised to solve the above-described problem, and an object according to an aspect of the present invention is to restore lane occlusion area of a three-dimensional point group on a road surface by using multi-view images, which can be utilized for lane extraction and map construction. And a road surface occlusion area restoration apparatus and method.
본 발명의 일 측면에 따른 도로면 폐색 영역 복원 장치는 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 이상 점군 제거로직; 상기 이상 점군 제거로직에 의해 제거된 이상 점군이 영상에서 폐색 영역을 검출하는 폐색 영역 검출로직; 상기 폐색 영역 검출로직에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 점군 생성로직; 및 상기 점군 생성로직에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 폐색 영역 복원로직을 포함하는 것을 특징으로 한다. An apparatus for restoring a road occlusion area according to an aspect of the present invention includes an abnormal point group removal logic for removing an abnormal point group from a three-dimensional point group obtained by a mobile mapping system (MMS); An occlusion area detection logic for detecting an occlusion area in an image of the abnormal point group removed by the abnormal point group removal logic; A point group generation logic for generating a virtual point group in the occlusion area detected by the occlusion area detection logic; And occlusion area reconstruction logic for projecting each virtual point generated by the point group generation logic into a multiview image, and changing the color of each virtual point in the multiview image to gray scale to restore the occlusion area. It features.
본 발명에서, 상기 폐색 영역 검출로직은 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하는 점 정렬로직; 상기 점 정렬로직에 의해 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각을 이용하여 폐색 영역의 외곽 점을 검출하는 외곽 점 검출로직; 및 상기 외곽 점 검출로직에 의해 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 폐색 영역 구분로직을 포함하는 것을 특징으로 한다. In the present invention, the occlusion area detection logic is a point alignment logic for aligning the order of the surrounding point group in a clockwise or counterclockwise direction based on any one point; An outer point detection logic that detects an outer point of the occlusion area using an angle between two consecutive points centered on any one of the points aligned by the point alignment logic; And an occlusion area division logic for generating an outline connecting the outer points detected by the outer point detection logic to distinguish the occlusion area.
본 발명에서, 상기 외곽 점 검출로직은 어느 한 점을 중심으로 연속된 두 점의 사이각이 주변의 다른 사이각보다 설정값 이상이면 현재 점을 외곽 점으로 검출하는 것을 특징으로 한다. In the present invention, the outer point detection logic is characterized in that the current point is detected as an outer point if the angle between two consecutive points about any one point is more than the set value than the other angles around.
본 발명에서, 상기 점군 생성로직은 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 한다. In the present invention, the point group generation logic is characterized in that to generate a virtual point group with a uniform density.
본 발명에서, 상기 폐색 영역 복원로직은 폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하는 투영로직; 상기 투영로직에 의해 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단하는 유효 색상 판단로직; 및 상기 유효 색상 판단로직의 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경하고, 변경된 색상을 가상의 점의 색상으로 설정하는 평균 색상 적용로직을 포함하는 것을 특징으로 한다. In the present invention, the occlusion area restoration logic comprises: projection logic for projecting coordinates of a virtual point in the occlusion area into two-dimensional images; An effective color determination logic that determines whether the color is an effective color based on the color of each point in each image corresponding to the virtual point projected by the projection logic; And an average color application logic for changing the color of each point in the image to gray scale according to the determination result of the effective color determination logic and setting the changed color to the color of the virtual point.
본 발명에서, 상기 유효 색상 판단로직은 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단하는 것을 특징으로 한다. In the present invention, the effective color determination logic is characterized in that it is determined as the effective color if the dispersion of the color of each point in each image is within the set dispersion value.
본 발명에서, 상기 유효 색상 판단로직은 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 한다. In the present invention, the effective color determination logic is characterized by averaging the colors of the points in each image, changing the average color to grayscale, and setting the changed grayscale color to the color of the virtual point.
본 발명은 상기 폐색 영역 복원로직은 상기 유효 색상 판단로직의 판단 결과 유효 색상이 아니면, 가상의 점을 중심으로 한 주변의 점군 정보를 이용하여 가상의 점의 색상을 설정하는 예제 기반 복원로직을 더 포함하는 것을 특징으로 한다. According to the present invention, if the occlusion area restoration logic is not an effective color as a result of the determination of the effective color determination logic, an example-based restoration logic for setting the color of the virtual point using the point group information around the virtual point is further added. It is characterized by including.
본 발명에서, 상기 예제 기반 복원로직은 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 것을 특징으로 한다. In the present invention, the example-based restoring logic detects another point within the set area centered on the virtual point, and adjusts the color of the virtual point according to the similarity of the reflection intensity and the color between the detected other point and the virtual point. It is characterized by setting.
본 발명의 일 측면에 따른 도로면 폐색 영역 복원 방법은 이상 점군 제거로직이 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 단계; 폐색 영역 검출로직이 상기 이상 점군 제거로직에 의해 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 단계; 점군 생성로직이 상기 폐색 영역 검출로직에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 단계; 및 폐색 영역 복원로직이 상기 점군 생성로직에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 단계를 포함하는 것을 특징으로 한다.Road occlusion area restoration method according to an aspect of the present invention comprises the steps of removing the abnormal point group from the three-dimensional point group obtained by the MMS (Mobile Mapping System) logic removal; Detecting an occlusion area in an image in which an abnormal point group is removed by the abnormal point group removing logic; Generating a virtual point group in the occlusion area detected by the occlusion area detection logic by a point cloud generation logic; And occlusion restoring logic projects each virtual point generated by the point group generating logic into a multi-view image, and changes the color of each virtual point in the multi-view image to gray scale to restore the occlusion area. Characterized in that.
본 발명에서, 상기 폐색 영역 검출로직은 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하고, 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각이 설정각 이상인지 여부에 따라 폐색 영역의 외곽 점을 검출한 후, 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 것을 특징으로 한다. In the present invention, the occlusion area detection logic aligns the order of the surrounding point group in a clockwise or counterclockwise direction based on any one point, and the angle between two consecutive points centered on any one of the aligned points is After detecting the outer point of the occlusion area according to whether or not the set angle or more, it is characterized in that to generate an outline connecting the detected outer point to distinguish the occlusion area.
본 발명에서, 상기 점군 생성로직은 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 한다. In the present invention, the point group generation logic is characterized in that to generate a virtual point group with a uniform density.
본 발명에서, 상기 폐색 영역 복원로직은 폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하고, 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상의 분산을 기반으로 유효 색상인지 여부를 판단하여 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경한 후, 변경된 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 한다. In the present invention, the occlusion area restoration logic projects the coordinates of the virtual point in the occlusion area as two-dimensional images, and determines whether it is an effective color based on the dispersion of the color of each point in each image corresponding to the projected virtual point. According to the determination result, the color of the point in each image is changed to the gray scale, and the changed color is set to the color of the virtual point.
본 발명에서, 상기 유효 색상 판단로직은 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이 스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 한다. In the present invention, the effective color determination logic is characterized by averaging the colors of points in each image, changing the average color to gray scale, and setting the changed gray scale color to the color of the virtual point.
본 발명은 예제 기반 복원로직이 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 단계를 더 포함하는 것을 특징으로 한다.According to the present invention, the example-based reconstruction logic detects another point within a set area centered on the virtual point, and sets the color of the virtual point according to the similarity of the reflection intensity and the color between the detected other point and the virtual point. It further comprises a step.
본 발명의 다른 측면에 따르면, 본 발명은 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 매체로서, 상기 컴퓨터 프로그램은 적어도, 프로세서에 의해 실행될 때, MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 단계; 상기 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 단계; 상기 검출된 폐색 영역에 가상의 점군을 생성하는 단계; 및 상기 생성된 가상의 점군의 가상의 점 각각을 다시점 이미지로 투영하여 폐색 영역을 복원하는 단계를 수행하도록 구현된, 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 매체를 제공한다.According to another aspect of the present invention, the present invention provides a computer readable medium recording a computer program, wherein the computer program, when executed by a processor, at least the abnormal point group in the three-dimensional point group obtained by the Mobile Mapping System (MMS) Removing; Detecting an occlusion area in the image from which the abnormal point group is removed; Generating a virtual point group in the detected occlusion area; And reconstructing the occlusion area by projecting each virtual point of the generated virtual point group into a multi-view image to provide a computer readable medium having recorded thereon a computer program.
본 발명의 일 측면에 따른 도로면 폐색 영역 복원 장치 및 방법은 폐색으로 인해 획득 불가능한 3차원 정보를 복원함으로써 도로면 위의 차선 정보를 온전하게 획득할 수 있고, 이를 토대로 차선 레벨의 고정밀 지도 구축에 상기 차선 정보를 활용할 수 있으며, 차선 정보를 자동 차선 추출 모듈 등의 고품질 입력 데이터로 활용할 수 있도록 한다. An apparatus and method for restoring a road occlusion area according to an aspect of the present invention may completely acquire lane information on a road surface by restoring three-dimensional information that cannot be obtained due to an occlusion, and based on this, it is necessary to construct a high-precision map of a lane level. The lane information may be utilized, and the lane information may be utilized as high quality input data such as an automatic lane extraction module.
본 발명의 다른 측면에 따른 도로면 폐색 영역 복원 장치 및 방법은 정확한 투영 및 다수 색상 이미지 정보를 사용함으로써, 종래의 스티칭(Stitching)이나 와핑(Warping)을 사용한 방식보다 명확한 색상 추정이 가능하게 한다.Road occlusion area restoration apparatus and method according to another aspect of the present invention by using the accurate projection and the multi-color image information, it is possible to make a clear color estimation than the conventional method using the stitching or warping (Warping).
본 발명의 또 다른 측면에 따른 도로면 폐색 영역 복원 장치 및 방법은 도로면 위의 차선 정보를 획득하는 비용을 크게 절감할 수 있다. Road occlusion area restoration apparatus and method according to another aspect of the present invention can significantly reduce the cost of obtaining lane information on the road surface.
도 1 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치의 블럭 구성도이다.1 is a block diagram of a road occlusion area restoration apparatus according to an embodiment of the present invention.
도 2 는 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 평면도이다.2 is a plan view of a mobile mapping system according to an embodiment of the present invention.
도 3 은 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 측면도이다.3 is a side view of a mobile mapping system according to an embodiment of the present invention.
도 4 는 본 발명의 일 실시예에 따른 3차원 점군으로부터 도로면 규정 및 이상 점군 제거 방법을 나타낸 도면이다.4 is a diagram illustrating a road surface definition and an abnormal point group removal method from a 3D point group according to an embodiment of the present invention.
도 5 는 본 발명의 일 실시예에 따른 도로면 점군의 폐색 영역 검출 방법을 나타낸 도면이다. 5 is a view showing a method for detecting a blockage area of a road point group according to an embodiment of the present invention.
도 6 은 본 발명의 일 실시예에 따른 균일 밀도의 3차원 점군 생성 및 투영을 통한 색상 보정 방법을 나타낸 도면이다.6 is a view showing a color correction method through the generation and projection of a three-dimensional point group of uniform density according to an embodiment of the present invention.
도 7 은 본 발명의 일 실시예에 따른 예제 기반의 색상 복원 방법을 나타낸 도면이다.7 is a diagram illustrating an example-based color restoration method according to an embodiment of the present invention.
도 8 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 방법을 도시한 도면이다. 8 is a diagram illustrating a road surface occlusion area restoration method according to an embodiment of the present invention.
이하에서는 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다. Hereinafter, a road surface occlusion area restoration apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of description. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or convention of a user or an operator. Therefore, the definitions of these terms should be made based on the contents throughout the specification.
도 1 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 평면도이며, 도 3 은 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 측면도이며, 도 4 는 본 발명의 일 실시예에 따른 3차원 점군으로부터 도로면 규정 및 이상 점군 제거 방법을 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 도로면 점군의 폐색 영역 검출 방법을 나타낸 도면이며, 도 6 은 본 발명의 일 실시예에 따른 균일 밀도의 3차원 점군 생성 및 투영을 통한 색상 보정 방법을 나타낸 도면이며, 도 7 은 본 발명의 일 실시예에 따른 예제 기반의 색상 복원 방법을 나타낸 도면이다. 1 is a block diagram of a road occlusion area restoration apparatus according to an embodiment of the present invention, Figure 2 is a plan view of a mobile mapping system according to an embodiment of the present invention, Figure 3 is an embodiment of the present invention Figure 4 is a side view of the mobile mapping system according to the present invention, Figure 4 is a view showing a road surface regulation and abnormal point group removal method from the three-dimensional point group according to an embodiment of the present invention, Figure 5 is a road surface according to an embodiment of the present invention FIG. 6 is a view illustrating a method for detecting an occlusion area of a point group, FIG. 6 is a view illustrating a color correction method by generating and projecting a three-dimensional point group of uniform density according to an embodiment of the present invention, and FIG. 7 is an embodiment of the present invention. Is a diagram illustrating an example-based color restoration method according to FIG.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치는 프로세서에 의해 동작하고, MMS(Mobile Mapping System;)(10)로부터 각종 측정 정보를 전달받고, 이 측정 정보를 이용하여 도로면의 폐색 영역을 복원한다. Referring to FIG. 1, an apparatus for restoring a road occlusion area according to an embodiment of the present invention operates by a processor, receives various measurement information from a mobile mapping system (MMS) 10, and uses the measurement information. To restore the occlusion area of the road surface.
도 2 와 도 3 를 참조하면, MMS(10)는 차량에 탑재되어 주변 도로의 영상을 촬영하거나 스캔하여 주변 영역에 대한 측정 정보를 획득한다. Referring to FIGS. 2 and 3, the MMS 10 is mounted on a vehicle and acquires measurement information on a surrounding area by capturing or scanning an image of a surrounding road.
MMS(10)는 주변 영상을 촬영하여 영상 정보를 획득하는 복수 개의 카메라(11), 차량의 위치를 검출하는 복수 개의 GPS(Global Positioning System)(13), 펄스 레이저를 발생시켜 지표면을 이루는 점들의 높이값을 직접 취득하는 복수 개의 라이더(Light Detection and Ranging;LiDAR)(12) 및 차량의 속도와 방향, 중력 및 가속도를 측정하는 IMU(Inertial Measurement Unit)(14)를 포함한다.The MMS 10 generates a plurality of cameras 11 for capturing surrounding images to obtain image information, a plurality of GPS (Global Positioning System) 13 for detecting the position of the vehicle, and a pulse laser to generate points of the ground surface. A plurality of riders (Light Detection and Ranging (LiDAR) 12) for directly obtaining a height value, and an IMU (Inertial Measurement Unit) 14 for measuring the speed and direction, gravity and acceleration of the vehicle.
특히, 카메라(11)는 복수 개가 마련되어 각각이 주변을 촬영하는 바, 동일한 지점에 대해서도 다시점 이미지를 획득할 수 있게 한다. In particular, a plurality of cameras 11 are provided so that each photographs the surroundings, so that a multi-view image can be obtained even at the same point.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치(20)는 프로세서에 의해 동작하고 MMS(10)로부터 전달된 측정 정보를 이용하여 도로면의 폐색 영역을 복원하는 것으로써, 상기 프로세서는 이상 점군 제거로직(21), 폐색 영역 검출로직(22), 점군 생성로직(23) 및 폐색 영역 복원로직(24)을 포함한다. Referring to Figure 1, the road surface occlusion area restoration apparatus 20 according to an embodiment of the present invention is to restore the occlusion area of the road surface by using the measurement information transmitted from the MMS 10 is operated by the processor In addition, the processor includes an abnormal point group removal logic 21, a closed area detection logic 22, a point group generating logic 23, and a closed area restoring logic 24.
이상 점군 제거로직(21)은 MMS(10)의 라이더(12)에 의해 획득된 영상의 3차원 점군에서 이상 점군을 제거한다. The abnormal point group removal logic 21 removes the abnormal point group from the three-dimensional point group of the image acquired by the rider 12 of the MMS 10.
즉, 이상 점군 제거로직(21)은 도 4 의 (a)에 도시된 바와 같이 라이더(12)를 통해 획득된 3차원 점군 중에서, 도로면에 해당하는 점군만을 추출한다. 이 경우 이상 점군 제거로직(21)은 GPS(13) 및 IMU(14)의 측정 정보를 이용하여 차량의 높이값과 지표면 해발고도를 추정하고, 차량 위치 주변의 점군을 도로면의 점군으로 인식한다. That is, the abnormal point group removal logic 21 extracts only the point group corresponding to the road surface from the three-dimensional point group obtained through the rider 12 as shown in FIG. In this case, the abnormal point group removal logic 21 estimates the height value of the vehicle and the altitude above sea level using the measurement information of the GPS 13 and the IMU 14, and recognizes the point group around the vehicle position as the point group on the road surface. .
또한, 이상 점군 제거로직(21)은 도 4 의 (b)에 도시된 바와 같이 해당 차량 위치를 기준으로 여러 방향에 대해 점군을 조사하는데, 이전 조사 점군과의 거리가 일정 거리 이상 멀어지거나, 이전 조사 점군과의 방향 각도가 설정각도 이상이면 3차원 점군 조사를 중단하고 그 시점까지 조사된 점군을 도로면으로 병합한다. In addition, the abnormal point group removal logic 21 irradiates the point group in various directions based on the vehicle position, as shown in FIG. If the direction angle with the irradiation point group is more than the set angle, the three-dimensional point group investigation is stopped and the point group irradiated up to that point is merged into the road surface.
이를 토대로, 이상 점군 제거로직(21)은 도 4 의 (c)에 도시된 바와 같이 도로면의 점군을 규정짓고 폐색 영역을 유발한 객체의 이상 점군을 제거할 수 있게 된다. Based on this, the abnormal point group removal logic 21 can define the point group of the road surface as shown in (c) of FIG. 4 and can remove the abnormal point group of the object that caused the occlusion area.
폐색 영역 검출로직(22)은 이상 점군 제거로직(21)에 의해 제거된 영상에서 폐색 영역을 검출한다. 폐색 영역 검출로직(22)은 점 정렬로직(221), 외곽 점 검출로직(222) 및 폐색 영역 구분로직(223)을 포함한다. The occlusion area detection logic 22 detects the occlusion area in the image removed by the abnormal point group removal logic 21. The occlusion area detection logic 22 includes a point alignment logic 221, an outer point detection logic 222, and a occlusion area separation logic 223.
점 정렬로직(221)은 도 5 의 (a)에 도시된 바와 같이 3차원 점군 중 어느 하나의 점을 검출하고, 검출된 현재 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬한다. 여기서, 현재 점은 복수 개의 점들 중에서 현재 검출되어 그 처리 대상이 되는 점이다. The point alignment logic 221 detects any one of three-dimensional point groups as shown in (a) of FIG. 5 and aligns the sequence number of the neighboring point groups clockwise or counterclockwise based on the detected current point. do. Here, the current point is a point currently detected among a plurality of points and subject to processing.
외곽 점 검출로직(222)은 점 정렬로직(221)에 의해 정렬된 점들 중에서 현재 점을 중심으로 하는 연속된 두 점의 사이각을 검출하고, 검출된 사이각이 주변의 다른 사이각 보다 설정값 이상이면 현재 점을 외곽 점으로 인식한다. The outer point detection logic 222 detects an angle between two consecutive points centered on the current point among the points aligned by the point alignment logic 221, and the detected angle is set to a value other than the surrounding angle. If it is abnormal, the current point is recognized as the outer point.
도 5 의 (b)에는 현재 점의 사이각이 다른 사이각보다 현저하게 큰 경우에 해당 현재 점을 외곽 점으로 인식되는 것이 도시되었다. FIG. 5B shows that the current point is recognized as an outer point when the angle between the current points is significantly larger than the other angles.
폐색 영역 구분로직(223)은 외곽 점 검출로직(222)에 의해 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분한다. 도 5 의 (c)에는 외곽의 점을 연결하여 생성된 외곽 선을 토대로 Convex hull이 생성되어 폐색 영역이 구분되는 예가 도시되었다. The occlusion area division logic 223 generates an outline connecting the outer points detected by the outer point detection logic 222 to distinguish the occlusion area. FIG. 5C illustrates an example in which a convex hull is generated based on an outline formed by connecting outer points to distinguish the occlusion region.
점군 생성로직(23)은 폐색 영역 검출로직(22)에 의해 검출된 폐색 영역에 도 6 의 (a)에 도시된 바와 같이 가상의 점군을 생성한다. 이 경우 점군 생성로직(23)은 가상의 점군을 폐색 영역에 균일한 밀도로 생성한다. 점군 생성로직(23)은 각 가상의 점에 대해 3차원 좌표를 정의하고, 반사강도 및 색상은 정의하지 않는다. The point group generating logic 23 generates an imaginary point group in the occlusion area detected by the occlusion area detection logic 22 as shown in FIG. In this case, the point group generating logic 23 generates an imaginary point group with a uniform density in the occlusion area. The point group generating logic 23 defines three-dimensional coordinates for each virtual point, and does not define reflection intensity and color.
폐색 영역 복원로직(24)은 점군 생성로직(23)에 의해 생성된 가상의 점 각각을 2차원의 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원한다. 이 경우 폐색 영역 복원로직(24)은 폐색 영역 내 가상의 점 모두에 대해 상기한 과정을 수행한다. The occlusion area restoration logic 24 projects each virtual point generated by the point group generating logic 23 into a two-dimensional multiview image, and changes the color of each virtual point in the multiview image to gray scale to occlude. Restore the area. In this case, the occlusion area restoration logic 24 performs the above process for all of the virtual points in the occlusion area.
폐색 영역 복원로직(24)은 투영로직(241), 유효 색상 판단로직(242), 평균 색상 적용로직(243) 및 예제 기반 복원로직(244)을 포함한다.The occlusion area reconstruction logic 24 includes a projection logic 241, an effective color determination logic 242, an average color application logic 243, and an example-based reconstruction logic 244.
투영로직(241)은 가상의 점 각각의 3차원 좌표를 카메라(11)를 통해 다른 시점에서 획득한 이미지들에 투영한다. 이 경우 도 6 에 도시된 바와 같이 복수 개의 다시점 이미지 각각에는 해당 가상의 점이 위치하게 된다. 즉, 점군 생성로직(23)에 의해 생성된 가상의 점 각각에는 3차원 좌표가 정의되는 바, 3차원 좌표를 2차원 다시점 이미지로 투영시킬 경우, 각 이미지에서 해당 좌표에 대응되는 지점을 인식할 수 있게 되는 바, 하나의 가상의 점에 대해서 다시점으로 인식할 수 있게 된다. The projection logic 241 projects the three-dimensional coordinates of each virtual point through the camera 11 to the images obtained at different viewpoints. In this case, as shown in FIG. 6, the virtual point is located in each of the plurality of multi-view images. That is, three-dimensional coordinates are defined in each of the virtual points generated by the point group generating logic 23. When the three-dimensional coordinates are projected as a two-dimensional multi-view image, the points corresponding to the corresponding coordinates in each image are recognized. As a result, one virtual point can be recognized as a multi-view.
유효 색상 판단로직(242)은 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단한다. 이 경우 유효 색상 판단로직(242)은 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단한다. 예를 들어, 각 카메라(11)에 의해 해당 지점이 정상적으로 촬영된 경우에는 각 이미지 내 해당 지점의 색상이 서로 유사하게 나타나나, 반면에 비정상적으로 촬영된 경우에는 각 이미지 내 해당 지점의 색상이 이미지마다 서로 상이하게 나타난다. 예를 들어 분산이 상대적으로 클 경우에는, 다양한 시점에서 서로 다른 물체가 촬영된 것이므로 도로면의 색상이 정확하게 취득된 것이 아닐 가능성이 높다. The effective color determination logic 242 determines whether it is an effective color based on the color of each point in each image corresponding to the virtual point. In this case, the effective color determination logic 242 determines the effective color if the dispersion of the color of each point in each image is within the set dispersion value. For example, when the point is normally photographed by each camera 11, the color of the corresponding point in each image appears similar to each other, whereas when abnormally photographed, the color of the corresponding point in each image is the image. Each one is different from each other. For example, if the dispersion is relatively large, it is likely that the color of the road surface is not accurately obtained because different objects are photographed at various points in time.
따라서, 유효 색상 판단로직(242)은 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 해당 지점의 색상을 유효 색상으로 판단하고, 반면에 이미지 내 지점별 색상의 분산이 설정 분산값 이내가 아니면 해당 지점의 색상이 유효 색상이 아닌 것으로 판단한다. Therefore, the effective color determination logic 242 determines the color of the corresponding point as the effective color when the dispersion of the color of each point in the image is within the set dispersion value. It is determined that the color of the spot is not an effective color.
평균 색상 적용로직(243)은 유효 색상 판단로직(242)의 판단 결과에 따라 각 이미지 내 지점의 색상을 이용하여 가상의 점의 색상을 설정한다. The average color application logic 243 sets the color of the virtual point using the color of the point in each image according to the determination result of the effective color determination logic 242.
즉, 유효 색상 판단로직(242)의 판단 결과 해당 지점의 색상이 유효 색상이면 평균 색상 적용로직(243)은 이들 색상의 색상값을 평균하고, 그 평균 색상을 그레일 스케일로 변경한다. 도로면에서 도료가 도포된 지점은 반사강도가 상대적으로 크므로 해당 색상을 그레이 스케일로 변환할 경우 밝게 나타나고, 도료가 도포되지 않은 지점은 반사강도가 상대적으로 낮아 어둡게 나타난다. 이에, 평균 색상 적용로직(243)이 색상을 그레이 스케일로 변환할 경우, 해당 지점에 도료가 도포되어 있는지에 따라 밝거나 또는 어둡게 나타나게 된다. That is, if the color of the corresponding point is the effective color, the average color application logic 243 averages the color values of these colors and changes the average color to the grail scale. The point where the paint is applied on the road surface is relatively high, so it appears bright when the color is converted to gray scale, and the point where the paint is not applied is dark due to the relatively low reflection strength. Thus, when the average color application logic 243 converts the color to gray scale, it appears bright or dark depending on whether the paint is applied to the corresponding point.
따라서, 평균 색상 적용로직(243)은 이미지 내 해당 지점의 색상을 평균한 평균 색상을 그레이 스케일로 변경하고 그 변경된 색상을 해당 가상의 지점의 색상으로 설정한다. 이에, 해당 가상의 지점이 도료가 도포된 지점이면 해당 가상의 점은 밝은 색상으로 표시되고, 도료가 도포되지 않은 지점이면 해당 가상의 점은 어두운 색상으로 표시된다. 이러한 과정은 모든 가상의 점에 대해서 수행되며, 그 결과에 따라 폐색 영역이 복원될 수 있게 된다. Therefore, the average color application logic 243 changes the average color obtained by averaging the color of the corresponding point in the image to gray scale, and sets the changed color to the color of the corresponding virtual point. Thus, if the virtual point is the point where the paint is applied, the virtual point is displayed in a bright color, and if the point is not applied, the virtual point is displayed in a dark color. This process is performed for all imaginary points, and as a result, the occlusion area can be restored.
한편, 상기한 과정에서 유효 색상 판단로직(242)의 판단 결과 해당 지점의 색상이 유효 색상이 아니면, 예제 기반 복원로직(244)은 가상의 점을 중심으로 한 주변의 점군 정보를 이용하여 가상의 점의 색상을 설정한다. Meanwhile, if the color of the corresponding point is not the effective color as a result of the determination of the effective color determination logic 242 in the above process, the example-based restoration logic 244 uses virtual point group information centering on the virtual point to simulate the virtual color. Sets the color of the point.
즉, 예제 기반 복원로직(244)은 가상의 점을 중심으로 임의의 영역을 설정하고, 이 설정 영역 이내의 다른 점을 검출한다. 이어 예제 기반 복원로직(244)은 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정한다. 이 경우, 검출된 다른 점은 이미 복원된 가상의 점이거나 폐색 영역 이외에 존재하는 기 검출된 점이며, 폐색 영역 내 복원되지 않은 가상의 점이 아니다. That is, the example-based restoration logic 244 sets an arbitrary area around the virtual point, and detects another point within this setting area. The example-based reconstruction logic 244 then sets the color of the virtual point according to the similarity of the reflection intensity and the color between the other points detected and the virtual point. In this case, the other point detected is a virtual point that has already been restored or a pre-detected point existing outside the occlusion area, and is not an unrestored virtual point in the occlusion area.
도 7 의 (a) 및 (b)에는 폐색 영역 내 가상의 점군이 균일한 밀도로 설정되고, 특히 설정영역(목표 복원 영역) 내 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정함으로써, 도 7 의 (c)와 같이 설정영역을 복원한다. 7 (a) and 7 (b), virtual point groups in the occlusion area are set to a uniform density, and in particular, virtual points according to the reflection intensity and similarity between the virtual points and other points in the setting area (target restoration area) are shown. By setting the color of the dot, the setting area is restored as shown in FIG.
이하 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 방법을 도 8 을 참조하여 상세하게 설명한다. Hereinafter, a road surface occlusion area restoration method according to an embodiment of the present invention will be described in detail with reference to FIG. 8.
도 8 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 방법을 도시한 도면이다. 8 is a diagram illustrating a road surface occlusion area restoration method according to an embodiment of the present invention.
도 8 을 참조하면, 먼저 MMS(10) 내부의 라이더(12)가 3차원 점군을 검출한다. 이 경우, 이상 점군 제거로직(21)은 라이더(12)를 통해 획득된 3차원 점군 중에서, 도로면에 해당하는 점군을 추출한다(S10). Referring to FIG. 8, first, the rider 12 inside the MMS 10 detects a three-dimensional point group. In this case, the abnormal point group removing logic 21 extracts the point group corresponding to the road surface from the three-dimensional point group obtained through the rider 12 (S10).
이어 이상 점군 제거로직(21)은 도로면의 점군을 규정짓고 폐색 영역을 유발한 객체의 이상 점군을 제거한다(S20).Subsequently, the abnormal point group removal logic 21 defines the point group on the road surface and removes the abnormal point group of the object that causes the occlusion area (S20).
이어, 폐색 영역 검출로직(22)은 이상 점군 제거로직(21)에 의해 제거된 영상에서 폐색 영역을 검출한다(S30).Subsequently, the occlusion area detection logic 22 detects the occlusion area in the image removed by the abnormal point group removal logic 21 (S30).
즉, 폐색 영역 검출로직(22)은 3차원 점군 중 어느 하나의 점을 검출하고, 검출된 현재 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬한다. 이후, 폐색 영역 검출로직(22)은 현재 점을 중심으로 하는 연속된 두 점의 사이각을 검출하고, 검출된 사이각이 주변 다른 사이각 보다 설정값 이상이면 현재 점을 외곽 점으로 인식한다. 이와 같이 외곽 점이 인식됨에 따라, 폐색 영역 검출로직(22)은 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분한다. 이 경우, 외곽의 점들로 구성되는 Convex hull이 생성되어 폐색 영역이 구분될 수 있다. That is, the occlusion area detection logic 22 detects any one of the three-dimensional point groups, and aligns the order of the peripheral point groups in the clockwise or counterclockwise direction based on the detected current point. Subsequently, the occlusion area detection logic 22 detects an angle between two consecutive points centered on the current point, and recognizes the current point as an outer point when the detected angle is more than a predetermined value. As the outer point is recognized as described above, the occlusion area detection logic 22 generates an outline connecting the outer points to distinguish the occlusion area. In this case, a convex hull composed of outer points may be generated to distinguish the occlusion area.
폐색 영역 검출로직(22)에 의해 폐색 검출 영역이 검출됨에 따라, 점군 생성로직(23)은 폐색 영역 검출로직(22)에 의해 검출된 폐색 영역에 균일한 밀도의 가상의 점군을 생성한다(S40). 이 경우 가상의 점 각각에는 3차원 좌표가 정의되며, 반면에 반사강도 및 색상은 정의되지 않는다. As the occlusion detection area is detected by the occlusion area detection logic 22, the point group generation logic 23 generates a virtual point group of uniform density in the occlusion area detected by the occlusion area detection logic 22 (S40). ). In this case, three-dimensional coordinates are defined for each virtual point, whereas reflection intensity and color are not defined.
점군 생성로직(23)에 의해 폐색 영역 내 가상의 점군이 생성되면, 폐색 영역 복원로직(24)은 점군 생성로직(23)에 의해 생성된 가상의 점 각각의 3차원 좌표를 카메라(11)를 통해 다른 시점에서 획득한 이미지들에 투영함으로써, 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 검출한다(S50).When the virtual point group in the occlusion area is generated by the point group generating logic 23, the occlusion area restoring logic 24 sets the camera 11 to three-dimensional coordinates of each of the virtual points generated by the point group generating logic 23. By projecting on the images obtained from different viewpoints through, the color of each point in each image corresponding to the projected virtual point is detected (S50).
이어 폐색 영역 복원로직(24)은 투영로직(241)에 의해 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단한다(S60). 이 경우 유효 색상 판단로직(242)은 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 해당 지점의 색상을 유효 색상으로 판단하고, 반면에 이미지 내 지점별 색상의 분산이 설정 분산값 이내가 아니면 해당 지점의 색상이 유효 색상이 아닌 것으로 판단한다. Subsequently, the occlusion area restoration logic 24 determines whether it is an effective color based on the color of each point in each image corresponding to the virtual point projected by the projection logic 241 (S60). In this case, the effective color judgment logic 242 judges the color of the point as the effective color if the color dispersion of each point in the image is within the set dispersion value. It is determined that the color of the spot is not an effective color.
단계(S60)에서의 판단 결과 해당 지점의 색상이 유효 색상이면 평균 색상 적용로직(243)은 이들 색상의 색상값을 평균하고, 그 평균 색상을 그레일 스케일로 변경하며, 변경된 색상을 해당 가상의 점에 설정한다(S70). 이 경우, 해당 가상의 지점이 도료가 도포된 지점이면 밝은 색상으로 표시되고 도료가 도포되지 않은 지점이면 어두운 색상으로 표시된다. If the determined color in the step (S60) is the effective color, the average color applied logic 243 averages the color values of these colors, changes the average color to the grail scale, and changes the changed color to the corresponding virtual color. Set to a point (S70). In this case, if the virtual point is the point where the paint is applied, it is displayed in bright color, and if it is the point where the paint is not applied, it is displayed in the dark color.
반면에, 단계(S60)에서의 판단 결과 해당 지점의 색상이 유효 색상이 아니면 평균 색상 적용로직(243)은 가상의 점을 중심으로 임의의 영역을 설정하고, 이 설정 영역 이내의 다른 점을 검출한 후, 검출된 다른 점과 가상의 점 간의 반사강도의 유사도 및 색상의 유사도에 따라 가상의 점의 색상을 설정함으로써, 폐색 영역을 복원한다(S80). On the other hand, if the color of the corresponding point is not an effective color as a result of the determination in step S60, the average color application logic 243 sets an arbitrary area around the virtual point and detects another point within this setting area. After that, the occlusion area is restored by setting the color of the virtual point according to the similarity of the reflection intensity and the similarity of the color between the other detected points and the virtual point (S80).
이와 같이, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치 및 방법은 폐색으로 인해 획득 불가능한 3차원 정보를 복원함으로써 도로면 위의 차선 정보를 온전하게 획득할 수 있고, 이를 토대로 차선 정보를 차선 레벨의 고정밀 지도 구축에 활용할 수 있도록 하고, 차선 정보를 자동 차선 추출 모듈 등의 고품질 입력 데이터로 활용될 수 있다.As described above, the apparatus and method for restoring a road occlusion area according to an exemplary embodiment of the present invention may completely acquire lane information on a road surface by restoring three-dimensional information that cannot be obtained due to occlusion. It can be used to construct high-level maps at the lane level, and the lane information can be used as high-quality input data such as an automatic lane extraction module.
또한, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치 및 방법은 정확한 투영 및 다수 색상 이미지 정보를 사용함으로써, 종래의 스티칭(Stitching)이나 와핑(Warping)을 사용한 방식보다 명확한 색상 추정이 가능하고, 도로면 위의 차선 정보를 획득하는 비용을 크게 절감할 수 있다. In addition, the apparatus and method for restoring the road surface occlusion area according to an embodiment of the present invention enables accurate color estimation than the conventional stitching or warping method by using accurate projection and multiple color image information. In addition, the cost of obtaining lane information on the road surface can be greatly reduced.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, it is merely exemplary and various modifications and equivalent other embodiments are possible to those skilled in the art. Will understand. Therefore, the true technical protection scope of the present invention will be defined by the claims below.

Claims (20)

  1. 프로세서에 의해 동작하는 도로면 폐색 영역 복원 장치로서,A road surface occlusion area restoration device operated by a processor,
    상기 프로세서는,The processor,
    MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 이상 점군 제거 로직;Abnormal point group removal logic for removing the abnormal point group from the three-dimensional point group obtained by the mobile mapping system (MMS);
    상기 이상 점군 제거 로직에 의해 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 폐색 영역 검출 로직; Occlusion area detection logic for detecting an occlusion area in the image from which the abnormal point group is removed by the abnormal point group removal logic;
    상기 검출된 폐색 영역에 가상의 점군을 생성하는 점군 생성로직; 및A point group generation logic for generating a virtual point group in the detected occlusion area; And
    상기 생성된 가상의 점군의 가상의 점 각각을 다시점 이미지로 투영하여 폐색 영역을 복원하는 폐색 영역 복원 로직을 포함하는 도로면 폐색 영역 복원 장치.And a occlusion area restoration logic for restoring the occlusion area by projecting each of the generated virtual points of the virtual point group as a multi-view image.
  2. 제 1항에 있어서, 상기 폐색 영역 복원 로직은 상기 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하는 것에 의해 상기 폐색 영역을 복원하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.The apparatus of claim 1, wherein the occlusion area restoration logic restores the occlusion area by changing a color of each virtual point in the multi-view image to gray scale.
  3. 제 1 항에 있어서, 상기 폐색 영역 검출 로직은 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하는 점 정렬 로직; 2. The apparatus of claim 1, wherein the occlusion area detection logic comprises: point alignment logic for aligning a sequence of neighboring point groups in a clockwise or counterclockwise direction based on any one point;
    상기 점 정렬 로직에 의해 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각을 이용하여 폐색 영역의 외곽 점을 검출하는 외곽 점 검출 로직; 및An outer point detection logic for detecting an outer point of the occlusion area by using an angle between two consecutive points centered on any one of the points aligned by the point alignment logic; And
    상기 외곽 점 검출 로직에 의해 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 폐색 영역 구분 로직을 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. And an occlusion area division logic for generating an outline connecting the outer points detected by the outer point detection logic to distinguish the occlusion areas.
  4. 제 3 항에 있어서, 상기 외곽 점 검출 로직은 어느 한 점을 중심으로 연속된 두 점의 사이각이 주변의 다른 사이각보다 설정값 이상이면 현재 점을 외곽 점으로 검출하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. The road surface of claim 3, wherein the outer point detection logic detects a current point as an outer point when an angle between two consecutive points about one point is greater than a set value between other surrounding angles. Occlusion area restoration device.
  5. 제 1 항에 있어서, 상기 점군 생성로직은 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. 2. The apparatus for restoring a road occlusion area according to claim 1, wherein the point group generating logic generates a virtual point group with a uniform density.
  6. 제 2 항에 있어서, 상기 폐색 영역 복원 로직은 3. The occlusion area reconstruction logic of claim 2, wherein
    폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하는 투영 로직; Projection logic for projecting the coordinates of the virtual point in the occlusion area into two-dimensional images;
    상기 투영 로직에 의해 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단하는 유효 색상 판단 로직; 및Valid color determination logic that determines whether the color is an effective color based on the color of each point in each image corresponding to the virtual point projected by the projection logic; And
    상기 유효 색상 판단 로직의 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경하고, 변경된 색상을 가상의 점의 색상으로 설정하는 평균 색상 적용 로직을 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. Restoring the road occlusion area according to the determination result of the effective color determination logic, the average color application logic for changing the color of the point in each image to gray scale and setting the changed color to the color of the virtual point. Device.
  7. 제 6 항에 있어서, 상기 유효 색상 판단 로직은 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. The apparatus of claim 6, wherein the effective color determination logic determines that the effective color is an effective color when the dispersion of the color of each point in the image is within the set dispersion value.
  8. 제 6 항에 있어서, 상기 유효 색상 판단 로직은 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. 7. The method of claim 6, wherein the effective color determination logic averages the colors of the points in each image, changes the average color to grayscale, and sets the changed grayscale color to the color of the virtual point. Road occlusion area restoration device.
  9. 제 6 항에 있어서, 상기 폐색 영역 복원 로직은 상기 유효 색상 판단 로직의 판단 결과 유효 색상이 아니면, 가상의 점을 중심으로 한 주변의 점군 정보를 이용하여 가상의 점의 색상을 설정하는 예제 기반 복원 로직을 더 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. The example-based restoration of claim 6, wherein the occlusion area restoration logic sets a color of the virtual point by using point point information around the virtual point if the effective color determination logic is not a valid color. The road occlusion area restoration apparatus further comprising a logic.
  10. 제 9 항에 있어서, 상기 예제 기반 복원 로직은 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치. The method of claim 9, wherein the example-based reconstruction logic detects another point within a set area around the virtual point, and determines the virtual point according to the similarity of the reflection intensity and the color between the detected other point and the virtual point. Road occlusion area restoration device characterized in that the color is set.
  11. 이상 점군 제거 로직, 폐색 영역 검출 로직, 점군 생성로직 및 폐색 영역 복원 로직을 포함하는 프로세서에 의해 수행되는 도로면 폐색 영역 복원 방법으로서,A road surface occlusion area restoration method performed by a processor including an abnormal point group removal logic, a occlusion area detection logic, a point group generation logic, and a occlusion area restoration logic,
    상기 이상 점군 제거 로직이 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 단계; Removing abnormal point groups from the 3D point group obtained by the mobile mapping system (MMS);
    상기 폐색 영역 검출 로직이 상기 이상 점군 제거 로직에 의해 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 단계;Detecting, by the occlusion area detection logic, an occlusion area in an image from which an abnormal point group is removed by the abnormal point group removal logic;
    상기 점군 생성로직이 상기 검출된 폐색 영역에 가상의 점군을 생성하는 단계; 및 Generating a virtual point group in the detected occlusion area by the point group generating logic; And
    상기 폐색 영역 복원 로직이 상기 생성된 가상의 점군의 가상의 점 각각을 다시점 이미지로 투영하여 폐색 영역을 복원하는 단계를 포함하는 도로면 폐색 영역 복원 방법. And the occlusion area restoration logic restores the occlusion area by projecting each virtual point of the generated virtual point group as a multi-view image.
  12. 제 11항에 있어서, 상기 폐색 영역 복원 로직은 상기 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하는 것에 의해 상기 폐색 영역을 복원하는 것을 특징으로 도로면 폐색 영역 복원 방법. 12. The method of claim 11, wherein the occlusion area restoration logic restores the occlusion area by changing a color of each virtual point in the multi-view image to gray scale.
  13. 제 11 항에 있어서, 상기 폐색 영역 검출 로직은 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하고, 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각이 설정각 이상인지 여부에 따라 폐색 영역의 외곽 점을 검출한 후, 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. 12. The system of claim 11, wherein the occlusion area detection logic aligns the order of the surrounding point groups in a clockwise or counterclockwise direction based on any one point, and between two consecutive points centered on any one of the aligned points. The method for restoring a road occlusion area after detecting an outer point of the occlusion area according to whether the angle is greater than or equal to the set angle, and generating an outline connecting the detected outer points.
  14. 제 13 항에 있어서, 상기 외곽 점 검출부는 어느 한 점을 중심으로 연속된 두 점의 사이각이 주변의 다른 사이각보다 설정값 이상이면 현재 점을 외곽 점으로 검출하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. The road surface occlusion of claim 13, wherein the outer point detector detects a current point as an outer point when an angle between two consecutive points about one point is greater than or equal to a set value. Zone restoration method.
  15. 제 11 항에 있어서, 상기 점군 생성로직은 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. 12. The method of claim 11, wherein the point group generating logic generates a virtual point group with a uniform density.
  16. 제 12 항에 있어서, 상기 폐색 영역 복원 로직은 폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하고, 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상의 분산을 기반으로 유효 색상인지 여부를 판단하여 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경한 후, 변경된 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. The method of claim 12, wherein the occlusion area restoration logic projects the coordinates of the virtual point in the occlusion area into two-dimensional images, and is effective based on the dispersion of the color of each point in each image corresponding to the projected virtual point. And determining whether the color is a color, and changing the color of the point in each image to gray scale according to the determination result, and then setting the changed color to the color of the virtual point.
  17. 제 16 항에 있어서, 상기 유효 색상 판단부는 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. 17. The method of claim 16, wherein the effective color determination unit determines the effective color when the dispersion of the color of each point in the image is within the set dispersion value.
  18. 제 16 항에 있어서, 상기 유효 색상 판단 로직은 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이 스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. 17. The method of claim 16, wherein the effective color determination logic averages the colors of points in each image, changes the average color to gray scale, and sets the changed gray scale color to the color of the virtual point. How to restore road occlusion area.
  19. 제 11 항에 있어서, 예제 기반 복원 로직이 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 단계를 더 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법. 12. The color of the virtual point of claim 11, wherein the example-based reconstruction logic detects another point within a set area centered on the virtual point, and the color of the virtual point according to the similarity of the reflection intensity and color between the detected other point and the virtual point. The road surface occlusion area restoration method further comprising the step of setting.
  20. 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 매체로서,A computer readable medium having recorded a computer program,
    상기 컴퓨터 프로그램은 적어도, 프로세서에 의해 실행될 때,The computer program, at least when executed by a processor,
    MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 단계; Removing the abnormal point group from the three-dimensional point group obtained by a mobile mapping system (MMS);
    상기 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 단계;Detecting an occlusion area in the image from which the abnormal point group is removed;
    상기 검출된 폐색 영역에 가상의 점군을 생성하는 단계; 및 Generating a virtual point group in the detected occlusion area; And
    상기 생성된 가상의 점군의 가상의 점 각각을 다시점 이미지로 투영하여 폐색 영역을 복원하는 단계를 수행하도록 구현된, 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 매체.And projecting each virtual point of the generated virtual point group into a multi-view image to restore the occlusion area.
PCT/KR2017/013839 2016-11-30 2017-11-29 Apparatus and method for reconstructing road surface blocked area WO2018101746A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160161367A KR20180061803A (en) 2016-11-30 2016-11-30 Apparatus and method for inpainting occlusion of road surface
KR10-2016-0161367 2016-11-30

Publications (2)

Publication Number Publication Date
WO2018101746A2 true WO2018101746A2 (en) 2018-06-07
WO2018101746A3 WO2018101746A3 (en) 2018-08-16

Family

ID=62241576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013839 WO2018101746A2 (en) 2016-11-30 2017-11-29 Apparatus and method for reconstructing road surface blocked area

Country Status (2)

Country Link
KR (1) KR20180061803A (en)
WO (1) WO2018101746A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220258733A1 (en) * 2021-02-12 2022-08-18 Honda Motor Co., Lt.D Division line recognition apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150954B1 (en) * 2020-04-06 2020-09-02 주식회사 맥스트 Apparatus and method for processing point cloud
KR102568907B1 (en) 2020-08-20 2023-08-23 (주)신한항업 Data set producing system and method used by deeplearning for search dead zone in image
KR20240081658A (en) 2022-11-30 2024-06-10 (주)신한항업 Mms linkage method and image processing system for automatic occlusion area restoration

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100995400B1 (en) * 2010-06-29 2010-11-19 한진정보통신(주) System for extracting building outline using terrestrial lidar
KR101683164B1 (en) * 2010-09-10 2016-12-05 삼성전자주식회사 Apparatus and method for inpainting in occlusion
US8429195B2 (en) * 2011-05-13 2013-04-23 Hntb Holdings Ltd Managing large datasets obtained through a survey-data-acquisition process
KR101219767B1 (en) * 2011-07-04 2013-01-17 (주)아세아항측 Method for Field Survey of Digital Mapping Road Layers Using Vehicle Mobile Mapping System
KR101677972B1 (en) * 2016-07-26 2016-11-21 주식회사 싸인텔레콤 The apparatus and method of multi-lane car plate detection and recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220258733A1 (en) * 2021-02-12 2022-08-18 Honda Motor Co., Lt.D Division line recognition apparatus

Also Published As

Publication number Publication date
WO2018101746A3 (en) 2018-08-16
KR20180061803A (en) 2018-06-08

Similar Documents

Publication Publication Date Title
WO2018101746A2 (en) Apparatus and method for reconstructing road surface blocked area
CN110427917B (en) Method and device for detecting key points
WO2012023639A1 (en) Method for counting objects and apparatus using a plurality of sensors
WO2012176945A1 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN105279372B (en) A kind of method and apparatus of determining depth of building
WO2016153100A1 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
US20200134849A1 (en) Device and method for obtaining depth information from a scene
CN103852060B (en) A kind of based on single visual visible images distance-finding method felt
WO2012108721A2 (en) Device and method for providing augmented reality using image information
WO2014035103A1 (en) Apparatus and method for monitoring object from captured image
WO2020235734A1 (en) Method for estimating distance to and location of autonomous vehicle by using mono camera
JP2015203652A (en) Information processing unit and information processing method
CN109801333A (en) Volume measuring method, device, system and calculating equipment
WO2010076988A2 (en) Image data obtaining method and apparatus therefor
WO2016204402A1 (en) Component defect inspection method, and apparatus therefor
JPWO2013005244A1 (en) Three-dimensional relative coordinate measuring apparatus and method
CN114862973B (en) Space positioning method, device and equipment based on fixed point location and storage medium
WO2011136407A1 (en) Apparatus and method for image recognition using a stereo camera
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
JP2020112438A (en) Sea level measurement system, sea level measurement method and sea level measurement program
CN106767526A (en) A kind of colored multi-thread 3-d laser measurement method based on the projection of laser MEMS galvanometers
WO2012134237A2 (en) System and method for estimating the attitude of a camera having captured an image
WO2017195984A1 (en) 3d scanning device and method
WO2012148025A1 (en) Device and method for detecting a three-dimensional object using a plurality of cameras
KR100934904B1 (en) Method for distance estimation and apparatus for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17875728

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17875728

Country of ref document: EP

Kind code of ref document: A2