KR102605696B1 - Method and System of Estimating CCTV Camera Pose and 3D Coordinate of Mapping Object based on High Definition Map - Google Patents
Method and System of Estimating CCTV Camera Pose and 3D Coordinate of Mapping Object based on High Definition Map Download PDFInfo
- Publication number
- KR102605696B1 KR102605696B1 KR1020220172426A KR20220172426A KR102605696B1 KR 102605696 B1 KR102605696 B1 KR 102605696B1 KR 1020220172426 A KR1020220172426 A KR 1020220172426A KR 20220172426 A KR20220172426 A KR 20220172426A KR 102605696 B1 KR102605696 B1 KR 102605696B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- precision
- captured image
- camera posture
- map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000013507 mapping Methods 0.000 title claims abstract description 74
- 238000013473 artificial intelligence Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 description 47
- 238000012937 correction Methods 0.000 description 37
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법은, (a) CCTV 카메라의 촬영영상에서의 노면객체와 정밀도로지도를 매칭시켜 카메라 자세를 추정하는 단계; (b) 촬영영상 내에서 매핑대상객체를 선택하는 단계; 및 (c) 추정된 카메라 자세에 기초하여 촬영영상 내에서 선택된 매핑대상객체의 좌표를 추정하는 단계를 포함하되, 카메라 자세는 CCTV 카메라의 위치(X,Y,Z), 팬(pan), 틸트(tilt)에 대한 정보를 포함한다.A method for estimating CCTV camera posture and object coordinates based on a high-precision road map according to an embodiment of the present invention includes the steps of: (a) estimating the camera posture by matching a road surface object in an image captured by a CCTV camera with a high-precision road map; (b) selecting a mapping target object within the captured image; and (c) estimating the coordinates of a mapping target object selected in the captured image based on the estimated camera posture, where the camera posture is determined by the position (X, Y, Z), pan, and tilt of the CCTV camera. Contains information about (tilt).
Description
본 발명은 정밀도로지도기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for estimating CCTV camera posture and object coordinates based on precision road maps.
현재 고속도로 변에는 교통상황을 모니터링하기 위해 수천 개의 CCTV가 설치되어 있고, 도심부의 경우에도 많은 교차로에서 CCTV를 설치하여 교통 모니터링용으로 활용하고 있으며, 또한, 최근에는 AI 기술의 발전으로 차량, 사람 등에 대한 인식 및 이를 이용한 정지차량, 보행자, 역주행 차량 등에 대한 인식이 가능한 상황으로 발전하고 있다.Currently, thousands of CCTVs are installed along highways to monitor traffic conditions, and even in urban areas, CCTVs are installed at many intersections and used for traffic monitoring. Additionally, with the recent development of AI technology, vehicles, people, etc. It is developing into a situation where it is possible to recognize stopped vehicles, pedestrians, reversing vehicles, etc. using this recognition.
그러나 이렇게 위험상황이 자동으로 인식된 경우에도 오퍼레이터에 의한 육안 판단을 통해 위치를 개략적으로 추정하거나, 위도, 경도, 고도의 글로벌 좌표계로 위치를 추정하지 못하는 경우가 대부분이며, 어렵게 추정하더라도 오차가 크게 나타나는 등의 문제로 정보공유에 어려움이 있는 것이 현재의 상황이다.However, even when a dangerous situation is automatically recognized in this way, in most cases the location cannot be roughly estimated through visual judgment by the operator or the location cannot be estimated using the global coordinate system of latitude, longitude, and altitude, and even if it is difficult to estimate, the error is large. The current situation is that there are difficulties in sharing information due to problems such as appearing.
특히, 현재까지는 거의 대부분의 CCTV에서 오퍼레이터에 의한 육안 모니터링을 통해 위험상황을 인지하고 역시 육안판단에 의해 개략적 위치를 추정한 후 정보를 공유함으로써, 정보생성에 소요되는 시간이 과다하고 정확도가 현저히 떨어져 매핑을 통한 공유가 어려운 한계가 있다.In particular, to date, most CCTVs recognize dangerous situations through visual monitoring by operators and share information after estimating the approximate location through visual judgment, so the time required to generate information is excessive and the accuracy is significantly low. There are limitations that make sharing through mapping difficult.
본 발명에서는 육안에 의한 개략적 위치 추정, 글로벌 좌표 추정의 곤란, 추정하더라도 정확도가 현저히 낮다는 점 등의 문제점을 해결하기 위해, CCTV 카메라에 촬영된 영상 내의 객체나 구역에 대한 자동화된 위치 좌표 추정 기술과 이를 이용한 자동 매핑에 관한 기술을 제공하고자 한다.In the present invention, in order to solve problems such as rough position estimation by the naked eye, difficulty in estimating global coordinates, and significantly low accuracy even when estimated, automated position coordinate estimation technology for objects or areas in images captured by CCTV cameras We would like to provide technology for automatic mapping using this.
또한, 고정식 카메라 이외에도 수시로 회전하는 PTZ 카메라에 대해서도 적용이 가능한 기술을 개발하여 적용 범위를 극대화한다. In addition, the scope of application is maximized by developing technology that can be applied to PTZ cameras that rotate frequently in addition to fixed cameras.
특히, 최근에 주요도로를 기준으로 정부에서 구축중인 정밀도로지도(HD Map)를 활용하여 손쉽게 CCTV 카메라의 카메라 자세를 자동으로 추정하고, 추정된 카메라 자세를 이용한 좌표 추정 및 매핑 기술을 제안하고, 특히 좌표 추정 결과에 대한 오차를 확인하고 그 결과를 이용하여 위치 오차와 카메라 자세를 자동으로 보정하는 방법을 제공한다.In particular, we automatically estimate the camera posture of CCTV cameras easily by utilizing the high-definition map (HD Map) that the government is currently constructing based on major roads, and propose coordinate estimation and mapping technology using the estimated camera posture. In particular, it provides a method to check the error in the coordinate estimation result and automatically correct the position error and camera posture using the result.
따라서, 정밀도로지도가 전국적으로 구축이 완료되면 본 발명을 적용하여 AI에 의해 인식된 객체나 위험구역 등에 대해 자동으로 정확한 위치를 추정하고 자동으로 매핑하여 위험정보를 공유할 수 있다.Therefore, once the construction of a high-precision road map is completed nationwide, the present invention can be applied to automatically estimate the exact location of objects or risk areas recognized by AI and automatically map them to share risk information.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법은 (a) CCTV 카메라의 촬영영상에서의 노면객체와 정밀도로지도를 매칭시켜 카메라 자세를 추정하는 단계; (b) 상기 촬영영상 내에서 매핑대상객체를 선택하는 단계; 및 (c) 상기 추정된 카메라 자세에 기초하여 상기 촬영영상 내에서 선택된 매핑대상객체의 좌표를 추정하는 단계를 포함하되, 상기 카메라 자세는 상기 CCTV 카메라의 위치(X,Y,Z), 팬(pan), 틸트(tilt)에 대한 정보를 포함하고, 상기 (c) 단계는, 상기 매핑대상객체의 각 특징점을 상기 추정된 카메라 자세에 따라 상기 정밀도로지도에 역투영하는 단계; 및 역투영된 상기 매핑대상객체의 각 특징점의 공간좌표를 상기 정밀도로지도로부터 산출하는 단계를 포함한다.The method for estimating CCTV camera posture and object coordinates based on a high-precision road map according to an embodiment of the present invention to solve the above problem is (a) to determine the camera posture by matching the road surface object in the captured video of the CCTV camera with the high-precision road map; estimating step; (b) selecting a mapping target object within the captured image; and (c) estimating the coordinates of a mapping object selected in the captured image based on the estimated camera posture, wherein the camera posture is determined by the position (X, Y, Z) of the CCTV camera, pan ( Pan) and tilt information, wherein step (c) includes back-projecting each feature point of the mapping target object onto the high-precision map according to the estimated camera posture; and calculating the spatial coordinates of each feature point of the back-projected mapping target object from the precision road map.
상기 (a) 단계는, 상기 촬영영상에서 상기 노면객체의 특징점들의 픽셀좌표를 추출하는 단계; 상기 노면객체를 정밀도로지도와 매칭시켜 상기 노면객체의 특징점들의 공간좌표를 추출하는 단계; 및 상기 추출된 노면객체 특징점들의 픽셀좌표와 공간좌표의 관계로부터 PnP(Perspective-n-Point)를 이용하여 상기 카메라 자세를 추정하는 단계를 포함할 수 있다.The step (a) includes extracting pixel coordinates of feature points of the road surface object from the captured image; extracting spatial coordinates of feature points of the road surface object by matching the road surface object with a high-precision road map; And it may include estimating the camera posture using PnP (Perspective-n-Point) from the relationship between pixel coordinates and spatial coordinates of the extracted road surface object feature points.
상기 CCTV 카메라가 PTZ 카메라인 경우, 상기 (a) 단계는, 상기 추정된 카메라 자세의 팬, 틸트 값과 상기 PTZ 카메라에서 제공된 팬, 틸트 값의 차이로부터 상기 PTZ 카메라에서 제공된 팬 및 틸트 값을 진북과 수직 방향을 기준으로 한 절대값으로 변환하는 단계; 및 상기 PTZ 카메라에서 제공된 줌 값의 역수만큼 상기 촬영영상을 축소하여 줌 값이 "0"인 촬영영상으로 변환하는 단계를 더 포함할 수 있다.If the CCTV camera is a PTZ camera, step (a) converts the pan and tilt values provided by the PTZ camera to true north from the difference between the pan and tilt values of the estimated camera posture and the pan and tilt values provided by the PTZ camera. and converting to an absolute value based on the vertical direction; And the step of reducing the captured image by the reciprocal of the zoom value provided by the PTZ camera and converting it into a captured image with a zoom value of "0".
상기 (a) 단계는, (a1) 상기 추정된 카메라 자세를 이용하여 상기 정밀도로지도를 상기 촬영영상에 투영하거나, 상기 촬영영상의 객체들을 상기 추정된 카메라 자세를 이용하여 상기 정밀도로지도에 역투영하는 단계; (a2) 서로 대응되는 상기 촬영영상의 객체 및 상기 정밀도로지도의 객체의 각 특징점의 픽셀 오차를 산출하는 단계; 및 (a3) 상기 산출된 픽셀 오차가 임계값 이상인 경우, 상기 추정된 카메라 자세를 보정하여 상기 산출된 픽셀 오차를 임계값 미만으로 줄이는 단계를 더 포함할 수 있다.The step (a) includes: (a1) projecting the precision road map onto the captured image using the estimated camera posture, or projecting objects in the captured image onto the precision road map using the estimated camera posture. Projecting step; (a2) calculating pixel errors of each feature point of the corresponding object in the captured image and the object in the precision map; and (a3) when the calculated pixel error is greater than or equal to a threshold, the method may further include correcting the estimated camera posture to reduce the calculated pixel error to less than the threshold.
상기 (b) 단계에서, 상기 매핑대상객체는, 상기 촬영영상 내에서 AI(artificial intelligence)에 기반하여 미리 설정된 규칙에 따라 자동으로 인식되어 추출된 구역이나 객체, 또는 사용자에 의해 상기 촬영영상 내에서 수동으로 선택된 구역이나 객체일 수 있다.In step (b), the mapping target object is an area or object automatically recognized and extracted according to preset rules based on AI (artificial intelligence) within the captured image, or within the captured image by the user. This may be a manually selected area or object.
삭제delete
따라서, 본 발명의 일 실시예에 따른 CCTV 카메라 자세 및 객체 좌표 추정 방법 및 시스템은 측량이나 기준점 설정 등 현장에서의 작업없이 정밀도로지도를 이용하는 간단한 방법을 통해 CCTV 카메라의 자세(Pose)를 추정할 수 있는 방법을 제시함으로써 좌표 추정이나 매핑을 자동화할 수 있고, 또한, 기존 방법과 비교하여 높은 정확도와 시간 및 비용 절감 등의 효과를 창출할 수 있다.Therefore, the CCTV camera pose and object coordinate estimation method and system according to an embodiment of the present invention can estimate the pose of the CCTV camera through a simple method using a precision map without on-site work such as surveying or setting reference points. By presenting a method that can automate coordinate estimation or mapping, it is also possible to create effects such as high accuracy and time and cost savings compared to existing methods.
또한, 고정식 CCTV 뿐만 아니라 PTZ 카메라를 이용하는 경우에도 적용이 가능하고, 좌표 추정 및 매핑 과정을 자동화할 수 있고, 정밀도로지도 상에서 좌표를 추정함으로써 간단하고 정확도를 향상시킬 수 있으며, AI를 이용해 차선 등 노면객체 인식이 가능한 경우뿐 아니라 이러한 기능이 없는 경우에도 적용 가능하다.In addition, it can be applied not only when using fixed CCTV but also when using PTZ cameras, and the coordinate estimation and mapping process can be automated. By estimating coordinates on a map with high precision, it is simple and accuracy can be improved. Using AI, it is possible to use AI to It can be applied not only in cases where road surface object recognition is possible, but also in cases where such a function is not available.
또한, 좌표 추정 결과나 카메라 자세에 대한 오차를 모든 추정 과정에서 확인하고 자동으로 보정함으로써 정확도 높은 추정이 가능하고, 노면객체 인식이 가능한 경우 전 과정을 자동화하여 편리성을 증대할 수 있다. In addition, high-accuracy estimation is possible by checking and automatically correcting errors in coordinate estimation results or camera posture throughout the estimation process, and when road surface object recognition is possible, convenience can be increased by automating the entire process.
도 1은 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법 및 시스템의 네트워크 구성도이다.
도 2는 도 1에 도시된 정보처리서버의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법을 설명한 흐름도이다.
도 4는 도 3에 도시된 카메라 자세 추정 단계의 세부 흐름도이다.
도 5는 촬영영상에 정밀도로지도를 투영한 후 미세 조정 요령을 설명하기 위한 예시도이다.
도 6은 도 3에 도시된 좌표 추정 단계 내지 메시지 생성 배포 단계를 설명한 흐름도이다.
도 7은 위험구역에 인접한 차선 지정을 통한 자세 보정 및 매핑 오차 보정의 개념을 설명하기 위한 예시도이다.Figure 1 is a network configuration diagram of a method and system for estimating CCTV camera posture and object coordinates based on a precision road map according to an embodiment of the present invention.
Figure 2 is a detailed configuration diagram of the information processing server shown in Figure 1.
Figure 3 is a flowchart explaining a method for estimating CCTV camera posture and object coordinates based on a precision road map according to an embodiment of the present invention.
FIG. 4 is a detailed flowchart of the camera pose estimation step shown in FIG. 3.
Figure 5 is an example diagram to explain fine adjustment tips after projecting a map with high precision onto a captured image.
FIG. 6 is a flowchart explaining the coordinate estimation step and the message creation and distribution step shown in FIG. 3.
Figure 7 is an example diagram to explain the concept of posture correction and mapping error correction through designation of lanes adjacent to a dangerous area.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an example for structural or functional explanation, the scope of the present invention should not be construed as limited by the examples described in the text. In other words, since the embodiments can be modified in various ways and can have various forms, the scope of rights of the present invention should be understood to include equivalents that can realize the technical idea. In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment must include all or only such effects, so the scope of the present invention should not be understood as limited thereby.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Meanwhile, the meaning of the terms described in the present invention should be understood as follows. Terms such as “first” and “second” are used to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, a first component may be named a second component, and similarly, the second component may also be named a first component. When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected to the other component, but that other components may exist in between. On the other hand, when a component is referred to as being “directly connected” to another component, it should be understood that there are no other components in between. Meanwhile, other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly neighboring" should be interpreted similarly. Singular expressions should be understood to include plural expressions, unless the context clearly indicates otherwise, and terms such as “comprise” or “have” refer to the specified features, numbers, steps, operations, components, parts, or them. It is intended to specify the existence of a combination, and should be understood as not excluding in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 정밀도로지도 기반의 도로변 CCTV 자세추정, AI 인식객체 좌표추정 및 위험구역 매핑 자동화 시스템 및 방법을 보다 상세하게 설명하도록 한다.Hereinafter, based on the attached drawings, a system and method for automating posture estimation of roadside CCTV, AI recognition object coordinate estimation, and dangerous zone mapping based on a precision road map according to an embodiment of the present invention will be described in more detail.
도 1은 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 시스템의 네트워크 구성도이다. 도 2는 도 1에 도시된 정보처리서버의 세부 구성도이다.Figure 1 is a network configuration diagram of a CCTV camera posture and object coordinate estimation system based on a precision road map according to an embodiment of the present invention. Figure 2 is a detailed configuration diagram of the information processing server shown in Figure 1.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 시스템(100)은 CCTV 카메라(10) 및 정보처리서버(20)를 포함하며, 추가로 오퍼레이터 단말(30)을 더 포함할 수 있다.First, as shown in FIG. 1, the precision road map-based CCTV camera posture and object
각 구성들은 네트워크로 통신하면, 상기 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의 미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스 (Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.When each component communicates through a network, the network refers to a connection structure that allows information exchange between each node, such as a plurality of terminals and servers. Examples of such networks include RF and 3rd Generation Partnership Project (3GPP). ) network, LTE (Long Term Evolution) network, 5GPP (5th Generation Partnership Project) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network) , WAN (Wide Area Network), PAN (Personal Area Network), Bluetooth network, NFC network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc., but are not limited thereto.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한 각 구성요소가 단수 또는 복수로 구비되는 것은 실시예에 따라 변경가능하다 할 것이다.In the following, the term at least one is defined as a term including singular and plural, and even if the term at least one does not exist, each component may exist in singular or plural, and may mean singular or plural. This should be self-explanatory. Additionally, whether each component is provided in singular or plural form may vary depending on the embodiment.
상기 CCTV 카메라(10)는 PTZ(pan tilt zoom) 카메라 또는 고정식 카메라일 수 있고, 도로변에 설치된 카메라일 수 있다. 여기서, CCTV 카메라가 PTZ 카메라일 경우, 카메라의 위치(X, Y, Z), Pan, Tilt, Zoom에 대한 정보를 제공하는 장치일 수 있다. The
다음으로, 정보처리서버(20)는 CCTV 카메라(10)가 촬영한 촬영영상과 정밀도로지도(High Definition Map, HD Map)를 이용하여 CCTV 카메라의 카메라 자세(pose: X, Y, Z, Pan, Tilt, Zoom)를 추정한다. CCTV 카메라가 고정식인 경우 임계값 이상의 오차가 발견되기 전까지 추정된 카메라 자세가 이용될 수 있으며, CCTV 카메라가 PTZ 카메라인 경우 팬, 틸트, 줌이 변경될 때마다 카메라 자세가 추정될 수 있다.Next, the
또한, 정보처리서버(20)는 CCTV 카메라가 촬영한 촬영영상에서 내에서 AI(artificial intelligence)에 기반하여 미리 설정된 규칙에 따라 자동으로 인식되어 추출된 객체나 구역, 또는 사용자에 의해 촬영영상 내에서 수동으로 선택된 구역이나 객체를 매핑대상객체로 설정한다.In addition, the
매핑대상객체는 AI(Artificial Intelligence) 기반으로 규칙에 부합하는 이동객체나 위험구역이 매핑대상객체로 인식될 수도 있고, 오퍼레이터가 육안으로 인식한 객체나 위험구역이 매핑대상객체로서 선택될 수도 있다.Based on AI (Artificial Intelligence), the mapping target object may be a moving object or a dangerous area that conforms to the rules, or an object or a dangerous area recognized with the naked eye by the operator may be selected as the mapping target object.
정보처리서버(20)는 AI로 자동 인식되거나 오퍼레이터에 의해 선택된 이동객체나 위험구역 등의 매핑대상객체에 대해 정밀도로지도을 기반으로 매핑대상객체의 특징점들의 좌표를 자동으로 추정하되, 그 과정에서 정밀도로지도을 이용하여 기 추정한 위치 오차 및 카메라 자세를 보정한 후, 위험의 종류, 주행불가영역에 대한 면단위 정보 등이 포함된 메시지를 생성하고 V2X, 이동통신 등을 이용해 배포하는 기능을 수행하는 구성일 수 있다.The
다음으로, 오퍼레이터 단말(30)은 정밀도로지도(정밀도로지도) 내에 위험구역을 설정한 설정정보를 정보처리서버(20)로 제공하는 구성일 수 있다.Next, the
보다 구체적으로, 상기 정보처리서버(20)는 카메라 자세 추정부(21), 매핑대상객체 설정부(22), 좌표 추정부(23), 보정부(24) 및 메시지 생성 배포부(25) 중의 적어도 하나를 포함할 수 있다.More specifically, the
카메라 자세 추정부(21)는 CCTV 카메라의 촬영영상에서의 노면객체와 그에 대응되는 정밀도로지도에서의 객체를 매칭시켜 카메라 자세를 추정하는 역할을 수행한다. 여기서, 카메라 자세는 CCTV 카메라의 위치(X,Y,Z), 팬(pan), 틸트(tilt)에 대한 정보를 포함하며, 추가로 줌(Zoom)에 대한 정보를 더 포함할 수 있다.The camera pose
카메라 자세 추정부(21)는, 촬영영상에서 노면객체의 특징점들의 픽셀좌표를 추출하고, 해당 노면객체를 정밀도로지도와 매칭시켜 해당 노면객체의 각 특징점의 공간좌표를 추출하며, 추출된 노면객체 각 특징점의 픽셀좌표와 공간좌표의 관계로부터 PnP(Perspective-n-Point)를 이용하여 카메라 자세를 추정할 수 있다. The camera pose
PnP(Perspective-n-Point)란 3개 이상의 3D 점들이 2D 평면에 투영되는 점의 위치 관계로부터 카메라의 자세를 추정하는 방식으로, 본 발명에서 노면객체에서 3개 이상의 특징점을 추출하고 해당 특징점의 픽셀좌표와 공간좌표의 관계로부터 PnP(Perspective-n-Point)를 이용하여 카메라 자세를 추정할 수 있다. PnP (Perspective-n-Point) is a method of estimating the pose of a camera from the positional relationship of three or more 3D points projected onto a 2D plane. In the present invention, three or more feature points are extracted from a road surface object and the corresponding feature points are From the relationship between pixel coordinates and spatial coordinates, the camera pose can be estimated using PnP (Perspective-n-Point).
한편, 본 발명에서 특징점이란 영상 내에 존재하는 객체를 각각 구분할 수 있는 특징을 나타낼 수 있는 점을 의미하며, 모서리점이나 색상 또는 명도로 주변과 구변되는 점일 수 있다.Meanwhile, in the present invention, a feature point refers to a point that can represent a characteristic that can distinguish each object existing in an image, and may be a corner point or a point that is differentiated from the surroundings by color or brightness.
CCTV 카메라가 고정인 경우, 카메라의 위치(X,Y,Z), 팬(pan), 틸트(tilt), 줌(Zoom)이 변경되지 않으므로 초기에 추정된 카메라 자세를 계속 이용할 수 있다. 물론 고정 카메라의 경우에도 여러가지 이유로 카메라가 흔들리거나 초기 추정된 카메라 자세에 오차가 있을 수 있으므로, 후술한 보정부(24)가 여러 과정을 통해 카메라 자세에 대한 보정을 수행하게 된다.If the CCTV camera is fixed, the camera's position (X, Y, Z), pan, tilt, and zoom do not change, so the initially estimated camera posture can continue to be used. Of course, even in the case of a fixed camera, the camera may shake for various reasons or there may be an error in the initially estimated camera posture, so the
CCTV 카메라가 PTZ 카메라인 경우, 팬, 틸트 및 줌이 수행되지 않는 한 그 자세가 유지될 것이므로 초기 추정된 카메라 자세가 계속 이용될 수 있다. 팬, 틸트, 줌 중의 적어도 하나의 동작이 수행되면 해당 동작값이 획득될 수 있으므로, 카메라 자세 추정부(21)는 초기 카메라 자세에 카메라에서 제공되는 PTZ(Pan Tilt Zoom) 값을 고려하여 변경된 카메라 자세를 획득할 수 있다. 카메라의 설치 위치는 고정되어 있으므로, 보정이 필요하지 않는 한 카메라의 위치(X,Y,Z)는 계속 유지된다.If the CCTV camera is a PTZ camera, its posture will be maintained unless pan, tilt, and zoom are performed, so the initially estimated camera posture can continue to be used. Since the corresponding motion value can be obtained when at least one of pan, tilt, and zoom operations is performed, the camera pose
한편, CCTV 카메라가 PTZ 카메라인 경우, 카메라 자세 추정부(21)는, 추정된 카메라 자세의 팬, 틸트 값과 PTZ 카메라에서 제공된 팬, 틸트 값의 차이로부터 PTZ 카메라에서 제공된 팬 및 틸트 값을 진북과 수직 방향을 기준으로 한 절대값으로 변환하는 과정을 통해 추후 PT 값을 용이하게 획득할 수 있다. 또한 CCTV 카메라가 PTZ 카메라인 경우, 카메라 자세 추정부(21)는, PTZ 카메라에서 제공된 줌 값의 역수만큼 상기 촬영영상을 축소하여 줌 값이 "0"인 촬영영상으로 변환하는 과정을 수행할 수 있다.Meanwhile, when the CCTV camera is a PTZ camera, the camera pose
한편, 보정부(24)는 카메라 자세에 대한 정보 및/또는 매핑대상객체의 좌표에 대한 정보를 보정할수 있다.Meanwhile, the
보정부(24)는 정밀도로지도를 추정된 카메라 자세를 이용하여 촬영영상에 투영하고, 촬영영상의 객체 및 그에 대응하는 정밀도로지도의 객체의 각 특징점의 픽셀 오차를 산출하며, 산출된 픽셀 오차가 임계값 이상인 경우 카메라 자세를 보정하고 위의 과정을 반복함으로써 픽셀 오차를 임계값 미만으로 경감할 수 있다. The
물론, 보정부(24)는 위의 과정을 역으로 하는 방법으로 자세를 보정할 수도 있는데, 촬영영상의 객체들을 추정된 카메라 자세를 이용하여 정밀도로지도에 역투영하고, 역투영된 촬영영상의 객체 및 그에 대응하는 정밀도로지도의 객체의 각 특징점의 위치 오차(좌표 오차)를 산출하며, 그 산출된 위치 오차가 임계값 이상인 경우 카메라 자세를 보정하고 위의 과정을 반복함으로써 픽셀 오차를 임계값 미만으로 경감할 수 있다. Of course, the
보정부(24)는 픽셀 오차 및 위치 오차(좌표 오차) 중의 적어도 하나를 산출하고, 카메라 자세를 미세 보정하여 해당 오차를 임계값 미만으로 경감하는 과정을 반복함으로써 카메라 자세와 위치 오차를 최소화할 수 있다. The
본 발명 전체에서 보정부(24)의 보정 과정은 i) 정밀도로지도를 추정된 카메라 자세를 이용해 촬영영상에 투영한 후 정밀도로지도의 객체와 그에 대응하는 영상 객체 간의 픽셀 오차를 이용하여 보정하는 방식, 및 ii) 촬영영상을 추정된 카메라 자세를 이용하여 정밀도로지도에 역투영한 후 정밀도로지도의 객체와 그에 대응하는 영상 객체 간의 좌표 오차를 이용하여 보정하는 방식 중의 어느 한 방식이 이용될 수 있다. 상기 i)과 ii) 보정하는 과정은 역의 관계로 그 보정하는 방식과 결과가 동일하므로 둘 중 어느 한 방식을 사용하거나 두 방식 모두 사용하여도 무방하다.Throughout the present invention, the correction process of the
매핑대상객체 설정부(22)는 촬영영상 내에서 AI(artificial intelligence)에 기반하여 미리 설정된 규칙에 따라 자동으로 인식되어 추출된 객체나 구역, 또는 사용자(오퍼레이터)에 의해 촬영영상 내에서 수동으로 선택된 객체나 구역을 매핑대상객체로 설정한다.The mapping target
매핑대상객체 설정부(22)는 차선 등 노면객체 이외에 딥러닝 등 AI 기반으로 인식한 차량이나 사람 등의 객체의 좌표를 정밀도로지도을 기반으로 자동으로 추정하거나 또는 AID(Automatic Incident Detection)을 이용하여 자동으로 인식한 위험요소 또는 해당 위험요소가 차지하는 도로상 구역을 자동으로 매핑대상객체로 매핑하는 구성일 수 있다.The mapping target
차량, 사람 등의 인식객체 또는 AID로 인식한 위험구역을 매핑하는 동작은 다음과 같다.The operation of mapping the dangerous area recognized by recognition objects such as vehicles, people, etc. or AID is as follows.
차선 등 노면객체 특징점들(특징점 3개 이상)의 픽셀좌표를 추출하고, 노면객체 이외의 매핑대상객체(AID 기반 위험구역 포함)을 인식하고, 이후, 매핑대상객체와 노면객체의 특징점들을 정밀도로지도에 역투영하거나 또는 역투영된 노면객체와 그에 대응하는 정밀도로지도의 동일객체간의 위치 오차를 산출하고, 상기 정밀도로지도를 이용하여 매핑대상의 특징점들에 대한 공간좌표를 산출하고, 매핑대상의 특징점들에 대한 공간좌표를 보정한다. 이후, 매핑대상의 특징점들을 이미지에 재투영한 후, 최초 설정된 점을 기준으로 재투영된 특징점 별 픽셀 오차를 산출하고, 상기 픽셀 오차가 임계값 보다 작으면, 정밀도로지도 상에 매핑대상을 표기(위치, 속성)한 후, 메시지를 자동생성 및 표출하는 과정으로 동작된다.Extract the pixel coordinates of road surface object feature points (three or more feature points) such as lanes, recognize mapping target objects other than road surface objects (including AID-based risk areas), and then map the feature points of the mapping target objects and road surface objects with precision. Calculate the positional error between a back-projected or back-projected road surface object and the same object on the corresponding high-precision road map, calculate spatial coordinates for feature points of the mapping target using the high-precision road map, and calculate the spatial coordinates of the feature points of the mapping target. Correct the spatial coordinates of the feature points. Afterwards, the feature points of the mapping target are re-projected onto the image, and the pixel error for each re-projected feature point is calculated based on the initially set point. If the pixel error is less than the threshold, the mapping target is marked on the map with precision. (location, properties), it operates through the process of automatically creating and displaying a message.
여기서, 픽셀 오차가 임계값 이상이면, 특징점 별 위치 오차를 이용하여 자세(Pan, Tilt)를 보정할 수 있다.Here, if the pixel error is greater than the threshold, the posture (pan, tilt) can be corrected using the position error for each feature point.
또한, 매핑대상객체 설정부(22)는 오퍼레이터가 설정 또는 지정한 객체나 위험구역을 매핑대상객체로 설정할 수 있다. 이를 위해 매핑대상객체 설정부(22)는 차선이나 화살표 등 정밀도로지도 상의 노면객체를 인식하고, 인식된 노면객체 특징점들(특징점 3개 이상)의 픽셀좌표를 추출한다. Additionally, the mapping target
오퍼레이터로부터 촬영영상 내 위험구역(특징점 3개 이상) 설정 및 속성을 입력받으면, 후술할 좌표 추정부(23)는 위험구역 및 노면객체 특징점들을 정밀도로지도에 역투영하고, 정밀도로지도를 이용하여 위험구역 특징점들의 공간좌표를 산출할 수 있다.When the operator receives the settings and attributes of the dangerous area (three or more feature points) in the captured image, the coordinate
한편, 보정부(24)는 역투영 노면객체와 정밀도로지도의 동일객체 간 위치 오차를 산출하고, 이후, 위치 오차를 반영한 위험구역 특징점들의 공간좌표를 보정하고, 위험구역 특징점들을 촬영영상에 재투영한 후, 최소 설정된 점을 기준으로 재투영된 특징점 별 픽셀 오차를 산출한다. 산출이 완료되고, 상기 픽셀 오차가 임계값 보다 작으면, 메시지 생성 배포부(25)는 정밀도로지도 상에 위험구역(위치, 속성)을 표기하고, 메시지를 자동생성 및 표출하는 구성일 수 있다.Meanwhile, the
여기서, 보정부(24)는 픽셀 오차가 임계값 이상이면, 특징점 별 위치 오차를 이용하여 자세(Pan, Tilt)를 보정할 수 있다.Here, if the pixel error is greater than or equal to the threshold, the
좌표 추정부(23)는 매핑대상객체(AI로 인식된 객체, AID로 인식된 위험구역, 오퍼레이터에 의해 선택된 객체나 위험구역)에 대해 정밀도로지도을 기반으로 특징점들의 좌표를 자동으로 추정할 수 있다.The coordinate
보정부(24)는 카메라 자세 추정 과정이나 매핑대상객체의 좌표 추정 과정에서 정밀도로지도를 이용하여 기 추정한 픽셀 오차, 위치 오차 및 카메라 자세 중의 적어도 하나를 보정하는 구성일 수 있다.The
상기 보정부(24)는 차량, 사람, 표시 등의 AI로 인식된 객체, AID로 인식된 위험구역, 또는 오퍼레이터에 의해 설정된 위험구역을 추정하거나 결정하는 과정에서 카메라 자세와 위치 오차를 보정하는 구성일 수 있다.The
보정부(24)는 정밀도로지도를 촬영영상에 투영한 후 촬영영상 내의 차선 등 노면객체와 투영된 정밀도로지도 상의 노면객체간 위치 오차를 기준으로 사전에 설정된 기준에 의해 자동으로 보정 여부를 결정한다. 이 때, 인식된 노면객체를 정밀도로지도 상에 역투영하거나 정밀도로지도의 동일 객체를 촬영영상에 투영한 후 위치 비교(좌표 비교)를 통해 자동으로 매핑대상객체나 위험구역의 좌표를 보정하고 자세 또한 보정하는 과정이다.After projecting the precision road map onto the captured image, the
또한, 고정식의 경우에도 시간이 경과함에 따라 변위에 의한 회전 오차가 발생할 가능성이 높으므로 매핑시 마다 보정을 통해 정확도를 유지할 수 있고, 초기 카메라 자세 추정이 완료된 상태로 위치(X, Y, Z)는 변화가능성이 거의 없으므로 오차가 없는 것으로 가정하고, 오차의 종류를 Pan 과 Tilt로 구분할 수 있다.In addition, even in the case of a fixed type, there is a high possibility that rotation errors due to displacement will occur over time, so accuracy can be maintained through correction at each mapping, and the position (X, Y, Z) can be determined with the initial camera pose estimation completed. Since there is little possibility of change, it is assumed that there is no error, and the types of error can be divided into Pan and Tilt.
좌우 오차는 Pan, 상하 오차는 Tilt를 미세조정해서 보정 가능하고, 오차의 크기를 산출하고 조정 단위를 결정한 후 반대방향 오차가 발생할 때까지 반복하고, 역방향으로 최초 단위의 10분의 1로 미세조정한 후, 다시 반대 방향 오차가 발생할 때 까지 반복할 수 있다. 각 단계에서 임계값(Threshold)와의 비교를 수행하고 만족하면 종료 처리하는 과정으로 이루어질 수 있다.The left-right error can be corrected by fine-tuning the Pan and the top-bottom error by fine-tuning the Tilt. After calculating the size of the error and determining the adjustment unit, repeat until an error in the opposite direction occurs, and fine-tune it in the reverse direction by one-tenth of the initial unit. After that, it can be repeated until an error in the opposite direction occurs again. This can be done by performing a comparison with the threshold at each step and terminating it if satisfied.
한편, 카메라에서 제공된 PTZ 값만을 이용하여 오퍼레이터가 지정한 매핑대상객체나 위험구역을 정밀도로지도 상에 역투영한 후 정밀도로지도 상에서 좌표를 산출할 때 PT 값에 오차가 있는 경우 좌표 추정 결과에 오차가 크게 발생할 수 있다.On the other hand, when calculating the coordinates on the map with high precision after back-projecting the mapping target object or risk area designated by the operator onto the map with high precision using only the PTZ value provided by the camera, if there is an error in the PT value, there will be an error in the coordinate estimation result. It can happen a lot.
이러한 오차는 정밀도로지도 상에서 위험구역의 좌표를 추정한 후 주변의 노면객체들과 함께 촬영영상에 투영하고, 촬영영상에 투영된 정밀도로지도의 노면객체들의 위치를 기존의 촬영영상에서 대응되는 노면객체들의 위치와 오퍼레이터가 육안으로 비교해 오차의 크기를 확인할 수 있다. 오퍼레이터가 육안으로 확인한 결과 오차가 크게 발생했다고 판단되면, 투영된 노면객체와 동일한 촬영영상의 노면객체의 시종점 마킹을 통해 지정하면 이를 이용해 자동으로 카메라 자세를 보정할 수 있으며, 이를 이용해 다시 좌표 추정 과정을 수행하여 해당 오차를 또한 보정한다. These errors are estimated by estimating the coordinates of the dangerous area on the high-precision road map and then projecting them onto the captured image along with surrounding road surface objects. The positions of the road surface objects on the high-precision road map projected on the captured image are then compared to the corresponding road surface in the existing captured image. The operator can check the size of the error by comparing the positions of the objects with the naked eye. If the operator determines that a large error has occurred as a result of visual inspection, the camera posture can be automatically corrected by marking the starting and ending points of the road surface object in the same captured image as the projected road surface object, and the coordinates can be estimated again using this. By performing the process, the corresponding error is also corrected.
고정식의 경우에도 시간이 경과함에 따라 변위에 의한 회전 오차가 발생할 가능성이 높으므로 매핑시 마다의 보정을 통해 정확도를 유지할 수 있다.Even in the case of a fixed type, there is a high possibility that rotation errors due to displacement will occur over time, so accuracy can be maintained through correction at each mapping time.
즉, 초기 카메라 자세 추정이 완료된 상태로 위치(X, Y, Z)는 변화가능성이 거의 없으므로 오차가 없는 것으로 가정하고, 오차의 종류를 Pan 과 Tilt로 구분할 수 있다.In other words, with the initial camera pose estimation completed, the position (X, Y, Z) is unlikely to change, so it is assumed that there is no error, and the types of error can be divided into Pan and Tilt.
좌우 오차는 Pan, 상하 오차는 Tilt를 미세조정해서 보정 가능하고, 보정 절차는 오차의 크기 산출 후 조정 단위 결정 → 반대 방향 오차가 발생할 때까지 반복 → 역방향으로 최초 단위의 10분의 1로 미세조정 → 다시 반대 방향 오차가 발생할 때까지 반복한다. 각 단계에서 임계값(Threshold)과의 비교를 수행하고 만족하면 종료처리하는 과정으로 이루어진다.The left-right error can be corrected by fine-tuning the Pan and the top-bottom error by fine-tuning the Tilt. The correction procedure is to calculate the size of the error and then determine the adjustment unit → repeat until an error in the opposite direction occurs → fine-tune to 1/10 of the initial unit in the reverse direction. → Repeat until an error in the opposite direction occurs again. At each stage, a comparison with the threshold is performed and if satisfied, the process is terminated.
메시지 생성 및 배포부(26)는 위험의 종류, 주행불가 영역에 대한 면단위 정보 등이 포함된 메시지를 생성하고 V2X, 이동통신 등을 이용해 배포하는 구성일 수 있다.The message generation and distribution unit 26 may be configured to generate a message containing information on the type of risk and area-level information about the no-driving area and distribute it using V2X, mobile communication, etc.
도 3은 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법을 설명한 흐름도이고, 도 4는 도 3에 도시된 카메라 자세 추정 단계의 세부 흐름도이고, 도 5는 촬영영상에 정밀도로지도를 투영한 후 미세 조정 요령을 설명하기 위한 예시도이고, 도 6은 도 3에 도시된 좌표 추정 단계 내지 메시지 생성 배포 단계를 설명한 흐름도를 나타낸다. 도 7은 위험구역에 인접한 차선 지정을 통한 자세 보정 및 매핑 오차 보정의 개념을 설명하기 위한 예시도이다.FIG. 3 is a flowchart explaining a method for estimating CCTV camera posture and object coordinates based on a precision road map according to an embodiment of the present invention, FIG. 4 is a detailed flowchart of the camera posture estimation step shown in FIG. 3, and FIG. 5 is a shooting This is an example diagram to explain fine-tuning techniques after projecting a map with precision onto an image, and FIG. 6 shows a flowchart explaining the coordinate estimation step to the message creation and distribution step shown in FIG. 3. Figure 7 is an example diagram to explain the concept of posture correction and mapping error correction through designation of lanes adjacent to a dangerous area.
먼저, 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법(S700)은 카메라 자세 추정 단계(S710), 매핑대상객체 설정 단계(S720), 좌표 추정 단계(S730), 오차 보정 단계(S740) 및 메시지 생성 및 배포 단계(S750) 중의 적어도 하나를 포함한다.First, as shown in FIG. 3, the precision road map-based CCTV camera posture and object coordinate estimation method (S700) according to an embodiment of the present invention includes a camera posture estimation step (S710) and a mapping target object setting step (S720). ), coordinate estimation step (S730), error correction step (S740), and message generation and distribution step (S750).
카메라 자세 추정 단계(S710)는 CCTV 카메라의 카메라 자세(X, Y, Z, Pan, Tilt)를 추정하고, PTZ 카메라의 위치(X, Y, Z) 확정 및 상기 PTZ 카메라에서 제공하는 Pan/Tilt 값을 절대값(진북방향, 수평 기준)으로 변환하기 위한 관계식(차이 값)을 결정하는 단계일 수 있다.The camera posture estimation step (S710) estimates the camera posture (X, Y, Z, Pan, Tilt) of the CCTV camera, determines the location (X, Y, Z) of the PTZ camera, and determines the Pan/Tilt provided by the PTZ camera. This may be the step of determining a relational expression (difference value) to convert the value to an absolute value (true north direction, horizontal standard).
본원에서 언급하는 카메라 자세 추정은 측량이나 기준점 설정 및 표기 등 현장에서의 작업 없이 정밀도로지도을 이용하는 간단한 과정을 통해 CCTV 카메라의 자세를 추정하고자 하는 기술로, 후술할 좌표 추정이나 매핑을 자동화 할 수 있는 기틀을 제공하고, 또한, 기존의 방법과 비교하여 높은 정확도와 시간 및 비용 절감 등의 효과를 제공하는 기술일 수 있다. 이에, PTZ 카메라의 경우 장치에서는 최초 세팅 위치를 기준으로 한 상대값을 제공하고 있어 바로 카메라 자세(Pose)로 변환이 불가능한 점을 고려하여 초기 카메라 자세(Pose) 추정시 제공되는 값과 참값의 차이 값을 산출하여 반영함으로써 이후 제공되는 PTZ 값을 변환하여 바로 카메라 자세(Pose)로 활용하는 기술일 수 있다.Camera posture estimation, as mentioned herein, is a technology that attempts to estimate the posture of a CCTV camera through a simple process using a map with precision without on-site work such as surveying or setting and marking reference points. It can automate coordinate estimation or mapping, which will be described later. It may be a technology that provides a foundation and provides effects such as high accuracy and time and cost savings compared to existing methods. Therefore, in the case of PTZ cameras, the device provides relative values based on the initial setting position, so considering that it is impossible to immediately convert to camera pose, the difference between the value provided when estimating the initial camera pose and the true value is determined. This may be a technology that converts the PTZ value provided later by calculating and reflecting the value and uses it directly as the camera pose.
다음으로, 매핑대상객체 설정 단계(S720)는 AI 기반의 매핑대상객체 인식, AID(Automatic Incident Detection) 기반의 객체나 위험구역 인식 및 오퍼레이터가 육안으로 위험상황으로 인식한 객체나 구역을 위험구역으로 지정하는 단계 중의 적어도 하나 이상을 포함할 수 있다.Next, the mapping target object setting step (S720) involves AI-based mapping target object recognition, AID (Automatic Incident Detection)-based object or risk area recognition, and the operator visually recognizing the object or area as a risk situation as a risk area. It may include at least one of the specified steps.
다음으로, 좌표 추정 단계(S730)는 매핑대상객체(AI로 인식한 객체나 구역, AID로 인식한 객체나 위험구역, 오퍼레이터가 수동 설정한 객체나 위험구역 등)에 대해 정밀도로지도를 기반으로 특징점들의 좌표를 자동으로 추정하고 매핑하는 단계일 수 있다.Next, the coordinate estimation step (S730) is based on the precision map for the mapping target object (object or area recognized by AI, object or dangerous area recognized by AID, object or dangerous area manually set by the operator, etc.) This may be a step of automatically estimating and mapping the coordinates of feature points.
상기 매핑대상객체의 좌표 추정은 고정식 CCTV 뿐만 아니라 PTZ 카메라를 이용하는 경우에도 적용이 가능하고, 좌표 추정 및 매핑 과정을 자동화 할 수 있는 방법으로, 정밀도로지도 상에서 좌표를 추정함으로써 간단하고 정확도를 높일 수 있다. 특히, AI(Artificial Intelligence)를 이용해 차선 등 노면객체 인식이 가능한 경우뿐 아니라 이러한 기능이 없는 경우에도 적용할 수 있다. Coordinate estimation of the mapping target object can be applied not only to fixed CCTVs but also to PTZ cameras. It is a method that can automate the coordinate estimation and mapping process, making it simple and increasing accuracy by estimating coordinates on a map with high precision. there is. In particular, it can be applied not only to cases where road surface object recognition such as lanes is possible using AI (Artificial Intelligence), but also to cases where such functions are not available.
다음으로, 오차 보정 단계(S740)는 카메라 자세 추정 단계(S710)나 매핑대상객체의 좌표 추정 단계(S730)에서 정밀도로지도를 이용하여 기 추정한 위치나 픽셀 오차 및 카메라 자세를 보정하는 단계일 수 있다.Next, the error correction step (S740) is a step of correcting the position or pixel error and camera posture previously estimated using the precision road map in the camera posture estimation step (S710) or the coordinate estimation step of the mapping target object (S730). You can.
상기 위치나 픽셀 오차 및/또는 자세 보정단계는 좌표 추정 결과나 이때 적용된 카메라 자세에 대한 오차를 모든 추정 과정에서 확인하고 자동으로 보정함으로써 정확도 높은 추정이 가능하게 한 방법으로서, 특히, 차선 등 노면객체 인식이 가능한 경우 전 과정을 자동화 함으로써 편리성을 증대할 수 있으며, 이러한 기능이 없는 경우에도 오퍼레이터의 간단한 조작만으로 동일한 효과를 볼 수 있는 기술일 수 있다. The position or pixel error and/or posture correction step is a method that enables high-accuracy estimation by checking and automatically correcting errors in the coordinate estimation results or camera posture applied at this time throughout the estimation process. In particular, road surface objects such as lanes If recognition is possible, convenience can be increased by automating the entire process, and even if this function is not available, the same effect can be achieved with just a simple operation by the operator.
다음으로, 메시지 생성 및 배포 단계(S750)는 위험 관련 메시지를 자동으로 생성하고 배포하는 단계일 수 있다. Next, the message creation and distribution step (S750) may be a step of automatically generating and distributing risk-related messages.
앞에서 언급한 과정을 토대로 작성된 매핑대상객체에 대한 정보를 공유함에 있어 오퍼레이터의 추가 수작업이 없도록 자동으로 메시지를 생성하고, 그 결과를 오퍼레이터가 관리하는 모니터에 표출하여 확인이 가능하도록 하였고, 배포도 자동으로 이루어지도록 하는 기술일 수 있다. When sharing information about the mapping target object created based on the process mentioned above, a message is automatically created to avoid additional manual work by the operator, and the result is displayed on a monitor managed by the operator so that it can be confirmed, and distribution is also automatic. It may be a technology that allows this to be done.
이하에서는 상술한 각 단계들을 보다 상세하게 설명하도록 한다.Below, each of the above-described steps will be described in more detail.
먼저, 도 4를 참조하면, 초기 카메라 자세 추정 단계(S710)는 CCTV 촬영영상 상의 노면객체 특징점들의 픽셀좌표를 추출하고, 정밀도로지도와 매칭시켜 상기 노면객체 특징점들의 공간좌표를 추출하고, PnP(Perspective-n-Point)를 통해 카메라 자세를 추정한 후, 추정된 카메라 자세를 이용하여 정밀도로지도를 촬영영상에 투영한다. 이후, 상기 특징점 별로 영상 내에서의 픽셀 오차를 산출한 후, 상기 픽셀 오차와 임계값(Threshold)을 비교한다.First, referring to FIG. 4, the initial camera pose estimation step (S710) extracts the pixel coordinates of the road object feature points on the CCTV captured image, matches them with a precision road map to extract the spatial coordinates of the road object feature points, and PnP ( After estimating the camera posture through Perspective-n-Point, a map is projected onto the captured image with high precision using the estimated camera posture. Afterwards, the pixel error in the image is calculated for each feature point, and then the pixel error is compared with a threshold.
전술한 것처럼, PnP(Perspective-n-Point)란 좌표 위치가 알려진 3차원의 특징점 좌표 및 해당 특징점 좌표가 투영된 이미지 상의 2차원의 특징점 좌표를 기반으로 3차원 좌표계에 대해 이미지를 획득한 카메라의 정확한 위치 및 자세를 획득하는 기법을 의미한다. As mentioned above, PnP (Perspective-n-Point) refers to a camera that acquires an image in a three-dimensional coordinate system based on three-dimensional feature point coordinates whose coordinate positions are known and two-dimensional feature point coordinates on the image onto which the feature point coordinates are projected. It refers to a technique for obtaining accurate position and posture.
이때, 상기 오차가 임계값보다 작으면 종료하되, 오차가 임계값(Threshold) 이상이면 오차 특성을 고려하여 카메라 자세를 미세하게 보정하고, 보정된 카메라 자세를 이용하여 정밀도로지도를 촬영영상에 투영한다. 그리고 나서 특징점 별로 영상 내에서의 픽셀 오차가 임계값 미만이 될 때까지 위의 과정을 계속 반복할 수 있다..At this time, if the error is less than the threshold, it ends, but if the error is more than the threshold, the camera posture is finely corrected considering the error characteristics, and the precision map is projected onto the captured image using the corrected camera posture. do. Then, the above process can be repeated continuously until the pixel error in the image for each feature point is below the threshold.
한편, 상기 카메라 자세 추정 단계(S710)는 PnP를 통해 1차 자세를 추정하는 단계 이후, 다음과 같이 진행될 수 있다.Meanwhile, the camera pose estimation step (S710) may proceed as follows after the step of estimating the first pose through PnP.
예컨대, 추청된 카메라 자세를 기준으로 상기 노면객체 특징점들을 정밀도로지도에 역투영하고, 역투영된 노면객체 특징점의 공간좌표와 그에 대응하는 정밀도로지도상 객체의 공간좌표의 위치 오차를 특징점 별로 산출하고, 오차가 임계값(Threshold) 보다 작으면 종료하고, 오차가 임계값(Threshold) 이상인 경우 오차 특성을 고려하여 추정된 카메라 자세를 미세하게 보정한 후, 보정된 자세를 이용하여 정밀도로지도에 역투영하는 과정을 포함할 수 있다. 여기서도 특징점 별 공간 내에서의 위치 오차가 임계값 미만이 될 때까지 위의 과정을 계속 반복할 수 있다. For example, based on the estimated camera pose, the road surface object feature points are back-projected onto the high-precision road map, and the spatial coordinates of the back-projected road object feature points and the location error of the corresponding spatial coordinates of the object on the high-precision road map are calculated for each feature point. If the error is less than the threshold, it ends. If the error is more than the threshold, the estimated camera posture is finely corrected considering the error characteristics, and then the corrected posture is used to create a high-precision map. It may include a back-projection process. Here too, the above process can be repeated until the position error in the space for each feature point becomes less than the threshold.
여기서, PnP 기반의 1차 자세 추정에 있어서, 회전하는 PTZ 카메라의 경우 카메라를 대략적으로 도로와 직각방향으로 세팅하는 것이 효율적이다. Here, in PnP-based primary posture estimation, in the case of a rotating PTZ camera, it is efficient to set the camera approximately at a right angle to the road.
대략적으로 알고 있는 CCTV 카메라의 위치정보, 노면 또는 도로변의 객체(정밀도로지도에 명시된)들의 정보를 기준으로 정밀도로지도와 비교하여 차선 등 노면에 존재하는 노면객체를 매칭하고, 대략적 위치정보와 주변 객체들을 이용하여 육안으로 이미지와 정밀도로지도상의 객체들에 대한 매칭쌍들을 찾고(주변 객체: 신호등, 표지판, 차선 이외의 노면표시, 교량 시종점, 방호시설 시종점 등), 3개 이상의 매칭쌍들에 대한 픽셀좌표와 공간좌표를 추출한 후 PnP 수행을 하는 과정일 수 있다.Based on the roughly known location information of CCTV cameras and information on road surface or roadside objects (specified on the precision road map), the road surface objects existing on the road surface such as lanes are compared with the precision road map, and the approximate location information and surroundings are compared with the precision road map. Using objects, find matching pairs for objects on images and high-precision maps with the naked eye (surrounding objects: traffic lights, signs, road markings other than lanes, start and end points of bridges, start and end points of protective facilities, etc.), and find three or more matching pairs. This may be a process of extracting pixel coordinates and spatial coordinates for the data and then performing PnP.
또한, 오차 특성을 고려하여 자세를 미세 보정하는 과정의 경우, PnP 기반으로 1차 카메라 자세를 추정한 후 이 카메라 자세를 이용하여 정밀도로지도를 촬영영상에 투영한 후 객체 특징점들간의 픽셀 오차를 산출하여 오차 정도를 확인하고 오차의 특성을 반영한 미세조정을 통해 카메라 자세를 최종 보정하는 과정일 수 있다.In addition, in the case of the process of finely correcting the posture by considering the error characteristics, the primary camera posture is estimated based on PnP, and then a map is projected onto the captured image with high precision using this camera posture, and then the pixel error between object feature points is calculated. This may be the process of calculating and confirming the degree of error and final correcting the camera posture through fine adjustment that reflects the characteristics of the error.
또는 카메라 자세를 이용하여 촬영영상의 특정 객체의 특징점들을 정밀도로지도 상에 역투영한 후 해당 객체의 특징점 간 위치 오차를 기반으로 카메라 자세를 보정할 수 있는 방법일 수 있다. Alternatively, it may be a method of back-projecting the feature points of a specific object in a captured image onto a map with high precision using the camera posture, and then correcting the camera posture based on the position error between the feature points of the object.
상기 카메라 자세 추정 단계(S710)는 PTZ 카메라의 경우, 카메라 캘리브레이션을 수행하여 참값을 결정한 후, Pan, Tilt 제공값과 참값의 차이를 기준으로 절대값으로 변환한다. Zoom의 경우 제공되는 값을 이용하여 확대 비율을 구한 후에 이의 역수만큼 이미지를 축소하면 Zoom 값이 “0”인 이미지로 변환하여, 자동화된 매핑과정에서 보정된 카메라 자세 값을 이용하여 지속적으로 차이값을 수정하는 과정을 포함할 수 있다. In the case of the camera pose estimation step (S710), in the case of a PTZ camera, camera calibration is performed to determine the true value and then converted to an absolute value based on the difference between the Pan and Tilt values and the true value. In the case of zoom, if you calculate the magnification ratio using the provided value and then reduce the image by the reciprocal of this, it is converted to an image with a zoom value of “0” and the difference value is continuously calculated using the camera posture value corrected in the automated mapping process. It may include the process of modifying .
한편, 매핑대상객체 설정 단계(S720)는 AI 기반으로 인식된 차량이나 사람 등의 인식객체, AID로 인식된 객체나 위험구역, 오퍼레이터에 의해 설정된 객체나 위험구역 등 설정하는 방식에 따라 과정이 상이할 수 있다.Meanwhile, the mapping target object setting step (S720) has a different process depending on the setting method, such as recognition objects such as vehicles or people recognized based on AI, objects or dangerous areas recognized by AID, or objects or dangerous areas set by the operator. can do.
먼저, 도 6을 참조하면, 차선 등 노면객체 특징점들의 픽셀좌표를 추출하고, 노면객체 이외의 매핑대상객체(AID 기반 위험구역 포함)을 인식한다. First, referring to FIG. 6, pixel coordinates of feature points of road objects such as lanes are extracted, and mapping target objects other than road objects (including AID-based risk areas) are recognized.
이후, 매핑대상객체와 노면객체의 특징점들을 정밀도로지도에 역투영하여 매핑대상객체의 특징점들에 대한 공간좌표를 산출하고, 역투영된 객체와 정밀도로지도의 동일 객체간 위치 오차를 산출하고, 매핑대상의 특징점들에 대한 공간좌표를 보정한다. 이후, 매핑대상객체의 특징점들을 이미지에 재투영한 후, 최초 설정된 점을 기준으로 재투영된 특징점 별 픽셀 오차를 산출하고, 상기 픽셀 오차가 임계값(Threshold) 보다 작으면, 정밀도로지도 상에 매핑대상을 표기(위치, 속성)한 후, 메시지를 자동 생성 및 표출하는 과정을 포함할 수 있다.Afterwards, the feature points of the mapping target object and the road surface object are back-projected onto the high-precision road map to calculate the spatial coordinates of the feature points of the mapping target object, and the position error between the back-projected object and the same object on the high-precision road map is calculated, Correct the spatial coordinates of the feature points of the mapping target. Afterwards, the feature points of the mapping target object are reprojected onto the image, and the pixel error for each re-projected feature point is calculated based on the initially set point. If the pixel error is less than the threshold, it is displayed on the map with precision. It may include the process of automatically creating and displaying a message after marking the mapping target (location, attributes).
여기서, 픽셀 오차가 임계값 이상이면, 특징점 별 위치 오차를 이용하여 카메라 자세(Pan, Tilt)를 보정하는 과정을 더 포함할 수 있다.Here, if the pixel error is greater than the threshold, a process of correcting the camera posture (pan, tilt) using the position error for each feature point may be further included.
차량, 사람, 낙하물, 동물 등의 객체를 인식한 경우 해당 객체의 좌표를 자동으로 추정하고, AID(Automatic Incident Detection)에 의해 사고, 역주행, 정체 등의 위험구역을 자동으로 인식한 경우 해당 위험구역에 대한 좌표를 자동으로 추정하고 그 결과를 반영하여 자동으로 매핑할 수 있다. When an object such as a vehicle, person, falling object, or animal is recognized, the coordinates of the object are automatically estimated, and when a dangerous area such as an accident, reverse driving, or congestion is automatically recognized by AID (Automatic Incident Detection), the corresponding dangerous area is automatically detected. You can automatically estimate the coordinates and automatically map by reflecting the results.
여기서, AI 기반 인식대상은 좌표 추정이 필요한 객체들, 차량, 사람, 동물 등의 이동객체, 역주행 차량, 낙하물 등 비정형 장애물, 정체 후미, 라바콘, 프리케스트 베리어 등 공사 관련 객체 등이 포함된다.Here, AI-based recognition targets include objects that require coordinate estimation, moving objects such as vehicles, people, and animals, atypical obstacles such as reverse vehicles and falling objects, and construction-related objects such as traffic jams, lava cones, and precast barriers.
좌표 추정이 필요한 위험구역은 AID로 인식한 사고 구역, 연속된 라바콘이나 프리케스트 베리어 등을 기준으로 인식한 공사구간 등 면으로 인식된 위험구역일 수 있다.A risk area that requires coordinate estimation may be a risk area recognized as a surface, such as an accident area recognized by AID or a construction zone recognized based on a continuous lava cone or precast barrier.
또한, 오차 확인 및 자세 보정을 위한 노면객체들은 차선, 화살표, 정지선 등 정밀도로지도에 포함된 노면객체들(필요시 표지판 신호등 포함)일 수 있다.Additionally, road surface objects for error confirmation and posture correction may be road surface objects included in a precision road map such as lanes, arrows, and stop lines (including signs and traffic lights, if necessary).
여기서, 초기의 카메라 자세 추정 상태는 PTZ 카메라의 경우 제공값과 참값의 차이값을 알고 있어 회전시에도 실시간으로 Pan과 Tilt의 절대값(참값) 추정이 가능한 상태일 수 있다.Here, in the case of a PTZ camera, the initial camera pose estimation state may be a state in which the absolute value (true value) of pan and tilt can be estimated in real time even when rotating because the difference between the provided value and the true value is known.
또한, 위치 및 자세 오차 보정은 정밀도로지도를 촬영영상에 투영한 후 촬영영상의 노면객체와 투영된 정밀도로지도의 노면객체간 위치 오차를 기준으로 사전에 설정된 기준에 의해 자동으로 보정 여부를 결정한다. 이 때, 영상에서 인식된 노면객체를 정밀도로지도 상에 역투영하거나 정밀도로지도의 동일한 객체를 촬영영상에 투영한 후 대응되는 객체의 위치 비교를 통해 자동으로 매핑대상객체나 위험구역의 좌표를 보정하고 자세 또한 보정하는 기능을 포함한다. In addition, position and posture error correction is performed by projecting the high-precision road map onto the captured image and automatically determining whether or not to correct based on preset standards based on the position error between the road surface object in the captured image and the road surface object in the projected high-precision road map. do. At this time, the road surface object recognized in the image is back-projected onto the map with high precision, or the same object on the map is projected onto the captured image with high precision, and then the coordinates of the mapping target object or risk area are automatically determined by comparing the positions of the corresponding objects. It includes functions to correct posture and correct posture.
또한, 고정식의 경우에도 시간이 경과함에 따라 변위에 의한 회전오차가 발생할 가능성이 높으므로 매핑시 마다의 보정을 통해 정확도를 유지할 수 있다. 초기 카메라 자세 추정이 완료된 상태에서는 위치(X, Y, Z) 변화가능성이 거의 없으므로 오차가 없는 것으로 가정하되, 오차의 종류를 Pan 과 Tilt로 구분할 수 있다.In addition, even in the case of a fixed type, there is a high possibility that rotation errors due to displacement will occur over time, so accuracy can be maintained through correction at each mapping time. When the initial camera pose estimation is completed, there is little possibility of changing the position (X, Y, Z), so it is assumed that there is no error, but the types of error can be divided into Pan and Tilt.
좌우 오차는 Pan, 상하 오차는 Tilt를 미세 조정하여 보정이 가능하다. 보정 절차는 오차의 크기를 산출하고 조정 단위를 결정한 후, 반대 방향 오차가 발생할 때까지 반복하고, 역방향으로 최초 단위의 10분의 1로 미세 조정한 후 다시 반대 방향 오차가 발생할 때까지 반복한다. 각 단계에서 임계값(Threshold)과의 비교를 수행하여 만족하면 종료한다. The left-right error can be corrected by fine-tuning Pan and the top-down error by fine-tuning Tilt. The correction procedure calculates the size of the error, determines the adjustment unit, repeats until an error in the opposite direction occurs, fine-adjusts in the reverse direction to one-tenth of the initial unit, and repeats again until an error in the opposite direction occurs. At each step, comparison with the threshold is performed and terminates when satisfied.
차량, 사람, 낙하물, 동물 등의 객체를 인식한 경우 해당 객체의 좌표를 자동으로 추정하고, AID(Automatic Incident Detection)에 의해 사고, 역주행, 정체 등의 위험구역을 자동으로 인식한 경우 해당 위험구역에 대한 좌표를 자동으로 추정하고 그 결과를 반영하여 자동으로 매핑할 수 있다. When an object such as a vehicle, person, falling object, or animal is recognized, the coordinates of the object are automatically estimated, and when a dangerous area such as an accident, reverse driving, or congestion is automatically recognized by AID (Automatic Incident Detection), the corresponding dangerous area is automatically detected. You can automatically estimate the coordinates and automatically map by reflecting the results.
AI 기반 인식대상은 좌표 추정이 필요한 객체들로서, 차량, 사람, 동물 등의 이동객체(역주행 차량, 낙하물 등 비정형 장애물, 정체 후미, 라바콘, 프리케스트 베리어 등 공사 관련 객체가 이에 해당할 수 있다.AI-based recognition targets are objects that require coordinate estimation, and may include moving objects such as vehicles, people, and animals (atypical obstacles such as reverse-running vehicles and falling objects, and construction-related objects such as traffic jams, lava cones, and precast barriers).
또한, 좌표 추정이 필요한 위험구역은 AID로 인식한 사고 구역, 연속된 라바콘이나 프리케스트 베리어 등을 기준으로 인식한 공사구간 등 면으로 인식된 위험구역일 수 있다.In addition, the risk area that requires coordinate estimation may be a risk area recognized as a surface, such as an accident area recognized by AID or a construction zone recognized based on a continuous lava cone or precast barrier.
한편, 카메라 자세 추정 과정에서 PTZ 카메라의 경우 제공값과 참값의 차이값을 알고 있으므로, 회전시에도 실시간으로 Pan과 Tilt의 절대값(참값) 추정이 가능할 수 있다.Meanwhile, in the case of a PTZ camera during the camera pose estimation process, the difference between the provided value and the true value is known, so it is possible to estimate the absolute values (true values) of pan and tilt in real time even when rotating.
또한, 오차 보정 과정에서, 제공된 PTZ 값만을 이용하여 오퍼레이터가 지정한 매핑대상객체나 위험구역을 정밀도로지도 상에 역투영한 후 정밀도로지도 상에서 좌표를 산출할 때, PT 값에 오차가 있는 경우 좌표 추정 결과에 오차가 크게 발생할 수 있다.In addition, in the error correction process, when calculating the coordinates on the high-precision road map after backprojecting the mapping target object or risk area designated by the operator onto the high-precision road map using only the provided PTZ value, coordinate estimation is made if there is an error in the PT value. There may be large errors in the results.
이러한 오차는 정밀도로지도 상에서 위험구역의 좌표를 추정한 후 주변의 노면객체들과 함께 추정된 카메라 자세를 이용하여 촬영영상에 재투영하고, 재투영된 노면객체들의 영상에서의 위치와 기존의 촬영영상에서 대응되는 동일한 노면객체들의 위치를 오퍼레이터가 육안으로 비교해 오차의 크기를 확인할 수 있다. 오퍼레이터가 육안으로 확인한 결과 오차가 크다고 판단되면, 재투영된 노면객체에 대응되는 촬영영상에서의 노면객체의 시종점을 마킹을 통해 지정하면 이를 이용해 자동으로 카메라 자세를 보정할 수 있으며, 이를 이용해 다시 좌표 추정 과정을 수행하여 좌표 추정 오차 또한 보정할 수 있다.These errors are estimated by estimating the coordinates of the dangerous area on the road map with high precision, then reprojecting them onto the captured image using the estimated camera posture along with the surrounding road objects, and comparing the positions of the reprojected road objects in the image and the existing photographed images. The operator can check the size of the error by visually comparing the positions of identical road surface objects in the video. If the operator determines that the error is large as a result of visual inspection, the camera posture can be automatically corrected using this by designating the starting and ending points of the road surface object in the captured image corresponding to the re-projected road surface object through marking. Coordinate estimation errors can also be corrected by performing a coordinate estimation process.
고정식의 경우에도 시간이 경과함에 따라 변위에 의한 회전오차가 발생할 가능성이 높으므로 매핑시 마다의 보정을 통해 정확도를 유지할 수 있다.Even in the case of a fixed type, there is a high possibility that rotation errors due to displacement will occur over time, so accuracy can be maintained through correction at each mapping time.
즉, 초기 카메라 자세 추정이 완료된 상태로 위치(X, Y, Z)는 변화가능성이 거의 없으므로 오차가 없는 것으로 가정하고, 오차의 종류를 Pan 과 Tilt로 구분할 수도 있다.In other words, with the initial camera pose estimation completed, the position (X, Y, Z) is unlikely to change, so it is assumed that there is no error, and the types of error can be divided into Pan and Tilt.
좌우 오차는 Pan, 상하 오차는 Tilt를 미세 조정해서 보정 가능하고, 보정 절차는 오차의 크기를 산출하고 조정 단위를 결정 → 반대방향 오차가 발생할 때까지 반복 → 역방향으로 최초 단위의 10분의 1로 미세조정 → 다시 반대방향 오차가 발생할 때까지 반복한다. 각 단계에서 임계값(Threshold)과의 비교를 수행하고 만족하면 종료처리된다. The left-right error can be corrected by fine-tuning the Pan and the top-bottom error by fine-tuning the Tilt. The correction procedure calculates the size of the error and determines the adjustment unit → Repeat until an error in the opposite direction occurs → 1/10th of the initial unit in the reverse direction. Fine adjustment → Repeat until an error in the opposite direction occurs again. At each stage, a comparison with the threshold is performed and if satisfied, the process is terminated.
한편, 오퍼레이터에 의해 촬영영상 내의 위험구역(특징점 3개 이상)을 설정받거나 속성(오퍼레이터)을 입력받을 수 있다. 이러한 경우, 위험구역에 인접한 인접노면객체의 시종점을 설정하고, 위험구역 및 인접노면객체 특징점들을 정밀도로지도에 역투영한 후, 상기 정밀도로지도를 이용하여 위험구역 및 인접노면객체 특징점들의 공간좌표를 산출할 수 있다. 이때, 역투영된 인접노면객체와 정밀도로지도 상에서 그에 대응되는 객체 간 위치 오차를 산출할 수도 있다. 이후, 위치 오차를 이용한 위험구역 특징점들의 공간좌표를 보정하고, 위험구역 특징점들을 촬영영상에 재투영한다. 최초 설정된 점을 기준으로 재투영된 특징점 별 픽셀 오차를 산출한 후, 상기 오차가 임계값 보다 작으면, 정밀도로지도 상에 매핑대상인 위험구역(위치, 속성)을 표기하고, 메시지를 자동 생성 및 표출하는 과정으로 진행된다.Meanwhile, the operator can set the risk area (three or more feature points) in the captured image or input the attributes (operator). In this case, the starting and ending points of the adjacent road surface objects adjacent to the dangerous area are set, the characteristic points of the dangerous area and adjacent road surface objects are back-projected onto the high-precision road map, and then the spatial coordinates of the dangerous area and adjacent road surface object feature points are calculated using the high-precision road map. can be calculated. At this time, the position error between the back-projected adjacent road surface object and the corresponding object on the high-precision road map can also be calculated. Afterwards, the spatial coordinates of the dangerous area feature points are corrected using the position error, and the dangerous area feature points are reprojected onto the captured image. After calculating the pixel error for each re-projected feature point based on the initially set point, if the error is less than the threshold, the dangerous area (location, attribute) subject to mapping is marked on the map with high precision, and a message is automatically generated and It proceeds through the process of expression.
여기서, 오차가 임계값 보다 크면, 특징점 별 위치 오차를 이용한 카메라 자세(Pan, Tilt)를 보정하는 과정을 더 포함할 수 있다.Here, if the error is greater than the threshold, a process of correcting the camera posture (pan, tilt) using the position error for each feature point may be further included.
본 발명의 일 실시예에 따른 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법은 측량이나 기준점 설정 및 표기 등 현장에서의 작업 없이 정밀도로지도를 이용하는 간단한 방법을 통해 CCTV 카메라의 카메라 자세를 추정할 수 있는 방법을 제시함으로써 좌표 추정이나 매핑을 자동화할 수 있는 기틀을 제공하고, 또한, 기존의 방법과 비교하여 높은 정확도와 시간 및 비용 절감 등의 효과를 창출할 수 있다는 이점이 있다.The method for estimating CCTV camera posture and object coordinates based on a high-precision road map according to an embodiment of the present invention estimates the camera posture of a CCTV camera through a simple method using a high-precision road map without on-site work such as surveying or setting and marking reference points. By suggesting a method that can be used, it provides a framework for automating coordinate estimation or mapping, and also has the advantage of creating effects such as high accuracy and time and cost savings compared to existing methods.
또한, PTZ 카메라의 경우 장치에서 최초 세팅위치를 기준으로 한 상대값을 제공하고 있어 바로 카메라 자세로 변환이 불가능한 점을 고려하여 초기 자세 추정시 제공되는 값과 참값의 차이 값을 산출하여 반영함으로써 이후 제공되는 PTZ 값을 변환하여 바로 카메라 자세로 활용할 수 있다는 이점이 있다.In addition, in the case of PTZ cameras, the device provides relative values based on the initial setting position, so considering the fact that it is impossible to immediately convert to the camera posture, the difference between the value provided at the time of initial posture estimation and the true value is calculated and reflected, There is an advantage that the provided PTZ value can be converted and immediately used as a camera position.
또한, 고정식 CCTV 뿐만 아니라 PTZ 카메라를 이용하는 경우에도 적용이 가능하고, 좌표 추정 및 매핑 과정을 자동화할 수 있는 방법을 제시하고, 정밀도로지도상에서 좌표를 추정함으로써 간단하고 정확도를 향상시킬 수 있고, 특히, AI를 이용해 차선 등 노면객체 인식이 가능한 경우뿐 아니라 이러한 기능이 없는 경우에도 적용 가능하다는 이점이 있다.In addition, it can be applied not only to fixed CCTVs but also to PTZ cameras, and presents a method to automate the coordinate estimation and mapping process. It is simple and improves accuracy by estimating coordinates on a high-precision road map. , It has the advantage of being applicable not only to cases where road surface objects such as lanes can be recognized using AI, but also to cases where such functions are not available.
또한, 오차 및 자세 보정 자동화가 가능하다는 이점, 예컨대, 좌표 추정 결과나 이때 적용된 카메라 자세에 대한 오차를 모든 추정 과정에서 확인하고 자동으로 보정함으로써 정확도 높은 추정이 가능하고, 특히, 차선 등 노면객체 인식이 가능한 경우 전 과정을 자동화 함으로써 편리성을 증대할 수 있다. 이러한 기능이 없는 경우에도 오퍼레이터의 간단한 조작만으로 동일한 효과를 볼 수 있도록 알고리즘 구현이 가능하다는 이점이 있다. In addition, it has the advantage of being able to automate error and posture correction. For example, errors in coordinate estimation results or the camera posture applied at this time are checked and automatically corrected during the entire estimation process, enabling highly accurate estimation. In particular, recognition of road objects such as lanes. If possible, convenience can be increased by automating the entire process. Even in the absence of these functions, there is an advantage in that the algorithm can be implemented so that the same effect can be achieved with simple manipulation by the operator.
또한, 메시지 자동 생성 및 배포가 가능하다는 이점, 예컨대, 앞의 과정을 토대로 작성된 매핑정보를 공유함에 있어 오퍼레이터의 추가 수작업이 없도록 자동으로 메시지를 생성하고, 그 결과를 오퍼레이터가 관리하는 모니터에 표출하여 확인이 가능하도록 하였고, 배포도 자동으로 이루어 진다는 이점이 있다. In addition, there is an advantage in that messages can be automatically created and distributed. For example, when sharing mapping information created based on the previous process, messages are automatically created so that there is no additional manual work by the operator, and the results are displayed on a monitor managed by the operator. It has the advantage of being able to be verified and distribution being done automatically.
한편, 본 발명에 개시된 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.Meanwhile, the components disclosed in the present invention include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), and a programmable logic unit (PLU). , may be implemented using one or more general-purpose or special-purpose computers, such as a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used by any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상에서 본 발명은 실시예를 참조하여 상세히 설명되었으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 상기에서 설명된 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 부가 및 변형이 가능할 것임은 당연하며, 이와 같은 변형된 실시 형태들 역시 아래에 첨부한 특허청구범위에 의하여 정하여지는 본 발명의 보호 범위에 속하는 것으로 이해되어야 할 것이다.In the above, the present invention has been described in detail with reference to examples, but those skilled in the art will be able to make various substitutions, additions, and modifications without departing from the technical spirit described above. It is natural, and such modified embodiments should also be understood as falling within the scope of protection of the present invention as defined by the patent claims attached below.
100: 시스템
10: CCTV
20: 정보처리서버
21: 카메라 자세 추정부
22: 매핑대상객체 설정부
23: 좌표 추정부
24: 보정부
25: 메시지 생성 및 배포부
30: 오퍼레이터 단말100: System
10: CCTV
20: Information processing server
21: Camera pose estimation unit
22: Mapping target object setting unit
23: Coordinate estimation unit
24: Correction unit
25: Message creation and distribution department
30: operator terminal
Claims (6)
(b) 상기 촬영영상 내에서 매핑대상객체를 선택하는 단계; 및
(c) 상기 추정된 카메라 자세에 기초하여 상기 촬영영상 내에서 선택된 매핑대상객체의 좌표를 추정하는 단계를 포함하되,
상기 카메라 자세는 상기 CCTV 카메라의 위치(X,Y,Z), 팬(pan), 틸트(tilt)에 대한 정보를 포함하고,
상기 (c) 단계는,
상기 매핑대상객체의 각 특징점을 상기 추정된 카메라 자세에 따라 상기 정밀도로지도에 역투영하는 단계; 및
역투영된 상기 매핑대상객체의 각 특징점의 공간좌표를 상기 정밀도로지도로부터 산출하는 단계를 포함하는 것을 특징으로 하는, 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법.
(a) estimating the camera posture by matching the road surface object in the video captured by the CCTV camera with the precision road map;
(b) selecting a mapping target object within the captured image; and
(c) including the step of estimating the coordinates of a mapping target object selected in the captured image based on the estimated camera posture,
The camera posture includes information about the location (X, Y, Z), pan, and tilt of the CCTV camera,
In step (c),
Back-projecting each feature point of the mapping target object onto the high-precision map according to the estimated camera posture; and
A CCTV camera posture and object coordinate estimation method based on a precision road map, comprising the step of calculating the spatial coordinates of each feature point of the back-projected mapping target object from the precision road map.
상기 촬영영상에서 상기 노면객체의 특징점들의 픽셀좌표를 추출하는 단계;
상기 노면객체를 정밀도로지도와 매칭시켜 상기 노면객체의 특징점들의 공간좌표를 추출하는 단계; 및
상기 추출된 노면객체 특징점들의 픽셀좌표와 공간좌표의 관계로부터 PnP(Perspective-n-Point)를 이용하여 상기 카메라 자세를 추정하는 단계를 포함하는, 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법.
The method of claim 1, wherein step (a) is,
extracting pixel coordinates of feature points of the road surface object from the captured image;
extracting spatial coordinates of feature points of the road surface object by matching the road surface object with a high-precision road map; and
A CCTV camera posture and object coordinate estimation method based on a precision road map, including the step of estimating the camera posture using PnP (Perspective-n-Point) from the relationship between pixel coordinates and spatial coordinates of the extracted road surface object feature points. .
상기 추정된 카메라 자세의 팬, 틸트 값과 상기 PTZ 카메라에서 제공된 팬, 틸트 값의 차이로부터 상기 PTZ 카메라에서 제공된 팬 및 틸트 값을 진북과 수직 방향을 기준으로 한 절대값으로 변환하는 단계; 및
상기 PTZ 카메라에서 제공된 줌 값의 역수만큼 상기 촬영영상을 축소하여 줌 값이 "0"인 촬영영상으로 변환하는 단계를 더 포함하는, 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법.
The method of claim 2, wherein when the CCTV camera is a PTZ camera, step (a) is performed,
Converting the pan and tilt values provided by the PTZ camera from the difference between the pan and tilt values of the estimated camera pose and the pan and tilt values provided by the PTZ camera into absolute values based on true north and a vertical direction; and
A method for estimating CCTV camera posture and object coordinates based on a precision road map, further comprising the step of reducing the captured image by the reciprocal of the zoom value provided by the PTZ camera and converting it into a captured image with a zoom value of "0".
(a1) 상기 추정된 카메라 자세를 이용하여 상기 정밀도로지도를 상기 촬영영상에 투영하거나, 상기 촬영영상의 객체들을 상기 추정된 카메라 자세를 이용하여 상기 정밀도로지도에 역투영하는 단계;
(a2) 서로 대응되는 상기 촬영영상의 객체 및 상기 정밀도로지도의 객체의 각 특징점의 픽셀 오차를 산출하는 단계; 및
(a3) 상기 산출된 픽셀 오차가 임계값 이상인 경우, 상기 추정된 카메라 자세를 보정하여 상기 산출된 픽셀 오차를 임계값 미만으로 줄이는 단계를 더 포함하는, 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법.
The method of claim 1, wherein step (a) is,
(a1) projecting the high-precision road map onto the captured image using the estimated camera posture, or back-projecting objects in the captured image onto the high-precision road map using the estimated camera posture;
(a2) calculating pixel errors of each feature point of the corresponding object in the captured image and the object in the precision map; and
(a3) If the calculated pixel error is more than a threshold, correcting the estimated camera posture to reduce the calculated pixel error to less than the threshold, the accuracy road map-based CCTV camera posture and object coordinates Estimation method.
상기 매핑대상객체는, 상기 촬영영상 내에서 AI(artificial intelligence)에 기반하여 미리 설정된 규칙에 따라 자동으로 인식되어 추출된 구역이나 객체, 또는 사용자에 의해 상기 촬영영상 내에서 수동으로 선택된 구역이나 객체인 것을 특징으로 하는, 정밀도로지도 기반의 CCTV 카메라 자세 및 객체 좌표 추정 방법.
The method of claim 1, wherein in step (b),
The mapping target object is an area or object automatically recognized and extracted from the captured image according to preset rules based on AI (artificial intelligence), or an area or object manually selected within the captured image by the user. A method for estimating CCTV camera posture and object coordinates based on precision road maps.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220172426A KR102605696B1 (en) | 2022-12-12 | 2022-12-12 | Method and System of Estimating CCTV Camera Pose and 3D Coordinate of Mapping Object based on High Definition Map |
| JP2023207155A JP2024084136A (en) | 2022-12-12 | 2023-12-07 | Method and system for estimating CCTV camera attitude and object coordinates based on precise road map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220172426A KR102605696B1 (en) | 2022-12-12 | 2022-12-12 | Method and System of Estimating CCTV Camera Pose and 3D Coordinate of Mapping Object based on High Definition Map |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102605696B1 true KR102605696B1 (en) | 2023-11-30 |
Family
ID=88968336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220172426A KR102605696B1 (en) | 2022-12-12 | 2022-12-12 | Method and System of Estimating CCTV Camera Pose and 3D Coordinate of Mapping Object based on High Definition Map |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2024084136A (en) |
| KR (1) | KR102605696B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102154610B1 (en) * | 2020-04-10 | 2020-09-10 | 주식회사 넥스트케이 | Image Device Capable of Calculating Location of Event Occurrence and Driving Method Thereof |
| KR20210050997A (en) | 2019-10-29 | 2021-05-10 | 에스케이텔레콤 주식회사 | Method and apparatus for estimating pose, computer-readable storage medium and computer program for controlling the holder device |
| KR20220117626A (en) * | 2021-02-17 | 2022-08-24 | 네이버랩스 주식회사 | Method and system for determining camera pose |
-
2022
- 2022-12-12 KR KR1020220172426A patent/KR102605696B1/en active IP Right Grant
-
2023
- 2023-12-07 JP JP2023207155A patent/JP2024084136A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210050997A (en) | 2019-10-29 | 2021-05-10 | 에스케이텔레콤 주식회사 | Method and apparatus for estimating pose, computer-readable storage medium and computer program for controlling the holder device |
| KR102154610B1 (en) * | 2020-04-10 | 2020-09-10 | 주식회사 넥스트케이 | Image Device Capable of Calculating Location of Event Occurrence and Driving Method Thereof |
| KR20220117626A (en) * | 2021-02-17 | 2022-08-24 | 네이버랩스 주식회사 | Method and system for determining camera pose |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024084136A (en) | 2024-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11482008B2 (en) | Directing board repositioning during sensor calibration for autonomous vehicles | |
| US11094113B2 (en) | Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs | |
| US11761790B2 (en) | Method and system for image-based positioning and mapping for a road network utilizing object detection | |
| CN105096386B (en) | A wide range of complicated urban environment geometry map automatic generation method | |
| CN111492403A (en) | Lidar to camera calibration for generating high definition maps | |
| US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
| JP7273927B2 (en) | Image-based positioning method and system | |
| KR102129408B1 (en) | Method and apparatus for acquiring survey data from layer of image captured by unmanned air vehicle matched with public map or external map | |
| Taneja et al. | Registration of spherical panoramic images with cadastral 3d models | |
| CN113989450A (en) | Image processing method, image processing apparatus, electronic device, and medium | |
| CN110914870B (en) | Annotation generation for image networks | |
| CN113240734B (en) | Vehicle cross-position judging method, device, equipment and medium based on aerial view | |
| WO2020156923A2 (en) | Map and method for creating a map | |
| CN111105695B (en) | Map making method and device, electronic equipment and computer readable storage medium | |
| Yeh et al. | Driver assistance system providing an intuitive perspective view of vehicle surrounding | |
| KR102605696B1 (en) | Method and System of Estimating CCTV Camera Pose and 3D Coordinate of Mapping Object based on High Definition Map | |
| KR20200142315A (en) | Method and apparatus of updating road network | |
| KR102520189B1 (en) | Method and system for generating high-definition map based on aerial images captured from unmanned air vehicle or aircraft | |
| Kim et al. | Automatic 3D city modeling using a digital map and panoramic images from a mobile mapping system | |
| CN117152400B (en) | Method and system for fusing multiple paths of continuous videos and three-dimensional twin scenes on traffic road | |
| CN117274402B (en) | Calibration method and device for camera external parameters, computer equipment and storage medium | |
| US20240251463A1 (en) | Systems and Methods for Modeling Structures Using Point Clouds Derived from Stereoscopic Image Pairs | |
| US20240177337A1 (en) | Spatial calibration method | |
| Novikov et al. | Vehicle Geolocalization from Drone Imagery | |
| Liu et al. | Real-time Image Identification for Vehicle Positioning System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |