KR20230085837A

KR20230085837A - Method, device and mobiltiy apparatus for inferring an abnormality of high definition map and corresponding driving

Info

Publication number: KR20230085837A
Application number: KR1020220134230A
Authority: KR
Inventors: 안경환
Original assignee: 한국전자통신연구원
Priority date: 2021-12-07
Filing date: 2022-10-18
Publication date: 2023-06-14

Abstract

정밀맵 이상 추론 및 대응 주행 방법, 장치 및 이동체가 개시된다.
상기 정밀맵 이상 추론 및 대응 주행 방법은, 이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상(abnormality)을 판단하는 단계, 도로에서 인식된 예외 객체 정보가 존재하는지를 확인하는 단계, 상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하고, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하는 단계, 및 상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하는 단계를 포함한다. Disclosed are a precise map abnormality inference and corresponding driving method, device, and moving object.
The precision map anomaly inference and corresponding driving method may include determining an abnormality of a precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object; Checking whether exception object information exists, determining the road condition as a temporary change situation not accompanied by replacement of the precision map, and responding to the temporary change situation when the abnormality of the precision map and the exception object information exist. determining a first driving control process of the moving object, and determining the road condition as a permanent change situation and responding to the permanent change situation when an abnormality in the precision map exists and the exception object information does not exist and determining a second travel control process of the moving body.

Description

정밀맵 이상 추론 및 대응 주행 방법, 장치 및 이동체{METHOD, DEVICE AND MOBILTIY APPARATUS FOR INFERRING AN ABNORMALITY OF HIGH DEFINITION MAP AND CORRESPONDING DRIVING}Precise map abnormality inference and response driving method, device and moving body

본 개시는 정밀맵 이상 추론 방법 및 대응 주행 방법, 장치 및 이동체에 관한 것이며, 보다 구체적으로 자율주행 가능한 이동체가 탑재하는 정밀맵이 실제 도로와 상이하거나 오류를 가진 경우 정밀맵의 이상 여부를 추론함과 아울러서, 추론 결과에 따른 이동체의 제어 처리를 결정하는 정밀맵 이상 추론 방법, 장치 및 이동체에 대한 것이다.The present disclosure relates to a precision map anomaly inference method and a corresponding driving method, device, and moving object, and more specifically, inferring whether the precision map is abnormal when a precision map mounted on an autonomous driving vehicle is different from an actual road or has an error. In addition, it relates to a precision map anomaly reasoning method, apparatus, and moving object for determining a control process of a moving object according to an inference result.

종래의 자율주행 시스템은 사전에 탑재된 정밀맵을 이용하여 경로를 탐색하거나, 인식된 정보를 융합하여 주행상황과 매뉴버(maneuver)를 판단한 후, 자율주행을 수행한다. 그러나 정밀맵은 항상 최신의 도로 상황을 반영하는데 한계가 있다. 애초부터 정밀맵이 오류를 가지거나, 도로 공사 등으로 인해. 일시적으로나 영구적으로 도로 주행 영역 및 차선 등이 변경될 수 있다. 이에 따라, 정밀맵을 항상 신뢰하며 주행할 수 없는 문제점이 있다. 만약 실제 도로와 상이한 정밀맵에 기반하여 자율 주행을 수행할 경우, 자율주행 차량은 도로가 아닌 영역으로 주행할 수 있다. 또한, 장애물이 위치한 차선에 대한 오판단에 기인하여, 매뉴버 및 경로가 잘못 결정되어, 자율주행 이동체가 장애물과 충돌하는 상황이 초래될 수 있다. A conventional self-driving system performs autonomous driving after determining a driving situation and maneuver by searching for a route using a preloaded precision map or converging recognized information. However, precision maps always have limitations in reflecting the latest road conditions. From the beginning, the precision map has an error, or due to road construction, etc. Road driving areas and lanes may be temporarily or permanently changed. Accordingly, there is a problem in that the precise map cannot always be trusted and driven. If autonomous driving is performed based on a precision map different from an actual road, the autonomous vehicle may drive in an area other than the road. In addition, due to misjudgment of the lane where the obstacle is located, a maneuver and a path are incorrectly determined, resulting in a situation in which the self-driving vehicle collides with the obstacle.

구체적으로, 종래 자율주행시스템은 사전 탑재된 정밀맵을 기반으로 전역 경로를 탐색하고, 인식된 장애물을 정밀맵에 융합하여 장애물이 존재하는 차선을 식별한다. 종래 자율주행 시스템은 자율주행 차량의 매뉴버를 결정하고, 지역 경로 계획을 통해 액츄에이터를 제어하여 차량을 주행한다. 그러나 공사 등으로 인해 임시적으로 또는 영구적으로 정밀맵과 실제 도로가 서로 상이한 도로 구조를 갖게 되는 경우, 혹은, 애초부터 정밀맵이 잘못 구축되어 오류를 갖는는 경우, 해당 정밀맵에 기반한 자율주행이 수행되는 경우, 도로를 벗어나거나 주변 장애물과 충돌하는 등의 위험한 상황이 발생할 수 있다.Specifically, a conventional autonomous driving system searches a global path based on a preloaded precision map, and fuses recognized obstacles with the precision map to identify lanes with obstacles. Conventional self-driving systems drive the vehicle by determining a maneuver of the self-driving vehicle and controlling actuators through local route planning. However, if the detailed map and the actual road have a different road structure temporarily or permanently due to construction, or if the precise map is incorrectly built from the beginning and has errors, autonomous driving based on the precise map is performed. In this case, dangerous situations such as going off the road or colliding with nearby obstacles may occur.

본 개시의 기술적 과제는 이동체, 예컨대 자율주행 가능한 이동체가 탑재하는 정밀맵이 실제 도로와 상이하거나 오류를 가진 경우 정밀맵의 이상 여부를 추론함과 아울러서, 추론 결과에 따른 이동체의 제어 처리를 결정하는 정밀맵 이상 추론 방법 및 대응 주행, 장치 및 이동체를 제공하는데 그 목적이 있다. A technical problem of the present disclosure is to infer whether or not the precision map is abnormal when a mobile body, for example, a mobile body capable of autonomous driving, is different from an actual road or has an error, and determines control processing of the mobile body according to the inference result. Its purpose is to provide a precision map anomaly inference method and corresponding driving, devices and moving objects.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present disclosure are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

본 개시의 일 양상에 따르면, 정밀맵 이상 추론 방법 및 대응 주행 방법 이 제공된다. 상기 방법은, 이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상(abnormality)을 판단하는 단계, 도로에서 인식된 예외 객체 정보가 존재하는지를 확인하는 단계, 상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하고, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하는 단계, 및 상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하는 단계를 포함한다. According to one aspect of the present disclosure, a precision map anomaly inference method and a corresponding driving method are provided. The method may include determining an abnormality of a precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object, and determining whether exception object information recognized on the road exists. If the abnormality of the precision map and the exception object information exist, the state of the road is determined as a temporary change situation not accompanied by replacement of the precision map, and the first driving of the moving object corresponding to the temporary change situation Determining a control process, and if there is an abnormality in the precision map and the exception object information does not exist, determining the road state as a permanent change situation, and second driving of the moving object corresponding to the permanent change situation Determining the control process.

본 개시의 다른 실시예에 따르면, 상기 도로 정보 및 상기 주변 객체 정보에 속하는 정보들 중 복수의 정보로 상기 정밀맵의 이상을 판단하는 경우, 상기 정밀맵의 이상에 대한 판단은 상기 복수의 정보의 각각에 기반하여 추론된 개별 이상 검출 데이터를 이용한 보팅 처리를 통해 수행될 수 있다. According to another embodiment of the present disclosure, when an abnormality of the precision map is determined with a plurality of pieces of information belonging to the road information and the surrounding object information, the determination of the abnormality of the precision map is based on the plurality of pieces of information. It can be performed through voting processing using individual abnormality detection data inferred based on each.

본 개시의 또 다른 실시예에 따르면, 상기 도로 정보는 상기 이동체의 주행에서 인식된 도로 인식 영역 및 도로 표식 정보 중 적어도 하나를 포함할 수 있다.According to another embodiment of the present disclosure, The road information may include at least one of a road recognition area recognized while the moving object is driving and road sign information.

본 개시의 또 다른 실시예에 따르면, 상기 주변 객체 정보는 주행하는 이동체 주변의 객체의 상태 정보를 포함할 수 있다.According to another embodiment of the present disclosure, the surrounding object information may include state information of objects around the moving object.

본 개시의 또 다른 실시예에 따르면, 상기 예외 객체 정보는 상기 도로에서 우발적으로 발생한 상황으로 인해 상기 도로 상태를 일시적으로 변경시키는 객체와 관련된 정보를 포함할 수 있다.According to another embodiment of the present disclosure, the exception object information may include information related to an object that temporarily changes the road condition due to a situation accidentally occurring on the road.

본 개시의 또 다른 실시예에 따르면, 상기 도로 정보, 상기 주변 객체 정보 및 상기 예외 객체 정보보다 우선되는 외부 정보를 수신한 경우, 상기 외부 정보에 기초하여 상기 도로 상태를 판단하는 단계를 더 포함하고, 상기 외부 정보는 교통 상황 정보 및 주변 이동체로부터 수신되며 상기 정밀맵보다 최신의 정밀맵 중 적어도 하나를 포함할 수 있다.According to another embodiment of the present disclosure, when receiving external information that has priority over the road information, the surrounding object information, and the exception object information, determining the road condition based on the external information, further comprising: , The external information may include at least one of traffic condition information and a precision map received from surrounding moving objects and newer than the precision map.

본 개시의 또 다른 실시예에 따르면, 상기 이동체의 자율 주행이 유지되는 경우, 상기 제 1 주행 제어 프로세스를 결정하는 단계는, 상기 도로 상태에서 상기 예외 객체 정보에 기반한 상기 이동체의 주행 상황 정보를 확인하는 단계; 상기 주행 상황 정보에 근거하여 비구조화 지역 경로 및 상기 이동체의 운행 제어가 설정 가능한지를 판단하는 단계; 및 설정 가능에 응답하여, 상기 비구조화 지역 경로 및 상기 운행 제어를 결정하고, 상기 이동체를 자율 주행하도록 제어하는 단계를 포함할 수 있다.According to another embodiment of the present disclosure, when the autonomous driving of the moving object is maintained, the determining of the first driving control process may include checking driving situation information of the moving object based on the exception object information in the road state. doing; determining whether an unstructured area path and operation control of the moving object can be set based on the driving situation information; and determining the unstructured area route and the operation control in response to a setting possibility, and controlling the moving object to autonomously drive.

본 개시의 또 다른 실시예에 따르면, 설정 불가능에 응답하여, 상기 이동체를 서행하여 정차하도록 상기 이동체를 최소 위험 레벨로 제어하는 단계를 더 포함할 수 있다.According to another embodiment of the present disclosure, The method may further include controlling the moving object to a minimum risk level so that the moving object slows down and stops in response to the setting impossibility.

본 개시의 또 다른 실시예에 따르면, 상기 제 2 주행 제어 프로세스는 상기 이상과 관련된 위치에서 상기 정밀맵의 이상을 태깅함(tagging)과 아울러서, 상기 정밀맵의 이상을 외부 서버에 통지하는 것을 포함할 수 있다.According to another embodiment of the present disclosure, the second driving control process includes tagging the abnormality of the precision map at a location related to the abnormality and notifying an external server of the abnormality of the precision map. can do.

본 개시의 또 다른 실시예에 따르면, 상기 이동체의 자율 주행이 유지되는 경우, 상기 제 2 주행 제어 프로세스를 결정하는 것은, 상기 이동체가 상기 도로 정보에 기반하여 주행 가능한지를 판단하고, 주행 불가능에 응답하여, 상기 이동체를 서행하여 정차하도록 상기 이동체를 최소 위험 레벨로 제어하도록 더 구성될 수 있다.According to another embodiment of the present disclosure, When the autonomous driving of the moving object is maintained, the determining of the second driving control process may include determining whether the moving object is capable of driving based on the road information, and causing the moving object to slow down and stop in response to an inability to drive. It may be further configured to control the moving body to a minimum risk level.

본 개시의 다른 양상에 따르면, 정밀맵 이상 추론 및 대응 주행 장치가 제공된다. 상기 장치는 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함한다. 상기 프로세서는, 이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상을 판단하고, 도로에서 인식된 예외 객체 정보가 존재하는지를 확인하고, 상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하며, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하고, 상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하도록 구성된다. According to another aspect of the present disclosure, a precise map abnormality inference and corresponding traveling device is provided. The device includes a memory for storing at least one instruction; and a processor that executes the at least one instruction stored in the memory. The processor determines an abnormality of the precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object, confirms whether exception object information recognized on the road exists, and When the abnormality of the map and the exception object information exist, the road state is determined as a temporary change situation not accompanied by replacement of the precision map, and a first driving control process of the moving object corresponding to the temporary change situation is determined; , When there is an abnormality in the precision map and the exception object information does not exist, determine the road condition as a permanent change situation, and determine a second driving control process of the moving object corresponding to the permanent change situation. .

본 개시의 또 다른 양상에 따르면, 이동체가 제공된다. 상기 이동체는, 외부와 신호를 송수신하는 통신부; 상기 이동체를 구동시키는 엑츄에이터; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하며 상기 엑츄에이터를 제어하는 프로세서를 포함한다. 상기 프로세서는, 상기 이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상을 판단하고, 도로에서 인식된 예외 객체 정보가 존재하는지를 확인하고, 상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하며, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하고, 상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하도록 구성된다. According to another aspect of the present disclosure, a moving body is provided. The mobile unit includes a communication unit for transmitting and receiving signals to and from the outside; an actuator that drives the moving body; a memory storing at least one instruction; and a processor executing the at least one instruction stored in the memory and controlling the actuator. The processor determines an abnormality in the precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object, and confirms whether exception object information recognized on the road exists, and the If there is an abnormality of the precision map and the exception object information, the road condition is determined as a temporary change situation not accompanied by the replacement of the precision map, and a first driving control process of the moving object corresponding to the temporary change situation is determined and if there is an abnormality in the precision map and the exception object information does not exist, determine the road condition as a permanent change situation, and determine a second driving control process of the moving object corresponding to the permanent change situation. do.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above with respect to the disclosure are merely exemplary aspects of the detailed description of the disclosure that follows, and do not limit the scope of the disclosure.

본 개시에 따르면, 이동체, 예컨대 자율주행 가능한 이동체가 탑재하는 정밀맵이 실제 도로와 상이하거나 오류를 가진 경우 정밀맵의 이상 여부를 추론함과 아울러서, 추론 결과에 따른 이동체의 제어 처리를 결정하는 정밀맵 이상 추론 방법, 장치 및 이동체를 제공할 수 있다. According to the present disclosure, when a precision map mounted on a mobile body, for example, a mobile body capable of self-driving, is different from an actual road or has an error, inferring whether or not the precision map is abnormal and determining the control process of the moving body according to the inference result A map anomaly inference method, device, and moving object may be provided.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below. will be.

도 1은 본 개시의 일 실시예에 따른 이동체에 구현되는 시스템 구성도이다.
도 2는 본 개시의 다른 실시예에 따른 정밀맵 이상 추론 및 대응 주행 장치에서 구현되는 정밀맵 이상 추론부의 구성을 예시한 도면이다.
도 3은 도로 영역 인식 이미지맵 이상 검출기에서 수행되는 정밀맵 이상 검출 프로세스를 예시한 도면이다.
도 4는 차선 인식 벡터맵 이상 검출기에서 수행되는 정밀맵 이상 검출 프로세스를 예시한 도면이다.
도 5는 차선 인식 벡터맵 이상 검출을 위한 가상 코드를 예시한 도면이다.
도 6은 객체 인식 벡터맵 이상 검출기에서 수행되는 정밀맵 이상 검출 프로세스를 예시한 도면이다.
도 7은 객체 인식 벡터맵 이상 검출을 위한 가상 코드를 예시한 도면이다.
도 8은 검출된 예외 객체 정보를 예시한 도면이다.
도 9는 본 개시의 또 다른 실시예에 따른 정밀맵 이상 추론 및 대응 주행 방법에 관한 순서도이다. 1 is a system configuration diagram implemented in a mobile body according to an embodiment of the present disclosure.
2 is a diagram illustrating the configuration of a precision map anomaly reasoning unit implemented in a precision map anomaly inference and corresponding driving apparatus according to another embodiment of the present disclosure.
3 is a diagram illustrating a precision map anomaly detection process performed in a road area recognition image map anomaly detector.
4 is a diagram illustrating a precision map anomaly detection process performed in a lane recognition vector map anomaly detector.
5 is a diagram illustrating virtual codes for detecting anomalies in a lane recognition vector map.
6 is a diagram illustrating a precision map anomaly detection process performed in an object recognition vector map anomaly detector.
7 is a diagram illustrating virtual codes for detecting an object recognition vector map anomaly.
8 is a diagram illustrating detected exception object information.
9 is a flowchart of a method for inferring anomaly from a precision map and corresponding driving according to another embodiment of the present disclosure.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, with reference to the accompanying drawings, embodiments of the present disclosure will be described in detail so that those skilled in the art can easily carry out the present disclosure. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In describing the embodiments of the present disclosure, if it is determined that a detailed description of a known configuration or function may obscure the gist of the present disclosure, a detailed description thereof will be omitted. And, in the drawings, parts irrelevant to the description of the present disclosure are omitted, and similar reference numerals are attached to similar parts.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when a component is said to be "connected", "coupled" or "connected" to another component, this is not only a direct connection relationship, but also an indirect connection relationship where another component exists in the middle. may also be included. In addition, when a component "includes" or "has" another component, this means that it may further include another component without excluding other components unless otherwise stated. .

본 개시에 있어서, 제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제 1 구성요소는 다른 실시 예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제 2 구성요소를 다른 실시 예에서 제 1 구성요소라고 칭할 수도 있다. In the present disclosure, terms such as first and second are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements unless otherwise specified. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly, a second component in one embodiment may be referred to as a first component in another embodiment. can also be called

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, components that are distinguished from each other are intended to clearly explain each characteristic, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated to form a single hardware or software unit, or a single component may be distributed to form a plurality of hardware or software units. Accordingly, even such integrated or distributed embodiments are included in the scope of the present disclosure, even if not mentioned separately.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.In the present disclosure, components described in various embodiments do not necessarily mean essential components, and some may be optional components. Therefore, an embodiment composed of a subset of components described in one embodiment is also included in the scope of the present disclosure. In addition, embodiments including other components in addition to the components described in various embodiments are also included in the scope of the present disclosure.

본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나(at least one of A, B, C or combination thereof)"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. In the present disclosure, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A Each of the phrases such as "at least one of A, B, C or combination thereof" is any one of the items listed together in the corresponding phrase, or all possible combinations thereof. can include

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명하기로 한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 이동체에 구현되는 시스템 구성도이다. 1 is a system configuration diagram implemented in a mobile body according to an embodiment of the present disclosure.

이동체(100)는 예컨대, 자율주행 가능한 차량일 수 있으나, 이에 제한되지 않고 운전자의 수동 제어에 의한 모빌리티 장치, 자율주행용 로봇일 수도 있다. 본 개시에서는 이동체(100)가 자율주행용 차량인 것을 예시한다. 본 개시에서는 설명의 편의상, 이동체, 자율주행용 차량 및 차량의 용어들을 혼용하여 기재하기로 한다. 자율주행용 차량(100)은 차량센서부(110), 주행환경 인식부(120), 통신부(130), 정밀맵 제공부(140), 정밀맵 이상 추론부(150), 주행상황 판단부(160) 및 차량 구동부(180)를 포함할 수 있다. 여기서, 주행환경 인식부(120), 정밀맵 이상 추론부(150), 주행상황 판단부(160), 차량 제어부(170)는 프로세서(190)를 통해 구현될 수 있다. 프로세서(190)는 단일 모듈이거나, 각 부를 담당하는 모듈을 전부 포함하는 멀티 모듈로 구성할 수 있다. 프로세서(190)을 포함하는 장치는 본 개시에 따른 정밀맵 이상 추론 및 대응 주행 장치일 수 있다. 도면에는 도시되어 있지 않으나, 차량(100)은 메모리를 구비하고, 메모리는 통신부(130) 및 차량(100)의 상술의 모듈에서 교환된 외부 및 내부 데이터를 저장하여 관리할 수 있다. The mobile body 100 may be, for example, a vehicle capable of autonomous driving, but is not limited thereto and may be a mobility device manually controlled by a driver or a robot for autonomous driving. In the present disclosure, it is exemplified that the mobile body 100 is a vehicle for autonomous driving. In the present disclosure, for convenience of description, the terms of a mobile body, an autonomous driving vehicle, and a vehicle will be used interchangeably. The autonomous driving vehicle 100 includes a vehicle sensor unit 110, a driving environment recognition unit 120, a communication unit 130, a precision map providing unit 140, a precision map abnormality inference unit 150, a driving situation determination unit ( 160) and a vehicle driving unit 180. Here, the driving environment recognition unit 120 , the precision map abnormality inference unit 150 , the driving situation determination unit 160 , and the vehicle control unit 170 may be implemented through the processor 190 . The processor 190 may be a single module or may be configured as a multi-module including all modules in charge of each unit. A device including the processor 190 may be a precise map abnormality inference and corresponding driving device according to the present disclosure. Although not shown in the drawings, the vehicle 100 includes a memory, and the memory can store and manage external and internal data exchanged in the communication unit 130 and the above-described modules of the vehicle 100 .

차량센서부(110)는 차량(100)의 위치 파악 및 주변 도로의 객체 인식을 위해 차량(100)에 장착되는 센서들을 포함할 수 있다. 구체적으로, 차량센서부(110)는 자차 위치를 검출하는 GPS를 구비하고, 주변의 장애물 위치와 속도의 획득을 위해, Radar, Lidar, 카메라 등의 센서를 포함할 수 있다. The vehicle sensor unit 110 may include sensors mounted on the vehicle 100 to determine the location of the vehicle 100 and recognize objects on surrounding roads. Specifically, the vehicle sensor unit 110 may include a GPS that detects the location of the vehicle, and may include sensors such as radar, lidar, and camera to acquire the location and speed of nearby obstacles.

주행환경 인식부(120)는 차량센서부(110)를 이용하여, 주행가능영역과 차선을 인식할 수 있다. 또한, 주행환경 인식부(120)는 장애물과 관련된 객체와 신호등을 인식하는 기능을 포함할 수 있다. 차량(100)이 주행하는 도로의 주행가능영역 및 차선은 각각 도로 인식 영역 및 도로 표식의 일종이며, 도로 인식 영역 및 도로 표식의 정보는 도로 정보를 구성할 수 있다. 장애물은 주변 객체 정보를 구성하는 객체이며, 주행하는 차량(100) 주변의 동적 또는 정적 객체일 수 있다. 장애물은 예컨대, 타차량, 보행자, 공사 관련 장비 등일 수 있다. The driving environment recognition unit 120 may use the vehicle sensor unit 110 to recognize a drivable area and a lane. In addition, the driving environment recognition unit 120 may include a function of recognizing an object related to an obstacle and a traffic light. The drivable area and lanes of the road on which the vehicle 100 travels are a kind of road recognition area and road markings, respectively, and information on the road recognition area and road markings may constitute road information. An obstacle is an object constituting surrounding object information, and may be a dynamic or static object around the vehicle 100 that is traveling. Obstacles may be, for example, other vehicles, pedestrians, construction-related equipment, and the like.

통신부(130)는 자차 및 타차량의 주행 상태와 수집 정보, 도로 상황과 사고 정보를 포함하는 외부 정보, 정밀맵 갱신 정보를 상호 교환하도록 제어되로 수 있다. 통신부(130)는 예컨대, 타차량 및 인프라(예컨대, RSU)와 통신을 위한 V2X 모뎀, 서버와 통신을 위한 LTE/5G 모뎀을 포함할 수 있다. The communication unit 130 may be controlled to mutually exchange external information including driving conditions and collected information of the own vehicle and other vehicles, road conditions and accident information, and detailed map update information. The communication unit 130 may include, for example, a V2X modem for communication with other vehicles and infrastructure (eg, RSU) and an LTE/5G modem for communication with a server.

정밀맵 제공부(140)는 도로에 대한 정밀맵을 저장하고 제공할 수 있다. 정밀맵은 주변 객체의 공간 정보(2차원 및 3차원 정보) 및 차선 레벨의 상세하고 높은 정밀도의 도로 네트워크 정보를 포함할 수 있다. 정밀맵은 차량(100)의 전체 경로(또는 전역 경로) 및 지역 경로의 계획에 필요한 도로 관련 데이터를 포함할 수 있다.The precise map provider 140 may store and provide a detailed map of the road. The precision map may include spatial information (2D and 3D information) of surrounding objects and detailed and high-precision road network information at the lane level. The precision map may include road-related data necessary for planning the entire route (or global route) of the vehicle 100 and local routes.

정밀맵 이상 추론부(150)는 주행환경 인식부(120)로부터 제공되는 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여, 차량(100)에 현재 적용되는 정밀맵의 이상을 추론할 수 있다. 정밀맵 이상 추론부(150)는 정밀맵 이상 검출 기능에 해당하는 복수의 기능, 즉 도로 정보의 도로 영역 인식에 기반한 이미지맵 이상 검출, 도로 표식 정보에 속하는 차선 인식에 기반한 벡터맵 이상 검출 및 주변 객체 인식에 기반한 객체 인식 벡터맵 이상 검출을 수행할 수 있다. The precision map anomaly inference unit 150 may infer an anomaly of the precision map currently applied to the vehicle 100 based on at least one of road information and surrounding object information provided from the driving environment recognition unit 120 . The precision map anomaly inference unit 150 has a plurality of functions corresponding to the precision map anomaly detection function, that is, image map anomaly detection based on road area recognition of road information, vector map anomaly detection based on lane recognition belonging to road sign information, and surroundings. It is possible to perform object recognition vector map anomaly detection based on object recognition.

또한, 정밀맵 이상 추론부(150)는 주행하는 도로의 임시 변경 상황인지 여부를 판단하기 위해, 정밀맵 이상 예외를 검출하는 기능을 구현할 수 있다. 정밀맵 이상 예외의 검출은 도로로부터 인식되는 예외 객체 정보가 존재하는지를 확인하는 것을 포함할 수 있다. 예외 객체 정보는 도로에서 우발적으로 발생한 상황으로 인해, 도로 상태를 일시적으로 변경시키는 객체와 관련된 정보일 수 있다. 예외 객체 정보는 예컨대, 콘, 배럴 등 공사와 관련된 객체들일 수 있다. 정밀맵 이상 추론부(150)는 공사 관련 객체들을 인식하여 전방 도로에 대한 변경이 공사 등으로 인한 일시적인 변경인지를 점검할 수 있다. In addition, the precision map anomaly inference unit 150 may implement a function of detecting an exception to the precision map anomaly in order to determine whether the driving road is temporarily changed. Detection of the precision map abnormality exception may include checking whether exception object information recognized from the road exists. Exception object information may be information related to an object that temporarily changes a road condition due to a situation that occurs accidentally on a road. Exception object information may be, for example, objects related to construction, such as cones and barrels. The precision map anomaly inference unit 150 may recognize construction-related objects and check whether a change in the front road is a temporary change due to construction or the like.

또한, 정밀맵 이상 추론부(150)는 인프라 및 타차량로부터 전송되는 V2X 정보 즉 유고 정보 및 맵 정보 등을 포함하는 외부 정보를 수신하는 기능을 가질 수 있다. 아울러, 정밀맵 이상 추론부(150)는 도로 임시변경 여부를 판단하기 위한 정밀맵 이상 예외를 검출하는 기능을 수행할 수 있다. In addition, the precise map anomaly inference unit 150 may have a function of receiving external information including V2X information transmitted from infrastructure and other vehicles, that is, unique information and map information. In addition, the precision map anomaly reasoning unit 150 may perform a function of detecting an exception to the precision map anomaly to determine whether the road is temporarily changed.

정밀맵 이상 추론부(150)는 상술한 기능에 기반한 결과 데이터에 기반하여, 최종적으로 정밀맵의 정상, 임시 변경 또는 영구 변경을 결정하기 위한 이상 검출 보팅 기능을 구현할 수 있다. 임시 변경은 정밀맵이 실제 도로 상태와 상이하여 이상을 가지나, 예외 객체 정보가 존재함으로 인해, 정밀맵의 교체가 수반되지 않는 도로 상태를 의미할 수 있다. 영구 변경은 예외 객체 정보가 존재하지 않으면서 정밀맵의 이상이 있음으로 인해, 정밀맵의 교체가 수반되는 도로 상태를 의미할 수 있다. The precision map anomaly reasoning unit 150 may implement an anomaly detection voting function for finally determining normal, temporary change, or permanent change of the precision map based on result data based on the above-described function. Temporary change may refer to a road condition in which the precision map is different from the actual road condition and thus has an abnormality, but the precision map is not replaced due to the existence of exception object information. Permanent change may refer to a road state in which the precision map is replaced due to an error in the precision map without the presence of exception object information.

일례로, 보팅 처리는 도로 정보 및 주변 객체 정보에 속하는 정보들 중 복수의 정보를 이용하여 실행될 수 있다. 보팅 처리는 상기 복수의 정보의 각각에 기반하여 추론된 개별 이상 검출 데이터에 다수 결과에 기반하여 수행될 수 있다. 다른 예로, 보팅 처리는 도로 정보, 주변 객체 정보 및 예외 객체 정보를 전부 활용하여 수행될 수도 있다. For example, the voting process may be performed using a plurality of pieces of information among information belonging to road information and surrounding object information. The voting process may be performed based on multiple results of individual abnormality detection data inferred based on each of the plurality of pieces of information. As another example, the voting process may be performed using all road information, surrounding object information, and exception object information.

상기 열거한 정밀맵 이상 추론부(150)의 기능들의 상세한 설명은 후술하기로 한다. A detailed description of the functions of the above-listed precision map anomaly inference unit 150 will be described later.

주행상황 판단부(160)는 주행환경 인식부(120)로부터의 주행환경의 인식 결과 데이터, 정밀맵 제공부(140)의 정밀맵 정보, 정밀맵 이상 추론부(150)의 정밀맵 이상 여부에 기반하여, 차량(100)의 주행상황을 인식하거나 판단할 수 있다. 주행상황 판단부(160)는 차량(100)에 계획된(또는 설정된) 전역경로, 주행상황의 정밀맵으로의 융합 및 정밀맵 이상 여부에 대한 결과에 따라, 차량(100)의 매뉴버, 지역경로의 계획(또는 설정) 및 정밀맵의 이상에 따른 대응 주행 중 적어도 하나를 결정할 수 있다. 메뉴버, 지역경로의 설정, 대응 주행 및 정밀맵의 교체를 위한 이상 통지 등은 주행 제어 프로세스를 구성하고, 주행 제어 프로세는 정밀맵의 정상 여부, 임시 변경 또는 영구 변경에 따라 상이하게 결정될 수 있다. 메뉴버는 차량(100)를 구동하는 액츄에이터에 대한 조작 지시일 수 있다. 메뉴버는 예컨대, 차량(100)의 직진, 좌/우회전, 차선변경, 정지 등과 관련된 지시일 수 있다. 지역경로 계획은 정밀맵의 정상 여부에 따라, 구조화 지역 경로의 계획 또는 비구조화 지역 경로의 계획으로 구분될 수 있다. 구조화 지역 경로는 예컨대 도로 차선과 도로 구조를 준수하도록 설정되는 지역 경로일 수 있다. 비구조화 지역 경로는 정밀맵이 임시 변경으로 판단되는 경우, 정밀맵의 도로 정보(예컨대, 도로 구조, 차선 등)와 무관하게 실제의 도로 정보 및 주변 객체 정보에 기초하여 설정되는 지역 경로일 수 있다. The driving situation determination unit 160 determines whether or not the driving environment recognition result data from the driving environment recognition unit 120, the precision map information of the precision map providing unit 140, and the precision map abnormality of the precision map abnormality inference unit 150 Based on this, the driving situation of the vehicle 100 may be recognized or determined. The driving situation determining unit 160 determines the maneuver of the vehicle 100 and the local path according to the global route planned (or set) for the vehicle 100, the convergence of the driving situation with the precise map, and whether or not the precise map is abnormal. It is possible to determine at least one of the plan (or setting) of the plan (or setting) and corresponding driving according to the abnormality of the precision map. Menuber, local route setting, corresponding driving, and abnormal notification for replacement of precision maps constitute the driving control process, and the driving control process may be determined differently depending on whether the precision map is normal, temporary change, or permanent change. . The menu bar may be a manipulation instruction for an actuator driving the vehicle 100 . For example, the menu bar may be instructions related to going straight, turning left/right, changing lanes, and stopping the vehicle 100 . Regional route planning may be classified into structured regional route planning or unstructured regional route planning, depending on whether the precision map is normal or not. A structured area path may be, for example, a local path set to conform to road lanes and road structures. The unstructured local path may be a local path set based on actual road information and surrounding object information regardless of road information (eg, road structure, lanes, etc.) of the precise map when the precise map is determined to be a temporary change. .

차량 제어부(170)는 주행 상황 판단부(160)의 결과에 따라, 지역경로 추종 및 액츄에이터 제어 기능을 수행할 수 있다. 엑츄에이터 제어 기능은 추종되는 지역경로에 따라 차량 구동부(180)의 액추에이터를 제어하는 것일 수 있다. The vehicle control unit 170 may perform local route following and actuator control functions according to the result of the driving situation determination unit 160 . The actuator control function may control an actuator of the vehicle driving unit 180 according to a local route to be followed.

차량 구동부(180)는 제어 명령에 따라 실제 액츄에이터인 스티어링휠, 엔진, 브레이크, 기어, 램프(예, 브레이크등, 방향지시등 등)를 동작시킬 수 있다. The vehicle driving unit 180 may operate actual actuators such as a steering wheel, an engine, brakes, gears, and lamps (eg, brake lights, turn indicators, etc.) according to control commands.

도 2는 본 개시의 다른 실시예에 따른 정밀맵 및 대응 주행 장치에서 구현되는 정밀맵 이상 추론부의 구성을 예시한 도면이다. 2 is a diagram illustrating the configuration of a precision map abnormality inference unit implemented in a precision map and a corresponding driving device according to another embodiment of the present disclosure.

정밀맵 이상 추론부(150)는 도로 영역 인식 이미지맵 이상 검출기(151), 차선 인식 벡터맵 이상 검출기(152), 객체 인식 벡터맵 이상 검출기(153), 이상 검출 보팅기(154), 정밀맵 이상 예외 검출기(155) 및 V2X 정보 수신기(156)를 포함할 수 있다. The precision map anomaly inference unit 150 includes a road area recognition image map anomaly detector 151, a lane recognition vector map anomaly detector 152, an object recognition vector map anomaly detector 153, an anomaly detection voting machine 154, a precision map An anomaly exception detector 155 and a V2X information receiver 156 may be included.

도로 영역 인식 이미지맵 이상 검출기(151)는 주행환경 인식부(120)로부터 검지된 도로 정보의 도로 영역 인식에 관한 정보에 기초하여, 도로 영역 인식과 관련된 정밀맵의 이상 여부를 검출할 수 있다. 구체적으로, 도로 영역 인식 이미지맵 이상 검출기(151)는 주행환경 인식부(120)에 의해 인식된 주행가능 영역 인식 이미지맵과 정밀맵으로부터 도출되는 이미지맵을 비교하여, 정밀맵의 이상 여부를 검출할 수 있다. 정밀맵의 이미지맵은 정밀맵을 이용하여 생성한 이미지맵 중, 주행가능영역 인식 이미지맵에서 특정 부분을 복사하여 변환된 이미지맵일 수 있다. Road area recognition The image map anomaly detector 151 may detect whether or not a precision map related to road area recognition is abnormal, based on information about road area recognition of the road information detected by the driving environment recognition unit 120 . Specifically, the road area recognition image map anomaly detector 151 compares the drivable area recognition image map recognized by the driving environment recognition unit 120 with the image map derived from the precision map, and detects whether the precision map is abnormal. can do. The image map of the precision map may be an image map converted by copying a specific part from the drivable area recognition image map among image maps generated using the precision map.

도 3은는 도로 영역 인식 이미지맵 이상 검출기에서 수행되는 정밀맵 이상 검출 프로세스를 예시한 도면이다. 3 is a diagram illustrating a precision map anomaly detection process performed in a road area recognition image map anomaly detector.

도 3의 201은 실제 도로에 대한 정밀맵과 자율주행차, 장애물을 나타내고 있다. 도 3의 202는 실제 도로의 환경에서 자율주행차량이 주행가능 영역을 인식한 결과를 그리드맵의 형태로 표현한 주행가능영역 인식 이미지맵을 예시하고 있다. 해당 이미지맵은 도로영역, 비도로 영역, 객체가 존재하는 영역, 객체에 의해서 폐색된 비인식영역을 구분하도록, 마킹 처리로 생성될 될 수 있다. 도 3의 203은 정밀맵을 이용하여 생성한 이미지맵을 예시하고 있다. 201 of FIG. 3 represents a detailed map of an actual road, an autonomous vehicle, and an obstacle. 202 of FIG. 3 illustrates a drivable area recognition image map in which a result of recognizing a drivable area by an autonomous vehicle in an actual road environment is expressed in the form of a grid map. The corresponding image map may be generated by marking processing to distinguish a road area, a non-road area, an area where an object exists, and a non-recognition area occluded by an object. 203 of FIG. 3 illustrates an image map generated using a precision map.

본 개시에서는 비교 성능을 향상하기 위한 추가적인 처리가 수행될 수 있다. 구체적으로, 주행가능영역 인식 이미지맵(202)에서 객체존재 영역과 비인식영역 부분만을 복사하여 정밀맵 이미지맵(203)에 마킹함으로써, 도로영역변환 이미지맵(204)이 생성될 수 있다. 정밀맵 이상 여부를 검출하기 위해, 주행가능영역 인식 이미지맵(202)과 도로영역변환 이미지맵(204)이 입력으로 채용되며, 정밀맵의 정상 또는 이상을 출력하는 분류기를 이용하여 정밀맵의 도로 영역 인식에 대한 이상 여부를 판단할 수 있다. 해당 분류기는 머신러닝 기법 또는 CNN을 이용한 딥러닝 기법을 이용하여 구현할 수 있다.Additional processing may be performed to improve comparison performance in the present disclosure. Specifically, the road area conversion image map 204 may be created by copying only the object existence area and the non-recognition area from the drivable area recognition image map 202 and marking them on the precision map image map 203 . In order to detect whether the precision map is abnormal, the drivable area recognition image map 202 and the road area conversion image map 204 are adopted as inputs, and the roads of the precision map are used by a classifier that outputs normal or abnormal precision maps. It is possible to determine whether or not there is an abnormality in region recognition. The classifier may be implemented using a machine learning technique or a deep learning technique using CNN.

차선 인식 벡터맵 이상 검출기(152)는 주행환경 인식부(120)로부터 검지된 도로 정보의 도로 표식 정보에 기초하여, 도로 표식 정보와 관련된 정밀맵의 이상 여부를 검출할 수 있다. The lane recognition vector map anomaly detector 152 may detect whether or not there is an anomaly in the precision map related to the road sign information based on the road sign information of the road information detected by the driving environment recognition unit 120 .

구체적으로, 차선 인식 벡터맵 이상 검출기(152)는 카메라 또는 라이다를 통해 인식된 차선으로부터 중심선을 추출하여 벡터맵을 생성할 수 있다. 또한, 차선 인식 벡터맵 이상 검출기(152)는 정밀맵에서 자차를 중심으로 차선 인식 거리만큼의 도로 중심선을 추출하여 벡터맵을 생성할 수 있다. 또한, 차선 인식 벡터맵 이상 검출기(152)는 상기 벡터맵들에서 제시되는 2개의 도로 중심선 간의 거리 차의 합을 계산함으로써, 정밀맵의 이상 여부를 검출할 수 있다. Specifically, the lane recognition vector map anomaly detector 152 may generate a vector map by extracting a center line from a lane recognized through a camera or lidar. In addition, the lane recognition vector map anomaly detector 152 may generate a vector map by extracting a road centerline corresponding to a lane recognition distance centered on the own vehicle from the precision map. In addition, the lane recognition vector map anomaly detector 152 may detect anomalies in the precision map by calculating the sum of distance differences between two road centerlines presented in the vector maps.

도 4는 차선 인식 벡터맵 이상 검출기에서 수행되는 정밀맵 이상 검출 프로세스를 예시한 도면이다.4 is a diagram illustrating a precision map anomaly detection process performed in a lane recognition vector map anomaly detector.

도 4의 301은 도로에 대한 정밀맵에서의 도로 네트워크 링크의 도로 중심선을 예시하고 있다. 도 4의 302는 정밀맵의 도로 중심선과 차선 인식을 통해 생성한 도로 중심선을 예시하고 있다. 차선 인식 벡터맵 이상 검출은 정밀맵 도로 중심선과 차선 인식 도로 중심선 간의 거리합이 특정 한계치 이상 일 때 이상을 검출하는 방법을 사용할 수 있다. 301 of FIG. 4 illustrates a road centerline of a road network link in a precise map for a road. 302 of FIG. 4 illustrates the road center line of the precision map and the road center line generated through lane recognition. The lane recognition vector map anomaly detection may use a method of detecting an anomaly when the sum of the distances between the precision map road center line and the lane recognition road center line is greater than or equal to a specific threshold.

도 5는 차선 인식 벡터맵 이상 검출을 위한 가상 코드를 예시한 도면이다. 5 is a diagram illustrating virtual codes for detecting anomalies in a lane recognition vector map.

먼저, 정밀맵의 라인형식의 도로중심 선(map_centerline)내 각 포인트(map_point)에 대해서, 라인형식의 차선인식 도로 중심선 (perception_line)과의 거리(distance_pt)가 산출할 수 있다. 해당 거리는 누적(distance_sum)되어, 사전에 학습 또는 개발자에 의해 지정된 임계치(threshold_distance_sum)를 초과할 경우, 도로 표식 정보와 관련된 정밀맵이 이상(abnormal)으로 판단되고, 상기 임계치 이하이면, 정밀맵이 정상(normal)으로 판단될 수 있다. First, for each point (map_point) within the line-type road centerline (map_centerline) of the precision map, a distance (distance_pt) from the line-type lane recognition road centerline (perception_line) can be calculated. The distance is accumulated (distance_sum), and if it exceeds a threshold (threshold_distance_sum) specified by learning or a developer in advance, the precision map related to the road sign information is judged to be abnormal, and if it is below the threshold, the precision map is normal. (normal) can be judged.

객체 인식 벡터맵 이상 검출기(153)는 주행환경 인식부(120)를 이용하여 인식된 객체들을 정밀맵 상에 중첩하고, 객체가 존재하는 영역에 대한 시멘틱을 추출함으로써, 객체가 존재하는 영역의 이상 여부를 검출할 수 있다. 시멘틱은 예컨대 도로/비도로영역, 차량이 속한 차선 등일 수 있다. The object recognition vector map anomaly detector 153 overlaps the objects recognized by the driving environment recognition unit 120 on the precision map and extracts semantics for the area where the object exists, so that the anomaly in the area where the object exists can be detected. Semantics may be, for example, a road/non-road area, a lane to which a vehicle belongs, and the like.

도 6은 객체 인식 벡터맵 이상 검출기에서 수행되는 정밀맵 이상 검출 프로세스를 예시한 도면이다.6 is a diagram illustrating a precision map anomaly detection process performed in an object recognition vector map anomaly detector.

여기서, 제 1 장애물 차량(404)이 정밀맵의 비도로 영역에 존재하면서 임계치 이상의 속도를 보이므로, 객체 인식 벡터맵 이상 검출기(153)는 정밀맵 이상으로 판단될 수 있다. 제 2 장애물 차량(405)의 경우 도로 상에 존재하나 해당 차선의 헤딩과 임계치 이상의 각도를 보이므로 역시 정밀맵 이상으로 판단할 수 있다. Here, since the first obstacle vehicle 404 exists in the non-road area of the precision map and exhibits a speed equal to or higher than the threshold value, the object recognition vector map anomaly detector 153 may determine the precision map anomaly. In the case of the second obstacle vehicle 405, it exists on the road, but since it shows an angle greater than the threshold value with the heading of the corresponding lane, it can also be determined as more than a precision map.

도 7은 객체 인식 벡터맵 이상 검출을 위한 가상 코드를 예시한 도면이다.7 is a diagram illustrating virtual codes for detecting an object recognition vector map anomaly.

먼저, 모든 인식된 객체(all_perception_objects)에 대해 정밀맵을 이용하여, 비도로영역에 존재하는 객체(offroad_objects)가 획득될 수 있다. 비도로 영역에 존재하는 각 객체(object)에 대해 학습 또는 개발자에 의해 정해진 임계치(threshold_velocity)를 초과하는 속도를 가지는 경우, 정밀맵은 이상이 있는 것으로 판단하고, 임계치 이하일 경우, 정밀뱀은 정상으로 판단할 수 있다. 또한 도로상에 존재하는 객체(onroad_objects)에 대해, 각 객체(object)의 헤딩(object_heading)이 취득되고, 정밀맵에서 각 객체가 속한 도로의 헤딩(map_heading)이 획득될 수 있다. 양 헤딩들의 차이의 절대값이 임계 치(threshold_heading)을 초과하는 경우, 정밀맵은 이상이 있는 것으로 판단되고, 임계치 이하일 경우, 정밀맵은 정상으로 판단될 수 있다. First, objects existing in a non-road area (offroad_objects) may be obtained by using a precision map for all recognized objects (all_perception_objects). If each object existing in the non-road area has a velocity that exceeds the threshold (threshold_velocity) set by the learning or developer, the precision map determines that there is an abnormality, and if it is below the threshold, the precision snake is normal. can judge In addition, with respect to objects (onroad_objects) existing on the road, the heading (object_heading) of each object (object) may be obtained, and the heading (map_heading) of the road to which each object belongs may be obtained from the precision map. If the absolute value of the difference between the two headings exceeds a threshold (threshold_heading), the precision map is determined to be abnormal, and if it is below the threshold, the precision map may be determined to be normal.

정밀맵 이상 예외 검출기(155)는 도 8에 예시된 바와 같이, 콘, 배럴(501, 502)등 공사와 관련된 객체들을 예외 객체 정보로 인식하여, 전방 도로에 대한 변경이 공사 등으로 인한 일시적인 변경인지를 점검한다. 일시적인 변경은 도로 상태의 임의 변경 상황임을 의미할 수 있다. 도 8은 검출된 예외 객체 정보를 예시한 도면이다. As illustrated in FIG. 8, the precision map anomaly exception detector 155 recognizes objects related to construction, such as cones and barrels 501 and 502, as exception object information, so that changes to the road ahead are temporary changes due to construction. Check cognition. Temporary change may mean a situation in which road conditions are arbitrarily changed. 8 is a diagram illustrating detected exception object information.

이상 검출 보팅기(154)는 각 검출기(151~153)의 결과들을 취합하여 다수의 보팅에 의해 정상 또는 영구 변경을 결정할 수 있다. 이상 검출 보팅기(154)는 정밀맵 이상 예외 검출기(155)에서 예외 객체 정보가 검출될 경우, 도로 상태를 임시 변경으로 결정할 수 있다. 또한, 이상 검출 결과 보팅에 의해 정밀맵의 이상이 결정됨과 아울러서 예외 객체 정보가 검출되지 않음에 따라, 도로 상태가 영구 변경으로 결정된 경우, 이상 검출 보팅기(154)는 정밀맵의 해당 위치에 정밀맵 이상을 태깅하여 향후 주행시 활용할 수 있다. The anomaly detection voting unit 154 may collect the results of the respective detectors 151 to 153 and determine normal or permanent change through multiple voting. When exception object information is detected by the precision map anomaly exception detector 155, the anomaly detection voting unit 154 may determine the road condition as a temporary change. In addition, as the abnormality of the precision map is determined by voting as a result of the abnormality detection and the exception object information is not detected, when the road condition is determined to be a permanent change, the abnormality detection voting machine 154 accurately locates the corresponding position of the precise map. It can be used for future driving by tagging map abnormalities.

V2X 정보 수신기(156)가 외부 정보를 수신하면, 외부 정보는 특허맵의 이상 및 도로 상태를 결정하는데 있어서, 도로 정보, 주변 객체 정보 및 예외 객체 정보다 우선될 수 있다. 여기서, 외부 정보는 교통 상황 정보 및 주변 이동체로부터 수신되며 정밀맵보다 최신의 정밀맵 중 적어도 하나를 포함할 수 있다. 외부 정보는 예를 들어, 전방의 유고 정보 및 갱신된 맵정보일 수 있다. 도로 상태는 상술한 바와 같이 임시 변경 상황 또는 영구 변경 상황일 수 있다. When the V2X information receiver 156 receives external information, the external information may be prioritized over road information, surrounding object information, and exception object information in determining the abnormality and road condition of the patent map. Here, the external information may include at least one of traffic condition information and a precision map received from surrounding moving objects and newer than the precision map. The external information may be, for example, forward information and updated map information. As described above, the road condition may be a temporary change situation or a permanent change situation.

도 6은 자율주행 시스템에서 제공되는 정밀맵 도로 정보와 실제 도로가 상이한 것을 예시한 도면이다. 구체적으로, 도 1은 실제 도로 (401)가 직선화 공사로 인하여 정밀맵의 도로(402)와 상이하게 변경된 것을 보여주고 있다. 만약, 도 6과 같이 오류가 발생한 정밀맵을 기반으로 자율주행 차량(403)이 주행한다면, 자율주행 판단의 오류가 발생할 수 있다. 제 1 장애물 차량(404)은 정밀맵의 도로 위치(402)로부터 도로 외측에 존재함으로 인 해 판단 대상에서 제외된다. 제 2 장애물 차량(405)은 실제 도로(401)에서는 전방 차량이므로, 속 도 제어에 활용되는 목표 장애물임에도 불구하고, 정밀맵의 도로(402)에서는 반대편 차선에 존재하는 차량으로 판단된다. 이에 따라, 제 2 장애물 차량(405)은 자율주행 판단의 고려 대상에서 제외된다. 만약 자율주행 차량(403)이 해당 정밀맵만을 기반으로 경로를 추종하는 경우, 자율주행 차량은 잘못된 판단으로 전방 차량과 충돌하거나, 실제 도로의 외측으로 주행하게 되는 위험 상황이 초래될 수 있다.6 is a diagram illustrating that the precise map road information provided by the autonomous driving system and the actual road are different. Specifically, FIG. 1 shows that the actual road 401 is changed differently from the road 402 of the precision map due to the straightening construction. If the self-driving vehicle 403 drives based on the precision map in which an error occurs as shown in FIG. 6 , an error in self-driving determination may occur. The first obstacle vehicle 404 is excluded from the determination target because it exists outside the road from the road location 402 of the precision map. Since the second obstacle vehicle 405 is a forward vehicle on the actual road 401, it is determined as a vehicle existing in the opposite lane on the road 402 of the precise map, even though it is a target obstacle used for speed control. Accordingly, the second obstacle vehicle 405 is excluded from consideration for autonomous driving determination. If the self-driving vehicle 403 follows a route based only on the corresponding precise map, the self-driving vehicle may collide with a vehicle in front due to an erroneous judgment or cause a dangerous situation in which the autonomous vehicle 403 drives outside the actual road.

본 개시에서는 상술한 3개의 이상 검출기(151~153) 및 보팅 처리를 통해 정밀맵의 이상을 1차적으로 추론하여 검출할 수 있다. 이에 더하여, 상술한 3개의 이상 검출 방식에 의한 이상 유무 판단은 실제 도로가 영구적으로 변경되어 발생한 경우 혹은 임시적으로 변경되어 발생한 경우인지를 정확하게 구별하지 못하는 점을 감안하여, 추가적인 구성을 포함할 수 있다. In the present disclosure, it is possible to primarily infer and detect an anomaly of the precision map through the above-described three anomaly detectors 151 to 153 and a voting process. In addition, the determination of whether or not there is an abnormality by the three abnormality detection methods described above may include an additional configuration in view of the fact that it is not possible to accurately distinguish whether the actual road is permanently changed or temporarily changed. .

영구 변경 상황인 경우, 정밀맵 이상은 서버로 보고되어 추후 수정된 정밀맵으로 교체되는 것이 필요하다. 그러나, 임시 변경 상황의 경우, 차량(100)의 주행 제어 프로세스, 즉 대응 주행 제어만 조정되면 충분하다. 도 8에서와 같이, 도로 보수를 위해 임시로 콘, 배럴 (501, 502)등을 설치하여, 차량(100)의 이동 상태가 정밀맵의 도로와 상이하게 되는 경우, 상술한 검출기(151~153)에 의해 정밀맵은 도로 이상으로 판별될 수도 있다. 그러나, 도 8에서와 같이 예외 객체 정보가 있는 임시 변경 상황과 영구 변경 상황을 구분하기 위해, 본 개시에서는 공사 관련 객체들이 인식될 경우, 일시적인 도로 변경으로 판단하는 정밀맵 이상 예외 검출이 추가될 수 있다. In the case of a permanent change situation, it is necessary to report an abnormal precision map to the server and replace it with a modified precision map later. However, in the case of a temporary change situation, it is sufficient if only the driving control process of the vehicle 100, that is, the corresponding driving control is adjusted. As shown in FIG. 8, when the moving state of the vehicle 100 is different from the road of the precision map by temporarily installing cones and barrels 501 and 502 for road repair, the above-described detectors 151 to 153 ), the precision map may be determined as a road anomaly. However, as shown in FIG. 8, in order to distinguish between a temporary change situation and a permanent change situation with exception object information, in the present disclosure, when construction-related objects are recognized, an exception detection of an anomaly in a precision map determined as a temporary road change may be added. there is.

도 1 내지 도 9를 참조하여, 본 개시의 또 다른 실시예에 따른 정밀맵 이상 추론 및 대응 주행 방법에 대해 상세히 설명하기로 한다. 도 9는 본 개시의 또 다른 실시예에 따른 정밀맵 이상 추론 및 대응 주행 방법에 관한 순서도이다. Referring to FIGS. 1 to 9 , a method for inferring an anomaly from a precision map and corresponding driving according to another embodiment of the present disclosure will be described in detail. 9 is a flowchart of a method for inferring anomaly from a precision map and corresponding driving according to another embodiment of the present disclosure.

먼저, 주행환경 인식부(120)는 차량센서부(110)를 이용하여, 자율주행 차량(100) 주변으로부터 주행환경 인식 정보를 획득할 수 있다(S102). First, the driving environment recognition unit 120 may obtain driving environment recognition information from the surroundings of the autonomous vehicle 100 using the vehicle sensor unit 110 (S102).

정밀맵 이상 추론부(150)는 주행환경 인식 정보를 이용하여 정밀맵 이상 여부를 검출할 수 있다(S104). 각 검출기(151~153)는 주행환경 인식 정보에 기반하여 개별 이상 검출 데이터를 추론하고, 이상 검출 보팅기(154)는 개별 이상 검출 데이터들에 의한 다수 보팅을 통해 정밀맵의 이상 여부를 결정할 수 있다. The precision map anomaly reasoning unit 150 may detect whether there is an anomaly in the precision map using the driving environment recognition information (S104). Each detector 151 to 153 infers individual anomaly detection data based on the driving environment recognition information, and the anomaly detection voting machine 154 determines whether the precision map is abnormal through multiple voting based on the individual anomaly detection data. there is.

만약 정밀맵이 정상이면(S106의 Y), 주행 상황 판단부(160)는 현 정밀맵의 도로 정보를 이용하여, 자율주행 차량(100)의 주행 제어 프로세스를 결정할 수 있다. 정상 상태의 주행 제어 프로세스는 정상적인 구조화 주행상황에 기초하여 매뉴버의 제어를 결정할 수 있다 (S108). 주행 상황 판단부(160)는 구조화 지역 경로 계획을 설정하여(S110), 자율주행 차량(100)을 제어할 수 있다. 여기서, 구조화 경로 계획는 도로 차선과 도로 구조를 준수하도록 경로를 설정한다는 것을 의미할 수 있다. If the fine map is normal (Y in S106), the driving situation determining unit 160 may determine a driving control process of the autonomous vehicle 100 by using road information of the current fine map. The steady-state driving control process may determine the control of the maneuver based on the normal structured driving situation (S108). The driving situation determining unit 160 may control the self-driving vehicle 100 by setting a route plan for the structured region ( S110 ). Here, structured route planning may mean that a route is set to comply with road lanes and road structures.

정밀맵 이상 여부를 점검한 결과, 정밀맵이 정상이지 아닐 경우(S106의 N), 주행 상황 판단부(160)는 자율주행 차량(100)의 제어권을 운전자에게 전환할 것을 운전자에게 요청하고(S114), 운전자가 수락하면, 자율주행 차량(100)의 운전 수동 으로 전환할 수 있다(S118). As a result of checking whether the precision map is abnormal, if the precision map is not normal (N in S106), the driving situation determination unit 160 requests the driver to switch the control right of the autonomous vehicle 100 to the driver (S114 ), if the driver accepts, the autonomous driving vehicle 100 may be switched to manual driving (S118).

소정의 시간 내에 전환이 되지 않아, 차량(100)의 자율주행이 유지되는 경우(S116의 N), 이상 검출 보팅기(154)는 정밀맵과 연관된 실제의 도로 상태가 영구 변경인지를 확인할 수 있다(S120). 예외 객체 정보가 검출되지 않고 보팅에 따른 결과 정밀맵 이상으로 판정되는 경우, 도로 상태는 영구 변경으로 판단될 수 있다. If the change is not made within a predetermined time and the autonomous driving of the vehicle 100 is maintained (N in S116), the anomaly detection boat 154 may check whether the actual road condition associated with the precision map is a permanent change. (S120). When the exceptional object information is not detected and the result of voting is determined to be more than the precise map, the road condition may be determined to be a permanent change.

만약 영구 변경일 경우, 이상 검출 보팅기(154) 및/또는 주행 상황 판단부(160)는 해당 주행 제어 프로세스에 따라, 정밀맵 데이타베이스에 이상으로 태깅하고, 이상 정보를 서버로 통지할 수 있다(S122).If it is a permanent change, the anomaly detection boat 154 and/or the driving situation determining unit 160 may tag the precision map database as an anomaly and notify the server of the anomaly information according to the corresponding driving control process. (S122).

만약 도로 정보로 획득된 차선이 인식되어 차량(100)의 자율주행이 가능하면(S124의 Y), 주행 상황 판단부(190)는 자율주행 차량(100)이 차선을 추종하도록 주행 제어 프로세스를 결정하여, 차량(100)의 주행을 제어할 수 있다(S126). 차선이 인식되지 않아 자율주행이 불가능한 경우(S124의 N), 주행 상황 판단부(160)는 소정의 주행 제어 프로세스를 결정하여, 자율주행 차량(100)을 제어할 수 있다. 예컨대, 주행 상황 판단부(160)는 최소 위험 주행상황 으로 판정하면서, 매뉴버 결정을 진행할 수 있다(S128). 이에 따라, 자율주행 차량(100)은 전방 차량 충돌을 방지하면서 도로 영역내에 서행으로 정차하도록, 최소 위험 레벨로 제어될 수 있다. If the lane obtained as road information is recognized and autonomous driving of the vehicle 100 is possible (Y in S124), the driving condition determination unit 190 determines a driving control process so that the autonomous vehicle 100 follows the lane. Thus, driving of the vehicle 100 can be controlled (S126). When autonomous driving is impossible because the lane is not recognized (N in S124), the driving condition determining unit 160 may control the autonomous vehicle 100 by determining a predetermined driving control process. For example, the driving situation determination unit 160 may proceed with determining the maneuver while determining the minimum risk driving situation (S128). Accordingly, the self-driving vehicle 100 may be controlled to a minimum risk level so as to stop slowly within the road area while preventing collision with a front vehicle.

정밀맵 이상 추론 결과가 예외 객체 정보에 따라 임시 변경에 해당하면(S120의 N), 주행 상황 판단부(160)는 주행 상황 정보, 즉 비구조화 주행상황에 기반하여, 비구조화 지역 경로 및 차량(100)의 운행 제어(메뉴버 제어)이 설정 가능한지를 판단할 수 있다(S130). 비구조화 지역 경로는 예컨대, 공사 등으로 인해 도로 구조와 상관없이 주행하도록 설정되는 경로일 수 있다. 환언하면, If the precision map abnormality inference result corresponds to a temporary change according to the exception object information (N in S120), the driving situation determination unit 160 determines the unstructured area route and vehicle ( It is possible to determine whether operation control (manuever control) of 100) can be set (S130). An unstructured area route may be a route set to be driven regardless of a road structure due to, for example, construction. In other words,

비구조화 지역 경로 및 차량(100)의 운행 제어가 설정 가능하다면, 주행 상황 판단부(160)는 비구조화 주행 상황을 확인하고, 해당 주행 제어 프로세스를 결정할 수 있다. 상세하게는, 주행 상황 판단부(160)는 상기 주행 상황에 따른 매뉴버를 결정하고(S132), 비구조화 지역 경로 계획을 설정할 수 있다(S134), 차량(100)의 자율 주행은 설정된 메뉴버 및 경로 계획을 포함하는 주행 제어 프로세스에 따라 제어될 수 있다. If the unstructured area route and the driving control of the vehicle 100 can be set, the driving situation determining unit 160 may check the unstructured driving situation and determine a corresponding driving control process. In detail, the driving situation determining unit 160 may determine a maneuver according to the driving situation (S132) and set a route plan for an unstructured area (S134). and a travel control process including route planning.

비구조화 지역 경로 및 메뉴버 설정이 불가능하면, 주행 상황 판단부(160)는 최소위험 주행상황으로 판단하여, 매뉴버 결정을 진행하는 주행 제어 프로세스를 결정할 수 있다(S128). 이에 따라, 자율주행 차량(100)은 전방 차량 충돌을 방지하면서 도로 영역내에 서행으로 정차하도록 최소 위험 레벨로 제어될 수 있다. If it is impossible to set an unstructured area route and menu bar, the driving situation determining unit 160 may determine a driving situation as a minimum risk driving situation and determine a driving control process for determining a maneuver (S128). Accordingly, the self-driving vehicle 100 may be controlled to a minimum risk level so as to stop slowly within the road area while preventing collision with a vehicle in front.

한편, 이상 검출 보팅기(154)가 최우선 정보로 채택되는 외부 정보를 수신한 경우, 이상 검출 보팅기(154)는 외부 정보에 기초하여, 정밀맵의 이상 여부 및 도로 상태를 결정할 수 있다. 주행 상황 판단부(160)는 이상 검출 보팅기(154)의 결정에 따른 주행 제어 프로세스를 결정하여, 자율주행 차량(100)을 제어할 수 있다. Meanwhile, when the anomaly detection voting machine 154 receives external information that is selected as the top priority information, the anomaly detection voting machine 154 may determine whether the precision map is abnormal and the road condition based on the external information. The driving condition determination unit 160 may control the autonomous vehicle 100 by determining a driving control process according to the decision of the abnormal detection boat 154 .

본 개시에 따르면, 정밀맵에 기반한 자율주행에서 정밀맵 이상에 따른 위험을 감소시키기 위해, 자율 주행 판단 전에 정밀맵 이상 추론 프로세스가 추가될 수 있다. 구체적으로, 도로 주행가능 영역 인식, 차선 인식, 객체(차량, 보행자, 공사관련 객체등) 인식, V2X로 전달된 정보를 융합하여, 정밀맵의 이상 여부를 결정함으로써, 이상 검출의 신뢰성을 높일 수 있다. 즉, 추론의 정확성을 향상시켜, 불필요하게 정밀맵의 오류를 태깅하거나 서버로 보고하지 않으며, 정밀맵의 이상에 따른 대응 주행이 적절하게 결정될 수 있다. According to the present disclosure, in order to reduce the risk of precision map anomaly in autonomous driving based on the precision map, a precision map anomaly inference process may be added before autonomous driving determination. Specifically, it is possible to increase the reliability of anomaly detection by converging road drivable area recognition, lane recognition, object (vehicle, pedestrian, construction-related object, etc.) recognition, and information transmitted to V2X to determine whether or not the precision map is abnormal. there is. That is, by improving the accuracy of reasoning, errors in the precision map are not unnecessarily tagged or reported to the server, and corresponding driving according to abnormalities in the precision map can be appropriately determined.

아울러, 이상 여부가 추론되면, 자율주행 차량(100)의 제어권이 운전자로 전환되거나, 도로 변경의 정도에 따른 주행상황 판단 및 매뉴버 결정을 통해 위험을 최소화한 대응 주행이 실행될 수 있다.In addition, if abnormality is inferred, control of the autonomous vehicle 100 may be switched to the driver, or corresponding driving with minimized risk may be executed through a driving situation judgment and a maneuver decision according to the degree of road change.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Exemplary methods of this disclosure are presented as a series of operations for clarity of explanation, but this is not intended to limit the order in which steps are performed, and each step may be performed concurrently or in a different order, if desired. In order to implement the method according to the present disclosure, other steps may be included in addition to the exemplified steps, other steps may be included except for some steps, or additional other steps may be included except for some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.Various embodiments of the present disclosure are intended to explain representative aspects of the present disclosure, rather than listing all possible combinations, and matters described in various embodiments may be applied independently or in combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented by a processor (general processor), controller, microcontroller, microprocessor, or the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure is software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause operations according to methods of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium in which instructions and the like are stored and executable on a device or computer.

Claims

이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상(abnormality)을 판단하는 단계;
도로에서 인식된 예외 객체 정보가 존재하는지를 확인하는 단계;
상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하고, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하는 단계: 및
상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하는 단계를 포함하는 정밀맵 이상 추론 및 대응 주행 방법.
determining an abnormality of a precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object;
Checking whether exception object information recognized on the road exists;
When the abnormality of the precision map and the exception object information exist, the road state is determined as a temporary change situation not accompanied by replacement of the precision map, and a first driving control process of the moving object corresponding to the temporary change situation is performed. Steps to determine: and
determining the road condition as a permanent change situation and determining a second driving control process of the moving object corresponding to the permanent change situation when the exception object information does not exist while the abnormality of the precision map exists Precise map anomaly inference and response driving method.

제 1 항에 있어서,
상기 도로 정보 및 상기 주변 객체 정보에 속하는 정보들 중 복수의 정보로 상기 정밀맵의 이상을 판단하는 경우, 상기 정밀맵의 이상에 대한 판단은 상기 복수의 정보의 각각에 기반하여 추론된 개별 이상 검출 데이터를 이용한 보팅 처리를 통해 수행되는, 정밀맵 이상 추론 및 대응 주행 방법.
According to claim 1,
When an abnormality of the precision map is determined with a plurality of pieces of information among the road information and information belonging to the surrounding objects, the determination of the abnormality of the precision map detects an individual abnormality inferred based on each of the plurality of pieces of information. A precision map anomaly inference and corresponding driving method performed through voting processing using data.

제 1 항에 있어서,
상기 도로 정보는 상기 이동체의 주행에서 인식된 도로 인식 영역 및 도로 표식 정보 중 적어도 하나를 포함하는, 정밀맵 이상 추론 및 대응 주행 방법.
According to claim 1,
Wherein the road information includes at least one of a road recognition area and road sign information recognized in the driving of the moving object.

제 1 항에 있어서,
상기 주변 객체 정보는 주행하는 이동체 주변의 객체의 상태 정보를 포함하는, 정밀맵 이상 추론 및 대응 주행 방법.
According to claim 1,
Wherein the surrounding object information includes state information of objects around the moving object, precision map abnormality inference and corresponding driving method.

제 1 항에 있어서,
상기 예외 객체 정보는 상기 도로에서 우발적으로 발생한 상황으로 인해 상기 도로 상태를 일시적으로 변경시키는 객체와 관련된 정보를 포함하는, 정밀맵 이상 추론 및 대응 주행 방법.
According to claim 1,
Wherein the exceptional object information includes information related to an object that temporarily changes the road condition due to a situation accidentally occurring on the road.

제 1 항에 있어서,
상기 도로 정보, 상기 주변 객체 정보 및 상기 예외 객체 정보보다 우선되는 외부 정보를 수신한 경우, 상기 외부 정보에 기초하여 상기 도로 상태를 판단하는 단계를 더 포함하고,
상기 외부 정보는 교통 상황 정보 및 주변 이동체로부터 수신되며 상기 정밀맵보다 최신의 정밀맵 중 적어도 하나를 포함하는, 정밀맵 이상 추론 및 대응 주행 방법.
According to claim 1,
Further comprising determining the road condition based on the external information when external information that has priority over the road information, the surrounding object information, and the exception object information is received,
wherein the external information includes at least one of traffic condition information and a precision map received from surrounding moving objects and newer than the precision map.

제 1 항에 있어서,
상기 이동체의 자율 주행이 유지되는 경우, 상기 제 1 주행 제어 프로세스를 결정하는 단계는,
상기 도로 상태에서 상기 예외 객체 정보에 기반한 상기 이동체의 주행 상황 정보를 확인하는 단계;
상기 주행 상황 정보에 근거하여 비구조화 지역 경로 및 상기 이동체의 운행 제어가 설정 가능한지를 판단하는 단계; 및
설정 가능에 응답하여, 상기 비구조화 지역 경로 및 상기 운행 제어를 결정하고, 상기 이동체를 자율 주행하도록 제어하는 단계를 포함하는, 정밀맵 이상 추론 및 대응 주행 방법.
According to claim 1,
When the autonomous driving of the moving object is maintained, the determining of the first driving control process may include:
checking driving situation information of the moving object based on the exceptional object information in the road state;
determining whether an unstructured area path and operation control of the moving object can be set based on the driving situation information; and
and determining the unstructured area route and the driving control in response to a setting possibility, and controlling the moving object to autonomously drive.

제 7 항에 있어서,
설정 불가능에 응답하여, 상기 이동체를 서행하여 정차하도록 상기 이동체를 최소 위험 레벨로 제어하는 단계를 더 포함하는, 정밀맵 이상 추론 및 대응 주행 및 대응 주행 방법.
According to claim 7,
In response to the setting impossibility, further comprising controlling the moving object to a minimum risk level so that the moving object slows down and stops.

제 1 항에 있어서,
상기 제 2 주행 제어 프로세스는 상기 이상과 관련된 위치에서 상기 정밀맵의 이상을 태깅함(tagging)과 아울러서, 상기 정밀맵의 이상을 외부 서버에 통지하는 것을 포함하는, 정밀맵 이상 추론 방법.
According to claim 1,
wherein the second traveling control process includes notifying an external server of an abnormality in the precision map as well as tagging an abnormality in the precision map at a location related to the abnormality.

적어도 하나의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는,
이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상을 판단하고,
도로에서 인식된 예외 객체 정보가 존재하는지를 확인하고,
상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하며, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하고,
상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하도록 구성되는 정밀맵 이상 추론 및 대응 주행 장치.
a memory storing at least one instruction; and
a processor to execute the at least one instruction stored in the memory;
the processor,
Determining an abnormality of a precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object;
Check whether there is exception object information recognized on the road,
When the abnormality of the precision map and the exception object information exist, the road condition is determined as a temporary change situation not accompanied by replacement of the precision map, and a first driving control process of the moving object corresponding to the temporary change situation is performed. decide,
When an abnormality in the precision map exists and the exception object information does not exist, determining the road condition as a permanent change situation, and determining a second driving control process of the moving object corresponding to the permanent change situation. Map anomaly inference and response driving device.

제 10 항에 있어서,
상기 도로 정보 및 상기 주변 객체 정보에 속하는 정보들 중 복수의 정보로 상기 정밀맵의 이상을 판단하는 경우, 상기 정밀맵의 이상에 대한 판단은 상기 복수의 정보의 각각에 기반하여 추론된 개별 이상 검출 데이터를 이용한 보팅 처리를 통해 수행되는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
When an abnormality of the precision map is determined with a plurality of pieces of information among the road information and information belonging to the surrounding objects, the determination of the abnormality of the precision map detects an individual abnormality inferred based on each of the plurality of pieces of information. Precise map anomaly inference and corresponding driving device performed through voting processing using data.

제 10 항에 있어서,
상기 도로 정보는 상기 이동체의 주행에서 인식된 도로 인식 영역 및 도로 표식 정보 중 적어도 하나를 포함하는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
Wherein the road information includes at least one of a road recognition area and road sign information recognized in the driving of the moving object, the precise map anomaly inference and corresponding traveling device.

제 10 항에 있어서,
상기 주변 객체 정보는 주행하는 이동체 주변의 객체의 상태 정보를 포함하는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
The surrounding object information includes state information of objects around the moving object, precision map anomaly inference and corresponding traveling device.

제 10 항에 있어서,
상기 예외 객체 정보는 상기 도로에서 우발적으로 발생한 상황으로 인해 상기 도로 상태를 일시적으로 변경시키는 객체와 관련된 정보를 포함하는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
The exception object information includes information related to an object that temporarily changes the road condition due to a situation accidentally occurring on the road.

제 10 항에 있어서,
상기 프로세서는 상기 도로 정보, 상기 주변 객체 정보 및 상기 예외 객체 정보보다 우선되는 외부 정보를 수신한 경우, 상기 외부 정보에 기초하여 상기 도로 상태를 판단하도록 더 구성되되, 상기 외부 정보는 교통 상황 정보 및 주변 이동체로부터 수신되며 상기 정밀맵보다 최신의 정밀맵 중 적어도 하나를 포함하는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
The processor is further configured to determine the road condition based on the external information when receiving external information that has priority over the road information, the surrounding object information, and the exception object information, wherein the external information includes traffic condition information and An apparatus for inferring and responding to an anomaly with a precision map, which is received from a surrounding moving object and includes at least one of precision maps that are newer than the precision map.

제 10 항에 있어서,
상기 이동체의 자율 주행이 유지되는 경우, 상기 제 1 주행 제어 프로세스를 결정하는 것은,
상기 도로 상태에서 상기 예외 객체 정보에 기반한 상기 이동체의 주행 상황 정보를 확인하고,
상기 주행 상황 정보에 근거하여 비구조화 지역 경로 및 상기 이동체의 운행 제어가 설정 가능한지를 판단하고,
설정 가능에 응답하여, 상기 비구조화 지역 경로 및 상기 운행 제어를 결정하고, 상기 이동체를 자율 주행하도록 제어하는 것을 포함하는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
Determining the first driving control process when the autonomous driving of the moving object is maintained,
Check driving situation information of the moving object based on the exception object information in the road condition;
Based on the driving situation information, it is determined whether an unstructured area route and operation control of the moving object can be set;
and determining the unstructured area route and the driving control in response to a setting possibility, and controlling the moving object to autonomously drive.

제 16 항에 있어서,
설정 불가능에 응답하여, 상기 프로세서는 상기 이동체를 서행하여 정차하도록 상기 이동체를 최소 위험 레벨로 제어하도록 더 구성되는, 정밀맵 이상 추론 및 대응 주행 장치.
17. The method of claim 16,
In response to the inability to set, the processor is further configured to control the moving object to a minimum risk level so that the moving object slows down and stops.

제 10 항에 있어서,
상기 제 2 주행 제어 프로세스는 상기 이상과 관련된 위치에서 상기 정밀맵의 이상을 태깅함과 아울러서, 상기 정밀맵의 이상을 외부 서버에 통지하도록 더 구성되는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 10,
wherein the second travel control process is further configured to tag an abnormality in the precision map at a location related to the abnormality and notify an external server of an abnormality in the precision map.

제 18 항에 있어서,
상기 이동체의 자율 주행이 유지되는 경우, 상기 제 2 주행 제어 프로세스를 결정하는 것은, 상기 이동체가 상기 도로 정보에 기반하여 주행 가능한지를 판단하고, 주행 불가능에 응답하여, 상기 이동체를 서행하여 정차하도록 상기 이동체를 최소 위험 레벨로 제어하도록 더 구성되는, 정밀맵 이상 추론 및 대응 주행 장치.
According to claim 18,
When the autonomous driving of the moving object is maintained, the determining of the second driving control process may include determining whether the moving object is capable of driving based on the road information, and causing the moving object to slow down and stop in response to an inability to drive. A precise map anomaly reasoning and corresponding traveling device, further configured to control the moving object to a minimum risk level.

이동체에 있어서,
외부와 신호를 송수신하는 통신부;
상기 이동체를 구동시키는 엑츄에이터;
적어도 하나의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하며 상기 엑츄에이터를 제어하는 프로세서를 포함하고,
상기 프로세서는,
상기 이동체의 주행에서 인식된 도로 정보 및 주변 객체 정보 중 적어도 하나에 기초하여 상기 이동체에 적용되는 정밀맵의 이상을 판단하고,
도로에서 인식된 예외 객체 정보가 존재하는지를 확인하고,
상기 정밀맵의 이상 및 상기 예외 객체 정보가 존재하는 경우, 도로 상태를 상기 정밀맵의 교체가 수반되지 않는 임시 변경 상황으로 판단하며, 상기 임시 변경 상황에 대응하는 상기 이동체의 제 1 주행 제어 프로세스를 결정하고,
상기 정밀맵의 이상이 존재하면서 상기 상기 예외 객체 정보가 부존재하는 경우, 상기 도로 상태를 영구 변경 상황으로 판단하고, 상기 영구 변경 상황에 대응하는 상기 이동체의 제 2 주행 제어 프로세스를 결정하도록 구성되는 이동체. In a mobile body,
Communication unit for transmitting and receiving signals to and from the outside;
an actuator that drives the moving body;
a memory storing at least one instruction; and
a processor executing the at least one instruction stored in the memory and controlling the actuator;
the processor,
Determining an abnormality of a precision map applied to the moving object based on at least one of road information and surrounding object information recognized during driving of the moving object;
Check whether there is exception object information recognized on the road,
When the abnormality of the precision map and the exception object information exist, the road state is determined as a temporary change situation not accompanied by replacement of the precision map, and a first driving control process of the moving object corresponding to the temporary change situation is performed. decide,
A moving object configured to determine the road condition as a permanent change situation and determine a second driving control process of the moving object corresponding to the permanent change situation when the exception object information does not exist while the abnormality of the precision map exists. .