KR102171922B1 - Apparatus and method for detecting obstacles to driving in vehicles - Google Patents

Apparatus and method for detecting obstacles to driving in vehicles Download PDF

Info

Publication number
KR102171922B1
KR102171922B1 KR1020190008711A KR20190008711A KR102171922B1 KR 102171922 B1 KR102171922 B1 KR 102171922B1 KR 1020190008711 A KR1020190008711 A KR 1020190008711A KR 20190008711 A KR20190008711 A KR 20190008711A KR 102171922 B1 KR102171922 B1 KR 102171922B1
Authority
KR
South Korea
Prior art keywords
driving
obstacle
vehicle
route
waypoint
Prior art date
Application number
KR1020190008711A
Other languages
Korean (ko)
Other versions
KR20200094842A (en
Inventor
강연식
이종항
박민철
조두현
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020190008711A priority Critical patent/KR102171922B1/en
Publication of KR20200094842A publication Critical patent/KR20200094842A/en
Application granted granted Critical
Publication of KR102171922B1 publication Critical patent/KR102171922B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 주행 장애물 검출 장치에 관한 것으로, 출발지 및 목적지를 기초로 전역 경로를 생성하는 전역 경로 생성부, 상기 전역 경로를 기초로 적어도 하나의 웨이포인트를 생성하는 웨이포인트 생성부, 차량의 현재 위치를 기초로 주행 경로 상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성하는 주행 경로 생성부 및 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로 상의 물체를 상기 주행 경로에 있는 주행 장애물로 인식하는 주행 장애물 인식부를 포함한다. 따라서, 본 발명은 차량의 전방에 있는 물체가 주행에 방해가 되는 주행 장애물에 해당하는지 여부를 판단할 수 있다.The present invention relates to an apparatus for detecting a driving obstacle of a vehicle, comprising: a global route generation unit that generates a global route based on a departure point and a destination, a waypoint generation unit that generates at least one waypoint based on the global route, and A driving route generator for generating a driving route by determining the location of the next waypoint on the driving route based on the current position, and an object on the road that does not deviate more than a specific reference from the location of the next waypoint to the driving route. It includes a driving obstacle recognition unit that recognizes as a driving obstacle. Accordingly, the present invention can determine whether an object in front of the vehicle corresponds to a driving obstacle that obstructs driving.

Description

차량의 주행 장애물 검출 장치 및 방법 {APPARATUS AND METHOD FOR DETECTING OBSTACLES TO DRIVING IN VEHICLES}Vehicle driving obstacle detection device and method {APPARATUS AND METHOD FOR DETECTING OBSTACLES TO DRIVING IN VEHICLES}

본 발명은 차량의 주행 장애물 검출 기술에 관한 것으로, 보다 상세하게는 차량의 전방에 있는 물체가 주행에 방해가 되는 장애물에 해당하는지 여부를 판단하는 차량의 주행 장애물 검출 장치 및 방법에 관한 것이다.The present invention relates to a vehicle driving obstacle detection technology, and more particularly, to a vehicle driving obstacle detection apparatus and method for determining whether an object in front of the vehicle corresponds to an obstacle obstructing the driving.

첨단 운전자 보조 시스템이나 자율주행자동차에서 전방 차량 혹은 장애물 인식은 필수적인 기술이다. 자율주행 차량의 전방에서 물체가 감지되었을 때, 감지된 물체가 주행에 방해가 되는 요소인지 판단할 수 있어야 한다. 기존 기술에서는 교차로와 같이 차선이 없거나 급선회 등의 구간에서 감지된 물체가 자율주행 차량과 같은 차선, 혹은 경로 상에 있는 물체인지 구분하기가 어렵다. 예를 들어, 교차로에 진입하는 자율주행 차량이 좌회전을 해야 하고, 교차로 상에 위치한 전방 차량이 직진 경로를 주행하며 좌회전에 방해가 되지 않는다면 자율주행 차량은 이 전방 차량으로 인해 감속하지 않아야 한다. 이처럼 자율주행 차량 전방에 장애물이 있더라도 주행 경로에 방해가 되는 물체인지 판단할 수 있어야한다.In advanced driver assistance systems or autonomous vehicles, recognition of vehicles in front or obstacles is an essential technology. When an object is detected in front of an autonomous vehicle, it must be possible to determine whether the detected object is an obstacle to driving. In the existing technology, it is difficult to distinguish whether there is no lane such as an intersection or an object detected in a section such as a sharp turn is the same lane or an object on a path such as an autonomous vehicle. For example, if an autonomous vehicle entering an intersection must make a left turn, and a vehicle ahead located on the intersection travels a straight path and does not interfere with the left turn, the autonomous vehicle should not slow down due to the vehicle ahead. As such, even if there is an obstacle in front of the autonomous vehicle, it must be able to determine whether it is an object that interferes with the driving path.

한국공개특허 제10-1999-010820 (1999.02.18)호Korean Patent Publication No. 10-1999-010820 (1999.02.18)

본 발명의 일 실시예는 차량의 전방에 있는 물체가 주행에 방해가 되는 장애물에 해당하는지 여부를 판단하는 차량의 주행 장애물 검출 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a vehicle driving obstacle detection apparatus and method for determining whether an object in front of a vehicle corresponds to an obstacle obstructing driving.

본 발명의 일 실시예는 차량의 전방에 있는 다른 차량이 차량의 주행 경로 상에 존재하여 주행을 방해하는 주행 장애물에 해당하는지 여부를 판단하는 차량의 주행 장애물 검출 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an apparatus and method for detecting a driving obstacle of a vehicle that determines whether another vehicle in front of the vehicle is present on the driving path of the vehicle and corresponds to a driving obstacle preventing driving.

본 발명의 일 실시예는 정밀 지도 상에 미리 결정된 웨이포인트(waypoint)를 기초로 특정 반경내에 위치하는 물체를 차량의 주행 경로 상에 존재하는 주행 장애물로 검출하는 차량의 주행 장애물 검출 장치 및 방법을 제공하고자 한다.An embodiment of the present invention provides an apparatus and method for detecting a driving obstacle of a vehicle for detecting an object located within a specific radius as a driving obstacle existing on the driving path of the vehicle based on a predetermined waypoint on a precision map. I want to provide.

실시예들 중에서, 차량의 주행 장애물 검출 장치는 출발지 및 목적지를 기초로 전역 경로를 생성하는 전역 경로 생성부, 상기 전역 경로를 기초로 적어도 하나의 웨이포인트를 생성하는 웨이포인트 생성부, 차량의 현재 위치를 기초로 주행 경로 상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성하는 주행 경로 생성부 및 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로 상의 물체를 상기 주행 경로에 있는 주행 장애물로 인식하는 주행 장애물 인식부를 포함한다.Among the embodiments, the apparatus for detecting a driving obstacle of the vehicle includes a global route generation unit that generates a global route based on a departure point and a destination, a waypoint generation unit that generates at least one waypoint based on the global route, and the current vehicle A driving route generator for generating a driving route by determining the location of the next waypoint on the driving route based on the location, and an object on the road that does not deviate more than a specific reference from the location of the next waypoint in the driving route. It includes a driving obstacle recognition unit that recognizes the driving obstacle.

상기 웨이포인트 생성부는 상기 전역 경로를 따라 일정 간격으로 보간된 지구 좌표계 기반의 상기 적어도 하나의 웨이포인트를 생성할 수 있다.The waypoint generator may generate the at least one waypoint based on the earth coordinate system interpolated at predetermined intervals along the global route.

상기 주행 장애물 인식부는 지구 좌표계를 기준으로 상기 물체의 위치 좌표를 검출하고, 검출된 상기 위치 좌표가 상기 다음 웨이포인트의 위치에서 상기 특정 기준 이상 이탈되지 않는지 여부를 검출할 수 있다.The driving obstacle recognition unit may detect the position coordinate of the object based on the Earth coordinate system, and detect whether the detected position coordinate does not deviate from the position of the next waypoint by more than the specific reference.

상기 주행 장애물 인식부는 전방 센서를 통해 상기 물체의 상대적 위치를 수신하는 물체 위치 수신 모듈 및 수신된 상기 물체의 상대적 위치를 상기 지구 좌표계 기준의 위치 좌표로 변환하는 좌표 변환 모듈을 포함할 수 있다.The driving obstacle recognition unit may include an object position receiving module that receives the relative position of the object through a front sensor, and a coordinate conversion module that converts the received relative position of the object into position coordinates based on the earth coordinate system.

상기 주행 경로 생성부는 상기 주행 경로에 존재하는 주행 환경에 대한 주행 난이도를 검출하고, 검출된 상기 주행 난이도가 특정 기준 이상인 주행 환경을 상기 다음 웨이포인트의 위치로 결정할 수 있다.The driving route generator may detect a driving difficulty for a driving environment existing in the driving route, and determine a driving environment in which the detected driving difficulty is equal to or higher than a specific reference as the position of the next waypoint.

상기 주행 경로 생성부는 차선이 없는 도로 또는 교차로를 상기 주행 난이도가 특정 기준 이상인 주행 환경으로 결정할 수 있다.The driving route generator may determine a road or an intersection without lanes as a driving environment in which the driving difficulty is equal to or higher than a specific reference.

상기 주행 장애물 인식부는 상기 주행 난이도가 특정 기준 이상인 주행 환경이 상기 다음 웨이포인트의 위치로 결정되는 경우에 한해, 상기 물체의 위치 좌표를 수신하고 상기 위치 좌표가 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않으면 상기 물체를 상기 주행 장애물로 인식할 수 있다.The driving obstacle recognition unit receives the position coordinates of the object and the position coordinates are greater than or equal to a specific reference at the position of the next waypoint only when the driving environment in which the driving difficulty is greater than or equal to a specific reference is determined as the position of the next waypoint. If not separated, the object may be recognized as the driving obstacle.

상기 주행 장애물 인식부는 상기 주행 환경의 주행 난이도를 기초로 상기 특정 기준을 가변적으로 결정할 수 있다.The driving obstacle recognition unit may variably determine the specific criterion based on the driving difficulty of the driving environment.

실시예들 중에서, 차량의 주행 장애물 검출 방법은 출발지 및 목적지를 기초로 전역 경로를 생성하는 단계, 상기 전역 경로를 기초로 적어도 하나의 웨이포인트를 생성하는 단계, 차량의 현재 위치를 기초로 주행 경로 상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성하는 단계 및 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로 상의 물체를 상기 주행 경로에 있는 주행 장애물로 인식하는 단계를 포함한다.Among embodiments, the method of detecting a driving obstacle of a vehicle includes generating a global route based on a departure point and a destination, generating at least one waypoint based on the global route, and a driving route based on the current position of the vehicle. And determining a position of a next waypoint on the image to generate a driving route, and recognizing an object on the road that does not deviate from the position of the next waypoint by a specific reference or more as a driving obstacle in the driving route. .

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology can have the following effects. However, since it does not mean that a specific embodiment should include all of the following effects or only the following effects, it should not be understood that the scope of the rights of the disclosed technology is limited thereby.

본 발명의 기술분야의 종래기술들은 카메라 영상 정보만을 이용하여 차선을 인식하고 요율 및 차량의 속도, 가드레일 등의 검출을 통해 도로 곡률을 산출하며 검출한 정보(전방 차량의 위치, 차선 폭, 도로 곡률 등)를 통해 주행 경로에 있는 다른 차량을 인식(선정)한다. 반면에, 본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 장치 및 방법은 차선 인식과 도로 곡률 정보가 필요하지 않고 따라서 차선 인식이 어렵거나 차선이 없는 급 선회 구간, 교차로, 비포장도로 등에서 환경인식센서(Radar, LiDAR, Camera등)만을 이용하여 주행에 방해되는 물체를 검출하고 이를 통해 강건한 전방 차량 검출을 수행할 수 있다.Prior art in the technical field of the present invention recognizes lanes using only camera image information, calculates road curvature through detection of rates, vehicle speed, guardrail, etc., and detects information (position of the vehicle ahead, lane width, road (Curvature, etc.) to recognize (select) other vehicles in the driving route. On the other hand, the apparatus and method for detecting a driving obstacle of a vehicle according to an embodiment of the present invention do not require lane recognition and road curvature information, and therefore, it is difficult to recognize a lane or recognize the environment in a sharp turning section, intersection, unpaved road, etc. By using only sensors (Radar, LiDAR, Camera, etc.), objects that interfere with driving can be detected, and through this, robust front vehicle detection can be performed.

본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 장치 및 방법은 차량의 전방에 있는 물체가 주행에 방해가 되는 장애물에 해당하는지 여부를 판단할 수 있다.The apparatus and method for detecting a driving obstacle of a vehicle according to an exemplary embodiment of the present invention may determine whether an object in front of the vehicle corresponds to an obstacle obstructing driving.

본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 장치 및 방법은 차량의 전방에 있는 다른 차량이 차량의 주행 경로 상에 존재하여 주행을 방해하는 주행 장애물에 해당하는지 여부를 판단할 수 있다.The apparatus and method for detecting a driving obstacle of a vehicle according to an exemplary embodiment of the present invention may determine whether another vehicle in front of the vehicle is present on the driving path of the vehicle and corresponds to a driving obstacle that obstructs driving.

본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 장치 및 방법은 정밀 지도 상에 미리 결정된 웨이포인트(waypoint)를 기초로 특정 반경내에 위치하는 물체를 차량의 주행 경로 상에 존재하는 주행 장애물로 검출할 수 있다.The apparatus and method for detecting a driving obstacle of a vehicle according to an embodiment of the present invention detects an object located within a specific radius as a driving obstacle existing on the driving path of the vehicle based on a predetermined waypoint on a precision map. can do.

도 1은 본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 차량의 주행 장애물 검출 장치를 나타내는 블록도이다.
도 3은 도 1에 있는 차량의 주행 장애물 검출 장치의 기능적 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 방법을 설명하는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 차량의 주행 장애물 검출 방법을 설명하는 흐름도이다.1 is a diagram illustrating a system for detecting a driving obstacle of a vehicle according to an exemplary embodiment of the present invention.
FIG. 2 is a block diagram showing an apparatus for detecting a driving obstacle of a vehicle in FIG.
3 is a block diagram showing a functional configuration of the apparatus for detecting a driving obstacle of a vehicle in FIG. 1.
4 is a flowchart illustrating a method of detecting a driving obstacle of a vehicle according to an embodiment of the present invention.
5 is a flowchart illustrating a method of detecting a driving obstacle of a vehicle according to another exemplary embodiment of the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiments can be variously changed and have various forms, the scope of the present invention should be understood to include equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only those effects, the scope of the present invention should not be understood as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from other components, and the scope of rights is not limited by these terms. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that although it may be directly connected to the other component, another component may exist in the middle. On the other hand, when it is mentioned that a component is "directly connected" to another component, it should be understood that there is no other component in the middle. On the other hand, other expressions describing the relationship between the constituent elements, that is, "between" and "just between" or "neighboring to" and "directly neighboring to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions are to be understood as including plural expressions unless the context clearly indicates otherwise, and terms such as “comprise” or “have” refer to implemented features, numbers, steps, actions, components, parts, or It is to be understood that it is intended to designate that a combination exists and does not preclude the presence or addition of one or more other features or numbers, steps, actions, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (for example, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step has a specific sequence clearly in context. Unless otherwise stated, it may occur differently from the stated order. That is, each of the steps may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Further, the computer-readable recording medium is distributed over a computer system connected by a network, so that the computer-readable code can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the field to which the present invention belongs, unless otherwise defined. Terms defined in commonly used dictionaries should be construed as having meanings in the context of related technologies, and cannot be construed as having an ideal or excessive formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 시스템을 설명하는 도면이다.1 is a diagram illustrating a system for detecting a driving obstacle of a vehicle according to an exemplary embodiment of the present invention.

도 1을 참조하면, 차량의 주행 장애물 검출 시스템(100)은 차량의 주행 장애물 검출 장치(110), 전방 센서(120) 및 데이터베이스(130)을 포함한다.Referring to FIG. 1, a vehicle driving obstacle detection system 100 includes a vehicle driving obstacle detection device 110, a front sensor 120, and a database 130.

차량의 주행 장애물 검출 장치(110)는 전방 센서(120)와 유무선 네트워크를 통해 연결되어 전방 차량 또는 장애물 등 전방에 존재하는 물체에 관한 라이다 정보를 포함하는 다양한 정보를 수신하는 컴퓨팅 장치에 해당할 수 있다. 일 실시예에서, 차량의 주행 장애물 검출 장치(110)는 전방 센서(120)를 통해 차량의 전방에 물체가 감지되면 물체가 차량의 주행 경로상에 있어 차량의 주행에 방해가 되는 장애물에 해당하는지 여부를 검출할 수 있다. 보다 구체적으로, 차량의 주행 장애물 검출 장치(110)는 전방에 존재하는 다른 차량 등 물체의 지구 좌표계 기반의 위치 좌표를 수신하고, 주행 경로를 따라 생성된 적어도 하나의 웨이포인트상에 물체의 위치 좌표가 존재하면 해당 물체를 차량의 주행에 방해가 되는 주행 장애물로 인식할 수 있다. 예를 들어, 차량의 주행 장애물 검출 장치(110)는 차선이 없는 도로나 교차로 또는 급선회 구간 등에서 감지된 전방의 물체가 차량의 주행 경로상에 존재하는 주행 장애물인지 여부를 판단할 수 있다. 예를 들어, 차량의 주행 장애물 검출 장치(110)는 전방의 물체가 주행 장애물로 인식되면 자율주행차량의 속도를 줄이는 등의 제어를 수행할 수 있고, 전방의 물체가 주행 장애물이 아닌 것으로 인식되면 속도를 유지하는 등의 제어를 수행할 수 있다.The vehicle driving obstacle detection device 110 may correspond to a computing device that is connected to the front sensor 120 through a wired or wireless network and receives various information including lidar information about an object in front such as a vehicle in front or an obstacle. I can. In one embodiment, when an object is detected in front of the vehicle through the front sensor 120, the vehicle driving obstacle detecting device 110 determines whether the object corresponds to an obstacle obstructing the driving of the vehicle because it is on the driving path of the vehicle. Whether or not can be detected. More specifically, the vehicle driving obstacle detection apparatus 110 receives the position coordinates based on the earth coordinate system of an object such as another vehicle existing in front, and the position coordinates of the object on at least one waypoint generated along the driving route. If is present, the object can be recognized as a driving obstacle that interferes with the vehicle's driving. For example, the apparatus 110 for detecting a driving obstacle of a vehicle may determine whether an object in front detected in a road without a lane, an intersection, or a sharp turn section is a driving obstacle existing on the driving path of the vehicle. For example, when an object in front of the vehicle is recognized as a driving obstacle, the apparatus 110 for detecting a driving obstacle of the vehicle may perform control such as reducing the speed of the autonomous vehicle, and when the object in front is recognized as not a driving obstacle Controls such as maintaining speed can be performed.

전방 센서(120)는 차량에 장착되어 주행 경로상에 존재하는 다양한 물체 및 환경을 감지하고 그에 관한 정보를 차량에 제공할 수 있다. 예를 들어, 전방 센서(120)는 전방 차량 또는 장애물 등 전방의 물체에 관한 위치 등의 정보를 감지할 수 있는 라이다, 레이더 및/또는 카메라 센서를 포함하여 구성될 수 있다. 보다 구체적으로, 전방 센서(120)는 라이다, 레이더 및/또는 카메라 센서를 통해 전방에 위치한 다른 차량 등 물체의 상대적 위치를 검출하여 차량의 주행 장애물 검출 장치(110)에 제공할 수 있다. 일 실시예에서, 전방 센서(120)는 자율주행차량의 현재 위치를 인식하기 위한 라이다 정보를 검출하여 제공할 수 있다.The front sensor 120 may be mounted on a vehicle to detect various objects and environments existing on a driving path and provide information about the object to the vehicle. For example, the front sensor 120 may be configured to include a lidar, radar, and/or camera sensor capable of detecting information such as a position of an object in front such as a vehicle in front or an obstacle. More specifically, the front sensor 120 may detect a relative position of an object such as another vehicle located in front through a lidar, a radar, and/or a camera sensor, and provide it to the driving obstacle detection apparatus 110 of the vehicle. In an embodiment, the front sensor 120 may detect and provide lidar information for recognizing the current position of the autonomous vehicle.

데이터베이스(130)는 차량의 주행 장애물 검출 장치(110)가 전방 센서(120)로부터 수신한 전방 차량의 위치를 포함하여 자율주행차량의 주행 장애물을 인식하기 위해 필요한 정보들을 저장할 수 있다. 예를 들어, 데이터베이스(130)는 차량의 주행 장애물 검출 장치(110)가 전역 경로를 생성하고 웨이포인트를 생성하기 위해 필요한 정밀 지도, 그 외 주행 환경의 주행 난이도 정보에 관한 정보들을 저장할 수 있으며, 반드시 이에 한정되지 않고, 수신된 전방 물체의 위치 좌표가 생성된 웨이포인트의 특정 반경내에 존재하는지 여부에 따라 주행 장애물을 인식하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다. 일 실시예에서, 데이터베이스(130)는 다양한 방식의 클라우드 기반 데이터베이스에 해당할 수 있다.The database 130 may store information necessary for recognizing the driving obstacle of the autonomous vehicle, including the position of the vehicle in front of the vehicle driving obstacle detection apparatus 110 received from the front sensor 120. For example, the database 130 may store information on a precision map required for the vehicle driving obstacle detection device 110 to generate a global route and to generate a waypoint, and other information on driving difficulty information of a driving environment. The present invention is not limited thereto, and information collected or processed in various forms may be stored in the process of recognizing a driving obstacle according to whether or not the position coordinates of the received front object exist within a specific radius of the generated waypoint. In one embodiment, the database 130 may correspond to various types of cloud-based databases.

도 2는 도 1에 있는 차량의 주행 장애물 검출 장치를 나타내는 블록도이다.FIG. 2 is a block diagram illustrating an apparatus for detecting a driving obstacle of a vehicle in FIG. 1.

도 2를 참조하면, 차량의 주행 장애물 검출 장치(110)는 프로세서(210), 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)를 포함할 수 있다.Referring to FIG. 2, the apparatus 110 for detecting a driving obstacle of a vehicle may include a processor 210, a memory 220, a user input/output unit 230, and a network input/output unit 240.

프로세서(210)는 전방에 존재하는 물체의 위치 정보를 수신하고, 전역 경로상 웨이포인트 및 차량의 현재 위치를 기초로 주행 경로 상에 다음 웨이포인트를 결정하여 다음 웨이포인트의 특정 반경내에 있는 주행 장애물을 인식(검출)하기 위한 각 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(220)를 관리할 수 있으며, 메모리(220)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 차량의 주행 장애물 검출 장치(110)의 동작 전반을 제어할 수 있고, 메모리(220), 사용자 입출력부(230) 및 네트워크 입출력부(240)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 차량의 주행 장애물 검출 장치(110)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 receives location information of an object existing in front, determines the next waypoint on the driving path based on the waypoint on the global path and the current position of the vehicle, and determines a driving obstacle within a specific radius of the next waypoint. Each procedure for recognizing (detecting) can be executed, the memory 220 that is read or written throughout the process can be managed, and the synchronization time between the volatile memory in the memory 220 and the nonvolatile memory can be scheduled can do. The processor 210 may control the overall operation of the vehicle driving obstacle detection device 110, and is electrically connected to the memory 220, the user input/output unit 230, and the network input/output unit 240 to flow data between them. Can be controlled. The processor 210 may be implemented as a CPU (Central Processing Unit) of the vehicle driving obstacle detection device 110.

메모리(220)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 차량의 주행 장애물 검출 장치(110)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 220 is implemented as a non-volatile memory such as a solid state disk (SSD) or a hard disk drive (HDD), and includes an auxiliary memory device used to store all data necessary for the driving obstacle detection device 110 of the vehicle. In addition, a main memory device implemented as a volatile memory such as random access memory (RAM) may be included.

사용자 입출력부(230)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(230)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(230)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 차량의 주행 장애물 검출 장치(110)는 서버로서 수행될 수 있다.The user input/output unit 230 may include an environment for receiving a user input and an environment for outputting specific information to a user. For example, the user input/output unit 230 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen. In an embodiment, the user input/output unit 230 may correspond to a computing device connected through a remote connection, and in such a case, the vehicle driving obstacle detection device 110 may be performed as a server.

네트워크 입출력부(240)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/output unit 240 includes an environment for connecting to an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN ( Value Added Network) may include an adapter for communication.

도 3은 도 1에 있는 차량의 주행 장애물 검출 장치의 기능적 구성을 나타내는 블록도이다.FIG. 3 is a block diagram showing a functional configuration of the vehicle driving obstacle detection apparatus of FIG. 1.

도 3을 참조하면, 차량의 주행 장애물 검출 장치(110)는 전역 경로 생성부(310), 웨이포인트 생성부(320), 주행 경로 생성부(330), 주행 장애물 인식부(340) 및 제어부(350)를 포함한다.Referring to FIG. 3, the vehicle driving obstacle detecting device 110 includes a global path generation unit 310, a waypoint generation unit 320, a driving path generation unit 330, a driving obstacle recognition unit 340, and a control unit ( 350).

전역 경로 생성부(310)는 출발지 및 목적지를 기초로 전역 경로를 생성할 수 있다. 여기에서, 전역 경로(Global Path)는 출발지부터 목적지까지 위성항법장치(GPS, Global Positioning System)로 측량하여 생성한 차량의 주행할 경로에 해당할 수 있다. 예를 들어, 전역 경로 생성부(310)는 최적경로, 무료도로, 최소시간, 초보자경로, 고속도로 우선, 최단거리, 일반도로 우선, 실시간 교통정보 반영 등의 패턴으로 전역 경로를 생성할 수 있다. 일 실시예에서, 전역 경로 생성부(310)는 정밀 지도를 통해 전역 경로를 생성할 수 있다. 정밀 지도는 각종 환경 인지 센서를 장착한 특수 측정 차량을 통해 네비게이션 맵을 포함하여 각종 도로 환경에 대한 정보를 가지고 클라우드 데이터베이스로 관리되는 자율주행을 위한 지도에 해당할 수 있다.The global route generation unit 310 may generate a global route based on the origin and destination. Here, the global path may correspond to a path to be traveled by a vehicle generated by measuring with a global positioning system (GPS) from a departure point to a destination. For example, the global route generation unit 310 may generate a global route in patterns such as an optimum route, a free route, a minimum time, a beginner route, a highway priority, a shortest distance, a general road priority, and real-time traffic information reflection. In an embodiment, the global route generator 310 may generate a global route through a precision map. The precision map may correspond to a map for autonomous driving managed by a cloud database with information on various road environments, including a navigation map, through a special measuring vehicle equipped with various environmental sensors.

웨이포인트 생성부(320)는 전역 경로를 기초로 적어도 하나의 웨이포인트(waypoint)를 생성할 수 있다. 여기에서, 웨이포인트(waypoint)는 전역 경로상의 복수의 중간 지점(또는 경유점)들을 의미할 수 있다. 각각의 웨이포인트는 전역 경로상에 특정 지점을 기준으로 일정 반경까지 포함할 수 있고, 일정 반경은 사용자에 의해 설정되거나 특정 기준에 따라 가변적으로 결정될 수 있다. 일 실시예에서, 웨이포인트 생성부(320)는 전역 경로를 따라 일정 간격으로 보간된 지구 좌표계 기반의 적어도 하나의 웨이포인트를 생성할 수 있다. 예를 들어, 웨이포인트 생성부(320)는 직진 구간, 교차로 구간 등 전역 경로상 존재하는 주행 경로에 따른 다양한 주행 환경의 특징에 따라 가변적으로 일정 간격을 결정하여 웨이포인트를 생성할 수 있다. 예를 들어, 웨이포인트 생성부(320)는 모든 교차로 구간에서 직진 구간보다 좁은 간격으로 웨이포인트를 생성할 수 있다. 웨이포인트 생성부(320)는 지구 좌표계(earth coordinate system)를 기반으로 웨이포인트를 생성할 수 있다.The waypoint generator 320 may generate at least one waypoint based on the global route. Here, the waypoint may mean a plurality of intermediate points (or waypoints) on the global route. Each waypoint may include up to a certain radius based on a specific point on the global route, and the certain radius may be set by a user or variably determined according to a specific criterion. In an embodiment, the waypoint generator 320 may generate at least one waypoint based on the earth coordinate system interpolated at predetermined intervals along the global route. For example, the waypoint generating unit 320 may generate a waypoint by variably determining a predetermined interval according to characteristics of various driving environments according to a driving route existing on a global route, such as a straight section or an intersection section. For example, the waypoint generating unit 320 may generate waypoints at a narrower interval than a straight line in all intersection sections. The waypoint generator 320 may generate a waypoint based on an earth coordinate system.

주행 경로 생성부(330)는 차량의 현재 위치를 기초로 주행 경로 상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성할 수 있다. 여기에서, 주행 경로는 차량이 미리 결정된 전역 경로의 웨이포인트를 따라 주행하는 경로를 의미할 수 있다. 여기에서, 다음 웨이포인트는 전역 경로상의 복수의 웨이포인트 중 주행 중인 차량이 현재 접근하고 특정 웨이포인트에 해당할 수 있다. 보다 구체적으로, 주행 경로 생성부(330)는 전방 센서(120)를 통해 수신한 라이다 정보를 통해 차량의 현재 위치를 결정하고 차량의 현재 위치에서 다음 웨이포인트 방향으로 주행 경로를 생성할 수 있다. 일 실시예에서, 주행 경로 생성부(330)는 주행 경로에 존재하는 주행 환경에 대한 주행 난이도를 검출하고, 검출된 주행 난이도가 특정 기준 이상인 주행 환경을 다음 웨이포인트의 위치로 결정할 수 있다. 여기에서, 주행 환경은 라이다 센서를 통해 획득된 주행 경로에 존재하는 직진 구간, 급선회 구간, 유턴 구간, 교차로 구간 또는 이차선 구간, 삼차선 구간, 차선이 없는 구간 등을 포함할 수 있다. 주행 난이도는 차량의 주행 중 전방 주행 장애물에 대한 인식도를 기준으로 각 주행 환경에 대하여 다르게 결정되는 지표에 해당할 수 있다. 예를 들어, 주행 경로 생성부(330)는 차선이 없는 구간에 대해서 삼차선 구간보다 주행 난이도를 높게 결정할 수 있고, 교차로 또는 급선회 구간에 대해서 직진 구간보다 주행 난이도를 높게 결정할 수 있다. 일 실시예에서, 주행 경로 생성부(330)는 차선이 없는 도로 또는 교차로를 주행 난이도가 특정 기준 이상인 주행 환경으로 결정할 수 있다. 보다 구체적으로, 주행 경로 생성부(330)는 현재 차량의 위치를 기초로 전역 경로상에서 차량이 접근하고 있는 특정 기준 이상의 주행 난이도를 가지는 교차로, 급선회 구간 등의 주행 환경에 대하여 다음 웨이포인트로 결정할 수 있다. The driving route generator 330 may generate a driving route by determining a location of a next waypoint existing on the driving route based on the current location of the vehicle. Here, the driving path may mean a path in which the vehicle travels along a waypoint of a predetermined global path. Here, the next waypoint may correspond to a specific waypoint that a vehicle currently driving is approaching among a plurality of waypoints on the global route. More specifically, the driving route generation unit 330 may determine the current position of the vehicle through the lidar information received through the front sensor 120 and generate a driving route from the current position of the vehicle to the next waypoint. . In an embodiment, the driving route generator 330 may detect a driving difficulty for a driving environment existing in the driving route, and determine a driving environment in which the detected driving difficulty is greater than or equal to a specific reference as the position of the next waypoint. Here, the driving environment may include a straight section, a sharp turn section, a U-turn section, an intersection section or a two-lane section, a three-lane section, a section without a lane, and the like that exist in the driving route acquired through the lidar sensor. The driving difficulty may correspond to an index that is determined differently for each driving environment based on the degree of recognition of a forward driving obstacle while the vehicle is driving. For example, the driving route generation unit 330 may determine a driving difficulty higher than a three-lane segment for a section without a lane, and may determine a driving difficulty higher than a straight segment for an intersection or a sharp turn section. In an embodiment, the driving route generator 330 may determine a road or an intersection with no lanes as a driving environment in which driving difficulty is greater than or equal to a specific reference. More specifically, the driving route generation unit 330 may determine the next waypoint for a driving environment such as an intersection or a sharp turn section having a driving difficulty level greater than or equal to a specific standard that the vehicle is approaching on the global route based on the current vehicle location. have.

주행 장애물 인식부(340)는 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로 상의 물체를 주행 경로에 있는 주행 장애물로 인식할 수 있다. 보다 구체적으로, 주행 장애물 인식부(340)는 다음 웨이포인트의 위치를 기준으로 차량의 전방 도로 상의 물체에 대해서 해당 물체가 차량의 주행에 방해가 되는 주행 장애물에 해당하는지 여부를 판단할 수 있다. 일 실시예에서, 주행 장애물 인식부(340)는 지구 좌표계를 기준으로 물체의 위치좌표를 산출하고, 산출된 물체의 위치 좌표를 상기 도로상의 물체로 결정할 수 있다. 보다 구체적으로, 주행 장애물 인식부(340)는 도로상의 물체에 대한 지구 좌표계 기준의 위치 좌표가 다음 웨이포인트의 위치를 기준으로 형성된 일정 반경내에서 특정 기준 이상 이탈되지 않으면 해당 위치 좌표의 물체를 주행 장애물로 인식할 수 있다. 여기에서, 특정 기준은 기 결정된 웨이포인트의 일정 반경과 동일할 수 있고 일정만큼 크거나 작을 수 있다. 예를 들어, 주행 장애물 인식부(340)는 전방 센서(120)를 통해 인식된 전방 차량에 대해서 위치 좌표를 산출하고, 산출된 전방 차량의 위치 좌표가 미리 결정된 다음 웨이포인트에 존재하는 경우 해당 전방 차량을 주행에 방해가되는 주행 장애물로 인식할 수 있고, 차량은 주행 장애물의 인식에 따라 적절한 주행 제어를 수행할 수 있다.The driving obstacle recognition unit 340 may recognize an object on the road that does not deviate from a specific reference or more at the position of the next waypoint as a driving obstacle in the driving path. More specifically, the driving obstacle recognition unit 340 may determine whether the corresponding object corresponds to a driving obstacle obstructing the driving of the vehicle with respect to the object on the road ahead of the vehicle based on the position of the next waypoint. In an embodiment, the driving obstacle recognition unit 340 may calculate the position coordinates of the object based on the earth coordinate system, and determine the calculated position coordinates of the object as the object on the road. More specifically, the driving obstacle recognition unit 340 drives the object of the corresponding position coordinate if the position coordinate of the earth coordinate system for the object on the road does not deviate more than a specific reference within a certain radius formed based on the position of the next waypoint. Can be recognized as an obstacle. Here, the specific criterion may be the same as a predetermined radius of a predetermined waypoint, and may be as large or small as a predetermined amount. For example, the driving obstacle recognition unit 340 calculates the position coordinates for the vehicle in front recognized through the front sensor 120, and when the calculated position coordinates of the vehicle in front are determined in advance and exist at the next waypoint, The vehicle may be recognized as a driving obstacle obstructing driving, and the vehicle may perform appropriate driving control according to the recognition of the driving obstacle.

일 실시예에서, 주행 장애물 인식부(340)는 전방 센서(120)를 통해 물체의 상대적 위치를 수신하는 물체 위치 수신 모듈 및 수신된 물체의 상대적 위치를 지구 좌표계 기준의 위치 좌표로 변환하는 좌표 변환 모듈을 포함하여 물체의 위치 좌표를 산출할 수 있다. 보다 구체적으로, 주행 장애물 인식부(340)는 전방 센서(120)와 연결되어 전방의 물체에 대한 위치 정보를 주고받는 물체 위치 수신 모듈(미도시됨)을 통해 차량과 전방 물체간 상대적 위치를 검출하고, 좌표 변환 모듈을 통해 지구 좌표계 기준의 위치 좌표로 변환함으로써 전역 경로상에 표시 가능한 전방의 물체에 대한 위치 좌표를 획득할 수 있다.In one embodiment, the driving obstacle recognition unit 340 is an object position receiving module that receives the relative position of an object through the front sensor 120, and a coordinate transformation that converts the relative position of the received object into position coordinates based on the earth coordinate system. By including a module, it is possible to calculate the position coordinates of the object. More specifically, the driving obstacle recognition unit 340 is connected to the front sensor 120 to detect the relative position between the vehicle and the front object through an object position receiving module (not shown) that exchanges position information about the object in front. In addition, by converting into position coordinates based on the Earth coordinate system through the coordinate conversion module, position coordinates of an object in front that can be displayed on the global path may be obtained.

일 실시예에서, 주행 장애물 인식부(340)는 주행 난이도가 특정 기준 이상인 주행 환경이 상기 다음 웨이포인트의 위치로 결정되는 경우에 한해, 상기 물체의 위치 좌표를 수신하고 상기 위치 좌표가 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않으면 상기 물체를 상기 주행 장애물로 인식할 수 있다. 예를 들어, 주행 장애물 인식부(340)는 전역 경로를 GPS 및 전방 센서(120)를 통해 자율주행하고 있는 자율주행차량에 대해서, 주행 중 다음 웨이포인트의 위치에서 주행 난이도가 특정 기준 이상인 주행 환경이 검출되는 것을 조건으로, 전방의 물체의 위치 좌표를 수신하고 다음 웨이포인트에서 특정 기준 이상 이탈 여부를 검출하여 주행 장애물로 판단할 수 있다. 결과적으로, 주행 장애물 인식부(340)는 교차로, 급선회 구간 또는 차선이 없는 도로 등 센서에 의해 장애물을 인식하기 어려운 특정 환경을 결정하여 물체의 위치 좌표 및 웨이포인트를 기반으로 하는 주행 장애물 인식을 수행할 수 있다. 예를 들어, 주행 장애물 인식부(340)는 교차로에서 전방 물체의 위치 좌표가 다음 웨이포인트의 위치에서 특정 기준이상 이탈되지 않으면 주행 장애물로 판단하고, 특정 기준이상 이탈되면 주행 장애물이 아닌 것으로 판단할 수 있다.In one embodiment, the driving obstacle recognition unit 340 receives the position coordinates of the object and the position coordinates are the next waypoint only when the driving environment in which the driving difficulty is higher than a specific reference is determined as the position of the next waypoint. The object may be recognized as the driving obstacle if it is not deviated from the point position by more than a specific reference. For example, the driving obstacle recognition unit 340 is a driving environment in which the driving difficulty at the position of the next waypoint during driving is greater than or equal to a specific standard for an autonomous vehicle that is autonomously driving through the GPS and the front sensor 120. On the condition that this is detected, the position coordinates of the object in front may be received, and whether or not deviated from a specific reference or not at the next waypoint may be detected to determine the driving obstacle. As a result, the driving obstacle recognition unit 340 determines a specific environment in which it is difficult to recognize an obstacle by a sensor, such as an intersection, a sharp turn section, or a road without a lane, and performs driving obstacle recognition based on the position coordinates and waypoint of the object. can do. For example, if the position coordinate of the front object at the intersection does not deviate from a specific reference or more at the position of the next waypoint, the driving obstacle recognition unit 340 determines that the driving obstacle is not a driving obstacle. I can.

일 실시예에서, 주행 장애물 인식부(340)는 상기 주행 환경의 주행 난이도를 기초로 상기 특정 기준을 가변적으로 결정할 수 있다. 보다 구체적으로, 주행 장애물 인식부(340)는 주행 장애물 인식의 기준이 되는 다음 웨이포인트의 위치에서 이탈된 정도를 판단하는 특정 기준을 다음 웨이포인트에 해당하는 주행 환경의 주행 난이도를 기초로 가변적으로 결정할 수 있다. 예를 들어, 주행 장애물 인식부(340)는 다음 웨이포인트의 위치에 있는 주행 난이도가 높은 특정 주행 환경에 대해서 경우 주행 난이도가 낮은 주행 환경의 경우보다 상기 특정 기준을 더 높게 결정할 수 있다.In an embodiment, the driving obstacle recognition unit 340 may variably determine the specific criterion based on the driving difficulty of the driving environment. More specifically, the driving obstacle recognition unit 340 variably sets a specific criterion for determining the degree of departure from the position of the next waypoint, which is a criterion for recognition of the driving obstacle, based on the driving difficulty of the driving environment corresponding to the next waypoint. You can decide. For example, the driving obstacle recognition unit 340 may determine the specific criterion higher for a specific driving environment with high driving difficulty at the position of the next waypoint than for a driving environment with low driving difficulty.

제어부(350)는 차량의 주행 장애물 검출 장치(110)의 전반적인 제어를 수행하고, 전역 경로 생성부(310), 웨이포인트 생성부(320), 주행 경로 생성부(330) 및 주행 장애물 인식부(340)간 제어 및 데이터 흐름을 관리할 수 있다.The control unit 350 performs overall control of the vehicle driving obstacle detection device 110, and the global path generation unit 310, the waypoint generation unit 320, the driving path generation unit 330, and the driving obstacle recognition unit ( Control and data flow between 340) can be managed.

도 4는 본 발명의 일 실시예에 따른 차량의 주행 장애물 검출 방법을 설명하는 흐름도이다.4 is a flowchart illustrating a method of detecting a driving obstacle of a vehicle according to an embodiment of the present invention.

도 4에서, 차량의 주행 장애물 검출 장치(110)는 전역 경로 생성부(310)를 통해 출발지 및 목적지를 기초로 전역 경로를 생성할 수 있다(단계 S410). In FIG. 4, the vehicle driving obstacle detecting apparatus 110 may generate a global route based on a starting point and a destination through the global route generating unit 310 (step S410).

차량의 주행 장애물 검출 장치(110)는 웨이포인트 생성부(320)를 통해 전역 경로를 기초로 적어도 하나의 웨이포인트를 생성할 수 있다(단계 S420).The vehicle driving obstacle detection apparatus 110 may generate at least one waypoint based on the global route through the waypoint generator 320 (step S420).

차량의 주행 장애물 검출 장치(110)는 주행 경로 생성부(330)를 통해 차량의 현재 위치를 기초로 주행 경로상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성할 수 있다(단계 S430).The vehicle driving obstacle detecting apparatus 110 may generate a driving route by determining the location of the next waypoint existing on the driving route based on the current location of the vehicle through the driving route generating unit 330 (step S430). ).

차량의 주행 장애물 검출 장치(110)는 주행 장애물 인식부(340)를 통해 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로상의 주행 장애물을 인식할 수 있다(단계 S440).The vehicle driving obstacle detecting apparatus 110 may recognize a driving obstacle on the road that does not deviate from a specific reference or more at the position of the next waypoint through the driving obstacle recognition unit 340 (step S440).

도 5는 본 발명의 다른 실시예에 따른 차량의 주행 장애물 검출 방법을 설명하는 흐름도이다.5 is a flowchart illustrating a method of detecting a driving obstacle of a vehicle according to another embodiment of the present invention.

도 5에서, 차량의 주행 장애물 검출 장치(110)는 전방 센서(120)를 통해 차량의 전방에 위치한 물체의 상대적 위치를 수신하고 수신된 물체의 상대적 위치를 지구 좌표계 기준의 위치 좌표로 변환할 수 있다. 차량의 주행 장애물 검출 장치(110)는 지구 좌표계를 기준으로 차량의 전역 경로를 따라 일정 간격으로 보간된 웨이포인트를 생성할 수 있다. 차량의 주행 장애물 검출 장치(110)는 생성된 웨이포인트의 특정 반경내에 물체의 위치 좌표가 존재하면 물체를 차량의 주행 장애물로 인식할 수 있다. 결과적으로, 차량의 주행 장애물 검출 장치(110)는 기존과 같이 센서를 통한 상대적 위치를 기반으로 전방의 물체를 검출하지 않고, 물체의 절대적 위치를 나타내는 지구 좌표계 기반의 위치 좌표와 미리 결정되는 자율주행차량의 웨이포인트를 통해 전방의 물체를 검출하여, 전방의 물체가 차량의 주행에 방해가 되는 주행 장애물에 해당하는지 여부를 인식할 수 있다. 따라서, 교차로나 차선이 없는 도로 또는 급선회 구간에서 전방의 주행 장애물을 효율적으로 검출할 수 있다.In FIG. 5, the vehicle driving obstacle detecting device 110 may receive the relative position of an object located in front of the vehicle through the front sensor 120 and convert the relative position of the received object into position coordinates based on the earth coordinate system. have. The vehicle driving obstacle detection apparatus 110 may generate waypoints interpolated at predetermined intervals along the global path of the vehicle based on the earth coordinate system. The vehicle driving obstacle detecting apparatus 110 may recognize the object as a driving obstacle of the vehicle if the position coordinates of the object exist within a specific radius of the generated waypoint. As a result, the vehicle driving obstacle detection device 110 does not detect the object in front based on the relative position through the sensor as in the past, but the position coordinates based on the earth coordinate system indicating the absolute position of the object and the predetermined autonomous driving By detecting an object in front through the vehicle's waypoint, it is possible to recognize whether the object in front corresponds to a driving obstacle that interferes with the vehicle's driving. Accordingly, it is possible to efficiently detect a driving obstacle ahead in an intersection or a road without lanes or in a sharp turn section.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it.

100: 차량의 주행 장애물 검출 시스템
110: 차량의 주행 장애물 검출 장치
120: 전방 센서
130: 데이터베이스
210: 프로세서 220: 메모리
230: 사용자 입출력부
240: 네트워크 입출력부
310: 전역 경로 생성부 320: 웨이포인트 생성부
330: 주행 경로 생성부 340: 주행 장애물 인식부
350: 제어부100: vehicle driving obstacle detection system
110: vehicle driving obstacle detection device
120: front sensor
130: database
210: processor 220: memory
230: user input/output unit
240: network input/output unit
310: global route generation unit 320: waypoint generation unit
330: driving path generation unit 340: driving obstacle recognition unit
350: control unit

Claims (9)

출발지 및 목적지를 기초로 전역 경로를 생성하는 전역 경로 생성부;
상기 전역 경로를 따라 일정 간격- 상기 간격은 주행 환경의 특징을 반영하여 가변적으로 결정됨 -으로 보간된 지구 좌표계 기반의 적어도 하나의 웨이포인트(waypoint)를 생성하는 웨이포인트 생성부;
차량의 현재 위치를 기초로 주행 경로 상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성하는 주행 경로 생성부; 및
상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로 상의 물체를 상기 주행 경로에 있는 주행 장애물로 인식하는 주행 장애물 인식부를 포함하되,
상기 주행 경로 생성부는 상기 주행 경로와 연관된 주행 환경을 기초로 주행 난이도를 검출하고 상기 주행 난이도가 특정 기준 이상인 주행 환경을 상기 다음 웨이포인트의 위치로 결정하고,
상기 주행 장애물 인식부는 전방 센서를 통해 상기 차량을 기준으로 상기 물체의 상대적 위치를 수신하는 물체 위치 수신 모듈 및 상기 물체의 상대적 위치에 관한 차량 좌표계 기준의 위치 좌표를 상기 지구 좌표계 기준의 위치 좌표로 변환하는 좌표 변환 모듈을 포함하여 구성되며,
상기 물체 위치 수신 모듈을 통해 상기 전방 센서에 의해 검출된 적어도 하나의 후보 장애물체의 상대적 위치를 수신하면 상기 좌표 변환 모듈을 통해 상기 지구 좌표계를 기준으로 상기 적어도 하나의 후보 장애물체에 대한 위치 좌표를 결정하여 상기 주행 장애물의 인식 과정에 적용하는 것을 특징으로 하는 차량의 주행 장애물 검출 장치.
A global route generator for generating a global route based on a source and destination;
A waypoint generator for generating at least one waypoint based on the earth coordinate system interpolated at a predetermined interval along the global route-the interval is determined variably by reflecting characteristics of a driving environment;
A driving route generator configured to generate a driving route by determining a position of a next waypoint on the driving route based on a current position of the vehicle; And
Including a driving obstacle recognition unit for recognizing an object on the road that does not deviate more than a specific reference from the position of the next waypoint as a driving obstacle in the driving path,
The driving route generation unit detects a driving difficulty based on a driving environment associated with the driving route, and determines a driving environment in which the driving difficulty is equal to or higher than a specific reference as the position of the next waypoint,
The driving obstacle recognition unit converts an object position receiving module that receives the relative position of the object with respect to the vehicle through a front sensor and the position coordinate of the vehicle coordinate system based on the relative position of the object to the position coordinate of the earth coordinate system It includes a coordinate conversion module that
Upon receiving the relative position of the at least one candidate obstacle detected by the front sensor through the object position receiving module, the position coordinates of the at least one candidate obstacle object based on the earth coordinate system are calculated through the coordinate conversion module. A driving obstacle detecting apparatus for a vehicle, characterized in that it is determined and applied to a process of recognizing the driving obstacle.
 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 주행 경로 생성부는
차선이 없는 도로 또는 교차로를 상기 주행 난이도가 특정 기준 이상인 주행 환경으로 결정하는 것을 특징으로 하는 차량의 주행 장애물 검출 장치.
The method of claim 1, wherein the driving route generation unit
A driving obstacle detecting apparatus for a vehicle, characterized in that determining a road or an intersection with no lane as a driving environment in which the driving difficulty is greater than or equal to a specific reference.
 제1항에 있어서, 상기 주행 장애물 인식부는
상기 주행 난이도가 특정 기준 이상인 주행 환경이 상기 다음 웨이포인트의 위치로 결정되는 경우에 한해, 상기 물체의 위치 좌표를 수신하고 상기 위치 좌표가 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않으면 상기 물체를 상기 주행 장애물로 인식하는 것을 특징으로 하는 차량의 주행 장애물 검출 장치.
The method of claim 1, wherein the driving obstacle recognition unit
Only when the driving environment in which the driving difficulty is higher than a certain reference is determined as the position of the next waypoint, the object receives the position coordinates of the object and the position coordinates do not deviate from the position of the next waypoint by more than a certain reference, the object A vehicle driving obstacle detection device, characterized in that recognizing the driving obstacle as the driving obstacle.
 제1항에 있어서, 상기 주행 장애물 인식부는
상기 주행 환경의 주행 난이도를 기초로 상기 특정 기준을 가변적으로 결정하는 것을 특징으로 하는 차량의 주행 장애물 검출 장치.
The method of claim 1, wherein the driving obstacle recognition unit
A driving obstacle detecting apparatus for a vehicle, characterized in that the specific criterion is variably determined based on the driving difficulty of the driving environment.
 전역 경로 생성부, 웨이포인트 생성부, 주행 경로 생성부 및 주행 장애물 인식부를 포함하는 차량의 주행 장애물 검출 장치에서 수행되는 방법에 있어서,
상기 전역 경로 생성부에서, 출발지 및 목적지를 기초로 전역 경로를 생성하는 단계;
상기 웨이포인트 생성부에서, 상기 전역 경로를 따라 일정 간격- 상기 간격은 주행 환경의 특징을 반영하여 가변적으로 결정됨 -으로 보간된 지구 좌표계 기반의 적어도 하나의 웨이포인트를 생성하는 단계;
상기 주행 경로 생성부에서, 차량의 현재 위치를 기초로 주행 경로 상에 존재하는 다음 웨이포인트의 위치를 결정하여 주행 경로를 생성하는 단계; 및
상기 주행 장애물 인식부에서, 상기 다음 웨이포인트의 위치에서 특정 기준 이상 이탈되지 않는 도로 상의 물체를 상기 주행 경로에 있는 주행 장애물로 인식하는 단계를 포함하되,
상기 주행 장애물 인식부는 전방 센서를 통해 상기 차량을 기준으로 상기 물체의 상대적 위치를 수신하는 물체 위치 수신 모듈 및 상기 물체의 상대적 위치에 관한 차량 좌표계 기준의 위치 좌표를 상기 지구 좌표계 기준의 위치 좌표로 변환하는 좌표 변환 모듈을 포함하여 구성되며,
상기 주행 경로를 생성하는 단계는 상기 주행 경로와 연관된 주행 환경을 기초로 주행 난이도를 검출하고 상기 주행 난이도가 특정 기준 이상인 주행 환경을 상기 다음 웨이포인트의 위치로 결정하는 단계를 포함하고,
상기 주행 장애물로 인식하는 단계는 상기 물체 위치 수신 모듈을 통해 상기 전방 센서에 의해 검출된 적어도 하나의 후보 장애물체의 상대적 위치를 수신하면 상기 좌표 변환 모듈을 통해 상기 지구 좌표계를 기준으로 상기 적어도 하나의 후보 장애물체에 대한 위치 좌표를 결정하여 상기 주행 장애물의 인식 과정에 적용하는 단계를 포함하는 것을 특징으로 하는 차량의 주행 장애물 검출 방법.
A method performed in a vehicle driving obstacle detection apparatus including a global route generation unit, a waypoint generation unit, a driving route generation unit, and a driving obstacle recognition unit,
Generating, in the global route generation unit, a global route based on a departure point and a destination;
Generating at least one waypoint based on the earth coordinate system interpolated at a predetermined interval along the global route-the interval is variably determined by reflecting characteristics of a driving environment;
Generating a driving route by determining, in the driving route generation unit, a location of a next waypoint existing on the driving route based on a current position of the vehicle; And
In the driving obstacle recognition unit, including the step of recognizing an object on the road that does not deviate more than a specific reference from the position of the next waypoint as a driving obstacle in the driving path,
The driving obstacle recognition unit converts an object position receiving module that receives the relative position of the object with respect to the vehicle through a front sensor and the position coordinate of the vehicle coordinate system based on the relative position of the object into position coordinates based on the earth coordinate system It includes a coordinate conversion module that
The generating of the driving route includes detecting a driving difficulty based on a driving environment associated with the driving route and determining a driving environment in which the driving difficulty is equal to or higher than a specific reference as the position of the next waypoint,
The step of recognizing as the driving obstacle may include receiving the relative position of the at least one candidate obstacle detected by the front sensor through the object position receiving module, the at least one object based on the earth coordinate system through the coordinate conversion module. And determining a position coordinate for a candidate obstacle and applying it to a process of recognizing the driving obstacle.
KR1020190008711A 2019-01-23 2019-01-23 Apparatus and method for detecting obstacles to driving in vehicles KR102171922B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190008711A KR102171922B1 (en) 2019-01-23 2019-01-23 Apparatus and method for detecting obstacles to driving in vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190008711A KR102171922B1 (en) 2019-01-23 2019-01-23 Apparatus and method for detecting obstacles to driving in vehicles

Publications (2)

Publication Number Publication Date
KR20200094842A KR20200094842A (en) 2020-08-10
KR102171922B1 true KR102171922B1 (en) 2020-10-30

Family

ID=72049480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190008711A KR102171922B1 (en) 2019-01-23 2019-01-23 Apparatus and method for detecting obstacles to driving in vehicles

Country Status (1)

Country Link
KR (1) KR102171922B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552688B1 (en) * 2021-06-28 2023-07-05 아주대학교산학협력단 Autonomous driving intravenous pole

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133037B1 (en) * 2011-12-01 2012-04-04 국방과학연구소 Path updating method for collision avoidance of autonomous vehicle and the apparatus
JP2017224168A (en) * 2016-06-15 2017-12-21 国立大学法人東京農工大学 Drive support device and drive support method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100271883B1 (en) 1997-07-18 2000-12-01 류정열 A detecting method of an obstacle of front direction as driving a vehicle and its device
KR20170129569A (en) * 2016-05-17 2017-11-27 자동차부품연구원 Navigation for Vehicle Based on Driver's Path Avoidance Priorities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133037B1 (en) * 2011-12-01 2012-04-04 국방과학연구소 Path updating method for collision avoidance of autonomous vehicle and the apparatus
JP2017224168A (en) * 2016-06-15 2017-12-21 国立大学法人東京農工大学 Drive support device and drive support method

Also Published As

Publication number Publication date
KR20200094842A (en) 2020-08-10

Similar Documents

Publication Publication Date Title
US11320836B2 (en) Algorithm and infrastructure for robust and efficient vehicle localization
US10380890B2 (en) Autonomous vehicle localization based on walsh kernel projection technique
US10137896B2 (en) Method and system for operating autonomous driving vehicles using graph-based lane change guide
US10824153B2 (en) Cost design for path selection in autonomous driving technology
KR101581286B1 (en) System and method for path planning for autonomous navigation of driverless ground vehicle
CN110119140A (en) System and method for acceleration curve projection
US11099017B2 (en) Determining driving paths for autonomous driving vehicles based on offset points
KR20180106417A (en) System and Method for recognizing location of vehicle
CN109491377A (en) The decision and planning based on DP and QP for automatic driving vehicle
CN109489675A (en) The path planning based on cost for automatic driving vehicle
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
US10151598B2 (en) Method and device for operating a vehicle and driver assistance system
US10496098B2 (en) Road segment-based routing guidance system for autonomous driving vehicles
US11847838B2 (en) Recognition device
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
US20130245934A1 (en) Moving body position detection system, moving body position detection apparatus, moving body position detection method, and computer-readable storage medium
US11789141B2 (en) Omnidirectional sensor fusion system and method and vehicle including the same
JP2006189326A (en) Next road prediction device of traveling vehicle
US20220101722A1 (en) Road entry system and method for vehicle
JP2006162409A (en) Lane determination device of crossing advancing road
KR20180040787A (en) Method and device for autonomous driving based on route adaptation
KR102171922B1 (en) Apparatus and method for detecting obstacles to driving in vehicles
JP6987150B2 (en) Optimal planner switching method for 3-point turns of self-driving vehicles
CN117111052A (en) Target vehicle tracking method, system, target vehicle tracking device and storage medium
US11562501B1 (en) Multi-mode visual geometry localization

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]